окно.blur()

или

blur()

Пример

//Создадим новое окно win 
win = window.open();
//Отобразим в новом окне произвольный текст
win.document.write("Я новое окно");
//Заставим новое окно открыться в фоне (сделаем его неактивным)
win.blur()