Ich habe auf einem 2008er Server auf IE8 umgestellt.
Seitdem öffnete der Explorer (nicht IE) alle Ordner in einem neuen Fenster. Die Einstellungen unter Extras -> Orderoptionen -> Allgemein sind jedoch korrekt eingestellt.

Bei einigem hin und herspielen zeigte sich, dass im Kontext Menü korrekt Explorer fett dargestellt wird.
Wähle ich auf einem Order aus dem Kontextmenü Explorer aus, wird dieser Ordner im selben Fenster geöffnet.
Mache ich einen Doppelklick dann öffnet sich ein neues Fenster erzeugt, so wie wenn man im Kontextmenü den Befehl Öffnen auswählt.

Eine Recherche im Internet ergab, dass ich nicht alleine bin. Ich habe danach auch einige Beiträge zu diesem Problem bzgl. XP gefunden und einige Registry Einträge in HKCR (Drive/Folder/Directory) mit einem Vista System verglichen und die sind alle identisch. Alle Lösungen, die ich im Netz fand haben mir nicht geholfen.

Ich habe dann versucht einige Explorer DLLs neu registrieren. DLLs, die auch in anderen Artikeln zu Explorer Problemen erwähnt wurden. Die Lösung kam ziemlich schnell mit der erneuten Registrierung der actxprxy.dll.

Die Lösung sieht also wie folgt aus:
cmd Prompt als Administrator öffnen und den folgenden Befehl ausführen:

regsvr32 actxprxy.dll