Ich nehme an, daß Du weißt, daß der "Notes-Designer" ein simpler Trick ist, um Client vom Designer programmtechnischzu trennen. Daher muß auch immer ein "Client" (Notes Core) geladen sein, damit der Designer überhaupt "Muh" sagt.
Ich habe jetzt keinen Peil, was der Client dabei beim Laden checkt. Lädst Du den R5 Designer (was in Wirklichkeit ja gar nicht passiert!) solo, stellt dieser fest: "He, da ist nix Notes (Client) im Speicher, den muß ich erstmal nachladen!". So geht es sich denn dann.
Läuft aber der R6er Client, scheint der 5er Designer (als scheinbar !!! eigenständiges Programm) festzustellen, daß da ja schon ein Notes-Client (welchen er ja braucht) läuft - dummerweise der falsche, der dann offensichtlich kapituliert.
Langer Rede, kurzer Sinn: Wenn es wirklich nicht anders geht, als zunächst beide CLIENTS als die entscheidenden Code-Träger zu starten, kannst Du ggf. mit der Registry rumspielen - vielleicht geht darüber wirklich was.
Bei mir kann ich jedenfalls das Verhalten Deiner Installation 1:1 nachvollziehen, aber das scheint von Iris ja auch so gewollt: Designer = Add-on zum Client.
HTH,
Bernhard