zwei Dinge kannst Du machen:
1.) in der Maske selbst kannst Du in den Maskeneingeschaften "open this XPage instead" angeben
2.) Du könntest im XPages View Control eine Spalte berechnet machen und selbst einen HTML Link bauen, der je nach Maske des Dokuments so aussieht:
...nsf/namederxpage.xsp?documentID=<UNID des Dokument>&action=openDocument