Performance Domino

[Manfred.Gipp]

Hallo Forum,
wir haben seit ziemlich langer Zeit richtig große Probleme mit der Performance (Antwortzeiten) von unseren Domino Servern.

Nachdem wir Netzwerkmessungen (um Netzwerkprobleme auszuschließen) durchgeführt haben, kam raus, dass der Domino Server in einer Session alle sechs Sekunden ein 100Byte großes Paket an den Client schickt. Und das zu jedem Client, der mit dem Server verbunden ist. Bei ca. 400 Sessions ergibt sich da eine Grundlast von ca. 7KByte pro Sekunde. Ich glaube nicht, dass 400 Sessions für einen Domino Server viel ist.
Als Bild habe ich mal so ein Messprotokoll angehängt. Oben ist einer der Domino Server und unten ist ein Notes Client.
Weiß jemand hier, was das für Pakete sind?
Kann man die Zeit, in der diese Pakete gesendet werden, verlängern oder verkürzen?
Verlangt der Server vom Client noch etwas und der Client liefert nicht schnell genug?
Ein "Keep Alive" kann es eigentlich nicht sein. Darüber finde ich in meinen Dokumentationen und im Internet nichts.
Vielen Dank für euere Hilfe.
Manfred Gipp

[m3]

Wie gehst denn dem Domino? CPU/Speicherauslastung/Agent-Verhalten?
Was läuft noch alles auf dem Domino-Serverß

[Manfred.Gipp]

Ich bin der Meinung, dem gehts viel zu gut.
Domino Version 8.01
Vier Prozessoren.
Geclustert.
Prozessorlast ca. 10%
Speicher insgesamt 4GB und verfügbar 2GB
200GB (ca. 70GB frei) Datenpartition auf einem SAN mit 2GBit Anbindung. Diese Schnittstelle langweilt sich auch nur.
Dienste des Domino-Servers:
Replica,Router,update,amgr,adminp,sched,calconn,rnrmgr,http,ldap,pop3,web
Ca. 400 Mailboxen
Ca. 15 Dokumentendatenbanken, die jeweils ca. 30.000 Dokumente beinhalten
In diesen Dokumentendatenbanken laufen mehrere Agenten immer wieder mal.
Ansonsten laufen ein paar (ca. 50) sehr einfach selbst gestrickte Datenbanken drauf.
Wir sind sogar verdachtshalber mal von Linux auf Windows2003 Server gegangen. Kein Unterschied.
Auf dem Server selbst läuft sonst nichts weiter.
Die Dienste ldap,pop3 und http brauchen wir leider.
Agenten laufen eigentlich problemlos. Über das Verhalten (Geschwindigkeit) kann ich nicht viel sagen. Ich weiß derzeit nicht, wie ich das beurteilen soll.

[m3]

Läuft auf der Box neben Domino noch was anderes?

Das Netzwerk so ist auch in Ordnung?

Die Pakete sind vom Domino?

[Manfred.Gipp]

Wenn man Windows nicht mitzählt, dann läuft sonst nichts anderes.
Netzwerkprobleme hatten wir mit der Messung (siehe Bild oben) auch checken lassen. Da ist alles einwandfrei.
Was meinst du mit Pakete?
Die Dokumentendatenbanken sind nicht von IBM. Das ist ein anderer Hersteller.

[Christopher]

Wir hatten mal bei uns im LAN/WAN das gleiche Problem zum Schluß hatte sich rausgestellt das es ein WAN Router war der viel Pakete verworfen hatte Applikationen wie SAP usw. hatte damit auch Probleme. Ich würde hier nicht den Fehler bei LN suche sondern im Netzwerk.

[stoeps]

Laß doch mal http://www.Wireshark.org laufen und analysiere das Paket.

Wie sieht das Netz aus? Geswitcht? 1GB? Full Duplex oder Auto?

[Manfred.Gipp]

Da wir keine WAN Verbindungen bei uns nutzen, glaube ich weniger, dass wir damit Probleme haben. Deswegen haben wir extra jemanden kommen lassen, der über zwei Wochen unser Netz (automatisiert) gecheckt hat, ob es Probleme gibt.
Das einzige was rausgekommen war, ist dass der Domino Server diese komischen 100Byte großen Pakete schickt und das alle sechs Sekunden.

Unser Netz ist ein geswitchtes Netz Gigabit. Jeder Server ist doppelt ausfallsicher mit 1GBit angebunden. Wir nutzen zwei große CISCO Switch (6509) die im Backbone, soweit ich weiß, 256GBit können. Alle Server sind direkt dort angeschlossen.
Die Clients sind über weiter Switche angeschlossen, die jweils über 1GBit an die Coreswitche angeschlossen sind. Die Clients sind danach mit 100MBit an die Unterswitche angeschlossen.
Und noch etwas: Je nach Netzwerkkarte sind die Einstellungen entweder auf 100MBit Full-Duplex oder auf Auto. Nicht jede Netzwerkkarte kommuniziert gleich mit den Switchen. Das wird immer vorher getestet.

[Christopher]

Ja aber trotzdem kann doch evtl. ein Switch defekt sein. Bei uns haben die User bzw. Server sehr viele Session aufgebaut ....geht der Domino Server auf einen mit seinen zwei Netzwerkkarten auf den selben Switch ?

[Manfred.Gipp]

Die zwei Netzwerkverbindungen der Server gehen auf jeweils einen von den beiden Core-Switchen. Also nicht den gleichen. Sonst bringt es ja nichts. Nur wenn die eine Verbindung ausfällt, aktiviert sich die andere.

Einen Netzwerkscan haben wir schon durchgeführt und das hat keinerlei Probleme ergeben. Eben bis auf diese 100Byte großen Pakete, die alle sechs Sekunden lang gesendet werden. Und zwar in der selben Session, die der Client aufgebaut hat.
War ein wenig ein Problem das herauszufinden.

[Christopher]

Na wäre doch mal interessant zu sehen wenn Ihr den Server auf einen anderen Switch legt was passiert .....

[hallo.dirk]

Mann könnte auch einen Client in das gleiche Subnetz Netz des Servers hängen um zu sehen ob die Performance eklatant steigt...

[MartinG]

Mann könnte auch einen Client in das gleiche Subnetz Netz des Servers hängen um zu sehen ob die Performance eklatant steigt...   

Das wäre auch mein erster Ansatz gewesen - ich würde sogar noch weiter gehen und einen Client an den gleichen Switch hängen. Dann muss das ganze rennen...

[Manfred.Gipp]

Genau das haben wir auch schon getan. Ins gleiche Netz und an den gleichen Switch. Hat nur minimalste Vorteile in der Geschwindigkeit. Ein normaler Benutzer merkt das nicht.
An diesem großen Core Switch hängen noch einige andere Server, bei denen das Problem nicht auftritt. Sind aber keine Notes-Server. Einen anderen Port des Switches haben wir auch schon getestet. Auch das hat keinerlei Änderung gebracht.
Wie gesagt: Wir haben unser Netz selbst gecheckt und dann von einer externen Firma nocheinmal gegenchecken lassen. Wir sind bis zu den einzelnen Paketen runter gegangen. Aber immer lässt der Domino Server den Client warten.
Es ist egal welche Datenbank ich nehme. In den großen Dokumenten Datenbanken ist es natürlich stärker zu merken als in den kleinen selbst gestrickten Anwendungen. Aber sogar in der Maildatenbank gibt es Verzögerungen, die einfach inakzeptabel sind.
An dem Bild in der Eingangs Nachricht sieht man auch, dass der Domino Server sich mit der Antwort einfach Zeit lässt.

[stoeps]

Kannst du nicht mal eins der Pakete sniffen und zuschicken?

DNS etc. ist in Ordnung, oder?

[atbits]

Meine Vermutung würde auch in Richtung DNS gehen, wie löste der Domino auf? Wie schnell ist die Verbindung zwischen Domino und DNS?

Grüße David

[Manfred.Gipp]

Mir scheint eure Vermutung mit dem DNS etwas daneben. Denn wenn die Session aufgebaut ist, braucht weder der Client noch der Server DNS Abfragen.
Aber der DNS Server ist auch mit 1GBit angeschlossen und im selben Netz wie der Domino Server. Die Messungen der DNS Abfragen haben keinerlei Verzögerungen gebracht.
Hier geht es um die aufgebaute Session vom Client zum Server.
Wenn der Client eine Datenbank, eine Ansicht oder ein Dokument öffnen möchte. Dann gibt es diese Verzögerungen von bis zu fünf Minuten.
Wireshark möchte ich nur ungern auf dem Server installieren.

[m3]

Das könnte weiterhelfen:

Code

;-------------------------------------------
;-------------------------------------------
;-----Notes Client Debugging Parameters-----
;Console_LogLevel=2
;LOG_SESSIONS=1
;LOG_CONNECTIONS=1
;DEBUG_TCP_ALL=1
;CLIENT_CLOCK=1
;CONSOLE_LOG_ENABLED=1
;DEBUG_CONSOLE=1
;-------------------------------------------
;-------------------------------------------

[stoeps]

Dann nimm doch Portable Wireshark oder definier einen der Switchports als Monitoring Port.

Ich hab halt keinen Bock hier rumzuraten, wenn das Paket zum Analysieren nicht da ist.

Wie mein Vorposter schon schreibt, was macht das Log? Schraub mal die Loglevel bisschen rauf!

Repliziert ihr? Wird eine Policy angewandt?

Ich glaub nicht, daß das ein Dominoproblem ist. Für mich sieht das schon nach DNS, Reverse Lookup o.ä. aus.

Update:
Ich lass grad Wireshark auf meinem Testserver laufen und solang ich nicht vom Client zugreife, wird auch kein Netzwerkpaket ausgetauscht!

Update2:
Diese winzigen Pakete dürfen die Verbindung auch nicht so stark bremsen. Habt ihr mal geprüft, ob hier vielleicht die Teilnehmer Probleme haben, Full duplex, Half Duplex auszuhandeln?

[MartinG]

Bevor es gleich ganz tief ins Detail geht, würde ich als erstes Mal ein paar ganz banale Tests machen, z.B. von einem Client die D-Festplatte des Dominoservers mounten und mit TotalCommander ein 100MB File rüberkopieren. TotalCommander zeigt ja die ungefähre Speed an. Alternativ mit NetCPS die Speed messen....

Dies würde ich mal bei der C-Festplatte des Dominoserves machen (diese hängt wenn ich das richtig verstehe ja direkt im Server drin) und auch mal bei der Datenpartition (die wenn ich das richtig sehe im SAN hängt). Habt Ihr ungefähr ähnlich gute Werte? Ich tippe auch nicht auf ein Dominoproblem, sondern auf ein Problem SAN/DNS/Routing....