Das Notes Forum

Domino 9 und frühere Versionen => ND8: Administration & Userprobleme => Thema gestartet von: Manfred.Gipp am 04.11.08 - 14:23:36

Titel: Performance Domino
Beitrag von: Manfred.Gipp am 04.11.08 - 14:23:36
Hallo Forum,
wir haben seit ziemlich langer Zeit richtig große Probleme mit der Performance (Antwortzeiten) von unseren Domino Servern.

Nachdem wir Netzwerkmessungen (um Netzwerkprobleme auszuschließen) durchgeführt haben, kam raus, dass der Domino Server in einer Session alle sechs Sekunden ein 100Byte großes Paket an den Client schickt. Und das zu jedem Client, der mit dem Server verbunden ist. Bei ca. 400 Sessions ergibt sich da eine Grundlast von ca. 7KByte pro Sekunde. Ich glaube nicht, dass 400 Sessions für einen Domino Server viel ist.
Als Bild habe ich mal so ein Messprotokoll angehängt. Oben ist einer der Domino Server und unten ist ein Notes Client.
Weiß jemand hier, was das für Pakete sind?
Kann man die Zeit, in der diese Pakete gesendet werden, verlängern oder verkürzen?
Verlangt der Server vom Client noch etwas und der Client liefert nicht schnell genug?
Ein "Keep Alive" kann es eigentlich nicht sein. Darüber finde ich in meinen Dokumentationen und im Internet nichts.
Vielen Dank für euere Hilfe.
Manfred Gipp
Titel: Re: Performance Domino
Beitrag von: m3 am 04.11.08 - 14:26:09
Wie gehst denn dem Domino? CPU/Speicherauslastung/Agent-Verhalten?
Was läuft noch alles auf dem Domino-Serverß
Titel: Re: Performance Domino
Beitrag von: Manfred.Gipp am 04.11.08 - 16:11:57
Ich bin der Meinung, dem gehts viel zu gut.
Domino Version 8.01
Vier Prozessoren.
Geclustert.
Prozessorlast ca. 10%
Speicher insgesamt 4GB und verfügbar 2GB
200GB (ca. 70GB frei) Datenpartition auf einem SAN mit 2GBit Anbindung. Diese Schnittstelle langweilt sich auch nur.
Dienste des Domino-Servers:
Replica,Router,update,amgr,adminp,sched,calconn,rnrmgr,http,ldap,pop3,web
Ca. 400 Mailboxen
Ca. 15 Dokumentendatenbanken, die jeweils ca. 30.000 Dokumente beinhalten
In diesen Dokumentendatenbanken laufen mehrere Agenten immer wieder mal.
Ansonsten laufen ein paar (ca. 50) sehr einfach selbst gestrickte Datenbanken drauf.
Wir sind sogar verdachtshalber mal von Linux auf Windows2003 Server gegangen. Kein Unterschied.
Auf dem Server selbst läuft sonst nichts weiter.
Die Dienste ldap,pop3 und http brauchen wir leider.
Agenten laufen eigentlich problemlos. Über das Verhalten (Geschwindigkeit) kann ich nicht viel sagen. Ich weiß derzeit nicht, wie ich das beurteilen soll.

Titel: Re: Performance Domino
Beitrag von: m3 am 04.11.08 - 16:29:10
Läuft auf der Box neben Domino noch was anderes?

Das Netzwerk so ist auch in Ordnung?

Die Pakete sind vom Domino?
Titel: Re: Performance Domino
Beitrag von: Manfred.Gipp am 04.11.08 - 16:41:13
Wenn man Windows nicht mitzählt, dann läuft sonst nichts anderes.
Netzwerkprobleme hatten wir mit der Messung (siehe Bild oben) auch checken lassen. Da ist alles einwandfrei.
Was meinst du mit Pakete?
Die Dokumentendatenbanken sind nicht von IBM. Das ist ein anderer Hersteller.
Titel: Re: Performance Domino
Beitrag von: Christopher am 04.11.08 - 22:05:58
Wir hatten mal bei uns im LAN/WAN das gleiche Problem zum Schluß hatte sich rausgestellt das es ein WAN Router war der viel Pakete verworfen hatte Applikationen wie SAP usw. hatte damit auch Probleme. Ich würde hier nicht den Fehler bei LN suche sondern im Netzwerk.
Titel: Re: Performance Domino
Beitrag von: stoeps am 04.11.08 - 23:05:39
Laß doch mal http://www.Wireshark.org (http://www.Wireshark.org) laufen und analysiere das Paket.

Wie sieht das Netz aus? Geswitcht? 1GB? Full Duplex oder Auto?
Titel: Re: Performance Domino
Beitrag von: Manfred.Gipp am 05.11.08 - 08:41:09
Da wir keine WAN Verbindungen bei uns nutzen, glaube ich weniger, dass wir damit Probleme haben. Deswegen haben wir extra jemanden kommen lassen, der über zwei Wochen unser Netz (automatisiert) gecheckt hat, ob es Probleme gibt.
Das einzige was rausgekommen war, ist dass der Domino Server diese komischen 100Byte großen Pakete schickt und das alle sechs Sekunden.

Unser Netz ist ein geswitchtes Netz Gigabit. Jeder Server ist doppelt ausfallsicher mit 1GBit angebunden. Wir nutzen zwei große CISCO Switch (6509) die im Backbone, soweit ich weiß, 256GBit können. Alle Server sind direkt dort angeschlossen.
Die Clients sind über weiter Switche angeschlossen, die jweils über 1GBit an die Coreswitche angeschlossen sind. Die Clients sind danach mit 100MBit an die Unterswitche angeschlossen.
Und noch etwas: Je nach Netzwerkkarte sind die Einstellungen entweder auf 100MBit Full-Duplex oder auf Auto. Nicht jede Netzwerkkarte kommuniziert gleich mit den Switchen. Das wird immer vorher getestet.

Titel: Re: Performance Domino
Beitrag von: Christopher am 05.11.08 - 08:52:17
Ja aber trotzdem kann doch evtl. ein Switch defekt sein. Bei uns haben die User bzw. Server sehr viele Session aufgebaut ....geht der Domino Server auf einen mit seinen zwei Netzwerkkarten auf den selben Switch ?
Titel: Re: Performance Domino
Beitrag von: Manfred.Gipp am 05.11.08 - 08:58:52
Die zwei Netzwerkverbindungen der Server gehen auf jeweils einen von den beiden Core-Switchen. Also nicht den gleichen. Sonst bringt es ja nichts. Nur wenn die eine Verbindung ausfällt, aktiviert sich die andere.

Einen Netzwerkscan haben wir schon durchgeführt und das hat keinerlei Probleme ergeben. Eben bis auf diese 100Byte großen Pakete, die alle sechs Sekunden lang gesendet werden. Und zwar in der selben Session, die der Client aufgebaut hat.
War ein wenig ein Problem das herauszufinden.
Titel: Re: Performance Domino
Beitrag von: Christopher am 05.11.08 - 09:07:55
Na wäre doch mal interessant zu sehen wenn Ihr den Server auf einen anderen Switch legt was passiert .....
Titel: Re: Performance Domino
Beitrag von: hallo.dirk am 05.11.08 - 09:55:30
Mann könnte auch einen Client in das gleiche Subnetz Netz des Servers hängen um zu sehen ob die Performance eklatant steigt...
Titel: Re: Performance Domino
Beitrag von: MartinG am 05.11.08 - 10:19:49
Zitat
Mann könnte auch einen Client in das gleiche Subnetz Netz des Servers hängen um zu sehen ob die Performance eklatant steigt...   

Das wäre auch mein erster Ansatz gewesen - ich würde sogar noch weiter gehen und einen Client an den gleichen Switch hängen. Dann muss das ganze rennen...
Titel: Re: Performance Domino
Beitrag von: Manfred.Gipp am 05.11.08 - 14:03:34
Genau das haben wir auch schon getan. Ins gleiche Netz und an den gleichen Switch. Hat nur minimalste Vorteile in der Geschwindigkeit. Ein normaler Benutzer merkt das nicht.
An diesem großen Core Switch hängen noch einige andere Server, bei denen das Problem nicht auftritt. Sind aber keine Notes-Server. Einen anderen Port des Switches haben wir auch schon getestet. Auch das hat keinerlei Änderung gebracht.
Wie gesagt: Wir haben unser Netz selbst gecheckt und dann von einer externen Firma nocheinmal gegenchecken lassen. Wir sind bis zu den einzelnen Paketen runter gegangen. Aber immer lässt der Domino Server den Client warten.
Es ist egal welche Datenbank ich nehme. In den großen Dokumenten Datenbanken ist es natürlich stärker zu merken als in den kleinen selbst gestrickten Anwendungen. Aber sogar in der Maildatenbank gibt es Verzögerungen, die einfach inakzeptabel sind.
An dem Bild in der Eingangs Nachricht sieht man auch, dass der Domino Server sich mit der Antwort einfach Zeit lässt.
Titel: Re: Performance Domino
Beitrag von: stoeps am 05.11.08 - 14:18:51
Kannst du nicht mal eins der Pakete sniffen und zuschicken?

DNS etc. ist in Ordnung, oder?
Titel: Re: Performance Domino
Beitrag von: atbits am 05.11.08 - 14:37:23
Meine Vermutung würde auch in Richtung DNS gehen, wie löste der Domino auf? Wie schnell ist die Verbindung zwischen Domino und DNS?

Grüße David
Titel: Re: Performance Domino
Beitrag von: Manfred.Gipp am 05.11.08 - 16:36:40
Mir scheint eure Vermutung mit dem DNS etwas daneben. Denn wenn die Session aufgebaut ist, braucht weder der Client noch der Server DNS Abfragen.
Aber der DNS Server ist auch mit 1GBit angeschlossen und im selben Netz wie der Domino Server. Die Messungen der DNS Abfragen haben keinerlei Verzögerungen gebracht.
Hier geht es um die aufgebaute Session vom Client zum Server.
Wenn der Client eine Datenbank, eine Ansicht oder ein Dokument öffnen möchte. Dann gibt es diese Verzögerungen von bis zu fünf Minuten.
Wireshark möchte ich nur ungern auf dem Server installieren.
Titel: Re: Performance Domino
Beitrag von: m3 am 05.11.08 - 16:43:12
Das könnte weiterhelfen:
Code
;-------------------------------------------
;-------------------------------------------
;-----Notes Client Debugging Parameters-----
;Console_LogLevel=2
;LOG_SESSIONS=1
;LOG_CONNECTIONS=1
;DEBUG_TCP_ALL=1
;CLIENT_CLOCK=1
;CONSOLE_LOG_ENABLED=1
;DEBUG_CONSOLE=1
;-------------------------------------------
;-------------------------------------------
Titel: Re: Performance Domino
Beitrag von: stoeps am 05.11.08 - 16:52:19
Dann nimm doch Portable Wireshark oder definier einen der Switchports als Monitoring Port.

Ich hab halt keinen Bock hier rumzuraten, wenn das Paket zum Analysieren nicht da ist.

Wie mein Vorposter schon schreibt, was macht das Log? Schraub mal die Loglevel bisschen rauf!

Repliziert ihr? Wird eine Policy angewandt?

Ich glaub nicht, daß das ein Dominoproblem ist. Für mich sieht das schon nach DNS, Reverse Lookup o.ä. aus.

Update:
Ich lass grad Wireshark auf meinem Testserver laufen und solang ich nicht vom Client zugreife, wird auch kein Netzwerkpaket ausgetauscht!

Update2:
Diese winzigen Pakete dürfen die Verbindung auch nicht so stark bremsen. Habt ihr mal geprüft, ob hier vielleicht die Teilnehmer Probleme haben, Full duplex, Half Duplex auszuhandeln?

Titel: Re: Performance Domino
Beitrag von: MartinG am 05.11.08 - 17:44:08
Bevor es gleich ganz tief ins Detail geht, würde ich als erstes Mal ein paar ganz banale Tests machen, z.B. von einem Client die D-Festplatte des Dominoservers mounten und mit TotalCommander ein 100MB File rüberkopieren. TotalCommander zeigt ja die ungefähre Speed an. Alternativ mit NetCPS die Speed messen....

Dies würde ich mal bei der C-Festplatte des Dominoserves machen (diese hängt wenn ich das richtig verstehe ja direkt im Server drin) und auch mal bei der Datenpartition (die wenn ich das richtig sehe im SAN hängt). Habt Ihr ungefähr ähnlich gute Werte? Ich tippe auch nicht auf ein Dominoproblem, sondern auf ein Problem SAN/DNS/Routing....



Titel: Re: Performance Domino
Beitrag von: hallo.dirk am 05.11.08 - 18:34:27
Zu SAN fällt mir noch folgendes ein:

Welches Raid wird gefahren?
Ist das SAN durch andere Server gar ausgelastet?

Titel: Re: Performance Domino
Beitrag von: Manfred.Gipp am 06.11.08 - 10:19:57
Ich werde bei Client die LOG Einstellungen höher schrauben.
Console_LogLevel=2 hatte ich schon so.
Die anderen mal eingeschaltet.
Jetzt muss ich mal ein wenig das LOG beobachten.
Das mit dem spiegeln des Ports ist etwas aufwändig, aber eine gute Idee. Werde ich auch noch einbauen, wenn ich den richtigen Laptop/PC dafür rausholen kann.
Zu den trivial-Tests:
1MB Übertragung: 1 Sekunden
10MB Übertragung: ca. 2 Sekunden
40MB Übertragung: ca. 4 Sekunden
60MB Übertragung: ca. 6 Sekunden
Die Tests mit TotalCommander oder NetCPS werde ich noch machen.
Sieht glaube ich nicht so ganz schlecht aus. War aber eine gute Idee.
Zum SAN:
Da wird RAID5 gefahren.
Es greifen derzeit noch andere Server auf das SAN zu, aber die Schnittstelle langweilt sich. Da tut sich nicht besonders viel.
Zu Domino:
Da wir einen Cluster haben wird natürlich kräftig zwischen den Servern repliziert. Aber auch zu anderen Servern wird replziert, aber nicht die großen Dokumentendatenbanken oder die Maildatenbanken.
Zur Schnittelle beim Client:
Schnittstellen der Teilnehmer sind geprüft. Laufen alle auf Full Duplex 100MBit.
Einen kleinen Flaschenhals gibt es aber hier. Der Client hat sein Datenverzeichnis auf einem Netzwerklaufwerk. Heimverzeichnis (Laufwerk) des Benutzers. Ich habe noch keine bessere Möglichkeit gefunden Roaming Users zu verwenden. Aber auch mit lokalem Datenverzeichnis ist es nicht deutlich schneller.
Zum Routing:
Wenn es ein Problem mit DNS/Routing ist, dann bleibt mir nichts anderes als nocheinmal an das sniffen der Pakete zu gehen. Ist aber etwas aufwändiger und braucht zum Einrichten Zeit.
Titel: Re: Performance Domino
Beitrag von: hallo.dirk am 06.11.08 - 10:24:53
Zitat
Da wird RAID5 gefahren.
Das muss nun nicht unbedingt direkt etwas mit Deinem Problem zu tun haben, generell kann man aber sagen:  Raid 5 ist nicht unbedingt optimal für einen Domino Server.
Titel: Re: Performance Domino
Beitrag von: Manfred.Gipp am 06.11.08 - 10:41:00
Das mit dem RAID5 weiß ich. Da aber durch das SAN die direkte Ebene zu einem RAID vom Betriebssystem ferngehalten wird und wir die Ausfallsicherheit brauchen, bleibt mir hier nichts anderes. Aber auch hier werden wir in den nächsten Wochen etwas größers verändern.
Das sollte trotzdem das System nicht so verlangsamen.
Titel: Re: Performance Domino
Beitrag von: Manfred.Gipp am 06.11.08 - 10:48:34
Update zum LOG:
Das wird jetzt riesig. Verständlich.
Da sehe ich einige Errors, soweit ich das beurteilen kann.
Code
06.11.2008 10:41:58,86 [0B60:0002-0E8C] TCPEndp_HandleErr> TCP/IP transport driver error function code: 1507h Stack Err: 10035, NTI Err: 000Ch
06.11.2008 10:41:58,86 [0B60:0002-0E8C] TCPEndp_Rcv> exit hEndp: 182C0001h dwNtvErr = 00002733h
06.11.2008 10:41:58,86 [0B60:0002-0E8C] TCPEndp_Rcv> Exit: hEndp = 182C0001h dwNtvErr = 00002733h
06.11.2008 10:41:58,86 [0B60:0002-0E8C] cmd_rcv> exit
303 ms. [52+40410=40462]
Insbesondere dieser Error wird immer wieder gemeldet.
Kann jemand damit mehr anfangen als ich?  :-:
Update:
Nach dem Start von Notes stehen noch folgende LOG Einträge, die mir suspect vorkommen:
Code
06.11.2008 10:37:34,05 [0B60:0004-0AB4:newmail] TCPEndp_HandleErr> TCP/IP transport driver error function code: 1522h Stack Err: 10022, NTI Err: 100Bh
06.11.2008 10:37:34,05 [0B60:0004-0AB4:newmail] TCPEndp_GetNameInfo> x_getnameinfo[2] failed, dwNtvErr = 00002726h
06.11.2008 10:37:34,05 [0B60:0004-0AB4:newmail] TCPEndp_GetNameInfo> Exit Status 100Bh
06.11.2008 10:37:34,05 [0B60:0004-0AB4:newmail] my_ntoa> Exit Status 0000h
06.11.2008 10:37:34,05 [0B60:0004-0AB4:newmail] cmd_SendTranPvdrMsg> MAPADDRTOIPANDPORTSTR 10.205.58.116,4415
06.11.2008 10:37:34,07 [0B60:0004-0AB4:newmail] cmd_SendTranPvdrMsg> exit hEndp: 182C0001h wMsg: 1006h iError = 0000h
06.11.2008 10:37:34,07 [0B60:0004-0AB4:newmail] TCPEndp_HandleErr> TCP/IP transport driver error function code: 1522h Stack Err: 10022, NTI Err: 100Bh
06.11.2008 10:37:34,07 [0B60:0004-0AB4:newmail] TCPEndp_GetNameInfo> x_getnameinfo[2] failed, dwNtvErr = 00002726h
06.11.2008 10:37:34,07 [0B60:0004-0AB4:newmail] TCPEndp_GetNameInfo> Exit Status 100Bh
Titel: Re: Performance Domino
Beitrag von: MartinG am 06.11.08 - 11:36:28
Zitat
  Raid 5 ist nicht unbedingt optimal für einen Domino Server.   

Die Aussagen kenne ich auch - ehrlich gesagt halte ich das aber inzwischen für ziemlich überholt. In der heutigen Zeit von hochmodernen, komplexen Storagesystem ist RAID5 nicht gleich RAID5. Noch extremer ist es bei RAID1. In der Theorie wird natürlich ganz einfach auf beide Platten parallel geschrieben und auf einer gelesen. Bei den moderneren System hat sich hier IMHO sehr viel getan mit der Optimierung der Zugriffszeiten und viele RAID1 System übertreffen heute von der Performance her eine Einzelfestplatte....

Wenn Du einen Passportvertrag hast, dann würde ich jetzt an IBM die Logdatei durchmailen...
Titel: Re: Performance Domino
Beitrag von: Manfred.Gipp am 06.11.08 - 13:03:58
Hier ist ein Artikel von IBM über eine der Fehlermeldungen:
Code
You see the following error when you start a Lotus Domino 6 server running on a Solaris platform:

"TCPEndp_HandleErr> TCP/IP transport driver error function code: 1507h Stack Err: 11, NTI Err: 000Ch"

Or your users may experience problems such as connections failing when processing large attachments, slow performance, or hangs. In one case, client sessions were dropped by the server and users saw errors such as "no such session" or "server not responding" after a while of inactivity.

You might need to work with IBM Support to enable TCP debugging to see the complete error text.
Solution
This issue was reported to Quality Engineering and fixed in Domino 6.0.4 and 6.5.2.
 
Heißt also doch an IBM wenden? Aber eigentlich sollte das ab 6.5.2 spätestens erledigt sein. Wir nutzen 8.0.1 Server und 8.0.1/8.0.2 Clients
Titel: Re: Performance Domino
Beitrag von: m3 am 06.11.08 - 13:06:57
Sowas nennt sich "Regression Bug" und kommt bei IBM immer wieder vor. :D
Spätestens jetzt würde ich einen PMR aufmachen (und nix von den Data-Verzeichnissen am Fileserver erzählen).
Titel: Re: Performance Domino
Beitrag von: Manfred.Gipp am 06.11.08 - 13:13:17
Da musste ich doch mal lachen, bei der letzten Aussage. Aber den PMR werde ich demnächst aufmachen.
Hier gibts einen Link zu einer Diskussion, die, wie mir scheint, genau mein Problem disktutiert.
http://www-10.lotus.com/ldd/nd6forum.nsf/0/51002e4d8eb72bdf85256eef00269f7d?OpenDocument (http://www-10.lotus.com/ldd/nd6forum.nsf/0/51002e4d8eb72bdf85256eef00269f7d?OpenDocument)
Das ist eine ziemlich lange Diskussion......
Und noch so eine:
http://www-10.lotus.com/ldd/nd6forum.nsf/55c38d716d632d9b8525689b005ba1c0/c143a0496a29428385256d5a00539c5f?OpenDocument (http://www-10.lotus.com/ldd/nd6forum.nsf/55c38d716d632d9b8525689b005ba1c0/c143a0496a29428385256d5a00539c5f?OpenDocument)