Sporadische Performanceprobleme ...

[Wolfgang]

Hallo zusammen,

wir haben hier seit einiger Zeit sporadisch Performanceprobleme beim Zugriff auf zwei Dominoserver. Das betrifft Mail, Datenbanken und HTTP-Zugriff. Sporadisch bedeutet, dass mal 2-3 Tage nichts zu spüren ist und dann wieder 3x am Tag und zu unregelmäßigen Zeiten. Dann passiert in Notes mehrere Sekunden, manchmal auch 30 und z.T. noch länger einfach nichts. Das kann auch ein Zugriff auf ein 3KB-Mail sein. Andere Anwendungen außer Notes antworten derweil normal.

Es kann beim Öffnen einer Mail passieren, beim Wechsel in eine andere Ansicht oder Ordner, beim Klick auf einen Link mit Verweis auf den Domino ... was auch immer.

Server stehen am gleichen Standort wie die Clients, Netzwerkauslastung ist unter 1%, CPU-Last, Speicherauslastung, Plattenzugriffe scheinen alle im ordentlichen Bereich und ohne nennenswerte Spitzen.
Client_Clock habe ich auf meinem PC mal aktiviert. Auch hier ist in der Regel eine Antwortzeit von nur einigen Millisekunden zu sehen, auch wenn ich in der Zeit 30 Sekunden warte. Was kann ich noch tun, um der Ursache auf die Spur zu kommen, zumal es ja völlig unregelmäßig passiert?

Beide Server wurden ursprünglich im Cluster betrieben mit jeweils einem Clusterserver, der nicht mehr existiert. Die Cluster wurden seinerzeit vorher aufgelöst und ich kann auch nicht erkennen, dass Server oder Client dorthin eine Verbindung aufbauen wollen. Auch trat das Problem nicht direkt nach Auflösen des Clusters auf, aber ich wollte es der Vollständigkeit halber dennoch mal erwähnen.

Hat jemand eine Idee zur Ursachenforschung?

Server laufen übrigens bzgl. Betriebssystem unverändert auf W2012 R2 und beim Domino auf 9.0.1 FP8, aber das Problem existierte auch bei FP7 und FP6 (häuft sich aber langsam).
Clients gibt es noch mit 8.5.x bis 9.0.1 FP8 - überall das Gleiche.

Gruß
Wolfgang

[koehlerbv]

Könnte da bei Euch im Netzwerk etwas herumspuken, was eine Trafficreduzierung durch Komprimierung erreichen will? Domino-Verschlüsselung versus beispielsweise eine von Riverbed?

Bernhard

[Tode]

Das klingt für mich stark danach, als ob Ihr einen Virenscanner habt, der da reinspuckt. Ist bei euch ein Virenscanner in Notes integriert (Eintrag extmgr_addins in der Client notes.ini)? Meine Erfahrung: meist wissen weder die Notes- Admins nich die Virenscanner Admins dass da was installiert ist... und ich habe noch keine Virenscanner- Extension gesehen, die Notes NICHT langsam oder sogar instabil macht...

[Wolfgang]

... in der notes.ini befindet sich ein solcher Eintrag. Der ist allerdings anders als früher (neue Scanengine?). Ich habe ihn mal entfernt, aber erfahrungsgemäß trägt der sich wieder ein. Da jedoch auch Browserzugriffe betroffen sind, dachte ich eher an ein Problem auf Serverseite. Ich werde es aber trotzdem mal beobachten.

Netzwerkkomprimierung haben wir nicht eingeschaltet. Die Verschlüsselung der Verbindung mit Bordmitteln ist aber aktiviert. Vielleicht schalte ich die mal versuchsweise aus ...

Gruß
Wolfgang

[Wolfgang]

Netzwerkkomprimierung haben wir nicht eingeschaltet.

... da hat mal jemand dran rumgespielt. Die Komprimierung war auch aktiviert ...

[J Parlin]

... sollte die Komprmierung nicht performance-fördernd sein, weil mehr Daten / Zeiteinheit übermittelt werden ?

[koehlerbv]

Aber nicht, wenn mit der falschen Methode bereits komprimierte Daten nochmals komprimiert werden. Dann wartet die Gegenseite auf die Antwort des Senders, von dort kommt auch was, aber es ist unverständlich, und man wartet weiter ...

Bernhard

PS: By the way - wenn man aus diesem Grunde beim Server die Komprimierung abstellt, muss man beachten, dass der Client seinerseits auch Komprimierung anfordern darf, was der Domino dann (trotzdem) auch brav befolgt.

[J Parlin]

.... sollte dann korrekterweise so aussehen:

[koehlerbv]

"Korrekt" hat aber hier nichts mit dem möglichen Problem zu tun: Wenn der externe Komprimierer Probleme mit den schon von Notes und Domino komprimierten Verkehr hat, dann führt genau diese Einstellung zu den beschriebenen Geraffel.
Weiterhin: Es reicht immer aus, wenn eine Seite Komprimierung anfordert, die andere Seite macht dann mit.

Bernhard

[Wolfgang]

... bei den Clients ist die Komprimierung deaktiviert, daher war das auch auf den Servern so eingestellt. An einigen Servern hat jemand "rumgebastelt".
Ich habe es jetzt wieder geändert und die betreffenden Server neu gestartet. Jetzt werde ich mal beobachten, wie es die nächste Zeit aussieht ...

Gruß
Wolfgang

[koehlerbv]

Jo, so etwas bedeutet immer eine Langzeitbeobachtung - und die Hoffnung, dass Aussetzer auch wirklich gleich gemeldet werden. "Schön" sind andere Aufgaben. Und es kann ja auch noch was ganz anderes sein ...

Bernhard

[Tode]

Sorry, Bernhard, aber mit einer Aussage liegst Du falsch: Bei der Komprimierung müssen BEIDE mitmachen... Bei der Port- Verschlüsselung reicht es, dass einer diese anfordert, dann muss der andere mitmachen. Trotzdem ist Deine grundsätzliche Antwort richtig. Netzwerk- Komprimierer können den Notes- Traffic richtig schön kaputt machen, wenn Sie auf Domino- Seite auf Port- Verschlüsselung oder Komprimierung treffen...

[koehlerbv]

Nix sorry - das war meinerseits wider besseren Wissens eine haltlose Unterstellung an die armen Domino-Server. Mea culpa.

Bernhard

[Norton]

Hallo Wolfgang,

habt Ihr zwischenzeitlich den Performanceschlucker identifizieren können? Wir haben aktuell ein ähnliches Phänomen, nur dass wir sehen, dass es sich bei uns wohl um die I/Os handelt, wir "nur" noch schauen müssen, warum diese auf den Maschinen so hoch sind (weniger User/Tasks als auf vergleichbaren Geräten ohne Warteschlangen).

Viele Grüße
Thomas

[ra.t]

Hallo Thomas,

versuche doch beim nächsten Problem mal eine Diagnose zu speichern.

Lotus Domino server hang or very bad performance issues:
Befehle an der Konsole eingeben:
Set config CONSOLE_LOG_ENABLED=1
Set config DEBUG_THREADID=1
Set config DEBUG_CAPTURE_TIMEOUT=1
Set config DEBUG_SHOW_TIMEOUT=1
Danach NSD.exe aus dem Domino Programmverzeichnis ausführen und mal die Supportfiles durchforsten, was auf dem Server aktuell läuft.

Iss nich von mir, iss von IBM.

mfg
Ralf

[J Parlin]

... kann hier Fragmentierung mit Reinspielen in dem Problembild ?

[Norton]

Hallo zusammen,

danke für die Hinweise. Ich möchte kurz unsere Lösung bekanntgeben. Bei uns sind die Server virtualisiert und die VMWare-Umgebung in Kombination mit W2K12 Servern haben bei einem Update Latenzen auf der Platte ausgelöst, die im SAN so nicht sichtbar waren, solange man sich nicht die konkrete Maschine jeweils angeschaut hat. Ein Fallback auf die vorherige VMWare Version und 1-2 weitere Optimierungen, in die ich nicht eingebunden war, haben das Performance Problem gelöst.

Viele Grüße
Thomas