Performanceprobleme seit Cluster

[ThermPro]

Hallo liebes Forum,

seit ca. 7 Monaten verwenden wir einen Notes Cluster und haben akute Performance Probleme, welche wir mit unserem alten "nicht Cluster" System nicht hatten.

Erstmal zu den Systeminformationen:

Vorher:
1 Notes Domino Server 8.5 auf einen Windows Server 2008 R2
Kein Cluster
Ca. 500 User/Postfächer
ca. 20 eigen entwickelte Applikationen.


Jetzt:
2 Notes Domino Server 9 auf Windows Server 2012 R2
Je VM 4 CPU & 16 GB RAM
Laufen im Cluster

Virtualisierungsumgebung ist Hyper-V

Die HomeServer von den Usern sind gleichmäßig verteilt.
Die Applikationen haben auf beiden Servern eine Replik und replizieren im Minutentakt.

---

Am Anfang war alles super. Wir haben uns vom Umstieg von 8.5 auf Version 9 viel erhofft. Unser System war wirklich verwuschelt.
Seitdem der alte Server off ist und alle Anwender auf den neuen Servern laufen, fing es anfänglich mit den "excessive load" Meldungen an.

Noch zur Info: 75 % der Anwender arbeiten noch mit dem alten 8.5 BASIC Client. Wir erneuern nebenbei unsere Terminalserver.
Die MA, welche auf das neue System umziehen, erhalten den 9er Standard Client mit der entsprechenden Schablone.

Seit 1 Monat ist es bei den Anwendern so schlimm, dass wenn Mails geöffnet werden, es eeeewig dauert, bis diese aufgeht & der Client friert ein etc.

Der availability  index immer bei 0 - max. 30 , wenn überhaupt - auf beiden Servern.

Der Windows Server hingegen langweilt sich. 20 % CPU Auslastung. max. 50 % RAM-Verbrauch.

Was haben wir gemacht:
- Schablonen bei den Postfächern durch die Standard Schablonen ausgetauscht, da dort viel mit OpenNTF gemacht wurde.
- Applikationen wurden durchsucht, ob irgendwo noch der alte Domino Server drin steht und ggf. versucht wird aufzurufen
- Virenscanner auf Servern deinstalliert.
- uvm.

Ich weiß, dass der AI kein wirklicher Indiz ist, aber die Anwender merken es spürbar, dass das System einfach nicht rund läuft.

Was ich nicht verstehe ist warum das System, was jetzt im Cluster läuft etc. schlechter läuft, als der eigenständige alte Server.

Habt ihr vielleicht noch Tipps, wo ich noch ansetzen könnte?

Gerade sind wir dabei, einen dritten Domino Server einzurichten, auf dem wir erstmal die Applikationen auslagern.
Wir hoffen auf eine Besserung,sodass die Mitarbeiter erstmal vernünftig arbeiten können.

Ich wäre wirklich über jeden Tipp Dankbar.

Viele Grüße
ThermPro

[Pfefferminz-T]

Welche Domino-Version/Featurepack/InterimFix?
Wie ist die Aufteilung der Platten, Partitionen? Wo liegen Datenverzeichnis, Transaction Logs, DAOS, Volltextindex?
16 GB RAM sind nicht gerade üppig in der heutigen Zeit.
Dann wie gross sind die Datenbanken, Applikationen bzw. Maildatenbanken? Wieviele Dokumente?

Replizieren minütlich im Cluster? Ich hoffe ihr habt das nicht in einem Verbindungsdokument eingestellt!!!!
Im Cluster erfolgt die Replikation über den Cluster Replicator für den es keine Verbindungsdokumente gibt.
Zusätzlich erstellt man ein Verbindungsdokument mit Intervall von 60 Minuten um alle Datenbanken im Cluster über den normalen Replikator zu replizieren, falls der Cluster-Replikator nicht hinterhergekommen ist.

Zudem würde ich sämtliche Einstellungen für den SAI (falls ihr da irgendetwas manuell setzt) mal entfernen.

Mit mehr Daten/Informationen kann man besser unterstützen

[ronka]

16 GB RAM ?
Das ist gefühlt und real zu wenig für 500 User.

Stell das mal auf 24 GB hoch (wenn es ein VM ist, dürfte das kein problem sein).

WENN der Replikation in Minuten takt läuft sorgt der für verzögerungen bei den Indexer und beim öffnen von dokumente.

Stell das mal auf 30 oder 60 Minuten runter und starte die machinen mal durch.

Ist es direkt nach den Start der Server bereits so langsam, oder wird es stätig langsamer ?

Gibt es ein VIRUSSCANNER auf den Domino Server ?

[ThermPro]

Hallo zusammen,

danke für eure schnelle Rückmeldung.

@Pfefferminz-T

Die Versionen sind auf beiden Servern gleich: Release 9.0.1 FP10 HF330 (IF4)
FP10 IF4 läuft auch erst seit 3 Tagen. Vorher war es FP9 IF2.

"Alles" liegt auf einer 2,5 TB Partition.
Installationverz. Datenverz. und DAOS
Außer das Logverz. liegt auf einer separaten Partition

Die Datenbanken haben alle einen Volltextindex. Bei den Postfächern nur eine Hand voll Leute.

Anbei die größten DBs:

1. DB -> 52 GB -> ca. 13.000 Dokumente (Datenbank für die Marketingabteilung)
2 . DB -> 50 GB -> ca. 500.000 Dokumente (Kundendatenbank)
3. DB -> 39 GB -> ca. 120.000 Dokumente  (Kundendatenbank)

Wir haben noch 5 weitere Datenbanken mit ähnlichen Größen/Anzahl Dokumente und der Rest ist dann unter 10 GB.

Zu den Verbindungsdokumenten: Ja es ist über eins eingestellt, dass er minütlich repliziert.

Das mit dem SAI werde ich dann mal überprüfen und setzen. Danke für den Tipp!

@Pfefferminz-T & ronka:
Zum Arbeitsspeicher: Ich könnte ja verstehen, dass 16 GB zu wenig sind, wenn diese immer voll ausgelastet sind. Aber das ist er nicht. Wie gesagt: Meistens nur 50 %. Wenn überhaupt. Muss ich dem Server irgendwo mitgeben, dass er sich mehr ziehen darf?!

Ja der Server ist direkt nach dem Starten langsam.

Ich werde das mit den Replikationsdokumenten angehen und euch eine Rückmeldung geben.

Danke!
Grüße
Eric

[umi]

Moin

Wo liegen die Daten auf dem Storage ? Beide Server auf dem gleichen ? Wenn die CPU nichts macht, könnte der Engpass am Disk Durchsatz liegen....

[Tode]

Das sind zu 100% Performance- Probleme der Platten. Die 16GB Speicher und die CPU- Anzahl sollte für diese Geringe Anzahl User völlig ausreichend sein: Wenn ein Domino- Server langsam ist, dann ist die Ursache fast IMMER die Platten.

Schau Dir mal die Plattendurchsätze im Perfomon an: Ich wette, dass die permanent im roten Bereich drehen!

[Gutierrez]

Moin ThermPro,

also meine Erfahrung ist, dass Domino in einer VM einfach nicht "performt". Die I/O-Leistung ist mega grottig. Gerade wenn noch andere VMs auf dem Storage herumhühnern, kommt es zu Wartezeiten.
Meine Erfahrung beruht auf XenServer mit Storage über iSCSI.

Ich persönlich finde echte Server mit 15k-Platten im RAID 0/1 besser.

Beste Grüße
Gutierrez

[(h)uMan]

Bezüglich Aufteilung der Platten schau mal

https://www.wissel.net/blog/2009/04/building-a-high-performance-domino-server.html
http://blog.nashcom.de/nashcomblog.nsf/dx/domino-with-netapp-storage.htm
https://www-10.lotus.com/ldd/dominowiki.nsf/dx/daos-best-practices

[stoeps]

Ich denke die VM sollte passen, lief ja vorher auch. Ich tippe der 1 minütige Replikationszyklus ist Schuld.

Der macht doch im Cluster null Sinn.

Lies dir mal bisschen Wissen zu Clusterreplikation an, die läuft erstmal automatisch bei Änderung. Da das aber im Hauptspeicher gesteuert wird, macht man noch zusätzliche Failover Replikation über Verbindungsdokumente. Das dürfte alle 60 min völlig ausreichen, ausser der Server starten andauernd durch oder stürzen ab.

Hast du auf der Console mal geschaut wieviele Replikationstasks parallel laufen durch diese komische Config?

Ich geb euch Recht, man muss Platten etc splitten ujd je nach SAN auch parallele VMs betrachten, aber wir reden hier von 500 Usern. Die haben wir vor paar Jahren noch mit 2-4 GB laufen lassen.

[stoeps]

also meine Erfahrung ist, dass Domino in einer VM einfach nicht "performt". Die I/O-Leistung ist mega grottig. Gerade wenn noch andere VMs auf dem Storage herumhühnern, kommt es zu Wartezeiten.
Meine Erfahrung beruht auf XenServer mit Storage über iSCSI.

Ich persönlich finde echte Server mit 15k-Platten im RAID 0/1 besser.

Das kann man so pauschal nicht sagen, muss man halt mal ne anständige Performance Analyse machen. Ich habe x Domino Server auf virtuellen Hosts ohne Probleme.

Bare Metal mit echten Platten ist einfach immer Overhead, sprich Kosten.

[Gutierrez]

Hallo stoeps,

deswegen schrieb ich ausdrücklich, dass es meine Erfahrung ist und was ich persönlich besser finde. Dazu darf ich auch noch sagen, dass ich für die Infrastruktur nicht zuständig bin :-)

Und wenn deine Erfahrungen anders sind, dann interessiert mich natürlich: Wie sieht eure (VM-)Umgebung aus? Kannst / Möchtest du mir ein paar Eckdaten nennen?

Beste Grüße,
Gutierrez

[Tode]

Das Problem ist ganz einfach: Die Virtualisierungs- Admins fragen die Domino- Admins: Wie viel Platz braucht ihr. Die Domino- Admins sagen dann irgendwas wie "1Terrabyte" oder so.
Große Datenmengen sind teuer, also krieegt der Domino- Admin den Speicherplatz aber auf den langsamsten (da billigsten) Platten, die irgendwo verbaut sind.

Damit hat man zwar dann den Platz, aber laufen tut so ein Domino damit nicht anständig. Der braucht richtig BUMS auf den Platten, genau wie jedes andere Datenbanksystem (Oracle, MS SQL, ...)...

Jetzt kann man einzelne Teile auf schnelle Platten auslagern, z.B. TRANSLOG, VIew- Rebuild- Dir, temp auf SSDs, Domino- Data- Directory auf langsameren Platten und DAOS auf dem langsamsten, was man so rumliegen hat, dadurch erhöht sich halt der Wartungsaufwand. Wenn man aber nix dergleichen tut, dann hat man eine Möhre von Server, ganz egal wie performant die Hardware darunter ist.

EDIT: Und wie bereits erwähnt ist ein 1 min Replizierintervall auch vollkommener Quatsch im Cluster, man sollte also u.U. mal noch schauen, was noch so alles aus Unwissenheit am Cluster verkonfiguriert ist (zu wenige Cluster- Replicator, zu wenige Update- Threads, FT- Thread nicht ausgelagert, etc.)

[ThermPro]

Hallo zusammen,

das deaktivieren der minütlichen Replikation ergab keine Besserung.


Zum Thema Storage:

Wir haben eine hochverfügbare Storage-Umgebung von Datacore SANsymphony

Dort haben wir eine Virtual Disk erstellt, diese an den Hyper-V Host durchgereicht und die entsprechende CSV erstellt.
In dieser CSV sind dann alle Partitionen angelegt. C, D (sämtliche Notes Daten), E (log)

Datacore erkennt, ob eine Virtual Disk stark verwendet wird und schwenkt diese dann intern auf die SSDs.

Leider haben wir nicht das Know How in der IT um folgende Frage zu beantworten.
Wir werden von einem Systemhaus betreut, wo ich noch auf eine Rückmeldung warte.

Macht es einen unterschied, ob ich eine Virtual Disk erstelle, darauf eine CSV und dann alle Partitionen oder sollte ich das besser aufteilen?
Wir wissen halt nicht, ob dies Performancemäßig einen Unterschied macht.
Also: Pro Partition eine getrennte CSV und dann sogar pro CSV eine getrennte Virtual Disk?!

Vielleicht habt ihr auch diesbezüglich einen Rat

Würde mich freuen.
Viele Grüße
ThermPro

[J Parlin]

Wie gut war euer Systemhaus bisher bei DOMINO-Problemen ?

Ansonsten vernünftigen DOMINO-Konsultanten anheuern !

[Manni Ciao]

Hallo ThermPro,

wir haben auch vor kurzem unsere Server geclustert und neue Servernamen vergeben.

Nach dem du schreibst: "Seitdem der alte Server off ist und alle Anwender auf den neuen Servern laufen, fing es anfänglich mit den "excessive load" Meldungen an."

Ich würde es mal mit einem Client probieren, bei dem die bookmark und die desktop8.ndk neu erstellt wurde.
Dann würde ich die Applikationen nochmals durchsuchen - auch in nicht mehr verwendeten Designelementen, vielleicht wurde der alte Servername übersehen  Es gibt dafür auch tools.

lg
manni ciao

[spookycoder]

Noch ein Tipp: Ist auf dem neuen Server auch die ODS-Version der einzelnen Datenbanken auf der aktuell neuesten Version? Hier gab es gerade bei den aktuellen Versionen viel Änderungen in Richtung IO-Performance.

Viel RAM hilft immer, Windows nimmt sich dann den freien Speicher und Cached damit die Disk-Zugriffe. Was auch noch ein Indiz auf IO-Probleme sein kann, ist es die Disk-Activity im Windows-Ressourcen-Monitor anzusehen, wenn die gegen 100% geht ist das schlecht.

lg

Harald

[stoeps]

Hallo zusammen,

das deaktivieren der minütlichen Replikation ergab keine Besserung.


Zum Thema Storage:

Wir haben eine hochverfügbare Storage-Umgebung von Datacore SANsymphony

Dort haben wir eine Virtual Disk erstellt, diese an den Hyper-V Host durchgereicht und die entsprechende CSV erstellt.
In dieser CSV sind dann alle Partitionen angelegt. C, D (sämtliche Notes Daten), E (log)

Datacore erkennt, ob eine Virtual Disk stark verwendet wird und schwenkt diese dann intern auf die SSDs.

Leider haben wir nicht das Know How in der IT um folgende Frage zu beantworten.
Wir werden von einem Systemhaus betreut, wo ich noch auf eine Rückmeldung warte.

Macht es einen unterschied, ob ich eine Virtual Disk erstelle, darauf eine CSV und dann alle Partitionen oder sollte ich das besser aufteilen?
Wir wissen halt nicht, ob dies Performancemäßig einen Unterschied macht.
Also: Pro Partition eine getrennte CSV und dann sogar pro CSV eine getrennte Virtual Disk?!

Vielleicht habt ihr auch diesbezüglich einen Rat

Würde mich freuen.
Viele Grüße
ThermPro

Also je mehr IO kanäle um so besser. Aber das ist alles ohne Logs stochern im Nebel. Da braucht man Logs! Perfmon der Disks, Domino Logs, evtl client clock der Clients. Ich hatte Fälle dass auch die SAN logs erst die Ursache lieferten.

Aber in der Theorie nicht ein LUN für alles, das  ist wie eine Disk und Partition.

Redundantes SAN laesst mich aufhorchen Ich hatte mal vor Jahren den Fall, dass die NSF auf einem Ausfallsicheren SAN lagen, die Config war, dass erst wenn beide SAN die Änddrung geschrieben haben (ein SAN stand einige KM entfernt) die Datei als geschrieben zum Domino gemeldet wurde. Das ist gut im Fall eines Crashs, da man sicher sin kann, keine Daten zu verlieren, aber performancetechnisch katastrophal.

Da kamen Zugriffszeiten mit 180ms raus, MS hat damals diese Kennwerte ab 20ms als zu langsam eingestuft. D.h. die config v.a. fuer Indices, translogs und Datenbanken muss auf schnell Platten.

Und das mitndas SAN schwenkt auf SSD wuerde ich pruefen. Perfmon und so.

deswegen schrieb ich ausdrücklich, dass es meine Erfahrung ist und was ich persönlich besser finde. Dazu darf ich auch noch sagen, dass ich für die Infrastruktur nicht zuständig bin :-)

Und wenn deine Erfahrungen anders sind, dann interessiert mich natürlich: Wie sieht eure (VM-)Umgebung aus? Kannst / Möchtest du mir ein paar Eckdaten nennen?

Sorry hatte ich überlesen.

Ich habe keine eigenen Server mehr.

War aber jetzt 12 Jahre als Consultant unterwegs und hab einiges gerade bei Performanceproblemen gesehen.