Backupprobleme eines Lotus Notes Domino 8.5.x Servers (Windows 2003)

[fips]

Hallo,

wir haben vor kurzem einiges an de IT-Infrastruktur verändert. Unter anderem nutzen wir eigentlich nicht mehr Lotus Notes. Ich kennen mich mit Lotus Notes auch nicht weiter aus.

Allerdings ist der Server mit der Domino-Installation auch der AD DC und muss daher gesichert werden. Bevor die Lotus-Notes-Installation in den Ruhestand versetzt wird würde ich gerne noch ein Backup machen und herausfinden, was da schief läuft mit der neuen Backupsoftware.

Die alte Backupsoftware hat auch nur gesichert nachdem die Lotus-Dienste heruntergefahren wurden.

Vor jedem Backup fahre ich diese Dienste herunter:

Code

net stop "Lotus Domino Server (LotusDominodata)"  2>&1 >> %LOG%
net stop "Lotus Domino Diagnostics (DLotusDomino)"  2>&1 >> %LOG%
net stop "Lotus Notes-Diagnose"  2>&1 >> %LOG%

Dann erstellt die Backup-Software ein VSS Snapshot und fängt mit dem Backup der Schattenkopien an.

Das Pre-Backupskript startet nach erstellten VSS-Schattenkopien wieder die Dienste.

Ist das soweit ok für ein Lotus Notes Domino Backup?

Früher mit einem langsameren Backupserver dauerte so ein Backup auf LTO3 4 Stunden. Die neue Backup-Software mit neuer Backup-Server-Hardware (u.a. LTO5) benötigte anfangs noch 6,5 Stunden, inzwischen aber 18 und mehr.

Mir scheint, dass das eher an der Backupsoftware liegt, da diese inzwischen upgedated wurde.

Wie kann man den Flaschenhals finden, der dafür verantwortlich ist? Bzw. welche Benchmarks etc. könnte man hernehmen um dem Hersteller aufzuzeigen, dass es an der Hardware des Lotus-Domino-Servers nicht liegt (falls dem so ist). Der Domino Server läuft auf einem Partitioniertem Raid5 (C: und D:).

Gibt es eine gute Performance/Monitoring-Software, die man für entsprechende Benchmarks der Festplatte und des Netzwerkdurchsatzes empfehlen kann?

Das hier passt nicht ganz, da wir kein TSM nutzen und auch kein online Backup beabsichtigt ist:
http://adsm.org/forum/showthread.php?28133-Long-Backuptime-Lotus-Domino-Server

[Tode]

Einen Domino- Server herunterzufahren fürs backup ist eine ganz schlechte Idee... Nachts laufen sämtliche Reorg- Jobs im Domino, und die sind wichtig für die Systemgesundheit. Wenn man diese verhindert, indem man den Server runterfährt, dann geht es dem Server bald nicht mehr gut. Die einzig richtige Sicherungs- Strategie für einen Domino- Server ist das sichern mit einem speziellen Agenten für Domino.

Möglicherweise habt Ihr auf Eurem Domino in der Zwischenzeit DAOS aktiviert, das würde einen so massiven Anstieg der Sicherungs- Zeiten (u.U.) erklären... Aber an meiner ursprünglichen Aussage ändert das nichts...

[fips]

Hallo Tode,

vielen Dank für die Antwort. Vielleicht hat mein Anliegen auch gar nicht so viel hier im Forum zu suchen. Wie man unschwer erkennt kenne ich mich mit Lotus Domino Notes überhaupt nicht aus. Da das der gewechselten IT-Abteilung nur um Nuancen anders geht, und wir ein Unternehmen sind, das nur etwa 30 Mitarbeiter hat, haben wir auf ein anderes Mailsystem umgestellt, um es so besser administrieren zu können. Die Enscheidung steht hier erst mal nicht zur Debatte, hat aber mit der Komplexität des Systems und dem fehlenden Know-How zu tun.

Früher wurde der Server hier für 4 Stunden heruntergefahren, sehr gut möglich, dass die schlechte Performance des Servers daher rührt, wie Du nahelegst. Dann wurde der Mailserver in den letzten Jahren nie richtig gesichert, oder gar betrieben, was den Wechsel ja auch begründet. Ich nehme an das Potential wurde auch nur angekratzt.

Nur jetzt geht es gar nicht mehr. Die Serverhardware und Infrastruktur des File- und Backupservers ist zwar um Faktor 3 oder mehr schneller geworden, aber mit der neuen Backuplösung benötigen wir inzwischen an die 24 Stunden für ein Backup von 276GiB des altersschwachen Windows 2003 Servers auf dem Lotus Notes Domino läuft.

Deiner Information nach, sollte sich die Situation eventuell nach längerer Backuppause verbessern, durch die, dann durchlaufenden, compact- und ähnliche Wartungsprozesse, die für die Nacht vorgesehen sind, oder?

Ich kann mir trotzdem nicht so recht vorstellen, dass das nur mit der geänderten Serververfassung zu tun hat. Ich habe gestern mal aus dem DAOS-Verzeichnis ein über 20GiB Verzeichnis mit robocopy auf ein Netzlaufwerk kopiert, und eine 16GiB nsf Datei zum Vergleich. DAOS 12,9MB/s bei 15652 Dateien (22,86GiB, ~30min) gegenüber  *.nsf 15,7MB/s bei einer Datei (16,2GiB, ~17min). Beim Backup wartet der Backupprozess oft sehr lange auf Daten, oder schreibt mit annähernd 0B/s einzelne kleine Dateien. chkdsk /F /X /R  hat keine Fehler ergeben, und HD Speed ergibt 30MB/s für C: und etwa 60MB/s für D: (Lotus-Verzeichnis auf D:). Es handelt sich um ein 3Ware Raid5.

Der Lotus-Notes Server soll sowieso demnächst abgeschaltet werden. Ich hätte nur gern ein Backup mit gutem Status als Sicherung, und den Flaschenhals geklärt.

Im Vergleich sichert der selbe Backupserver einen Linux-Fileserver mit 2,8TiB in etwa 10 Stunden und in nur wenigen Minuten inkrementell.

Nur interesshalber: Welche Backup-Agenten ausser Tivoli gibt es denn für den Domino-Server, und welche sind zu empfehlen?

[Tode]

Ob die Sache mit dem Robocopy ein guter benchmark ist, weiss ich nicht, denn Deine Beschreibung weiter unten

Beim Backup wartet der Backupprozess oft sehr lange auf Daten, oder schreibt mit annähernd 0B/s einzelne kleine Dateien

deckt sich zu 100% mit meiner Erfahrung mit Backup und DAOS: Die zigtausend kleinen Dateien zwingen die Backup- Software permanent neu zu positionieren / einzulesen, was zu inakzeptablen Backup Zeiten führt...

Da Ihr keine Erfahrung mit Domino habt, gehe ich davon aus, dass Ihr DAOS mit Standard- Einstellungen eingerichtet habt, was bedeutet, dass unendlich viele kleine Dateien erstellt wurden, was das ganze weiter verschlimmert.

zu den Backup- Agenten: Eigentlich gibt es von jedem Backup- Anbieter einen speziellen Agenten für Domino, da habe ich weder Präferenzen noch spezielle Empfehlungen, vielleicht hat jemand anderes ja einen Tipp in die Richtung...

[fips]

Aber wie kann es sein, dass robocopy diese Probleme scheinbar(?) nicht hat? 1)
Außerdem fällt mir ein, dass der Lotus-Server, seit ich VSS nutze, ja nur etwa 5 Minuten, bis zur Erstellung der VSS-Schattenkopie heruntergefahren ist. Stört das die Wartungsaufgaben trotzdem so stark?

IBM spricht auch von the traditional method of making backup copies of files to tape or file server in Notes/Domino Best Practices: Backup & Recovery.

In Achieving ultimate storage and server cost savings with DAOS in IBM Lotus Notes and Lotus Domino 8.5 liest sich das eher wie ein Vorteil für die Backupdauer (habe den Artikel allerdings nur überflogen).

1)
Inkrementell sind es bei den DAOS noch 11,25 MiB/s stat 12,9 MiB/s (erster Lauf):

Code

-------------------------------------------------------------------------------
   ROBOCOPY     ::     Robust File Copy for Windows     ::     Version XP010
-------------------------------------------------------------------------------

  Started : Mon Oct 28 14:11:45 2013

   Source : D:\Lotus\Domino\data\DAOS\0003\
     Dest : Z:\DriveImageXML\yarcgui_temp\0003\

    Files : *.*
	    
  Options : *.* /COPY:DAT /NP /ETA /R:1000000 /W:30 

------------------------------------------------------------------------------

	               15653	D:\Lotus\Domino\data\DAOS\0003\
	    Newer     		  129369	000036764D1E73AC446BFD7E177675A704CBF8F80001F830.nlo
	    Newer     		  120122	00007A616C9BE4D18CAED44DBDDE3B7C08271CAE0001D411.nlo	14:12 -> 14:12
[...]
	    Newer     		   1.0 m	FFEF8D191233536C199F514DC148EA1F0DA9D584001167EA.nlo	14:46 -> 14:46
	    Older     		   3.9 m	FFEFF879B47CC3E70C262D599C0334B43F9BF756003FB617.nlo	14:46 -> 14:46
	    Older     		  890802	FFF990762100F412CABB716F3D148392DE127183000D9689.nlo	14:46 -> 14:46

------------------------------------------------------------------------------
                Total    Copied   Skipped  Mismatch    FAILED    Extras
     Dirs :         1         0         1         0         0         0
    Files :     15653     15418       235         0         0         0
    Bytes :  22.857 g  22.522 g  343.26 m         0         0         0
    Times :   0:35:05   0:34:10                       0:00:00   0:00:55

    Speed :            11794776 Bytes/sec.
    Speed :             674.902 MegaBytes/min.

    Ended : Mon Oct 28 14:46:50 2013

Man sieht, dass Lotus Notes fast alles verändert als DBMS, und nur 343,26 MiB übersprungen werden von den 22,9 GiB.

Allerdings war auch die zweite Sicherung der nsf-Datei mit 12,36 MiB/s etwas langsamer als beim ersten Lauf, möglicherweise war das System mehr belastet.

Trotzdem leuchtet mir nicht ein, weshalb die Backupsoftware so viel länger benötigt. Oder liegt es daran, dass sie Tape-basiert ist, und ich wäre besserr bedient Backup 2 Disk 2 Tape zu versuchen?

Ich werde mal das komplette Laufwerk D: als VSS per robocopy sichern. Mal sehen, ob es dann auch so in die Knie geht. Dann ein Bandbackup des Spiegels, ob dieser dann flott auf Tape gesichert werden kann.

Übrigens sind C: und vor allem D: stark fragmentiert.

Code

Volume (C:)
    Volumegröße                                = 24,41 GB
    Clustergröße                               = 4 KB
    Belegter Speicherplatz                     = 16,56 GB
    Freier Speicherplatz                       = 7,85 GB
    Freier Speicherplatz (%)                   = 32 %

Volumefragmentierung
    Fragmentierung gesamt                      = 23 %
    Dateifragmentierung                        = 46 %
    Speicherplatzfragmentierung                = 0 %

--

Volume Daten (D:)
    Volumegröße                                = 423 GB
    Clustergröße                               = 4 KB
    Belegter Speicherplatz                     = 257 GB
    Freier Speicherplatz                       = 166 GB
    Freier Speicherplatz (%)                   = 39 %

Volumefragmentierung
    Fragmentierung gesamt                      = 22 %
    Dateifragmentierung                        = 45 %
    Speicherplatzfragmentierung                = 0 %

[Wolfgang]

Außerdem fällt mir ein, dass der Lotus-Server, seit ich VSS nutze, ja nur etwa 5 Minuten, bis zur Erstellung der VSS-Schattenkopie heruntergefahren ist. Stört das die Wartungsaufgaben trotzdem so stark?

... die nächtlich ablaufenden Tasks starten standardmäßig zwischen 1 und 5 Uhr nachts.
Wenn Du also den Server z.B. um 23 Uhr für ein paar Minuten beendest, macht das im Normalfall nichts.

Aber ... Du musst zuvor schauen, ob nicht andere Dinge zu dieser Zeit laufen. Es wäre z.B. denkbar, dass jemand irgendwelche anderen Dinge mit einmal täglicher Ausführungszeit ausgerechnet auf diesen Zeitraum gelegt hat, z.B. bestimmte Agenten, Replikationen oder einmal täglich abzuarbeitende AdminP-Anforderungen. 

Gruß
Wolfgang

[Tode]

Hmm... Wahrscheinlich leide ich ja einfach nur unter Wahnvorstellungen, weil ich unter den Google- Suchbegriffen "DAOS backup slow" von so ziemlich jedem Backup- Hersteller Berichte finde, dass die Backup- Zeiten dramatisch angestiegen sind nach dem Einsatz von DAOS...
Und dass ich glaube, es hiesse in JEDER Recommendation (auch in der von Dir verlinkten, im übrigen funktioniert der Link nicht), man soll das Daos- Verzeichnis INKREMENTELL sichern, weil sonst die Backup- Zeiten ins unermessliche steigen ist wahrscheinlich auch nur meiner lebhaften Phantasie anzulasten..

Weil wenn robocopy schnell ist, dann KANN ja gar keine Backup- Software Probleme mit dem Kopieren von hunderttausenden kleinen Files haben...

Sorry, aber: ich bin damit raus und gebs auf.

[J Parlin]

... könnte Fragmentierung auch ein ( Performance-)Problem darstellen ?

[fips]

Welchen Vorschlag habt ihr denn, wie ich dem Problem begegnen kann ohne einen speziellen Domino Backup-Agenten zu bemühen, da wir Lotus ja nicht weiter nutzen wollen?

Außerdem bleibt für mich die Frage offen, weshalb die Backupsoftware noch vor zwei, drei Wochen 6,5h benötigte und nun 23,5h für ein und den selben Server. Deshalb vermutete ich als Ursache das Update der Backup-Software. Der veraltete Backup-Server mit einer anderen Backuplösung, die aber auch nicht speziell auf Lotus gemünzt war benötigte sogar nur 3-4h für das Backup.

Das soll ja nicht bedeuten, dass ich die Ratschläge von Dir, Tode, komplett in den Wind schlage. Erst mal stelle ich ja nur Fragen, vor allem auch, weil ich mich mit der Materie nicht auskenne und mich bei einigen Dingen wundere.

[Pfefferminz-T]

Wenn Du Deinen Domino Server herunterfährst, dann ist das eine ganz normale Dateisicherung, die ihr verwendet. Egal, ob ihr vorher einen vss-snapshot macht oder nicht, es bleibt derselbe Backupvorgang wie für einen x-beliebigen Fileserver. Auf Domino angepasste Backup-Software greift mit einem speziellen Notes-AddOn im laufenden Betrieb über die Notes-API auf die Daten zu. Aber das hat mit eurer Art zu sichern nichts zu tun.
Somit muss die Ursache bei Parametern wie Plattengeschwindigkeit, Anbindung und bei der Backup-Software gesucht werden. Domino hat dort keine Aktien mehr und ich würde an eurer Stelle mal den Hersteller der Backup-Software zu diesem Performance-Verlust befragen.

Gruß,
Thorsten