Domino Backup in VMware (VSS, Veeam, Vizioncore, cold, hot)

[papadave]

Hi,

hat jemand praktische erfahrungen,
wie domino auf Windows in einer Vmware ESX sich verhält,
wenn ich das Hot-Backup mittels der VSS unterstützung ziehe?

Also in einer klassischen ESX Umgebung mittels zB VRanger oder Veeam
den Domino-Gast snapshote und wegkopiere/repliziere? (ohne SAN)

Gibt auch in andren Forum leider noch keine konkreten Erfahrungen damit,
aber vielleichts hats doch schon weg getestet...

Oder arbeitet ihr alle mit Backup-Agents mittel Sicherung ausserhalb des Gasts?

David

[MartinG]

Die korrekte Lösung wäre sicherlich mit einer Backupsoftware mit einem entsprechenden Dominoagent das zu machen. Praktisch  ist so, dass die Dominodatenbank IMHO grundsätzlich in sich selber konsistent sind (im Gegensatz zu den meisten anderen Datenbanken), weshalb es vermutlich per Snapshot funktionieren sollte....

In unserer Tochterfirma wurde lange über VSS tägliche Backups auf dem Dominoserver gemacht und diese wurden bei Rücksicherungen verwendet und es hat wohl funktioniert...

So ganz wohl wäre es mir allerdings bei der Sache nicht...

[papadave]

funktioniert das bei denen da VSS oder geht das auch unter Linux (RHEL)?
In wie weit ist Domino in sich selbst konsistent? Zu jedem Zeitpunkt?

David

[papadave]

ich hab grad die pre- und post-snapshot scripte
der VMwaretools getestet:
http://pubs.vmware.com/vi301/backup/wwhelp/wwhimpl/common/html/wwhelp.htm?context=backup&file=vm_bug_vcb.4.22.html

damit wird der Domino-Dienst einen Moment gestoppt,
ein snapshot gesteckt und gleich wieder gestartet.

Somit ist die Konsistenz nun gesichert.

David

[MartinG]

Man kann natürlich den Domino-Dienst kurz anhalten. Eine wirklich schöne Lösung ist das ja aber nicht. Davon abgesehen ist der ESX-Ranger grundsätzlich eine gute Sache, nur nicht unbedingt zur Datensicherung vom Dominoserver...

Du willst ja in 99,99999999999% aller Fälle nur eine Email oder Datenbank wiederherstellen und keinen kompletten Dominoserver mit allen Datenbanken. Natürlich kannst Du mit dem ESX-Ranger das gesicherte File mounten und einzelne Files rauskopieren. Ab 50GB wird das aber sehr zäh und 50GB sind für einen Dominoserver nicht viel.

In unserer Firmengruppe setzte auch ein Admin komplett auf Vizioncore - als er dann eines Tages ein einziges File zurücksichern musste von einem Server (nicht Domino) hat das mounten des Backupimages 11h gedauert....

VSS funktioniert nicht unter Linux - dies ist eine reine Microsoft Technik die nur unter Windows 2003, Vista, Windows 2008 und eingeschränkt mit Windows XP funktioniert.

Zur Frage ist der Domino ist der Domino zu jedem Zeitpunkt konsistent kann ich natürlich keine absolut verbindliche Aussage machen. Ohne Transaction Logging dürfte Sie immer nur zu 99,999% garantiert konsistent sein...

[papadave]

Hi Martin,

vielen Dank für die Info. Würd gern eine generelle VMware/Domino-Backup-Diskussion
vom Zaun brechen, da ich grad in der Entscheidungsphase stehe,
doch das wär hier offtopic, denk ich.

Fürs erste werd ich mit Veeam die Domino-VM wie beschrieben sichern
und das Rücksichern einer DB testen. Da der DB und Mailrestore
nicht zum Alltag gehört (bisher 1 Mal in 6 Jahren), wärs für mich ok,
die VM zu mounten (wenns nicht gerade 11h dauer !!).

Da es in meine Sicherungs-'Landschaft' keinen Domino-Hot-Agent gibt,
wär alles andre auf Spazen geschossen.
Wenn auch denkbar, die Dominodaten zusätzlich zur VM nochmal ausserhalb
des VMDKs, und cold, zu sicher, bedeutet das wiederum doppelte Datenmenge.
... was aus oben genannten grund (momentan) nicht dafür steht.

Primär ist mir wichtig, bei Serverausfall und Desaster recovern zu können.

David

[MartinG]

Drüber diskuttieren ist doch okay - wäre im Infrastruktur Forum vermutlich besser aufgehoben, ich denke dass ist aber auch hier okay. Für mich ist das Backup vom Dominoserver auch ein Thema - in etwas anderer Hinsicht, da wir überlegen die Backupsoftware zu wechseln.

Eine andere Möglichkeit wenn Ihr als SAN eine NetApp einsetzt wäre nachfolgende:
http://www.netapp.com/de/library/technical-reports/tr-3588.html

Da wir als SAN eine NetApp einsetzen, bin ich schwer am überlegen ob das nicht ein guter Ansatzt wäre fürs Backup...

[papadave]

ja kenn ich - leider fehlt uns hier dazu noch eine NetApp

Für ein Filelevelbackup wärs einfachste,
den BackupExec auf eine Windows-Kiste zu installieren. (?)

TSM is für diesen einen Fall zu umfangreich.

Was einfacheres für nur ein Domino-Filelevelbackup
kenn ich bisher noch nicht...

David

[MartinG]

Mit was für einer Backupsoftware arbeitet Ihr denn sonst? Betreibt Ihr Euren ESX-Server ohne SAN? Wenn ja, dann halte ich das eigentlich nur für Kleinstfirmen als akzeptable Lösung, ansonsten geht ja bei defekter Serverhardware gar nichts mehr...

[papadave]

okay, erweitern wir den Thread auf Disaster/Recovery :-)

Betreibt Ihr Euren ESX-Server ohne SAN? Wenn ja, dann halte ich das eigentlich nur für Kleinstfirmen als akzeptable Lösung, ansonsten geht ja bei defekter Serverhardware gar nichts mehr...

genau aus dem Grund, betreiben wir noch keine SAN.
Denn was passiert, wenn die SAN nicht mehr will?
Brauchst min. eine 2. SAN räumlicht gut getrennt und gesynct.
Selbst in dem Fall ist Hand anlegen angesagt, wenn eine SAN fehlt
und ESX die Daten auf einer andren LUN sucht.

SAN virtualisieren (SANmelody, synphony, etc) wär eine Möglichkeit,
die für uns noch in in Betracht gezogen wird ($$$).

selbst falls mein redundant ausgelegter SERVER aufgibt,
kann ich den Gast auf dem Ersatz-ESX per Konpfdruck starten.
(Replik per Veeam oder Ranger gezogen).
Mit dem Datenstand von vor wenigen Stunden/Minuten.

Ist auch einfache nen ESX Server zu organisieren
als ein Ersatz-SAN.

Seh ich das falsch?

David

[MartinG]

Ehrlich gesagt:  Ja - das siehst Du IMHO absolut falsch. Wenn ich von einem SAN spreche, dann meine ich ein richtiges SAN, das in sich 100% komplett redundant ausgelegt ist. Ein zweites SAN an einem anderen Standort fängt dann noch z.B. ab wenn das Rechenzentrum abbrennt etc. Diese Situation kannst Du aber mit Deinem SingleServer Konzept auch nicht retten.

Ein NetApp SAN (natürlich mit zwei Filerköpfen (Controllern) als Cluster) oder was vergleichbar amtliches von EMC oder HP ist von der Ausfallsicherheit um ein vielfaches höher als ein SingleServer. Du hast ja nur redundante Festplatten, Netzteile und Lüfter und vielleicht noch redundantes RAM. In einem amtlichen SAN sind aber alle Komponenten, z.B. auch die RAID-Controller, Elektronik, Netzwerkkarten und natürlich auch Netzteile, Festplatten und Lüfter komplett doppelt ausgeführt.

Ganz ehrlich gesagt halte ich auch die Lösung mit der "Quasihochverfügbarkeit" mit einer ESX-Ranger/Veem Kopie für nicht akzeptabel. Dies ist eine Lösung für den Distaster/Recovery Fall, aber nicht für das alltägliche Leben. Was machst Du wenn Deine ESX-Hardware ausfällt wo Dein Dominoserver drauf läuft. Fährst Du den Dominoserver dann auf einem Ersatz-ESX Server hoch und sagst Deinen Kollegen: was Ihr in der letzten Stunde gemacht habt fehlt jetzt halt...

Ich persönlich würde in diesem Fall vermutlich eher die Servicezeit bis ein Hardwaretechniker kommt und z.B. das Mainboard am Server tauscht aussitzen. Anderer Fall: hast Du schon mal einen DC oder SQL-Server mittels ESX-Ranger/Veem wiederhergestellt...

Ich beschäftige mich seit Jahren mit Backup/DisasterRecovery Strategien, und möchte auf keinen Fall behaupten meine dass Meinung 100% richtig ist. Deine Argumente überzeugen mich aber noch nicht so ganz

[papadave]

Hi MartinG,

danke für deine Infos bzgl SAN. Bin froh, wenn mir jemand seine DR-Ansichten und Pläne
mitteilt, da ich noch recht neu in der SAN-Welt bin.

Anbei noch meine (derzeitige) Sicht der Welt

Ehrlich gesagt:  Ja - das siehst Du IMHO absolut falsch. Wenn ich von einem SAN spreche, dann meine ich ein richtiges SAN, das in sich 100% komplett redundant ausgelegt ist.

ja, klar. Aber bei nem Brand/Wassereintritt im Serverraum, und sei es nur durch eine defekte
Wasserleitung macht das keinen Unterschied :-)

Ein zweites SAN an einem anderen Standort fängt dann noch z.B. ab wenn das Rechenzentrum abbrennt etc.
Diese Situation kannst Du aber mit Deinem SingleServer Konzept auch nicht retten.

ja, das wär optimal! Doch der schritt von einem Singel ESX
zu einer gespiegelten SAN ist nicht in jeder Firma gleich bezahlbar.

Mein DR-Konzept für Arme sieht eine Replik auf einen ESX ausser Haus in entsprechender größe
vor, um zumindest vorläufig alle Dienste gleich wieder übernehmen zu können.

Ein NetApp SAN (natürlich mit zwei Filerköpfen (Controllern) als Cluster) oder was vergleichbar amtliches von EMC oder HP ist von der Ausfallsicherheit um ein vielfaches höher als ein SingleServer. Du hast ja nur redundante Festplatten, Netzteile und Lüfter und vielleicht noch redundantes RAM. In einem amtlichen SAN sind aber alle Komponenten, z.B. auch die RAID-Controller, Elektronik, Netzwerkkarten und natürlich auch Netzteile, Festplatten und Lüfter komplett doppelt ausgeführt.

Ganz ehrlich gesagt halte ich auch die Lösung mit der "Quasihochverfügbarkeit" mit einer ESX-Ranger/Veem Kopie für nicht akzeptabel. Dies ist eine Lösung für den Distaster/Recovery Fall, aber nicht für das alltägliche Leben. Was machst Du wenn Deine ESX-Hardware ausfällt wo Dein Dominoserver drauf läuft. Fährst Du den Dominoserver dann auf einem Ersatz-ESX Server hoch und sagst Deinen Kollegen: was Ihr in der letzten Stunde gemacht habt fehlt jetzt halt...

Ich persönlich würde in diesem Fall vermutlich eher die Servicezeit bis ein Hardwaretechniker kommt und z.B. das Mainboard am Server tauscht aussitzen. Anderer Fall: hast Du schon mal einen DC oder SQL-Server mittels ESX-Ranger/Veem wiederhergestellt...

Der Plan den Domino am ersatz-ESX zu starten kommt nur in einem sehr unwahrscheinlichen Fall
zum zuge. Wenns soweit kommt, ist ein Datenverlust von wenigen Stunden verkraftbar.

Hardwaredefekte (welche ich in 10 Jahren und 15 Servern noch keine relevanten hatte)
könnte ich zum größten Teil selbst beheben.
Ich betreibe alle Server vom gleichem Typ und lege einen neuen Ersatzteil-Server auf Lager.
Fällt eine Komponente aus, tausch ich sie. Oder stecke die Platten um.
(falls nicht zu viele HDD im gleichen Verbund ausfallen)

also ein cold-offsite-reduntanter Server 

Ich beschäftige mich seit Jahren mit Backup/DisasterRecovery Strategien, und möchte auf keinen Fall behaupten meine dass Meinung 100% richtig ist. Deine Argumente überzeugen mich aber noch nicht so ganz

Ich persönlich befass mich nur eingeschränkt damit,
und versuch mit bestem gewissen eine auch wirtschaftlich gute
'quasi-Verfügbarkeit' auch für mittlere private Betriebe zu schaffen.
Sobald wir die knapp 70 tEUR -100 tEUR für eine redundante SAN Lösung
auf der hohen Kante haben, ist natürlich klar,
dass wir damit eine höhere Verfügbarkeit erreichen. :-)

[MartinG]

Wir sind hier auch -ein schwäbischer, sparsamer- Mittelständler. Du kannst mit begrenztem Budget keine 100% Verfügbarkeit hinbekommen. Aber mit vertretbarem Aufwand eine sehr sehr hohe Sicherheit hinbekommen.

Damit wir uns nicht falsch verstehen:  die Wahrscheinlichkeit dass das Rechenzentrum abbrennt oder eine Wasserleitung alle Server absaufen lässt, kann man doch relativ kostengünstig abfangen und das Restrisiko minimieren. Wir haben bei uns eine Alarmanlage mit externer Meldung, und an dieser hängen einige Melder aus dem EDV-Raum:  Wassermelder (an drei Stellen), Rauchmelder, Temperaturüberwachung. Wenn im EDV-Raum ein Alarm auftrittt wird dies an eine externe Stelle gemeldet wo dann ein definierter Prozess der Alarmierung von Mitarbeitern von unserer Firma passiert (24h - 7Tage die Woche). Wir hatten mal einen Alarm als die Klimaanlage ausgefallen war...

Was wir noch zusätzlich machen, dass wir den Backupserver in einem anderen Brandabschnitt vom Firmengebäude haben.

Damit wäre mal diese Seite abgedeckt. Ein gespiegeltes SAN halte ich grundsätzlich für eine tolle Sache - brauchts aus oben genannten Gründen aber nicht zwingend. Ein in sich redundantes SAN, wie von mir im letzten Beitrag geschrieben, halte ich persönlich für absolut ausreichend und kann damit wunderbar gut leben.

Vom BSI gibt es den IT Grundschutz Katalog, was ich recht interessant finde...

[papadave]

Die Alamierung an externe Stelle ist eine gute Idee -
wird von uns bisher nur per SMS ans Handy gelöst.

Abschliessendes SAN-zweifelschürendes Beispiel:
Einem befreundeter Admin sind in einem
hochpreisigem SAN von einem (sehr) nahmhaften Hersteller,
8 Platten zu gleich im Verbund eingegangen. 

Bis geklär war warum, und ein Ersatz-SAN wieder mit
allen Daten gefüttert bereit stand vergingen einige Tage.

Spätestens seit dem schlaf ich besser, wenn ich von allen
relevanten Teilen ein Ersatz-Teil auf Lager hab,
was wiederum mit dem Schritt auf ein SAN,
nur noch beschränkt sinnvoll möglich ist (?).

Ich hab also noch Bauchschmerzen, mich auf die Unfehlbarkeit
eines SANs zu verlassen und rett mich bissl leihenhaft mit
Einzelservern durch die DR-Thematik :-)
Frei nach dem KISS-Motto...

Wär interessant wie andre IT-Verantwortliche hier das Thema angehen?

David

[(h)uMan]

wir hatten mal folgende Infrastruktur für den Betrieb von Domino:
MS-Cluster in einer aktiv/passiv Konfiguration mit zwei identischen Servern und Speicherung der Domino-Daten auf einem gemeinsamen Storage (FC-RAID-HBAs über FC-Hub zu FC-Diskshelf)
Backup über Legato Networker mit Domino-Modul (also Online Backup möglich)
Hat fein funktioniert, bis das FC-Storage seine Macken bekommen hat (ständig Platten ausgefallen, Daten wurde korrupt gespeichert, FC-Bus teilweise ausgefallen.

Nun haben wir:
2 identische Server, auf denen jeweils das Betriebssystem und Domino identisch installiert ist. Die Domino-Server laufen im Domino-Cluster.
Backup jeweils über Legato Networker mit Domino-Modul.

Was noch fehlt:
Failover-Lösung auch für die Domino-Dienste IMAP, POP3, HTTPS und SMTP

SG, Uwe

[papadave]

hatte auch einige Jahre einen Dominocluster am Laufen,
doch ich war nicht ganz glücklich damit.

war domino1 offline, suchten alle clientes min. 20 Sekunden nach
Domino1 bevor sie auf domino2 switchten. Retour detto.
Links der User verwiesen dann teilweise auf Dom2, manche auf Dom1...
Failover wie schon erwähnt, für SMTP, POP3 etc brachte ich  auch
nicht auf die Reihe.

Bin, offensichtlich, keine Domino-Guru,
doch ich fands etwas träge und intransparent.

Mir wär lieber, es gäb nur den Domino1 und der
rest vom Cluster läuft für die User im Hintergrund.
Hab auch den Eindruck, dass ein Cluster immer
mit Argusaugen gewartet gehört, da er die sonst früher
oder später um die Ohren fliegt.

David