Archival TransLog: Wiederverwenden von Logs wann?

[Sascha Seipp]

Moin allerseits,

ich hab da mal eine Verständnisfrage: Wenn ich den archivierenden Modus der Transaktionsprotokollierung richtig verstanden habe, werden die TXN-Files doch von Domino wiederverwendet, nachdem laut Datensicherung ein Full Backup gelaufen ist, oder?

Ich habe (auf einem Server, wo nicht viel passiert, zum Testen) das archivierende TransLogging aktiv. Da gibt es jetzt TXN-Files mit letztem Bearbeitungsdatum (laut Windows) ab 17.01.2015 bis heute - seitdem liefen schon einige Full Backups. Sollte der Domino jetzt nicht langsam mal anfangen, die Dateien wiederzuverwenden? Oder macht der das erst kurz, bevor die Platte voll ist (oder dann doch nicht)?

Wir nutzen HP DataProtector mit Notes-Integration, und in den Logs des DataProtector sieht das eigentlich auch alles ganz vernünftig aus.

Kann ich irgendwo einsehen, ob die Files vom Backup als "kann wieder benutzt werden" markiert wurden?

Ciao
Sascha

[MCPvsTron]

Hallo Sascha,

definiere Full Backup. Du mußt unterscheiden zwischen der Sicherung der Notes DB`s und der TR-Files. Dies sind zwei völlig unterschiedliche Jobs. Nur wenn die TR-Logfiles gesichert werden passiert das von dir erwartete Verhalten. Ob das in eurem Fullbackup mit passiert kan nich nicht sagen, aber bei allen Backup Produkten die ich kenne sind das immer getrennte Jobs.

Viele Grüße

Christian

[umi]

Moin

Domino verwendet die TXN Files sobald diese das Archiv Flag gesetzt haben in den Dateieigenschaften.

[Sascha Seipp]

Hallo,

danke für die Rückmeldung.

@Christian: Ich war schon dran zu sagen "logisch, ist mir auch klar", aber da könnte tatsächlich der Hund begraben sein - ich betreue das Backup nicht selbst, und der Kollege hat mir zunächst mal nur die Logs des integrierten Backups, also der Notes-DBs, gezeigt. Ob die TXN-Files tatsächlich auch gesichert werden, muß ich nochmal hinterfragen.

@Urs: Danke, das ist dann ja recht simpel nachzuvollziehen. Aber um sicherzugehen: Laut Windows-Dateidialog bedeutet der Haken ja "File is ready for archiving". Nutzt Domino also die Files dann wieder, wenn der Haken drin ist oder wenn er draußen ist? Letzteres würde ja mehr Sinn machen, zumal die Backup-Lösung ja vermutlich eher den Haken rausnimmt, wenn das so nach der Microsoft-Benennungslogik passiert.
Und bei meinen TXN-Files ist der Haken drin, das wäre also dann auch passend.

Ciao
Sascha

[Tweeks]

Hallo Sascha,
ich hatte auch einmal das Problem, dass Notes die TXN-Files bei archivirendem Transaction-Logging nicht wieder überschrieben hat, obwohl die Datein schon das Archivierungs-Flag enthalten haben.
Dies lies sich dadurch lösen, dass ich den INI-Eintrag "Create_R85_Log=1" auf dem Server gesetzt habe.
Danach wurden die Dateien wieder überschrieben, allerdings völlig willkührlich (nicht etwa immer die älteste Datei).

MfG
Matthias

[Sascha Seipp]

Moin allerseits,

hab das Ganze mal mit meinem Backup-Admin nachvollzogen: es wurde bis dato wohl der MS Shadow Copy-Modus für's Backup genutzt, und damit klappt das mit dem Archiv-Flag so nicht. Nachdem das deaktiviert wurde, sieht es jetzt schon besser aus: eine Datei wird neu geschrieben und bekommt das A-Flag - sobald sie gesichert wurde, nimmt das Backup das A-Flag heraus und Domino weiß, daß es die Datei wieder verwenden kann.

Das ist jetzt auch schon ein paar Mal passiert, dennoch nehmen die TXN-Dateien in einem Maße zu, wie das eigentlich nicht sein müßte (ich würde erwarten, wenn Domino die Wahl hat, eine Datei neu anzulegen oder eine vorhandene zu recyceln, dann nimmt es erstmal die vorhandene?).
Im Moment hab ich ein Laufwerk von 20 GB für die Translogs (auf nem Testserver, der nicht viel macht). Davon sind knapp 7 GB mit Translogs belegt, wobei für einen Tag nicht mehr als 5 TXNs gebraucht werden (320 MB), und nach meinem Kenntnisstand machen wir mindestens einmal die Woche FullBackup.

Wie kann ich denn, davon ausgehend, daß der Start in diese Einstellung nicht ganz rund war, das Ganze nochmal bereinigen? Wenn ich den Server herunterfahre, kann ich die vorhandenen TXNs gefahrlos löschen, oder? (Von selbst macht der Server das ja nicht).

Ciao
Sascha

[Tode]

ALSO: Wenn Du den Server durchstartest, dann sollte er die "überzähligen" TXN- Files selbständig löschen. Im laufenden Betrieb werden einmal verwendete Files NICHT aufgeräumt, sondern nur bei Bedarf wiederverwendet (vorher umbenannt). Es gibt aber einen INI- Eintrag, der den Server dazu "zwingt", nicht nur beim Serverneustart aufzuräumen...

Ich finde aber gerade ums verrecken den INI- Parameter nicht. Werde den hier ergänzen, sobald ich ihn wiedergefunden habe.

Das hier ist mal lesenswert für Dich, besonders dieser Abschnitt:

When the log space is close to reaching capacity and the Domino server requires a new log file, Domino first checks its list of log extents that have already been backed up. It renames the TXN file with the next sequential number and then uses that file in the logging process. The Domino server does not delete any log files; it simply renames them, which saves valuable processing time.

EDIT: Da ist er ja, der Link: TRANSLOG_MAX_ARCHIVE_EXTENTS ist der "geheime" Parameter... und ist auch schon wieder anderthalb Jahre her, dass wir das hier hatten...

[Sascha Seipp]

Hallo allerseits,

mußte ja gerade mit Schrecken feststellen, daß dieses Thema hier schon ein halbes Jahr rumdümpelt, ohne daß ich mich wieder dazu gemeldet hätte. Leider ist's auch immer noch nicht ganz vom Tisch:

Das Wiederverwenden der Logs klappt jetzt - der Backup-Kollege hatte wohl schlicht vergessen, auch die TransLogs mit zu sichern.. Wir haben jetzt aber immer noch ein Problem, welches ich nicht recht verstehe. Nachdem ich mir die HP Data Protector-Config zusammen mit dem Backup-Kollegen nochmal angeschaut habe, haben wir jetzt folgendes konfiguriert: es sind sowohl die Datenbanken als auch die TransLogs im Backup-Job selektiert. Ein Full Backup läuft immer freitags um 18:00 Uhr, ansonsten täglich alle drei Stunden ein Incremental Backup.
Jenes Incremental Backup liefert aber jedes Mail für jede der DBs folgende Warn-Meldung:

[Warning] From: OB2BAR_LDBAR@<hostname> "<Domino server name>"  Time: 08/16/15 08:59:45
       Lotus Notes C API 'NSFIsNewBackupNeeded' returned error 1497: Function only supported for transaction logged databases.

Und es scheint auch so zu sein, daß deshalb das Point-In-Time-Rücksichern der DBs nicht klappt. Ich bekomme zwar den Stand des letzten FullBackups, aber nicht mehr. Da lautet dann der Fehler:

[0B68:0002-0C6C] comp = 11, fnc = 82, tracePt = 1023D000000 comp = 11, fnc = 49, tracePt = 10442200000 Logger Failure: Func=hlgScanLogBegin RC=0x00002015 File=rm\rmrest.cpp:1407
[0B68:0002-0C6C] **** DbMarkCorrupt(Database failed recovery.), DB=D:\restore\admin4.nsf  TID=[0B68:0002-0C6C] File=rm\rmresth.hpp Line=180 ***
[Minor] From: OB2BAR_LDBAR@<hostname> "<Domino server name>"  Time: 11.08.2015 11:49:17
   Lotus Notes C API 'NSFRecoverDatabases' returned error 5091: Recovery Manager: Error from Logging Subsystem..

Kann mir dazu evtl. jemand sagen, woher das kommt und wie man das abstellen kann?

Ciao
Sascha

[Pfefferminz-T]

Was sagt denn das "HP Data-Protector"-Forum zu den Logmeldungen des Produkts?

" Lotus Notes C API 'NSFIsNewBackupNeeded' returned error 1497: Function only supported for transaction logged databases."

Ist TL für die Datenbanken aktiviert?
Was sichert ihr inkrementell? Ich hoffe nur die TLs?
Falls ihr wochentags einen Compact -C oder Compact -B macht, dann wird normalerweise eine neue DBIID vergeben und ihr müsst dann ein Fullbackup der Datenbank(en) machen.

Gruss,
Thorsten

[Sascha Seipp]

Moin Thorsten,

das HP DP-Forum ist nicht so meine Welt :-) - der Backup-Kollege ist gerade im Urlaub, aber wenn er wieder da ist, ist eine Frage an HP sicherlich auch einer der nächsten Schritte, wenn wir es von der Notes-Seite aus nicht gelöst bekommen. Ggf. mach ich auch ein Ticket bei IBM auf, aber ich dachte mir, ich erfrage erstmal anderer Leute Erfahrungen.
Da die Meldungen ja scheinbar welche der Notes-API sind, könnte ich mir vorstellen, daß die HP-Fraktion damit weniger anfangen kann als die Notes-Experten.

Transactional Logging im Archived-Modus ist auf allen bis auf einer DB des Servers aktiviert. Die Unterscheidung zwischen Full und Incremental Backup in DP ist laut HP-Doku so gestaltet, daß ein Full alle DBs und alle noch nicht archivierten TransLogs sichert, wohingegen ein Incremental zunächst alle noch nicht gesicherten TransLogs sichert sowie die DBs mit neuer DBIID bzw. solche, bei denen ein konfigurierter Wert von Änderungen seit dem letzten Backup überschritten ist - im unveränderten Default sind das 64 MB. Letzteres ist mir zwar nicht ganz klar, weil ich zu dieser Option keinen Gegenpart in der IBM-Doku finde, aber es handelt sich um eine Option der Notes-Integration von DP, insofern unterstelle ich mal, die haben sich irgendwas Sinnvolles dabei gedacht.

Wir hatten bisher auf allen Servern ein Compact -B jeden Tag und ein Compact -C jede Woche konfiguriert. Für diesen Server hab ich das Compact -C deaktiviert und das andere in ein Compact -b umgebaut. Macht aber irgendwie keinen Unterschied.

Ciao
Sascha

[Pfefferminz-T]

Aber in den Datenbanken ist unter den Datenbankeigenschaften schon das TL aktiviert?

Gruss,
Thorsten

[Sascha Seipp]

Da gibt's ja in den Advanced Options nur den Eintrag "Disable transaction logging" - der Haken ist nicht gesetzt, bis auf jene eine DB - bei der dbdirman.nsf war ich mich nicht so recht sicher, ob man da TransLogging aktivieren sollte oder nicht.

Ciao
Sascha

[MCPvsTron]

Hallo Sascha,

korrekt in den einzelnen DB`s kann man das nur fallweise deaktivieren. Das du überhaupt TR-Logging benutzt wird im Serverdokument unter dem Reiter "Transactional Logging" aktiviert (in dem Fall das man die TR-Logs sichern will muss hier als Logging Style dann nicht "Circular" sondern "Archived" gesetzt sein).
Ich empfehle dringend mal die grundsätzlichen Funktionen nachzulesen:
http://www-01.ibm.com/support/docview.wss?uid=swg27009309
http://www-01.ibm.com/support/docview.wss?uid=swg27003543

Viele Grüße
Christian

[Sascha Seipp]

Hallo Christian,

danke für die Links, aber es ist jetzt nicht so, daß ich wild im Thema herumstochere - falls ich den Eindruck erweckt haben sollte. :-)

Ich habe mich in den letzten Monaten schon intensiv mit der Thematik beschäftigt und auch jene Doku schon durchgelesen - ich tu es aber gerne nochmal mit Fokus auf die aktuellen Probleme. Eigentlich war ich der Meinung, daß mittlerweile in Sachen Config alles rund sein müßte - offensichtlich ist dem aber noch nicht so.

Und diese Fehlermeldungen bzw. deren Treffer bei Google machen mich leider nur bedingt schlauer..

Ciao
Sascha

[MCPvsTron]

Siehe meinen letzten Edit. Der Logtyp ist auch wichtig.

[Sascha Seipp]

Moin,

hab mich jetzt nochmal durch die ganze Doku durchgearbeitet, inkl. der Slides von Daniel Nashed zu dem Thema vom letztjährigen AdminCamp. Da finde ich jetzt nix, was ich nicht bedacht oder konfiguriert hätte.

Ich hab jetzt auch eben mit dem "Backup-Urlaubs-Vertreter" nochmal ein Restore einer TL-DB versucht. Die Variante Point-in-Time zu einer Uhrzeit nach dem letzten Incremental Backup (also inkl. Verarbeitung der noch nicht gesicherten letzten Translogs, wenn ich das richtig verstanden habe) hat fehlerfrei funktioniert. Ein anderer Versuch unter Verwendung von gesicherten Translogs lief aber auch wieder auf einen Fehler.
Ich werde denn wohl doch mal mit dem Backup-Kollegen nach seinem Urlaub den HP-Support ansprechen.

Anbei übrigens die TransLog-Config meines Servers.

Ciao
Sascha