Mail Problem: sämtliche Mails verschwunden (auch in "alle Dokumente")

[Rooky]

Hallo zusammen,

ich habe folgendes Problem mit einer Maildatenbank:

Über Nacht sind sämtliche Mails in Eingang, Ausgang, alle Dokumente sowie Kalendereinträge nicht mehr sichtbar. Einzig 10 Dokumente von heute werden in der Inbox angezeigt. Die Datenbankgröße von über 4GB lässt darauf schließen, dass die Mails noch da sein sollten, da auch der verwendete Plattenplatz mit 98% angegeben wird. Bei Erstellen einer neuen Kopie werden nur die 10 Dokumente mitgenommen und die Dateigröße ist entsprechend verringert.


Der User (der Geschäftsführer!) hat noch bis 01:30 Uhr gearbeitet, dann gingen der Datenbank die Einträge "verloren". Der User repliziert regelmäßig die Maildatenbank lokal auf seine Rechner (PC und Notebook). Da der User bereits über 10 Jahre mit Notes arbeitet (auch Administration) möchte ich simple User-Fehler (aus versehen löschen etc.) ausschließen. Über den Zustand der lokalen Replik ist mir im Moment leider nichts bekannt.



****************************

Weitere Informationen:
Domino Server 7.02 (nur ein Server => keine Server-Server-Replikation)
Maildatenbank 5.011
Client des Users: 5.011

Server Tasks:
ServerTasks=Replica,Router,Update,AMgr,Adminp,Sched,CalConn,RnRMgr,HTTP,maps,LDAP
ServerTasksAt1=Catalog,Design
ServerTasksAt2=UpdAll,Object Collect mailobj.nsf
ServerTasksAt3=Object Info -Full
ServerTasksAt5=Statlog

Nächtliche, tägliche Datensicherung (Veritas) (23:00-02:30)
Veritas meldete eine erfolgreiche Sicherung der Datenbank

*********************************

Da mir nur eingeschränkte Zugriffsrechte zur Verfügung stehen (Entwickler) konnte eine Aktualisierung der Gestaltung oder ein Wechsel der Schablone (5 oder 7) nicht durchgeführt werden. Auch die Nutzung eines Agenten zur Wiederherstellung der INBOX konnte nicht getestet werden.

Letzte Woche war mit der gleichen Datenbank ein ähnliches Problem, wobei hier die Datenbank nicht zu Öffnen war: Datenbank nicht vollständig initialisiert (keine Ansichten) => Replizieren um die Ansichten zu initialisieren. Gelöst haben wir das durch eine Rücksicherung.


Meine Frage: Wie / Woher kann ich die nicht mehr angezeigten Mails und Kalendereinträge sichtbar machen? Dauerhaft?


Meine ersten Ansätze:
- Update der Maildatenbank und der Clients auf 7 (User wollte noch nicht umstellen)
- Stoppen der Servertasks um 01:00Uhr (notes.ini)
- zeitliches verschieben der Datensicherung um 2 Stunden nach hinten


Gibt es noch andere Möglichkeiten?


Gruß,
Rooky

[m3]

1) Wenn du nur Entwickler bist, würde ich den Admin mit den notwendigen Rechten holen.

2) Wann wird wie gesichert?

3) Für mich klingt das so, als würde es da Probleme mit einer Replik der Datenbank ( am Client bzw. ganz pfui einer zweiten Replik am Server) geben.

Ich würde mal in diese Richtung bzw. hinsichtlich Überschneidungen mit dem Backup forschen.

[Glombi]

Ich würde zunächst mal prüfen, wieviele Dokumente in der Datenbank tatsächlich sind - und dazu die Datenbankeigenschaften aufrufen.

Andreas

[Rooky]

Hallo m3,

zu 1: Den Entwickler habe ich erst heute Nacht nach dem Problem erhalten (sonst kein Zugriff auf diese Datenbank). Die Admin Rechte habe ich erfragt, aber bis jetzt halt noch nicht erhalten.

zu 2: Die Sicherung wird durch Veritas 8 (eigener Server) durchgeführt. Gesichert wird auf Band. Die Sicherung wird auf File-Ebene durchgeführt, wobei auch aktive Dateien gesichert werden können (laut Sicherungs-Log war die DB aktiv und die Sicherung OK). Die Methode wird schon seit 5 Jahren eingesetzt und bislang gab es damit kaum Probleme. Sicherheitshalber habe ich die Sicherung mal um 2 Stunden verschoben, damit der User nicht während der Sicherung auf die Datenbank zugreift.

zu 3: Mein primärer Verdacht ist auch, dass das Problem durch eine nicht vollständige / korrekte Replikation hervorgerufen wird (Client -> Server). Evtl. auch durch die Nutzung von WLAN. Eine zweite Replik der Datenbank auf dem Server (domino) gibt es nicht. Seit letzter Woche (nach dem ersten Problem) jedoch eine frisch angelegte lokale Replik (Client auf Server), die jedoch auch sämtliche Mails & Kalendereinträge "verloren" hat. Die Replikationseinstellungen habe jetzt natürlich geändert, sodass diese Replik nur noch empfängt und nicht sendet.


Danke & Gruß,
Rooky

[Rooky]

Hallo Glombi,

in den Datenbankeigenschaften werden nur die 10 Dokumente angegeben, allerdings wird der Plattenplatz mir 4 GB und 98,8% Nutzung angegeben. Daher sollten doch die anderen Dokumente irgendwo noch vorhanden sein. In etwa ein ähnliches Problem wie bei einer "verschwundenen" Inbox bzw. deren Inhalt.

Gruß,
Rooky

[Glombi]

Eine Möglichkeit um schnell viele Dokumente aus einer Datenbank zu entfernen wäre, eine selektive Replikationsformel zu erstellen.
Bei der Replikation bleiben nur diejenigen Dokumente in der Datenbank, die der Replizierformel entsprechen.
Da würde ich auch dringend mal nachsehen. Insb. wenn der Chef ein Notes-Kenner ist, wäre es denkbar. U.u. wollte er seine lokale Replik kleinhalten, hat aber die Formel in der Maildatenbank auf dem Server eingetragen bzw. die Replizierformel lokal, dann aber den Haken "nicht replizieren" gesetzt.

n den Datenbankeigenschaften werden nur die 10 Dokumente angegeben, allerdings wird der Plattenplatz mir 4 GB und 98,8% Nutzung angegeben. Daher sollten doch die anderen Dokumente irgendwo noch vorhanden sein.

Es sind dann nur die 10 Dokumete da. Der Platz soweie Nutzung sagt da mal wenig aus, da Notes den Platz nicht verringert, ausser es wird entsprechend komprimiert.


Andreas

[m3]

1) WLAN würde ich als Problemquelle ausschließen, Wie soll das einen Enfluss auf die DBs haben

2) Würde ich auf das Backup als Problemursache tippen, nachdem ihr die Repliken anscheinend im Griff habt. Dafür würde auch sprechen, dass die DB "voll" ist, Notes aber nur 10 Dokumente erkennt.
"Offene Dateien" <> Notes-DB. IBM hat nicht umsonst die Backup/Transaktions-API eingeführt, mit der sich Backup-SW-Hersteller in den Domino-Server einklinken können. Also entweder den speziellen Domino-Agent verwenden, oder Domino vor dem Backup runter und nachher wieder hochfahren, wenn ihr auf File-System Ebene sichern wollt.

Server runter fahren, nsf-Datei auf OS-Ebene wegkopieren, sichern und auf einer Kopie mal ein Copy-Style Compact fahren habt ihr schon probiert?
Neue Replik der DB schon mal angelegt? Wie viele Dokumente sind dann sichtbar?

[ossigo]

Hallo Rooky,

guck Dir wegen des sehr naheliegenden Verdachts, dass die Sicherung schuld ist, mal folgendes durch, vielleicht trifft es das (u.a. mein Beitrag dazu):
http://atnotes.de/index.php?topic=37464.0


Jens

[Rooky]

Sorry, dass ich mich erst jetzt wieder melde, aber es gibt so Tage, da wollen alle möglichen Probleme auf einmal die sofortige Aufmerksamkeit.... 

Zurück zum Problem: Nachdem ich die Log.nsf auseinander genommen habe, bin ich auf folgendes gestossen:

06.12.2007 01:04:02   Performing consistency check on mail\user.nsf...

06.12.2007 01:04:59   Document NT00025AFA in database F:\Lotus Notes\Domino\Data\mail\user.nsf is damaged: Document has invalid structure
06.12.2007 01:04:59   Document (UNID OFD98D7554:61C637F5-ONC12573A8:00641F94) in database F:\Lotus Notes\Domino\Data\mail\user.nsf has been deleted
06.12.2007 01:05:06   Cataloger was unable to open database mail\user.nsf: This database cannot be opened because a consistency check of it is in progress.
....
06.12.2007 01:05:57   Document NT00025B02 in database F:\Lotus Notes\Domino\Data\mail\user.nsf is damaged: Document has invalid structure
06.12.2007 01:05:57   Document (UNID OF8CC92981:3BE05569-ONC12573A8:006B3FF1) in database F:\Lotus Notes\Domino\Data\mail\user.nsf has been deleted


06.12.2007 01:06:01   Document NT00025B16 in database F:\Lotus Notes\Domino\Data\mail\user.nsf is damaged: Document has invalid structure
06.12.2007 01:06:01   Document (UNID OF2F9EF649:FBAEE737-ONC12573A8:00722793) in database F:\Lotus Notes\Domino\Data\mail\user.nsf has been deleted
06.12.2007 01:06:02   Updated database XXX.NSF in catalog
06.12.2007 01:06:02   Document NT00025B22 in database F:\Lotus Notes\Domino\Data\mail\user.nsf is damaged: Document has invalid structure
06.12.2007 01:06:02   Document (UNID OF98161F4D:3AEA925B-ONC12573A8:0076078A) in database F:\Lotus Notes\Domino\Data\mail\user.nsf has been deleted
......
......
Und schließlich:
06.12.2007 01:06:02   Rebuild UNID index in database F:\Lotus Notes\Domino\Data\mail\user.nsf
06.12.2007 01:06:15   Completed consistency check on mail\user.nsf
06.12.2007 01:06:15   Recovery Manager: Assigning new DBIID for F:\Lotus Notes\Domino\Data\mail\user.nsf (need new backup for media recovery).


06.12.2007 01:29:37   Router: Unable to retrieve mail filters from database mail\user.nsf; Invalid or nonexistent document
06.12.2007 01:29:37   Router: Message 0003037F, 00030368 delivered to User/domain from osbert@telia.com  Size: 4K Time: 00:00:00 Hop Count: 3
(diese meldungen verschwanden, nachdem gegen 01:43 erneu


Es scheint so, als hätte der Automatische Fixup einen Grund die Maildatenbank einem consistency check zu unterziehen.


Versucht der Fixup hier die Mail-DB zu "reparieren" mit Notes7 Strukturen (Mail-DB ist noch Notes 5.011)? Dann hätte Fixup dies aber schon viel öfter tun müssen.    Das automatische Fixup habe ich jetzt jedenfalls im Serverdokument deaktiviert.

Oder wurde eine "Beschädigung" der lokalen Replik kurz vor 01:04 auf den Server repliziert?
Wie der Client des Users aussieht (Datenbank, Replikationseinstellungen etc.) kann ich leider erst im Laufe des Tages erkunden.


Hier im Forum gibt es bereits einen ähnlichen Fall, welcher aber nicht ganz auf dieses Problem passt: http://atnotes.de/index.php?topic=34908.0




Meine "Strategie" zur Reanimierung der Mail-DB:

- Erstellen einer neuen (Notes7) Mail-Datenbank
- Kopieren sämtlicher Dokumente aus einer Rücksicherung in die neue Datenbank
- Versuchen mittels des Scripts "zur Wiederherstellung der Dateien in der Inbox" (Link fehlt mir gerade, wurde aber hier im Forum schon ein paar mal erwähnt) so viele Dokumente wie möglich aus der jetzt aktiven Mail-DB wiederherzustellen, mit dem Ziel den aktuellen Stand (im Vergleich zur Rücksicherung) herzustellen. Diese werden dann ebenfalls in die neue Datenbank eingefügt.
- Umstellen des Mailroutings auf die neue DB
- Umstellen der Clients auf Version 7.

Damit sollten "Altlasten" sowie die alte Notes5 Schablone / Datenbank nicht mehr stören.


WLAN: Ich hatte zunächst auch überlegt, ob bei einem WLAN (z.B. instabile Verbindung / Unterbrechungen) während einer Replikation eine Beschädigung verursachen könnte.

Backup: Während der Sicherung einer Datenbank, wird diese für Notes gesperrt. Das heißt, Mails werden nicht zugestellt und warten in der Mailbox. Danach jedoch werden diese wieder zugestellt. Laut dem oben eingestellten Auszug aus der log.nsf kollidieren weder Fixup noch der catalog Task mit der Datensicherung.

Was ich mir vorstellen könnte ist, dass die Sicherung während einer Replikation begonnen und somit die Datenbank gesperrt hat. => User erhält Replikationsverbot während dieser Zeit 


Das Anlegen einer neuen Replik oder auch Kopie haben keine Fortschritte gebracht.
Copy-Style compact hat auch keinen Erfolg gezeigt. Evtl. wegen der 5er-Schablone?


Sobald ich was Neues habe...

Gruß,
Rooky

[koehlerbv]

Die 5er Schablone kannst Du aussen vor lassen - da werden massiv Dokumente gelöscht, und das hat nichts mit der Schablone zu tun.
Hier behakeln sich Prozesse, und alles deutet darauf hin, dass es in die Richtung geht wie die von Jens verlinkten Fälle.

Bernhard

[m3]

Ich steig von meiner Backup-Theorie aber nicht runter.

Rooky, wie stellt Eure Backup-SW sicher, dass Domino alle Daten in das .nsf File geschrieben hat (caching!), bevor sie die Sicherung anwirft und die Datei sperrt?

Wann läuft die Sicherung (Uhrzeit)?


Eine wacklige Verbindung vias WLAN oder replizierende User können nicht solche Schäden versursachen. Wie man dem Log ja schön entnehmen kann, werden die Dokumente tatsächlich am Server gelöscht, weil das NSF-File einen Schaden hat.

Ursache dafür können meines Erachtens primär
1) Defekte Festplatten
2) Andere Prozesse wie Backup oder Anti-Viren SW auf dem Server sein, die nicht in Abstimmung mit Domino direkt auf die NSF-Files zugreifen
für das Log angeführte verhalten sein.

Ich würde in die Richtung forschen.

[Rooky]

Hallo Jens,

der Hinweis ist sehr gut und passt gut zu meinem Problem (siehe vorangegangenen Post)

Wir sichern mit Veritas und der Open File Option.
Wenn Mails zugestellt werden sollen, während die Datenbank gesichert wird, erscheint bei uns im Log auch die Meldung, dass die Datenbank gerade von einem anderen Programm genutzt wird. Einen Defekt als Folge hatten wir jedoch noch nicht. Kann natürlich auch nur unglaubliches Glück sein. Zumindest bis letzte Woche.

Tritt ein möglicher Defekt eventuell nur ab einer bestimmten Datenbankgröße auf? Die bei uns betroffene DB hat über 4GB. Andere Mail-Datenbanken liegen unter 2GB.



Im Moment gehe ich davon aus, dass ein Replizierversuch (während der Sicherung) den Defekt ausgelöst haben könnte. Den genauen Zeitpunkt der Replikation kenne ich leider noch nicht. Aber beide Male ging die Mail-Datenbank auf dem Server noch und danach war das Problem da.

Da fällt mir gerade auf: Wenn tatsächlich die Datenbank während einer Replikation durch eine Sicherung gesperrt wird, müsste doch eine Fehlermeldung auf seiten des Clients auftauchen? Muss ich mal prüfen.

Danke noch mal für den Hinweis,
Rooky

[Rooky]

Langsam komme ich nicht mehr hinterher mit dem Beantworten. 

der Hinweis von Jens trifft, wie bereits erwähnt, fast den Nagel auf den Kopf.

Einziger Unterschied: die Häufigkeit. "Wir haben immer mal wieder das gleiche Problem". Bei uns (zumindest bislang) gab es seit jetzt 5 Jahren nur diese beiden Fälle. Eine Maildatenbank, welche unter anderem die Info-Mails (info@...) erhält und somit mit SPAM gerade über Nacht zugedeckt wird, hat dieses Problem nicht. Nicht zustellbare Mails (bei Datensicherung) warten in der Mailbox und werden dann später zugestellt.


Damit sich nicht Prozesse gegenseitig stören (speziell während der Datensicherung) habe ich jetzt die täglichen Tasks "design" und "catalog" abgeschaltet und das automatische Fixup ausgeschaltet (was jetzt hoffentlich nicht zu den Problemen wie von Jens geschildert führt). Und damit nicht der User ausgerechnet während der der Zeit der Sicherung der Datenbank repliziert, ist der Beginn der Datensicherung um 2 Stunden verschoben worden (von 23:00 Uhr auf 01:00 => Sicherung Mail-DB des Users gegen 3:00 Uhr). Irgendwann muss doch mal für jeden Feierabend sein.

Rooky, wie stellt Eure Backup-SW sicher, dass Domino alle Daten in das .nsf File geschrieben hat (caching!), bevor sie die Sicherung anwirft und die Datei sperrt?

Das ist ein Punkt, den ich noch nicht bedacht habe: Start der Sicherung der Datenbank, während der Zustellung einer Mail. Ich werde mal die log.nsf diesbezüglich durchkämmen. Wie Veritas 8 sicherstellt, dass die Datenbank nicht gerade aktiv genutzt wird, müsste ich nachschauen.

Die Datensicherung begann bislang um 23:00Uhr, dauert ca. 4 Stunden und prüft dann nochmals 4 Stunden die gesicherten Daten. Wobei in der Gesamtdauer auch Daten außerhalb von Notes (Netzlaufwerke) beinhaltet sind. Notes selbst wird in der Zeit gesichert, in welcher das Problem auftrat.

Außer Domino (& Admin-Client) greift nur Veritas 8 (Open FileOption) durch Laufwerksfreigaben (natürlich nur für Veritas sichtbar) auf die Datenbanken zu. Virenschutz läuft auf unserem Gateway.

Die Festplatten auf dem Server sehen noch recht gut aus. Ausfälle andere Datenbanken / Dateien gab es noch nicht.



An dieser Stelle Danke für die viele Hilfe und die Weichenstellung zur genaueren Identifizierung des Problems.

Fazit: Untersuchen, wer oder was während der Sicherung der Datenbank auf die Datenbank zugreifen will. Oder auf die Datenbank zugreift und während des Zugriffs die Datensicherung beginnt und damit die Datenbank sperrt.


Gruß,
Rooky

[m3]

Tritt ein möglicher Defekt eventuell nur ab einer bestimmten Datenbankgröße auf? Die bei uns betroffene DB hat über 4GB. Andere Mail-Datenbanken liegen unter 2GB.

hmmm. Da stellt sich die Frage nach den beteiligten Betriebssystemen und Filesystemen. Wenn da wo noch FAT32 rein spielt, könnte das natürlich auch Probleme machen.

[koehlerbv]

Open File Option reicht aber doch für einen Domino gar nicht aus, hierfür ist doch der Agent for Domino Servers erforderlich!

Bernhard

[Rooky]

Sorry, da habe ich wohl was verwechselt / übersehen!
Natürlich haben wir den Agenten für Domino Server im Einsatz. Die Auswahl der zu sichernden Datenbanken geschieht im im "gleichen Fenster" 

Der Domino läuft auf Windows 2000 Server (SP4). Die Clients auf Windows 2000 bzw. Windows XP. Alle nutzen NTFS als Filesystem.

Den Hinweis auf die Dateigröße habe ich irgendwo gelesen. Es hieß, dass nur die beiden größten Maildatenbanken betroffen seien. Eventuell war's nur ein Zufall.

Rooky