Das Notes Forum

Domino 9 und frühere Versionen => ND7: Administration & Userprobleme => Thema gestartet von: JFritz am 06.07.07 - 11:26:03

Titel: Erfahrungen mit Mail Archivierung per Policy
Beitrag von: JFritz am 06.07.07 - 11:26:03
Hallo zusammen,

ich habe eine serverseitige Mailarchivierung per Richtlinien auf einem 7.0.2-Server eingerichtet. Über die Erfahrungen möchte ich gerne berichten und diese zur Diskussion stellen. Es soll keine Archivierung im eigentlichen Sinne stattfinden, welche aufgrund gesetzlicher oder sonstiger Gründe notwendig ist. Es geht lediglich um Speicherplatzersparnis, bzw. Verlagerung aif "billigere" Systeme.

SETTINGS:

- Copy old documents into archive database; then clean up database
- Reduce the size of documents in the database
- Reduce attachments, leave summary and 40kb
- not modified in more than 3 month
- Inviews or folders: Docs with attachments

POSITIVE ERGEBNISSE:

Mails werden korrekt archiviert.

NEGATIVE ERGEBNISSE:

Die Anhänge werden aus dem Originaldokument kommentarlos gelöscht. D.h. der Benutzer greift aus seine alte Mail zu und findet keinerlei Hinweis darauf, dass da mal ein Anhang war. Der einzige Hinweis findet sich in der Ansicht in Form eines kleinen blauen Icons. Eine Lösung wäre die Masken zu ändern. Man müsste im Postopen auf das Vorhandensein des Feldes $$ArchiveDocLink prüfen und entsprechende Kommentare in die Mail schreiben. Diese Lösung halte ich aber aus verschiedenen Gründen (Änderungen der Originalschablone, Performance,...) für unpraktikabel.

Antwortdokumente von Mails mit Anhängen werden ebenfalls mit archiviert. D.h. es verbleibt das Original-Dokument in der Maildatei und es wird zusätzlich eine Kopie in der Archivdatei angegelegt. M.E. macht dieses Verhalten keinen Sinn. Es würde Sinn machen, wenn man das Originaldokument löschen würde, da in diesem Fall die Antwortdokumente herrenlos wären. So aber werden die Dokumente nur dupliziert. Statt Speicherplatz einzusparen wird zusätzlicher Speicherplatz belegt.

Die Policy greift nicht wie zu erwarten wäre bei der Maildatei des Benutzers dem diese Policy zugewiesen wurde. Sondern der compact task prüft die Maildateien daraufhin, wer der Mailfile Owner ist. Dann schaut er nach, ob dieser Person die Policy zugewiesen ist. Normalerweise ist dieses Verhalten ok, da idR. der Benutzer auch owner der eigenen Maildatei ist. Dies ist aber nicht immer so (bspw. bei Mailin-DB's).

FAZIT:

Ich kann aus den (ersten) Erfahrungen leider nur den Schluss ziehen, dass man diese Art der Archivierung kaum benutzen kann.

Wie sind Eure Erfahrungen?
Habe Ihr Lösungen oder Workarounds zu diesen Punkten?
Habt Ihr bezahlbare Tools als Alternative im Einsatz?

Viele Grüsse

J. Fritz
Titel: Re: Erfahrungen mit Mail Archivierung per Policy
Beitrag von: akogan am 07.09.07 - 11:34:21
-----------------------------
Titel: Re: Erfahrungen mit Mail Archivierung per Policy
Beitrag von: eknori am 07.09.07 - 13:09:33
Revisionssichere Archivierung?
Gibt es eine Anbindung an SAP?  ( Verknüpfung archivierter Mails mit einem Businessobjekt )
Wer kann auf die archivierten daten zugreifen? ( Wirtschaftsprüfer, GDPDU )
Gibt es die Möglichkeit eines Offline Archives? ( Mobile User )
Titel: Re: Erfahrungen mit Mail Archivierung per Policy
Beitrag von: akogan am 07.09.07 - 13:58:11
Hallo eknori,

Revisionssichere Archivierung? Ja, da die Mails liegen komprimiert auf die Festplatte und mit Kennwort versehen.

Gibt es eine Anbindung an SAP? ( Verknüpfung archivierter Mails mit einem Businessobjekt )

Notes Inhalte für weitere Verwendung werden angelegt in form von extra ini Dateien.
(NotesFeld=Inhalt des Feldes).
Für FullText Recherche kann der Inhalt von Body als Textdatei angelegt werden.
Die Anhänge können auch wahlweise im Original Format abgelegt werden.

Der Server-Task ist in der Lage externes tasks synchron zu starten und die Inhalte weiter an beliebige dritte zu übertragen.

Wer kann auf die archivierten daten zugreifen? ( Wirtschaftsprüfer, GDPDU )

Nur der Mail Inhaber und seine Vertreter.
Auf die Festplatte es ist verschlüsselt und von der Administratoren gesperrt.

Gibt es die Möglichkeit eines Offline Archives? ( Mobile User )

Vor eine Geschäftsreise holt der Mobile User seine Mails rein und repliziert mit seine lokale db.
An sonst keine Offline Lösung momentan.

Gruss
Alex
Titel: Re: Erfahrungen mit Mail Archivierung per Policy
Beitrag von: eknori am 07.09.07 - 14:04:15
Und wie sieht es mit Single Instance bei Anhängen aus ?
Titel: Re: Erfahrungen mit Mail Archivierung per Policy
Beitrag von: akogan am 07.09.07 - 14:08:34
Hallo eknori,

Single Instance???  ???

Gruss Alex

Titel: Re: Erfahrungen mit Mail Archivierung per Policy
Beitrag von: eknori am 07.09.07 - 14:10:16
jo, wenn du 2 Mails mit einem Attachment mit dem gleichen HashWert hast ( bitgleiche Attachments ).
Wie wird das dann bei dir abgelegt? Die Inhalte der Mails koennen unterschiedlich sein ...
Titel: Re: Erfahrungen mit Mail Archivierung per Policy
Beitrag von: akogan am 07.09.07 - 14:24:19
Hallo eknori,

die Mails liegen erst in unterschiedliche Verzeichnise.

c:\notesMails\User Name\Ordner Name\Zeitstempel + Thema(50)

Siehe ppt.

also ein Mail berührt nicht die andere.

Ein Mail ist ein Objekt samt seine Inhalte - da wird kein Hash berechnet.

Gruß
alex
Titel: Re: Erfahrungen mit Mail Archivierung per Policy
Beitrag von: akogan am 07.09.07 - 14:30:29
Hallo eknori,

da kommt ein Beispiel:
Titel: Re: Erfahrungen mit Mail Archivierung per Policy
Beitrag von: Thomas Schulte am 07.09.07 - 14:32:26
Hmm das ist dann aber ein Platzverschwender allererster Güte.

Nur so aus dem heraus was wir vor ein paar Wochen bei uns ermittelt haben.
Wenn man alle Attachments die mehrfach in den diversen Mail Datenbanken unserer Benutzer (nur in DE) einheitlich abspeichern würde, dann käme das einer Platzersparnis von (über alle Cluster Server hinweg gesehen) rund 1 TB gleich.

Klar sagt jeder Speicher kostet doch nix. 500 GB Festplatten gibt es doch schon für 100 €
Aber wenn man sich überlegt das alle Systeme auf diese Anforderungen hin ausgelegt sein müssen. SAN, Backup, Netz .....
Dann kommt da schon ein erklecklicher Betrag zustande wenn man mal eben den Speicher erweitern darf weil irgendwo eine Datei wieder 25 mal auf diversen Festplatten und in diversen Mail Datenbanken rumfliegt.
Titel: Re: Erfahrungen mit Mail Archivierung per Policy
Beitrag von: hallo.dirk am 07.09.07 - 14:41:11
Zitat von: akogan am 07.09.07 - 13:58:11
Hallo eknori,

Revisionssichere Archivierung? Ja, da die Mails liegen komprimiert auf die Festplatte und mit Kennwort versehen.

Ein Passwort verhindert aber noch lange keine manipuation des original Dokumentes.
Für mich ist das nicht Revisonssicher....

Zitat
Gibt es die Möglichkeit eines Offline Archives? ( Mobile User )

Vor eine Geschäftsreise holt der Mobile User seine Mails rein und repliziert mit seine lokale db.
An sonst keine Offline Lösung momentan.

Gruss
Alex

Der User nimmt offline die komplette Mail mit?



Für mich ist das ein HSM Tool....
Titel: Re: Erfahrungen mit Mail Archivierung per Policy
Beitrag von: akogan am 07.09.07 - 14:51:20
Hallo eknori,

habe ich schon darüber Gedanken gemacht.
Identische Mails die mehrfach verteilt werden, sollen mit administrative Mitteln strickt untersagt werden.

Da soll Mann nicht nur den Anhang mit Hash versehen sondern auch andere signifikante Mail Felder auch.
Das Thema ist schwierig und es gibt Situationen wo ich gerade 2 oder mehr gleiche Mails haben muß.
Dazu Mus man Relationale DB daneben haben um die Gleiche Anhäge zu verwalten (kostet auch was).

Nach meine Erfahrung mit archivieren auf FileNet, Easy, Windream H&S bin ich zu eine simple billige und einfache Lösung gekommen.

Es ist aber nach bedarf machbar umzusetzen.

Gruß

Alex



Titel: Re: Erfahrungen mit Mail Archivierung per Policy
Beitrag von: koehlerbv am 07.09.07 - 14:53:07
Ich denke, das Thema "Revisionssicherheit" können wir hier komplett streichen. Allein schon, wenn diese per Mail einer Archivierung zugeführt werden ... Kann eine Archivierung von Mails bereits bei Eingang und vor Zustellung in ein Mailfile archiviert werden? Können ausgehende Mails im Zustand bei Übergabe an den Router archiviert werden?

Weiterhin: Wenn ein Notes-Dokument (egal, aus welcher DB das stammt) derart im Filesystem abgelegt wird, dann gehen ja sackweise wichtige Informationen verloren.
Was passiert mit Textauszeichnungen? Was mit embedded images?
Können Dokumente auch zentral abgelegt werden anstatt auf lokalen Platten? Welche Rolle spielt überhaupt die Server-Task auf einem dedizierten Server, wenn die Dokumente dann auf einer lokalen Platte landen sollen?
Wenn ein Restore auch via Mail funktioniert: Wie kommen dann Dokumente in nicht MailIn-Datenbanken zurück?

Was mich am meisten stört (abgesehen von den No-No-Nos oben): Es muss in das Design der zu archivierenden Datenbanken eingegriffen werden, was oft gar nicht möglich ist.

Vielleicht helfen all unsere Anmerkungen hier Alex bei der Weiterentwicklung seiner Lösung, ich hoffe das zumindest. Allerdings würde das Endprodukt dann bestimmt nicht mehr "zu geringen Kosten" okönomisch anbietbar sein.

Bernhard
Titel: Re: Erfahrungen mit Mail Archivierung per Policy
Beitrag von: akogan am 07.09.07 - 15:00:04
hallo.dirk,

auch wenn der Passwort geknackt is die Datei mit keine Programm von der Festplatte zu lessen !!!

Offline:
Der User holt nur seine relevate Mail wieder und falls der User versätzt nach Süd-Amerika für ein Jahr bekommt er sein Verzeichnis auf CD-Gebrant (Oil Industrie).

Grüß
Alex
Titel: Re: Erfahrungen mit Mail Archivierung per Policy
Beitrag von: akogan am 07.09.07 - 15:14:57
Hallo Bernhard,

- zur Info, es gehen keine wichtige Informationen verloren.

- Jeder Design in Notes Umfeld wird vom Enwicklern angepast - sogar muss.
Die archivierte Mails liegen Zentral und nicht Lokal.

Wie kommen dann Dokumente in nicht MailIn-Datenbanken zurück?

Bei dieser Lösung wird der Mail an den Absender per Mail versendet.
Bei eine nicht Mail-In wird per Dokument Kopie versendet mit C-API mitteln. (da der Quell-DB bekannt ist).

Gruß

Alex
Titel: Re: Erfahrungen mit Mail Archivierung per Policy
Beitrag von: WernerMo am 07.09.07 - 15:17:41
Hallo,

Zitat von: akogan am 07.09.07 - 14:24:19
die Mails liegen erst in unterschiedliche Verzeichnise.

c:\notesMails\User Name\Ordner Name\Zeitstempel + Thema(50)


"Thema" als Teil des Pfadnamens zu verwenden ist sehr gewagt, wir wissen, was User alles in den Betreff schreiben. Da wird es mit großer Sicherheit sehr schnell zu Problemen kommen bei verschiedensten Zeichen und bei entsprechend langem Betreff ...

(Von der Platzverschwendung ganz zu schweigen)

Als weiterer Punkt wurde das Thema "Ausgeschiedene Mitarbeiter" noch nicht angesprochen.

Grüße aus Nürnberg
Werner
Titel: Re: Erfahrungen mit Mail Archivierung per Policy
Beitrag von: akogan am 07.09.07 - 15:28:04
Hallo Werner,

bei bedarf kann ich die Routine die das "Thema" filtert zu dir versenden.
Bei Microsoft beim Verzeichnis erstellen darf mann auch nicht alle Zeichen verwenden.
Es ist zu steuern mit passende WinAPI's.

Das "Thema" Feld kann auch weg gelassen werden aber es ist sehr hilfreich um auf die Festplatte zu rechechieren. Implementiert für Windream Archiv bei Deutz Köln.

bei Ausgeschiedene Mitarbeiter haben die NotesAdmins Zugriff auf der Mail-Client und auf seine archivierte Mails.

Gruß
Alex
Titel: Re: Erfahrungen mit Mail Archivierung per Policy
Beitrag von: WernerMo am 07.09.07 - 15:36:26
Hallo,

Die Frage wer darf/kann zugreifen ist mir noch zu schwammig,

oben steht:
Zitat von: akogan am 07.09.07 - 13:58:11
...
Wer kann auf die archivierten daten zugreifen? ( Wirtschaftsprüfer, GDPDU )

Nur der Mail Inhaber und seine Vertreter.
Auf die Festplatte es ist verschlüsselt und von der Administratoren gesperrt.

Jetzt schreibst Du:

Zitat
bei Ausgeschiedene Mitarbeiter haben die NotesAdmins Zugriff auf der Mail-Client und auf seine archivierte Mails

Und die Fragen mit der Prüfung durch "Externe" (Wirtschaftsprüfer, GDPDU ...) steht auch noch im Raum (bzw. im Gesetz)

Gruß Werner

PS Wie ist die Beziehung zu Windream?
Titel: Re: Erfahrungen mit Mail Archivierung per Policy
Beitrag von: akogan am 07.09.07 - 17:07:43
Hallo Werner,

wenn du auf mein Mail-DB via Notes Client zugreifen darfst und Rechte Dokumenten zu erstellen und löschen hast dann bist du in der Lage auch von mir archivierte Mails wieder zuerstellen.
Nur durch der NotesClient und der MailDB können archivierte Mails wieder gesehen werden sonst nirgendswo.

Auch der Wirtschaftsprüfer muß erst rechte haben oder?

p.S. Bernhard,
auch OLEs mit OpenOrg 2.1 lassen sich problemlos archivieren.
Bei wiederherstellen funktionieren die OLE's reibungslos.

Gruß
alex
Titel: Re: Erfahrungen mit Mail Archivierung per Policy
Beitrag von: WernerMo am 07.09.07 - 17:11:30
Hallo,

Danke, damit ist/sind meine Frage/n beantwortet.

Gruß Werner

---edit----
das heißt nicht, dass ich mit den Antworten zufrieden wäre, sondern nur, dass die Antworten mir zeigen, wohin es (bei dieser Lösung/diesem Lösungsansatz) geht.
Titel: Re: Erfahrungen mit Mail Archivierung per Policy
Beitrag von: koehlerbv am 07.09.07 - 17:15:56
Meine Fragen sind nicht beantwortet. Alex, kannst Du Dir diese bitte mal Frage für Frage vornehmen? Bevor hier dann Missverständnisse entstehen ...

Bernhard
Titel: Re: Erfahrungen mit Mail Archivierung per Policy
Beitrag von: akogan am 07.09.07 - 18:33:40
Hallo Bernhard


Ich denke, das Thema "Revisionssicherheit" können wir hier komplett streichen. Allein schon, wenn diese per Mail einer Archivierung zugeführt werden ... Kann eine Archivierung von Mails bereits bei Eingang und vor Zustellung in ein Mailfile archiviert werden? Können ausgehende Mails im Zustand bei Übergabe an den Router archiviert werden?

Der Trigger ist nur manuell.
Ich markiere die Mails in der Ansicht und drucke auf ein Knopf (Action oder Agent).

Während der Archivierung werden die Mails (Client seitig) in eine Datei Object umgewandelt. Alle Felder bleiben unberührt. Diese Datei werden als Anhang in eine Mail zur MailIN DB per Mail versandt. Der Anhang bleibt unberührt bis die Wiederherstellung statt findet, (auch Client-Seitig). Alle Attribute, Anhänge Farben, Objekte $Felder $$Felder etc. bleiben unverändert. Mehr Revisionssicherheit gibt es nicht in Notes!!!


Weiterhin: Wenn ein Notes-Dokument (egal, aus welcher DB das stammt) derart im Filesystem abgelegt wird, dann gehen ja sackweise wichtige Informationen verloren.
Was passiert mit Textauszeichnungen? Was mit embedded images?

Wie oben erwähnt keine Information geht verloren. 

Können Dokumente auch zentral abgelegt werden anstatt auf lokalen Platten?

Die werden nur zentral abgelegt und nicht lokal.

Welche Rolle spielt überhaupt die Server-Task auf einem dedizierten Server, wenn die Dokumente dann auf einer lokalen Platte landen sollen?

Der Server-Task überführt die Anhänge (Ursprungs-Mails) zentral auf die Festplatte.

Wenn ein Restore auch via Mail funktioniert: Wie kommen dann Dokumente in nicht MailIn-Datenbanken zurück?

Mail-DB ist ein spezielles Mail-IN DB auch.

Aus der Rumpf-Dokument der in mein Mail-BD bleibt weiß ich was zu holen. Also wird ein Mail versendet zur gleiche Mail-IN DB, der Server-Task schnappt es und sendet mir den Ursprung-Anhang zurück.
beim eintreffen der neue Mail wiederum durch ein Knopf-druck sehe ich mein Original Mail wieder.


Was mich am meisten stört (abgesehen von den No-No-Nos oben): Es muss in das Design der zu archivierenden Datenbanken eingegriffen werden, was oft gar nicht möglich ist.

Besonders die Mail-Templates sind leicht zu verändern, nicht um sonst der Code ist offen-gelegt.
Ich praktiziere es seit Jahren bei Großkunden und korrigiere Fehlern von Notes-entwicklern auch.

Bei Release-Wechsel wird die Mail Schablone neu angepaßt.

MfG
Alex


Titel: Re: Erfahrungen mit Mail Archivierung per Policy
Beitrag von: eknori am 07.09.07 - 18:41:38
Zitat
Auch der Wirtschaftsprüfer muß erst rechte haben oder?

Ja, das ist in anderen Programmen auch nicht anders. Letztendlich wird man aber für den Wirtschaftsprüfer keinen eigenen Account einrichten, da die GDPDU an keiner Stelle davon ausgeht, daß der Aussenprüfer sich an einen Rechner im Unternehmen setzt und dann munter anfängt zu recherchieren.

Das geht aus nachvollziehbaren Gründen sowieso nicht. Man denke nur an den CFO mit Personalverantwortung. Sitzt der Finanzbüttel selber vor dem Schirm, sieht er ja nicht nur die stezerrelevanten daten sondern auch n och Daten, die dem Datenschutz unterliegen.

Wenn ich mir die Lösung von Alex so ansehe und mir seine Erklärungen durchlese, so ist die Lösung sicherlich durchdacht und brauchbar.

Wie auch immer, bei uns werden wir eine andere Lösung einsetzen ...

Titel: Re: Erfahrungen mit Mail Archivierung per Policy
Beitrag von: akogan am 07.09.07 - 19:24:53
Hallo nochmal,

das wahr ein einflußreicher Freitag.

Gruß
und schönes WE
Alex
Titel: Re: Erfahrungen mit Mail Archivierung per Policy
Beitrag von: WernerMo am 10.09.07 - 11:06:55
Hallo,

was mich aber etwas irritiert an diesem Thread ist:
Die/der Ersteller/in des Threads hat sich nicht wieder "zu Wort" gemeldet.

Fühlt Sie/Er sich "erschlagen"?

Gruß Werner
Titel: Re: Erfahrungen mit Mail Archivierung per Policy
Beitrag von: akogan am 10.09.07 - 11:31:03
Hallo eknori,

was Single Instance betrifft, habe ich vor die Methode auch bei mir zu implementieren.

Gruß
Alex

Titel: Re: Erfahrungen mit Mail Archivierung per Policy
Beitrag von: darkfile am 14.09.07 - 17:55:29
Hi,
schade das die Diskussion so ein bisschen ins Off-Topic abgerutscht ist und wir nun alle versuchen akogans Selbstbau-Lösung runter zu machen (die mit Archiv-Policies wohl sowieso nicht wirklich was zu tun hat) :-:

Mit policybasierter Archivierung befasse ich mich nämlich aktuell auch.

Die serverbasierte Archivierung an sich läuft eigentlich auch hervorragend. Was Probleme macht, ist die Zuordnung der Policy zum Mailfile. Und zwar muss man mindestens einmal die Archivierungseinstellungen der Maildatenbank öffnen (egal ob mit meiner ID oder der BenutzerID). Dann erst wird die Policy assigned.

Code
load compact -a mail\btestuse
14.09.2007 16:41:40   Remote console command issued by Michael L/OU/OU/O: load compact -a mail\btestuse
14.09.2007 16:41:40   Archiving documents from mail\btestuse (BArchive _Testuser2)
14.09.2007 16:41:40   Server-based archiving not enabled on database mail\btestuse
14.09.2007 16:41:40   Compacting mail\btestuse (BArchive _Testuser2)
14.09.2007 16:41:40   Compacted  mail\btestuse, 512K bytes recovered (2%)
14.09.2007 16:41:40   Database compactor process shutdown

Nach öffnen der Archivierungs-Einstellungen (diese kann ich dann auch mit CANCEL wieder zu machen, ist egal):

Code
load compact -a mail\btestuse
14.09.2007 16:54:38   Remote console command issued by Michael L/OU/OU/O: load compact -a mail\btestuse
load compact -a mail\btestuse
14.09.2007 16:54:38   Archiving documents from mail\btestuse (BArchive _Testuser2)
14.09.2007 16:54:39   Pushing mail\btestuse.nsf to archive\a_btestuse.nsf
14.09.2007 16:54:40   Pushing mail\btestuse.nsf to archive\a_btestuse.nsf
14.09.2007 16:54:40   Archived mail\btestuse, 0 documents were archived and 0 were deleted
14.09.2007 16:54:40   Compacting mail\btestuse (BArchive _Testuser2)
14.09.2007 16:54:40   Compacted  mail\btestuse, 0K bytes recovered (0%)
14.09.2007 16:54:40   Database compactor process shutdown

Das steht natürlich fundamental der Aussage aus dem Ursprungspost entgegen, wonach die Policy anhand des Mailfile Owners vom Compact Task ausgewählt würde. Vielmehr scheint der erste, der die Archivierungseinstellungen aufmacht, die Policy des Owners unfreiwillig dort "reinzuschreiben" (editieren oder löschen hingegen kann man sie dann allerdings nichtmehr, ist auch gut so).

Ist halt ein wenig unschön, da normale User die Einstellungen eher selten bis nicht öffnen.

Weitere Erfahrungen?

Gruß und schönes Wochenende
Michael