Das Notes Forum

Domino 9 und frühere Versionen => ND6: Administration & Userprobleme => Thema gestartet von: digicube am 29.04.07 - 20:33:42

Titel: Speicherung eingehender und ausgehender Email - Drittprodukt
Beitrag von: digicube am 29.04.07 - 20:33:42
Hallo zusammen,

bei uns liegt derzeit eine Anfrage vor, dass alle eingehenden und ausgehenden Email gespeichert werden  sollen. Bei eingehenden Email muss dies passieren bevor sie den User erreichen. 
Diese gespeicherten Email sollen noch verschiedenen Kritieren abgefragt werden können zusätzlich sollten Aufbewahrungfristen definiert werden können.
Hiebei ist von einem Email Volumen von bis zu 4 Millionen Email pro Tag auszugehen.

Kennt einer von euch Firmen bzw. Produkte die sich mit einem solchen Thema befassen?
Bzw. hat jemand Tips?

Vielen  Dank im Voraus für eure Antworten.

Gruß

Christian
Titel: Re: Speicherung eingehender und ausgehender Email - Drittprodukt
Beitrag von: WernerMo am 29.04.07 - 20:48:11
Ja ich weiß, dass die Suite von Group auch dafür ein Modul hat, wir setzen das aber bei meinem Arbeitgeber (noch) nicht ein.
Weitere Infos hier
http://www.group-technologies.com/de/produkte/solutions/compliance.php

ich weiß, dass das wie Reklame aussieht, aber es ist eine Anwort auf Deine Frage. Und ich habe nichts mit dem Vertrieb (dieser Firma) zu tun.

Ich glaube Glombi hat auch ein Produkt im Portfolie, das so etwas auch kann.
Titel: Re: Speicherung eingehender und ausgehender Email - Drittprodukt
Beitrag von: digicube am 29.04.07 - 20:56:41
Hi,

danke für die Info.
Ich halte aber die IQ.Suite nicht brauchbar, da sie zwar die Möglichkeit bietet die Email zu speichern. Aber hier passiert dies erstmal primär in einer Notes Datenbank. Und da wir hier von einem Email Volumen von ca. 4 Millionen pro Tag reden, stoßen wir hier schnell an grenzen.
Ich gehe davon aus, dass eine Email min. 60 Tage gespeichert werden muss.

vielleicht noch weitere Tipps?

Gruß

Christian
Titel: Re: Speicherung eingehender und ausgehender Email - Drittprodukt
Beitrag von: WernerMo am 29.04.07 - 21:12:38
Sorry, das hatte ich oben überlesen, Wer lesen kann ist klar im Vorteil  ;D

Ich glaube die Kombination von 240 Mio eMails und Abfrage nach verschiedenen Kriterien (vermutlich noch für "einfache User") macht das Ganze ziemlich aufwändig. 
Titel: Re: Speicherung eingehender und ausgehender Email - Drittprodukt
Beitrag von: Driri am 30.04.07 - 09:07:50
Was ist mit dem Domino-internen Journaling (heißt glaub ich Mail-Aufzeichnung) ?

Man kann entweder in Abhängigkeit von Zeit oder Größe automatisch neue Journal-DAtenbanken erstellen, so daß man z.B. pro Tag eine Journal-DB erzeugen lassen kann.

Zu Vor- und Nachteilen kann ich allerdings nichts sagen, ich habe das noch nie getestet oder genutzt.


Edit : Sorry, ich hatte "Drittprodukt" überlesen. Falls das bedeutet, daß ihr das interne Journaling von vorne herein ausschließt, ignorier bitte mein Posting.
Titel: Re: Speicherung eingehender und ausgehender Email - Drittprodukt
Beitrag von: DigitDani am 30.04.07 - 09:39:07
Hallo Christian,

bei solch einem EMailvolumen, solltet ihr euch dringend professionell beraten lassen. Deine Beschreibung lässt durchblicken, dass ihr euch zu dem Thema Compliance Gedanken macht, allerdings passt diese Vermutung
Ich gehe davon aus, dass eine Email min. 60 Tage gespeichert werden muss.
nicht dazu. Eine Vorhaltezeit von 60 Tagen reicht (bei geschäftsrelevanten EMails) nicht einmal ansatzweise aus.

IMHO können eure Anforderungen durchaus mit einer Kombination einiger iQ.Suite Module von Group Technologies gelöst werden.
(Das sage ich nicht aus Werbezwecken, sondern weil Du Tipps möchtest und ich sonst keine anderen Produkte kenne, welche Deine Anforderungen abdecken könnten)
Evtl. noch IBM DB2 CommonStore in Verbindung mit dem Content Manager (dazu kann ich technisch aber nichts sagen).

Bei euch stellt sich vor allem noch die Frage:
Habt ihr bereits ein Archiv-System mit entsprechender Hardware im Backend stehen? (TSM, FileNet, SAPerion, ECM, NetApp etc.), in das ihr die EMails schreiben könnt? Die Lösung für die ihr euch entscheidet, sollte natürlich dieses System anbinden können.

Ihr werdet wahrscheinlich nur schwierig um das von Ingo erwähnte Journaling drum herum kommen (egal ob durch Domino in eine NotesDB oder durch Fremdsoftware wo auch immer hin). Aus diesem Journal-Datentopf können die Daten dann in das Archivsystem geschrieben und aus dem Journal wiederum rausgeworfen werden. Dies sollte bei eurem EMailvolumen recht zeitnah geschehen, was IMHO nach dedizierter Hardware nur für das Journaling schreit.

Ein ganz grobes Szenario, wie ich es mir vorstellen könnte:

1. Ein- und ausgehende EMails werden z. B. durch Dominofunktionalität in eine JournalDB geschrieben
2. In diese greift der Archivprozess ein, archiviert sie zeitnah und löscht sie gleichzeitig aus der JournalDB
3. Die JournalDB wird durch hochfrequente compacts bei einer akzeptablen Größe gehalten. Das geht auch während EMails hineinlaufen, ich habe es mal getestet.
3.1 Theoretisch kann man auch die Rolloverfunktionalitäten von Domino verwenden, jedoch erachte ich es als schwierig, diese periodisch erzeugten JournalDBs dynamisch und automatisch an die Archivierungslösung anzubinden. Auch sollten die JournalDBs nach erfolgter Archivierung wieder gelöscht werden, damit der Platz frei wird.
4. Die von Dir erwähnten, definierten Aufbewahrungsfristen (hier gibt es wie gesagt gesetzliche Vorgaben), können nur vom jeweiligen Archivsystem ausgewertet und umgesetzt werden. Die Archivierungssoftware könnte lediglich die EMails mit dem entsprechenden Flag dafür versehen.
5. Für Abfragen auf die archivierten EMails nach verschiedenen Kriterien (habt ihr einen Betriebsrat? :-P), muss dann die von der Archivierungslösung verwendete RDB herhalten (SQL, Oracle, DB2, was auch immer). Hier muss von Anfang an darüber nachgedacht werden, welche Indexwerte der EMails für die Auswertungen interessant sein können.






Titel: Re: Speicherung eingehender und ausgehender Email - Drittprodukt
Beitrag von: bodoF am 31.03.08 - 10:56:16
Hallo zusammen,
leider bin ich erst jetzt zu diesem Forum dazugestossen, aber das angesprochene Thema wird in vielen Firmen immer wichtiger. Deshalb erlaube ich mir einen Hinweis auf unsere Arbeit, denn die abonis GmbH beschäftigt sich intensiv mit Lösungen zur permanenten vollautomatischen und gesetzeskonformen Emailarchivierung.
In Deutschland ist dabei zu beachten, dass private Emails solange -auch vertraglich - nicht abbedungen werden können, solange es personifizierte Emailadressen gibt. Andererseits müssen alle geschäftlich relevanten Mails revisionssicher archiviert werden. Dies kann für externe Mails nur am Firewall nach aussen passieren, sozusagen an der elektronischen Poststelle.
Derzeit bauen wir für mehrere Firmen entsprechend gesetzeskonforme Lösungen, die einerseits externe Mails am "Firmeneingang" automatisiert dauerhaft archivieren und dabei private Mails erkennen und unbehandelt durchleiten und andererseits alle internen Mails genau beim Versand als Kopie ins Archiv legen, wie es u.a. für US-börsennotierte Unternehmen notwendig ist (Sarbanes Oxley).
Grundsätzlich wird bei unserer Lösung die Mail im SMTP-Format in einem völlig getrennten Archiv abgelegt, das mit Metadaten und Volltext über eine Suchmaschine zugänglich ist. Von einer Archivierung im Sinne einer regelmässigen Auslagerung der mail.box wurde uns von unseren Rechtsberatern abgeraten, da dies weder in der EU noch im amerikanischen Rechtsraum gesetzeskonform wäre, da hier noch zu viele Manipulationsmöglichkeiten bestehen.
Wer mehr wissen will, kann mich gerne ansprechen.
Liebe Grüsse
Bodo Frommelt
www.abonis.eu
Titel: Re: Speicherung eingehender und ausgehender Email - Drittprodukt
Beitrag von: blizzard am 31.03.08 - 12:32:52
wir benutzen die mailsafe von der group und dahinter commonstore mit conentmanager und db2 von ibm.
funktioniert 1A, allerdings hab ich auch kein volumen von 4mio am Tag an Hams.
Archviert werden die Mails 10 Jahre.