De-Duplikation und Zusammenführung von Datenbanken

[Lars]

Ich habe ca. 500 LN e-mail Datenbanken von ca. 50 Personen (600GB), die je eine Monatsendsicherung sind. Diese Datenbanken sind zusammenzuführen, so dass alle e-mails einer Person in einer Datenbank liegen. Also aus 500 Datenbanken 50 Datenbanken werden.

Manuell bedeutet dies, dass ich die älteste Datenbank einer Person öffne (beispielsweise April 2000) und dann die neueren Dokumente aus den folgenden Datenbanken (Mai 2000 bis Juni 2001) jeweils inkrementell zufüge.

Dies gewährleistet, dass sich auch früher gelöschte e-mails wieder in der aufgebauten Datenbank befinden, sofern sie durch irgendein Monatsbackup gesichert wurden.

Da dieser Prozess zeitaufwendig und fehleranfällig ist, suche ich nun ein tool, dass mir diesen Prozess automatisiert.

Auch ein tool, welches alle Daten in eine Datenbank kopiert und danach - nach beispielsweise Bildung eines hash-Wertes jeder e-mail - alle Dupletten anhand des gebildeten hash-Wertes herausfiltert.

Hat irgendjemand eine Idee, ich sehe mich nämlich sonst bis Ende des Jahres nichts mehr anderes machen!

Grüße

Lars

[eknori]

Do könntest dir natürlich mit ein bisschen Aufwand einen Script Agenten schreiben, den du in die Zieldatenbank kopierst, und der dann nacheinander die anderen Datenbanken des Users pollt, und die Dokumente in die Zieldatenbank pullt.

Nächste Möglichkeit ist , einen Agenten zu erstellen, der in die Quelldatenbanken kopiert werden kann und über eine einfache Aktion die Dokumente in die Zieldatenbank pusht.
Diese möglichkeit hat den Vorteil, dass du nur die Zieldatenbank im Agenten ändern musst, wenn du die Daten eines anderen Users konsolidierst.

eknori

[widmaier]

Hi, ich erledige dies eigentlich immer mit antrid. Du bekommst das tool in der Sandbox.