Das Notes Forum

Domino 9 und frühere Versionen => ND9: Entwicklung => Thema gestartet von: bikerboy am 06.09.16 - 10:25:07

Titel: DWH mit NotesSQL ? [Gelöst]
Beitrag von: bikerboy am 06.09.16 - 10:25:07

Hallo zusammen,

Ewig nicht mehr hier gewesen. Habe aber nun mein Login wieder richtig erraten :D

Wir haben hier gerade ein Projekt das ein DataWarehouse aufbauen soll. Nun sollen halt grosse Datenmengen von Notes nach SQL geschaufelt werden. Dazu haben wir bislang 3 Ansätze. Mir geisterte noch das "NotesSQL" im Hinterkopf rum und dann habe ich mal gegoogelt und bin direkt hier drüber gestolpert. https://splearnings.com/2013/08/02/integrating-lotus-notes-to-sql-using-ssis/ (https://splearnings.com/2013/08/02/integrating-lotus-notes-to-sql-using-ssis/)

Bislang haben wir die folgende Ansätze

1. Domino Api calls wo die Daten per JSON ausgeben und dann weiter verarbeitet werden.
2. Agenten die CSV Dateien bereit stellen die dann per SSIS ausgelesen werden
3. Die Pumpe von Infoserve
(4. NotesSQL)

Anspruch ist halt die Daten auch zeitnah immer wieder frisch zu machen.

Ich persönlich fände Variante 1 bislang am besten, aber wie gesagt, wir sind in einer Findungsphase und ich freue ich auf die Diskussion.

Titel: Re: DWH mit NotesSQL ?
Beitrag von: Ralf_M_Petter am 06.09.16 - 10:47:24

Wenn du schon JSON haben willst, würde ich gleich die Domino Data Services nehmen. Dann kannst du dir die aufwendige Generierung der JSON Daten sparen.

Siehe http://www.everythingaboutit.eu/2013/03/aktivieren-des-rest-api-der-domino-data.html

Titel: Re: DWH mit NotesSQL ?
Beitrag von: bikerboy am 06.09.16 - 11:05:08

Sorry das meinte ich in Vorschlag Eins.. War undeutlich formuliert.

Titel: Re: DWH mit NotesSQL ?
Beitrag von: umi am 08.09.16 - 09:30:18

Moin

5.  Ibm Enterprise Integrator oder
6. Notes Java Agent mit SQL
7. TDI/SDI

Titel: Re: DWH mit NotesSQL ?
Beitrag von: bikerboy am 08.09.16 - 11:50:16

Ja der LEI da ist er wieder.

Wir haben uns im Zuge des Projektes dazu entschlossen, die Daten als "Vollabzug" in CSV-Dateien immer wieder bereit zu stellen. So sind die Systeme von einander getrennt und können sich nicht behakeln. Weiterer Vorteil für mich als Entwickler meine Zuständigkeit hört ab da auch auf.

Der Agent exportiert nun 72.000 Datensätze in 10 Sekunden. Macht ein einfaches WalktheView. Alle Daten sind in einer Spalte. Mehrfachwerte werden über Hilfs-View aufgelöst, so haben wir gleich eine Normierung erreicht!

Bin soweit zufrieden. Werde aber mir dennoch den SSIS ansehen wie man den bedient. Hatte mich schon lange interessiert :)