Das Notes Forum
Domino 9 und frühere Versionen => ND8: Administration & Userprobleme => Thema gestartet von: Ozan am 28.04.09 - 14:36:56
-
Hallo,
ich habe vor eine sehr grosse Datenbank zu verwalten. Diese Datenbank soll ca. 15 Mio Adressen/Documente (Anrede,Titel,Vorname,Nachname,Strasse,Ort,Plz,Email,Tel) beinhalten.
Da ich noch nie mit so eine Datenbakinhalt gearbeitet habe wüsste ich nicht wo Notes seine grenzen hat, bzw ob Notes sowas verkraften kann?
Eingesetzt wird Domino 8.0 auf eine 2 CPU mit gesamt 4 Kern á 1,86 Ghz, 1TB Raid1
Meine Frage an die Experten, welche System würdet Ihr generell für so eine Datenbak empfehlen?
Eine Aktualisierung der Datenbank über Internet soll auch möglich sein, d.h. die im Web eingegebene Adresse soll mit der bestehende Datenbank abgeglichen werden und in der bestehende Datenbank markiert werden.
Ich hoffe dass diese Informationen reichen, wenn nicht, kann ich entsprechend nachtragen.
Gruss
Ozan
-
Domino Limits - Releases 6.5.x/7.x/8.x (http://www.geniisoft.com/showcase.nsf/DominoLimits) (siehe auch Forumssuche)
Best Practice Makes Perfect/Performance (http://www-10.lotus.com/ldd/bpmpblog.nsf/archive?openview&title=Performance&type=cat&cat=Performance&sort=I) (besonders "Processing Lots of Documents - Must You?")
Performance basics for IBM Lotus Notes developers (http://download.boulder.ibm.com/ibmdl/pub/software/dw/lotus/NotesPerformanceBasics.pdf) (PDF)
Julian's Lotus Notes Performance Tips (http://www.nsftools.com/tips/PerfTips.htm)
Troubleshooting application performance (http://www.ibm.com/developerworks/lotus/library/app-troubleshooting1/?S_TACT=105AGX13&S_CMP=LP)
performance-related technical articles, white papers, and IBM Redbooks for Lotus software products (http://www.ibm.com/developerworks/lotus/performance/)
-
ist da nicht eine relationale DB besser geeignet?
-
@m3:
LEI oder DESC, habe bis jetzt keine Erfahrung darüber gesammelt, jetzt wird es Zeit :)
Gibt es vielleicht detalierte infos bzg. beide Module?
@DAU-in:
währe LEI oder DESC nicht ein mittel für die Relationales DB Systeme?
Gruss
Ozan
-
Hääääää? Wie kommst DU jetzt auf LEI/DECS?
Ich dachte es geht darum, 15. Mio. Notes-Dokumente in einer Notes-Datenbank zu verwalten?
-
Ich hab so eine Datenbank mal geschrieben und mit Daten aus Telefonbüchern gefüllt. Berlin, München Hamburg, Nürnberg und noch ein paar andere Städte waren dann zusanne so rund 20 Mio Datensätze.
Damals unter V6 war das Ergebnis, es funktioniert. Performance Wunder darf man aber keine erwarten.
-
15 Millionen Adressen ... das wären ja die Adressen von allen Österreichern und Dänen zusammen oder zweimal alle Bulgaren oder (fast) alle Chilenen ... Oder habt Ihr das Melderegister der Niederlande gekauft?
Rein theoretisch und aus Sicht purer technischer Machbarkeit kann Notes derart viele Adressen verwalten. Aber allein schon, weil mit diesen Adressen sicherlich auch etwas gemacht werden soll, spricht schon alles gegen Notes. Auf einzelne Adresssätze (in einem RDMS) aus Notes zugreifen - okay. Sie in Notes halten: Nein - man nimmt auch keinen Piloten mit (zweisitzigem) Eurofighter, um eine 150köpfige Urlaubergruppe von Deutschland nach Spanien zu fliegen.
Bernhard
-
@m3:
LEI/DESC sind doch module für eine Datenbank Verbindung zum RDMS, oder habe ich das falsch verstanden?
Lotus Enterprise Integrator(LEI)
Lotus Enterprise Integrator(TM), ein Modul, das früher als Lotus NotesPump bezeichnet wurde, erweitert die DECS-Funktionalität über Echtzeit-Datenquellen hinaus, um Unterstützung für die Übertragung und Synchronisierung großer Datenvolumina bereitzustellen. Lotus Enterprise Integrator enthält visuelle Werkzeuge, mit denen Datenquellen ohne Programmierung integriert werden können. Dazu gehört die Möglichkeit, ereignisgesteuerte oder geplante, umfangreiche Datenübertragungen zwischen Domino Anwendungen und relationalen Datenbanken und anderen unternehmensweiten Anwendungen zu veranlassen. Lotus Enterprise Integrator unterstützt auch programmierte Datenübertragungen mit LotusScript und Java-Klassen.
Domino Enterprise Connection Services (DECS)
Domino Enterprise Connection Services (DECS) ist ein visuelles Werkzeug und eine leistungsstarke Server-Umgebung, mit der Sie Web-Anwendungen erstellen können, die direkten, nativen Zugriff auf Daten und Anwendungen innerhalb eines Unternehmens ermöglichen. Im visuellen Werkzeug sind ein Anwendungs-Assistent und Online-Hilfe enthalten, die Ihnen bei der Definition von externen Datenquellverbindungen (beispielsweise DB2, Oracle, Sybase, einem Dateiverzeichnis, EDA/SQL oder ODBC) und Feldern innerhalb Ihrer Anwendung behilflich sind, die automatisch mit externen Connector-Daten aktualisiert werden.
Ich möchte 15 Mio Documente sprich Adressen Verwalten und verarbeiten können.
@koehlerbv:
Also, alle Daten in eine RDMS rein und dann mit Notes entsprechend zugreifen und verarbeiten? Aber wie funktioniert denn das mit Notes? Gibt es seiten wo ich mich detaliert erkundigen kann?
Gruss
Ozan
-
So, ich bin hiermit raus. Keine klaren Anforderungen, ....
IMHO wird das Projekt in die Hose gehen.
-
@m3:
Sage mir noch was du mit klaren Anforderungen meinst, ich kann dir alles liefern.
Der Grundsatz ist eine Datenbankverwaltung(Adressen suchen/speichern/ändern/erzeugen, von Notes Ebene und Web Ebene), diese Datenbank wird ca. 15 Mio Adressen beinhalten.
Daher meine Frage, welche System würdet Ihr empfehlen um mit so eine inhalt ohne große probleme zu arbeiten.
@Bernhard:
Auf einzelne Adresssätze (in einem RDMS) aus Notes zugreifen - okay.
Kannst du mir hierzu mehr erzählen bitte?
Gruss
Ozan
-
Das, was du vor hast, ist auch ohne LEI/DESC Lösbar.
Eine Notesdatenbank kannst du auch problemlos webtauglich machen.
-
Das ist mir klar, nur die performance bei so eine Datenmenge ist wichtig, Thomas hat sogar 20 Mio in der NSF gehabt. Siehe was Bernhard geschrieben hat
Auf einzelne Adresssätze (in einem RDMS) aus Notes zugreifen - okay. Sie in Notes halten: Nein
-
Die Daten unbedingt in einem relationalen Datenbanksystem halten und Notes nur als Frontend dazu benutzen. Sollte in Notes 8 ja kein Problem sein, da du auch in den Client problemlos eine relationale Datenbank reinbringst, falls Offlinefähigkeit ein Thema ist.
Grüße
Ralf
-
Ok, unbedingt relationalen Datenbanksystem einsetzen und Notes nur als Frontend benutzen.
MySQL und Oracle fällt mir dazu ein. Eine Empfehlung welche davon am besten währe?
Gruss
Ozan
-
Beide würde ich nur dann in Betracht ziehen wenn du keine Offlinefähigkeit brauchst, da sich beide schwer in Notes integrieren lassen. Sonst würde daher eventuell Apache Derby in Betracht ziehen.
Grüße
Ralf
P.S. Eventuell schreibst du doch mal genauer was für ein Projekt du planst und dann kann man dir auch spezifischere Ratschläge geben.
-
Für mich ist die Frage hier eine ganz andere, wie Ralf schon sagte.
Warum muss es partout Notes sein? Vor allem auch deswegen weil es sich für mich so anhört, als ob das ein reines Webfrontend sein soll. Selbst mit 8.5 und XPages, bei dem es ja Connectoren für SQL Datenbanken gibt, hätte ich da Bauchschmerzen.
Ich weiss das ist jetzt ketzerisch aber wenn da keine Workflow Funktionalität gebraucht wird und wenn auch sonst nichts weiter dahintersteckt, dann würde ich in diesem Fall eine Kombination aus PHP undMYSQL nehmen. LAMP (Linux, Apache, MySql, PHP) oder wer das mit Windows machen mag WAMP.
-
Ok, unbedingt relationalen Datenbanksystem einsetzen und Notes nur als Frontend benutzen.
Sorry, das ist dann aber Schwachsinn. Wenn es keinen direkten Grund gibt, Notes/Domino zu nutzen, dann baut man auch das Frontend nicht in Notes, sondern nimmt, PHP, Ruby, ....
Und wenn, dann PostgreSQL. ;)
Ansonsten wiederhotl Ralf das, was ich schon von Anfang an gesagt habe: Mehr Infos.
-
Klar.
Wir werden einen Bestand von ca. 15. Mio Adressen bekommen (in txt. Form). Dann wird eine Online Seite programmiert der dann Webuser Adressen(der User vom Web tippt seine Adresse ein) speichert. Im hintergrund(über nacht vielleicht per Agent) soll dann zwischen vom Webuser eingegebene Adresse und 15 Mio. Bestand ein Abgleich statt finden, bei treffer soll dann ein Kennzeichen beide Adressen gesetzt werden.
Gruss
Ozan
-
Und der Grund, das ist Notes machen zu wollen ist ...?
-
Weil ich mich damit besser auskenne als andere programmier Möglichkeiten. Aber wenn das damit nicht zu lösen ist, muss ich andere Lösungen forschen.
-
Hm mittlerweile sind wir jetzt bei einer reinen Webanwendung wenn ich die relativ dürftigen Anforderungen richtig deute. Da macht dann Notes schon mal keinen Sinn, da Notes ein Client und kein Server ist. Ich tendiere auch dazu dass wenn möglich jemand mit Weberfahrung zu geben, der das dann in PHP Java und mitthilfe einer freien relationalen Datenbank in Kürze löst.
Zu M3: Früher hätte ich dir bezüglich Frontend recht gegeben. Aber Notes 8 ist ein hervorangender Frontend für relationale Datenbanken. Erfordert natürlich fortschrittliche Java/Eclipse Kenntnisse um sowas zu erstellen. Aber die alles in einem Client haben zu können vom Collaborationbereich bis zu Auswertungsfunktionen vom ERP System und zusätzlich noch die Office Schiene. Das hat schon was.
Grüße
Ralf
-
Zu M3: Früher hätte ich dir bezüglich Frontend recht gegeben. Aber Notes 8 ist ein hervorangender Frontend für relationale Datenbanken. Erfordert natürlich fortschrittliche Java/Eclipse Kenntnisse um sowas zu erstellen. Aber die alles in einem Client haben zu können vom Collaborationbereich bis zu Auswertungsfunktionen vom ERP System und zusätzlich noch die Office Schiene. Das hat schon was.
Dann mach ich aber gleich einen Eclipse-Client. ;)
Bzw. hat das mit einer klassischen "Notes-Anwendung" wenig zu tun, nutze ich doch weder die NSF als Datastore, noch die Notes-Designmittel. Und solange 6&7 derartig weit verbreitet sind, denke ich über Composite Apps., ... nicht wirklich nach.
Wobei ich Dir aber recht gebe, dass man seinen Mindset vermutlich besser früher als später in die Richtung öffnen sollte.
-
Weil ich mich damit besser auskenne als andere programmier Möglichkeiten. Aber wenn das damit nicht zu lösen ist, muss ich andere Lösungen forschen.
Haust du auch alle Schrauben mit einem Hammer in die Wand? ;D
Klar.
Wir werden einen Bestand von ca. 15. Mio Adressen bekommen (in txt. Form). Dann wird eine Online Seite programmiert der dann Webuser Adressen(der User vom Web tippt seine Adresse ein) speichert. Im hintergrund(über nacht vielleicht per Agent) soll dann zwischen vom Webuser eingegebene Adresse und 15 Mio. Bestand ein Abgleich statt finden, bei treffer soll dann ein Kennzeichen beide Adressen gesetzt werden.
Ok jetzt wird es wieder interessanter.
Das heist die 15 Mio Adressen sind nur ein Backend Datenbestand, nicht performancerelevant und werden auch, bis auf den Flag keiner weiteren wie auch immer gearteten Bearbeitung unterzogen?
Das Frontend im Web ist von der Datenmenge her deutlich kleiner.
Der Abgleich zwischen beiden findet über ein "Adressenmatch" Suche statt.
Das könnte man tatsächlich mit einer Kombination aus Notes für das Webfrontend und die Einträge der Web User, sowie einer Notes Anwendung/Relationalen Datenbank (single Table) mit den importierten Daten lösen. Hash oder Levenshtein für die Suche nach gleichen Paaren verwenden.
Andrew Pollack hat da auf dem Entwicklercamp im allerletzen Vortrag ein paar interessante Ansätze dafür wie man so etwas lösen kann geliefert. Wobei das den wirklich interessanten Teil des ganzen Problemes darstellt.
-
Wobei das den wirklich interessanten Teil des ganzen Problemes darstellt.
Das ist wirklich der casus cnactus. DIESER Algorithmus erfordert das Hirnschmalz. Über das System für die Datenhaltung wurde ja schon fast alles gesagt.
Bei 15 Millionen Adressen, die nicht nur einfach "nur da" sind, sondern einer Bearbeitung bedürfen, habe ich bei aller Leidenschaft für Notes / Domino nicht nur ein sehr schlechtes Gefühl, sondern sage nach wie vor: Nein!
15 Millionen Adressen in einer Hand bereiten mir aber auch Kopfzerbrechen ... Und wenn da noch eine Firma dahinter steht, die offensichtlich nicht das Know-How hat, wie man deren Bearbeitung sichert - was ist dann mit der Sicherheit?
Bernhard