Autor Thema: Erfahrungen zu Datenmengen  (Gelesen 1903 mal)

Glombi

  • Gast
Erfahrungen zu Datenmengen
« am: 29.04.05 - 19:56:18 »
Hat jemand Erfahrungswerte für Datenmengen jenseits der 1 Million Dokumente innerhalb einer Notes-Datenbank?
Ist das überhaupt möglich?

Ob das sinnvoll ist mag diskussionswürdig sein, aber das möchte ich erstmal ausser acht lassen, also bitte keine Grundsatzdiskussion.

Folgende Limitierungen sind bekannt (aus der KBASE):
- Maximale Größe einer DB: The maximum OS file size limit -- up to 64GB

- Anzahl Dokumente in einer Ansicht:
Views are architecturally limited to 130GB. However, since databases are limited to 64GB, the views cannot grow larger than the db. So in practice, views can grow as large as the db size limit of 64GB.

- Anzahl Antworten / Anzahl Dokumente in einem Level:
31 levels; 300.000 documents

Andreas
« Letzte Änderung: 29.04.05 - 20:00:49 von Glombi »

Offline -Michael-

  • Aktives Mitglied
  • ***
  • Beiträge: 153
  • Geschlecht: Männlich
    • Software Guide
Re: Erfahrungen zu Datenmengen
« Antwort #1 am: 29.04.05 - 20:14:02 »
Hi,

also gemäß Deinen KBase-Angaben und http://www.geniisoft.com/showcase.nsf/DominoLimits wird zumindest kein Limit erwähnt bezügl. Gesamtanzahl Dokumente in einer nsf.

Warum testest Du nicht einfach auch mal, also mit einem Agenten Dokumente erstellen?
Dann kannst Du auch gleich Deine geplante DB-Struktur verwenden (Views, welche Daten in den Dokumenten, etc.), denn das wird wohl von DB zu DB sehr unterschiedlich sein in Abhängigkeit der Randbedingungen. Und dadurch hast Du auch die Möglichkeit für Performance-Tests, was auch immer Du mit den Daten vorhast.

Michael


Glombi

  • Gast
Re: Erfahrungen zu Datenmengen
« Antwort #2 am: 29.04.05 - 20:22:32 »
Die Anwendung gibt es noch nicht. Laut Kundenspezifikation kommen jährlich 1 - 1.25 Mio Dokumente in die DB.
Bevor ich mir jetzt Gedanken über die Gestaltung machen, möchte ich natürlich wissen, ob Notes das überhaupt ausshält. Vor R6 hätte ich das erst gar nicht angefangen, aber ab R6 wird Notes so langsam auch für große Datenmengen nutzbar.

Andreas

Marinero Atlántico

  • Gast
Re: Erfahrungen zu Datenmengen
« Antwort #3 am: 30.04.05 - 00:38:26 »
Wie sieht deine Backup-Strategie aus?

Offline koehlerbv

  • Moderatoren
  • Gold Platin u.s.w. member:)
  • *****
  • Beiträge: 20.460
  • Geschlecht: Männlich
Re: Erfahrungen zu Datenmengen
« Antwort #4 am: 30.04.05 - 00:58:58 »
Axel, ich denke, dieses Problem ist jetzt nicht Domino-relevant - das Problem hat man immer. Und bei den von Andreas genannten Datenmengen ist das Problem immanent, es sei denn, die Daten vermehren sich nur zu bekannten und wohldefinierten Zeitpunkten.

Zum Thema: Nach meiner Erfahrung kann man auch noch einige hunderttausend Dokumente recht flott in Notes-DBs verwalten - allerdings müssen diese dann schon so aufgebaut sein, dass man nahezu alle Notes-Vorzüge und -Schwerpunkte verliert.

Bei der genannten Anzahl von "Datensätzen" würde ich die Frage so stellen: Warum sollte hier Notes / Domino eingesetzt werden ? Warum kommt kein anderes System in Frage ? Ich bin mir ziemlich sicher, dass bei einer Notes-typischen Datenstruktur und diesen Datenmengen jedes verfügbare (HW / OS-)System unter Notes / Domino in die Knie geht bzw. die Benutzer nur noch am Kaffeetrinken sind.

Andere Frage: Wie soll man bei dieser Datenmenge noch Informationen wiederfinden, wenn man dies aus der Notes-typischen Sicht betrachtet ? Ich kann nur vermuten, dass der Informationsgewinn aus den (maschinellen) Bezügen zwischen den einzelnen Daten gewonnen wird - auch dann spricht jetzt fast alles für ein RDMS.

Kannst Du genaueres ansagen, Andreas ? Bis hierher würde ich sagen:  Mach' es nicht ...

Bernhard
« Letzte Änderung: 30.04.05 - 01:51:46 von koehlerbv »

Marinero Atlántico

  • Gast
Re: Erfahrungen zu Datenmengen
« Antwort #5 am: 30.04.05 - 03:09:54 »
Andreas hat ja verboten, Grundsatzdiskussionen zu führen.  ::)
Also ich finde ja ganz bestimmt.
Man könnte mit einem Archiv arbeiten.
In Projekten der letzten 2 Jahre haben wir da eine Menge von IBM eingebunden was es gibt.
(nicht unbedingt von mir)
Notes Datenbanken, Storage Server, xml-in-xmlDatenbank über webservices, xml-in-Dateisystem, Websphere MQ.
Wobei ich von xml-Datenbanken explizit abrate.
Btw. hat so ein System wie DB2 sehr ausgefeilte Backup/Recovery Mechanismen, wobei das bei einem Platten-Crash natürlich auch nicht mehr hilft.
Zum Archivieren finde ich theoretisch Websphere MQ (ex MQ-Series) am besten. Da braucht man aber spezifisches Admin Wissen für. Die Programmierung geht. Außerdem ist es teuer. Wobei es jetzt von Codehaus und einer anderen openSores Gruppe auch Messaging Server gibt.
Als Format ist xml möglich(dxl). Nimmt aber eine Menge Speicherplatz im Anspruch, weil diese vielen Tags dabei sind.
Alternative wäre Datenbankschema erstellen und das mit Notes Dokumenten zu mappen.
Nicht so oft abgefragte/geänderte Daten ins RDBMS und jederzeit abrufbar. Beide Systeme mit openSores Messaging verknüpfen.

« Letzte Änderung: 30.04.05 - 04:42:20 von Marinero Atlántico »

Offline Semeaphoros

  • Gold Platin u.s.w. member:)
  • *****
  • Beiträge: 8.152
  • Geschlecht: Männlich
  • ho semeaphoros - agr.: der Notesträger
    • LIGONET GmbH
Re: Erfahrungen zu Datenmengen
« Antwort #6 am: 30.04.05 - 09:01:56 »
openSores??

Offene Säuren?

Brauch ich da einen Giftschein, wenn ich das verwenden will?


 ;D
« Letzte Änderung: 30.04.05 - 11:16:16 von Semeaphoros »
Jens-B. Augustiny

Beratung und Unterstützung für Notes und Domino Infrastruktur und Anwendungen

Homepage: http://www.ligonet.ch

IBM Certified Advanced Application Developer - Lotus Notes and Domino 7 und 6
IBM Certified Advanced System Administrator - Lotus Notes and Domino 7 und 6

Marinero Atlántico

  • Gast
Re: Erfahrungen zu Datenmengen
« Antwort #7 am: 30.04.05 - 10:28:59 »
... Jens, dass ist ein relativ gebräuchlicher Begriff zur Kennzeichnung einer kritisch-distanzierten Haltung eines z.T. begeisterten Users. Benötigt eigenen Thread. We are hyjacking. Und die Frage von Andreas ist berechtigt.
Zurück zum Thema: Ich hätte damit deutliche Probleme. Wir haben zwar alle unsere Schwächen. In einem sind wir aber den Kunden in aller Regel überlegen: Das Wissen um die Risiken, die mit einer Software-Architektur vorhanden sind. Die sind da oft sehr, sehr, sehr naiv. Das ist ja auch ein Grund, warum die uns bezahlen. Ich hab so einige nicht gelungene Anwendungsarchitekturen gesehen. Man kann ex-post eigentlich immer ganz gut gesehen, wo in bestimmten Bereichen die Annahmen der Entwickler falsch gelaufen sind, so dass man jetzt mich braucht. Mit dem allergrößten Teil der Kunden kann man aber nicht software-analytisch nicht sprechen, da sie nicht so tief drin sind.
Nun ist hier so ein Fall, wo es Risiken gibt, die der Kunde vielleicht nicht im vollen Ausmaß versteht.
Falls es Probleme mit sehr großen Datenmengen geibt (was ich auch nicht weiss), ist es eine tickende Zeitbombe. Das heisst, erst sieht alles super aus, der Kunde zahlt freudig strahlend und in 4 Jahren knallte es gewaltig.
Vielleicht ist das ein Fall, wo man sich als Business-Partner an IBM wendet. Theoretisch haben die solche großen Datenbanken im Labor getestet. Vielleicht äußern die sich aber gar nicht. Sicher kann man das relativ einfach selbst nachstellen. Z.B. ist es aber da nicht einfach, bestimmte Bedingungen nachzusetellen. Angefangen von dem Emmulieren des Zugriffs mehrerer Anwender auf die Datenbank.

Gruß Axel
« Letzte Änderung: 30.04.05 - 10:54:46 von Marinero Atlántico »

 

Impressum Atnotes.de  -  Powered by Syslords Solutions  -  Datenschutz