30.000 Dokumente - Views öffnen langsam

[lnfan]

Hallo,
habe eine DB, die inzwischen mehr als 30.000 Dokumente beinhaltet. Plattenplatz brauche ich derzeit nicht viel (1,7GB). Es sind kleine Dokumente mit wenigen Feldern im Formular (kein Rich Text). Es gibt ca. 30 Views über die man sich die Daten ansehen kann. Immer wird kategorisiert.

Nun laufe ich in Performanceprobleme weil das Öffnen der Views immer länger dauert. Rebuild Indices (Shift+Ctrl+F9) kenne ich, hilft auch, aber nur so lange nicht neue Dokumente hinzukommen.

Es stehen weitere Dokumente an - tausende. Ich stosse an Performancegrenzen. Archivieren und Löschen kann ich nicht. Eine andere Technology möchte ich vermeiden.

Was empfehlen die Spezis?

Danke für ein paar Tipps. Gruss, Manfred

[m3]

Weniger Dokumente?

Ich würds mal damit probieren, die Views periodisch und nicht, wenn neue Dokumente dazukommen zu aktualisieren. Ansonsten würd ich mal schauen, ob Du nicht mit weniger Views auskommst.

[dirk_2909]

Sind in den Ansichten viele sortierbare Spalten. Das wirkt sich auch negativ auf die Performance aus.

30000 Doks dürfte ansonsten allgemein kein Problem sein. Wir haben hier eine Anwendung mit ca. 100.000 Doks.

[dirk_2909]

  Jetzt binich auch an eine Grenze gestoßen:
Versuche seid 75 Min. eine Ansicht zu öffnen. Müssten ca. 450.000 Doks sein.

Denke ich werde mal archivieren....

[lnfan]

Hallo nochmal,

danke für die ersten Antworten. Ja, in allen Views wird kategorisiert und sortiert. Weniger Views wären toll - nur wollen diverse Kollegen immer noch mehr. Ich rate immer zu Private Views, nur weiss immer niemand wie das geht.

Periodisch aktualisieren hört sich gut an. Wahrscheinlich wirkt das sich dann nur auf die Serverversion der DB aus. Die Power-User haben eine Replik.

Wahrscheinlich werde ich 3 DBs draus machen mit dem gleichen Template. Je eine für Amerika, Europa, Asien.

Nun gut so weit. Bis zum nächsten Beitrag.

Gruss, Manfred

[Ralf_M_Petter]

Frage, wann wird die Datenbank upgedated, permanent oder nur einmal in der Nacht. Normalerweise werden von Dominos views die auf automatisch gestellt sind auch relativ rasch nach einer Änderung upgedated. Ausnahme ist laut meiner Erfahrung ohne bisher eine Erklärung gefunden zu haben wenn die Datenbank sehr häufig upgedated wird.

Wir haben bei uns ein CRM System im Einsatz in das auch über eine eigene Datenbank viele Informationen unseres ERP (Aufträge, Angebote, Umsätze, Fakturen usw.) eingespielt werden. Dabei passieren tägliche tausende Updates. Insgesamt sind in der Datenbank über 1 Million Dokumente. Aufgrund der permanenten Änderungen waren auch die Ansichten nicht aktuell. Ich habe daher in das Programm das den permanenten Datenabgleich gemacht eine Funktion eingebaut die alle x Datensätze die views aktualisiert. Diese Aktualisierung läuft mit niederer Priorität um den Server nicht in die Knie zu zwingen. Seit her läuft das mit sehr guten Antwortzeiten.

Grüße

Ralf

[botschi]

Wie aktualisierst Du die Views?
Ich würde sowas auch mal probieren wollen, da unsere DB sehr viele Ansichten hat und auch noch viele sortierte Spalten. Nur wird in unsere DB nicht importiert, sondern dort werden die Datensättze direkt erzeugt. Könnte ich so die Anzahl der erstellten Dokumente auch irgendwie ermitteln und die Views programmatisch aktualisieren?

[Ralf_M_Petter]

Wie gesagt, bei normalen Notesdatenbanken ist das nicht nötig, da sich der Updatetask darum kümmert. Meine Erfahrung ist eben nur, dass die automatische Aktualisierung bei sehr vielen Datensätzen und bei lokalen Datenbanken nicht funktioniert, da kein Updatetask da ist. Da kann man sich z.B. mit einem lokalen Agenten behelfen.

Kannst du mal ein paar Informationen posten.

Wie viele geänderte neue Dokumente pro Tag. Problem auf Server oder lokal?

Grüße

Ralf

[smoki]

Hallo Ralf!

Mich würde dein Lösungsweg auch interessieren.

Ich habe eine Anwendung, die einmal täglich gut 10000 Dokumente hinzugewinnt. (per Import-Agent)

Ansonsten ändert sich in der Datenbank nichts, da es nur "Informative" Dokumente sind.

Ich weiß ich kann die Ansichten auf "manuelle Aktualisierung" setzen. Wie führe ich dann aber eine Aktualisierung nach dem tägliche Import durch? Mit "Updall" war ich wenig erfolgreich, weil die Import-Zeiten zum Teil erheblich variieren.

Würde hier eine Refresh-Schleife über alle Ansichten schon zur Lösung beitragen oder muss man sich das komplizierter vorstellen?

Dank schon mal für deine Antwort!

Gruss
Chris

[botschi]

Wir haben pro Tag ca 1000 Änderungen.
Aber sehr viele Ansichten, sodass der Index 95% des Gesamten der DB belegt. Ich kämpfe wie ein Tier darum, ein paar Ansichten streichen zu können, aber vergeblich.   Andererseits klagen die User darüber, dass sich die Ansichten langsam öffnen....
Ich versuche nun allen gerecht zu werden- den Anwendern und mir, damit ich meine Ruhe habe 

[Ralf_M_Petter]

Ja einfach Refresh Schleife über alle Ansichten. Dabei werden die Ansichten auch nicht neu aufgebaut, sondern nur die neuen/geänderten Dokumente eingepflegt. Wie gesagt, wenn der Import aber nur einmal in der Nacht erfolgt, sollte das Domino zumindest am Server automatisch erledigen. Mein Problem war nur wenn die Änderungen über den ganzen Tag erfolgen. Bzw. am Client.

Grüße

Ralf

[Ralf_M_Petter]

Aber @Now und @Today Probleme können wir ausschliessen oder?

Prinzipiell wenn du eine Ansicht einmal aufgemacht hast und sie wieder öffnest, geht es schnell oder?

Grüße

Ralf

[botschi]

Ja, das schon. Öffnen geht danach relativ schnell. @Now oder dergleichen ist auch nicht in der Auswahl  enthalten 
Muss ich wohl weiterkämpfen....

[Ralf_M_Petter]

Was du noch nicht beantwortest hast, reden wir von lokal oder Server?

Grüße

Ralf

[botschi]

Oh, sorry. Von Server. Die DB ist ausschliesslich auf dem Server.
Also wir reden hier auch nicht über 75 Minuten beim Öffnen einer Ansicht. Es geht quasi um ein paar Sekunden, deswegen reagiere ich bei den usern auch- ich sach mal- ein wenig gereizt bei dem Thema....

[m3]

Kannst Du kontrollieren, wann neue Dokumente hinein kommen?

[botschi]

Nein, es handelt sich um eine Zeit- und Aufgabenerfassung. Morgens und Abends werden die meisten Dokumente neu angelegt. Zum Feierabend hin haben es die User natürlich besonders eilig und da können Sekunden zu Stunden werden.
Oder was meinst Du mit kontrollieren?

[Ralf_M_Petter]

Ok! Danke dass du diese Frage gestellt hast, dadurch war ich gezwungen den Index Update Vorgang von Domino nochmal zu analysieren und jetzt weiß ich wie es funktioniert und warum es zu Problemen kommt.

Der Updatetask geht folgendermassen vor:

Wenn ein Dokument geändert wird, bzw. wenn ein Dokument erstellt wird, dann wird ein Satz in eine Warteschlange gestellt, dass die Views dieser Datenbank upgedated werden. Damit aber nicht bei jedem Update die Views geupdated werden, wird eine bestimmte Zeit gewartet. (Update_Suppression_Time  in Notes.ini) Falls nun ein neuer Satz geändert wird, dann wird der erste Satz in der Queue gelöscht und ein neuer Satz generiert. Das heisst bei vielen Änderungen wird die View nie automatisch im Hintergrund aktualisiert. Deshalb gibt es den Parameter Update_Suppression_Limit. Mit ihm kann man die Anzahl der Aktualisierungen angeben nach der auf jeden Fall eine Aktualisierung ausgelöst werden soll. Ich muß das zwar erst probieren, aber wenn das wirklich so funktioniert dann müsste es auch dein Problem lösen. Einfach mal Update_Suppression_limit auf einen Wert setzen wie z.B. 10. Dann sollte die Performance besser werden. Eventuell müsste man den richtigen Wert durch probieren herausbekommen.

Grüße

Ralf

[botschi]

Alles klar.
Du meinst sicher die Notes.ini des Servers.
Wirkt sich das dann auf alle DB´s auf dem Server aus? Da ich Entwickler und nicht der Admin bin, könnte der Admin ja leicht sagen "Du spinnst wohl alle paar Minuten die Ansichten zu aktualisieren?! Da geht der Server in die Knie."

Kann ich dem entegentreten? Ist es so, dass der Server dadurch im laufenden Betrieb sehr "belastet" wird?

[Ralf_M_Petter]

Ja es betrifft die notes.ini auf dem Server. Der Parameter bewirkt nicht, dass alle paar Minuten alle Views aktualisiert werden sondern, er soll bewirken, dass auch views die sehr viele Änderungen haben alle x Änderungen upgedated werden. Ich bin gerade beim Testen ob es so funktioniert wie ich es mir vorstelle und was es vom performance Standpunkt her bedeutet. Ich poste die Ergebnisse dann hier.

Grüße

Ralf