Domino 9 und frühere Versionen > ND6: Entwicklung

CSV Datei mit 36000 Datensätze a 90 Felder importieren

(1/2) > >>

Kadlec:
Hallo,

wie im Betreff schon erwähnt möchte ich einen grösseren Datensatz in eine DB importieren. Das habe ich mittels des csv Import scripts aus der Sandbox gemacht.
Der Import dauerte ca. 2 Stunden.
Nun sollen auch noch wöchentlich updates gemacht werden.
Neue Datensätze werden neu angelegt, nicht mehr vorhandene verbleiben in der DB und gewisse Änderungen werden in das schon vorhandene Dok. geschrieben.
Ich habe allerdings die Befürchtung das ein Update dann so Richtung > 4 Stunden geht.
Wie machen dass den die Profis ;D

Gruss
Boris

klaussal:

--- Zitat ---Ich habe allerdings die Befürchtung das ein Update dann so Richtung > 4 Stunden geht.
--- Ende Zitat ---

Ist das nicht vom Datenvolumen abhängig, was da wöchentlich anfällt ?

Kadlec:
Die Datei wird bis zu einem Zeitpunkt x noch um ca. 20 000 Datensätze anwachsen, danach sollten sich eigentlich die inaktiv gewordenen (nicht mehr in Datei) mit den neuen die Waage halten aber es gibt ja Änderungen an bestehenden Datensätze.

Auf alle Fälle muss ich ja die komplette Datei einlesen und mit dem Inhalt der Db abgleichen.
Und dieser Abgleich denke ich wird dann in Richtung 4 Stunden gehen.
Oder bin ich da auf dem Holzweg und es geht irgendwie anders, schneller?

Boris

Thomas Schulte:
Ich glaub jetzt nicht wirklich, das es so lange dauern muss. Da dürfte beim Import noch einiges an Optimierungsmöglichkeiten vorhanden sein.
Ich fiesel hier mit einem Agent ein Logfile von einem Apache Web Server das knapp 1 Gig groß ist lokal in 30 Minuten durch. Da sind ca 1,2 Mio Zeilen drin und das wird auf mehrere Lists verteilt, aufsummiert, verhackstückt und dann sowohl in Datei Form und teilweise auch als Dokumente wieder ausgegeben.

Du dürftest mindestens zwei Knackpunkte haben. Der eine sind deine Ermittlungen ob ein Dokument bereits vorhanden ist oder nicht. DBSearch ist nicht gut für so was. Und der andere das deine Schreiboperationen auf gar keinen Fall Auswirklungen auf die Ansichtsindices haben dürfen. Außerdem sind Print Anweisungen in Background Agents sowas von tödlich für die Performance, das glaubt man nicht.

Kadlec:
Und genau um diese "Optimierungsmöglichkeiten" geht es.
Da bräuchte ich ein paar Schubser in die richtige Richtung.

Das mit der Ermittlung vorhanden/nicht vorhanden ist schon mal mein erstes Problem.
Ein Abgleich Feld für Feld fällt schonmal weg denke ich, also alle Felder in einen String und dann mit der Importierten Zeile vergleichen???

Navigation

[0] Themen-Index

[#] Nächste Seite