Walk the View

[bikerboy]

Hallo zusammen,

so böse Geschichte, muss redundante Daten aus einer DB löschen. Problem ist das die DB knapp 90.000 Dokumente umfasst. Sprenge mir jedes Array wenn ich versuche den passenden Schlüssel reinzuschreiben.

Also bin ich darauf zu kommen ein Wlak the View zu vollziehen, Problem ist ja wenn ich Dokumente rauslösche dass er durcheinander kommt, wenn ich zum Beispiel das Dokument lösche auf dem ich stehe.

Wie sieht es aus wenn ich die Spalte mit meinem Schlüssel kategorisiert anzeigen lassen und die 2 Spalte mit sortiere mit dem Wert der sehr wahrscheinlich der richtige ist ?

Hoffe die Beschreibung ist nicht all zu wirr.

[m3]

NotesDocumentCollection?

[pete_bla]

Hi,

Die notesDocumentCollection hat ja den vorteil von
.removeall
Der ist bei vielen doch schneller als ein enzelnes löschen.

wenn Du einzelne löscht, und "die verschwinden Dir" dann lade doch einfach das nächste schon vor dem löschen
ungefähr so:

Code

while not doc is nothing
   set docnext = view.getnextdocument(doc)
   call doc.remove(true)
   set doc = docnext 
wend

Viel Erfolg, Pete(r)

[bikerboy]

@m3 :

Ich sprenge doch bestimmt eine verdammte Grenze wenn ich 90.000 Dokumente einfüge , oder?

Aussderm lösche ich ja zwischendurch Dokumente, wenn ich auf nen leeren Slot springe, habe ich keinen Parameter mehr für getnextDocument. Und wenn ich mit getnthDocument arbeite springe ich am Ende aus der Kollektion, weil ja die Kollektion immer kleiner wird.

@pete_bla :

Die Idee ist gut, muss aber erst gucken inwiefern ich sie verwurste.

[koehlerbv]

Zu Deinem eigentlichen Problem kann ich nichts sagen - ich kenne einfach nicht genügend Deiner Randbedingungen.

Aber: Eine DocumentCollection kannst Du nicht sprengen.
Und - ganz wichtig: Mit GetNthDocument arbeitet man nicht! Das geht bei 100 Dokumenten gut, aber schon ab 1.000 Dokumenten kannst Du jedem einzeln die Hand schütteln, und ab dem 10.000sten (oder so) wirst Du sterben, wenn Du bei jedem Dokument einen Kafee trinken gehst.
Arbeite mit GetNextDocument. Gleiches gilt auch für Collections.
(Hintergrund: Der Pointer zum Dokument muss jedes Mal neu von Anfang an gesetzt werden.)

Bernhard

[flaite]

Benutz einfach die Idee von pete bla
Oder diese docLast Variante :-)

Code

set doc = vw.getFirstDocument
while not doc is nothing
   set docLast = doc
   set doc = view.getnextdocument(doc)
   ' code zum prüfen, ob docLast gelöscht werden kann, wenn ja dann löschen (nächste Zeile)
   call docLast.remove(true)
   
wend

[koehlerbv]

Ich befürchte, das "docLast" oder "docNext" lösen nicht Roberts Problem: Es sollen ja wohl Dubletten gelöscht werden. Und die können sich sonstwo in der View verstecken. Diese muss also dauernd reindexiert werden, und wo der Schuss nun gerade ein Loch hinterlassen hat, kann man ja nur aufwändig feststellen und merken.

Je mehr Dokumente während des Laufs nun gekillt werden, desto performancefressender würde auch bei einem inaktiven Index-AutoUpdate die nun erforderliche Prüfung, ob das gefundene (zu löschende oder zu bearbeitende Dokument) nun eine Leiche ist oder noch zappelt.

Wie schon oben gesagt: Hier kann man nur Empfehlungen geben, wenn man mehr über die Gesamtsituation und die Anforderungen weiss.

Bernhard

[Thomas Schulte]

Alles in Listen reinschreiben und dann mit diesen arbeiten. Es könnte allerdings sein das du mit der Anzahl von Dokumenten zuverlässig einen RSOD erzeugst.

[pete_bla]

Hi,

wenns nun wirklich eine "einmalige Killaktion" sein sollte,
würde ich mal auf das klassische

Code

collection = db.Search(Formel,Nothing,0) 

verweisen,
da ja eine "Formel" dahinterliegt...
und dann

Code

collection.removeall()

Ich finde für sowas ist das db.Search() optimal!

Gruss, Pete(r)

[m3]

Also bei mir hat er gerade 7 Sekunden gebraucht, um mit getNextDocument eine Collection mit 31.499 Dokumenten zu durchlaufen. 

[koehlerbv]

Wenn Du schon dabei bist: Und mit GetNthDocument?

Bernhard

[m3]

31.499 Dokumente in 367 Sekunden durchlaufen.

[bikerboy]

So , ich bedanke mich schon mal, hatte gestern leider die zeit nicht mehr um hier vorbei zu schauen.

Haber mit GetNextDocument gearbeitet , hier einmal der KernCode :

Code

	Set viewDoc = view.GetFirstDocument
	searchKey = Cstr(viewDoc.GetItemValue("pumpSearchKey")(0))
	i = 0
	While Not  viewDoc Is Nothing
		
		Set redundantDoc = view.GetNextDocument(viewDoc)
		While ready = False
			
			If Not redundantDoc Is Nothing Then
				If Cstr(redundantDoc.GetItemValue("pumpSearchKey")(0)) = searchKey Then			
					Call redundantDoc.Remove(True)
					Set redundantDoc = view.GetNextDocument(viewDoc)
				Else
					ready = True
				End If	
			End If
			i = i +1
			Print "Datensatz : " + Cstr(i) + " bearbeitet!"
		Wend
		
		Set viewDoc = view.GetNextDocument(viewDoc)		
		searchKey = Cstr(viewDoc.GetItemValue("pumpSearchKey")(0))
		ready = False
		i = i +1
		Print "Datensatz : " + Cstr(i) + " bearbeitet!"
	Wend		
	

Am Anfang arbeitet er auch richtig performant und dann so ab 13.500 Dokumenten wird es ziemlich langsam und am Ende hängt er sich ganz weg.

Kann mir einer sagen was ich besser machen kann.

Ach bevor ich es vergesse, durch eine View habe ich die Dokumente so sortiert, dass das erste Dokument mit dem Schlüssel auch gleich das richtige ist.

[koehlerbv]

Hast Du die AutoUpdate-Property auf False gesetzt?

Was man häufig unterschätzt: Print-Statements fressen mehr Performance, als man denkt (das ist aber im Gegensatz zum hier vermutlich überforderten Indexer nicht das Killerkriterium).

Bernhard

[bikerboy]

Du meinst von der View ? Keine Ahnung muss ich gleich mal schauen.


Die Prints sollen drin bleiben, von wegen, damit man sieht dass er noch was tut.

[Driri]

Was ist denn "ready" ?

Wofür ist die 2. While-Schleife gut (While ready=False) ?

Du zählst i innerhalb von 2 Schleifen hoch. Das führt zu falschen Ergebnissen.

[bikerboy]

ready ist ein Bool-Wert. Soll halt die abarbeitung unterbrechen.


i ist ja nur für mich als optisches Zeichen, dass da was passiert, selbst wenn was falsches drin steht ist "Bumms", weil er nix steuert. Aber ich glaube schon dass das richtige drin steht, zumindest hat mein Papier-PC das gesagt.

[rbo]

Hi,

ich persönlich würde es auch mit Listen machen...
Mir ist gerade ein wenig langweilig, versuch doch mal diesen Code (nicht getestet)

Code

	Dim searchkeys List As Boolean
	
	
	While Not viewDoc Is Nothing
		
		If Iselement(searchKeys(viewDoc.GetItemValue("pumpSearchKey")(0))) Then
			Call viewDoc.remove
		Else
			searchKeys(viewDoc.GetItemValue("pumpSearchKey")(0)) = True
		End If
		
		Set viewDoc = view.getNextDocument(viewDoc)
	Wend

Müsste wesentlich performanter sein als dein jetziger Code...
Sollte dir die Liste wirklich um die Ohren fliegen musst du ein anderes Medium zum zwischenspeichern gefundener Elemente finden (zb. Tempdoc)

Gruss René

EDIT:
So gehts natürlich nicht ganz, du mussts den Code ein wenig modifizieren weil

Set viewDoc = view.getNextDocument(viewDoc)

mit dem gelöschten Dok nicht klappt, Lösung steht allerdings weiter oben, dann sollte es passen...
   

[bikerboy]

ja mit listen habe ich am anfang auch gearbeitet, nur ein Array, dass 90.000 * 39 byte fast kann mein system nicht. da laufen mir der ein oder andere speicher über.

[flaite]

Ist das nicht so einfacher?

Code

 
Dim lastValue as String

lastValue = "DAT_KANNES_ÜBERHAUPT_NICHT_GEBEN. ES_HARTO IMPROBABLE QUE una Casilla tenga un contenido así"
set doc = vw.getFirstDocument
while not doc is nothing
   
   set docLast = doc
   set doc = view.getnextdocument(doc)
   if docLast.pumpsearchkey(0) = lastValue then 
          lastValue = docLast.pumpsearchkey(0)
          call docLast.remove(true)
   else
        lastValue= docLast.pumpsearchkey(0)
   end if
wend