Erfahrungswerte compact -B -s10 ? funktioniert dies bei euch?

[solaar]

domino 7.02

Wir habe vor einiger Zeit den nächtlichen Compacttask umgebaut. Er lief ursprünglich immer nur mit Paramter -B. Bei 3.500 Mailfiles hatte er ordentlich zu tun und hat unseren Zeitplan des öfteren durcheinander geworfen.
Da unsere User Jäger und Sammler sind (ja wir arbeiten ohne quota und attachmentmanagement o.ä) sind die mailfiles teilweise im GB Bereich. Spitzenreiter derzeit 17 GB OMG

Wir beleuchten gerade diverse Vorgehensweisen um dem Wildwuchs nachträglich Herr zu werden, aber das ist ein anderes Thema

Wir haben also den compact task um parameter -S10 erweitert.
Soweit so gut. Compact läuft also nur auf ein paar hundert Datenbänke da er dies sauber auszuwerten scheint.

Wir haben aber auch bemerkt das der Plattenplatz uns langsam immer schneller weggefressen wird.
Um dies zu analysieren haben wir auf einem unseren Testserver ein paar ausgewählte Datenbänke repliziert und dort den compact task wieder auf Parameter -B gestellt, quasi ohne %-Auswertung.

folgendes habe ich gerade gesehen:
orig mailfile Server1: 800 MB
Mailfile auf dem testserver 100 MB

2. mailfile
orig: 6,7 GB
nach compact -B 5,2 GB

gleiche Anzahl an Dokumenten.
Die "belegter Speicher" Anzeige in den DB-Eigenschaften zeigte uns auf server1 aber 98,9 % an.

folgendes steht zum Parameter -s% in der Hilfe:

Komprimiert alle Datenbanken mit einem bestimmten Prozentsatz von nicht verwendetem Platz. Wenn Sie zum Beispiel 10 angeben, werden Datenbanken mit mindestens 10% nicht verwendeten Platz komprimiert. Beachten Sie, dass die Berechnung des nicht verwendeten Platzes nicht immer zuverlässig ist.

Das ist doch ein Scherz oder? ok ich weiss das es kein scherz ist..

Wie sind eure Erfahrungswerte?
Ist es richtig das diese Angabe quasi völligst daneben ist? Mir scheint es so bzw ich bekomme dies soeben bestätigt

ok wenn ich jetzt den compact -B auf 3500 user anschmeisse dann läuft der bis nächste woche durch 
kann man compact a la "compact - B mail\a*.nsf" laufen lassen??
Wir sollten dann erstmal darüber nachdenken dies häppchenweise nachzuziehen um mit unseren anderen tasks wie backup fixup etc nicht durcheinander zu kommen.....

omg
Danke
carsten

[koehlerbv]

Die Option -S funktioniert.

Und was Du bei denen Vergleichen mit dem Testserver vergisst, sind die aufgebauten oder nicht augebauten Indizes.
Selbstverständlich wird Euch auch die beste Software-Lösung (was auch immer das wäre) organisatorische Massnahmen nicht abnehmen können. 17 GB Mailfile sind schon schräg ...

Bernhard

[sarazena]

Ich denke mal, dass Carsten die Files 1:1 kopiert hat, das Ganze also mit auf- oder nicht aufgebauten Indices nix zu tun hat.

17 GB sind wirklich etwas schräg - aber ich will mir doch nicht von einer, nicht sauber funktionierenden, Software meine organisatorischen Maßnahmen diktieren lassen.

Wirklich schräg ist es, wenn bereits in der Hilfe zu lesen ist das etwas funktioniert - oder auch nicht 

[WernerMo]

Hallo (namenloser)

erst mal herzlich willkommen im Forum.

.. aber ich will mir doch nicht von einer, nicht sauber funktionierenden, Software meine organisatorischen Maßnahmen diktieren lassen.

Wirklich schräg ist es, wenn bereits in der Hilfe zu lesen ist das etwas funktioniert - oder auch nicht 

Was meinst Du konkret, evtl. bietet es sich an, dafür einen extra Thread auf zu machen, passt ja nicht wirklich zu dem Thema.

Gruß Werner
PS wäre schön, wenn wir Dich mit Namen anreden könnten. ;-)

[koehlerbv]

Ich denke mal, dass Carsten die Files 1:1 kopiert hat, das Ganze also mit auf- oder nicht aufgebauten Indices nix zu tun hat.

Carsten hat garantiert nicht 1:1 kopiert (also auf Fileebene), sonst wären die Dateigrössen nicht unterschiedlich.

Bernhard

[solaar]

Hola!

also ne 1zu1 Kopie ist das nicht.

Mir ist aber heute noch was aufgefallen.

Wir haben 2 server im cluster und einen dritten über ein Verbindungsdokument angeschlossen. Auf diesem sind ca. 50 Mailkonten rpliziert und in deren Personendokument steht der server 3 drin.
Die User arbeiten zu 99 direkt auf diesem Mailfile. Große Ansichtsindizes sollten also aller Wahrscheinlichkeit nach in diesen Mailfiles hängen.
Auch dort ist compact -B ohne Prozentuale Auswertung eingestellt.

Mailfile auf server 3 - 600 MB
mailfile auf unserem cluster 660 MB

Was ich ehrlich gesagt noch nicht ganz verstehe:

updall - R würde die Ansichten neu aufbauen, aber ein compact greift doch garnicht in die Ansichtsindizes ein oder?
Ich dachte immer das bei einem compact -B quasi nur der freigewordene platz komprimiert wird und der task nichts an den Ansichtsindizes macht.

mmh weitere Fragen

aber dennoch schonmal Danke!
Carsten

[hallo.dirk]

..........................

17 GB sind wirklich etwas schräg - aber ich will mir doch nicht von einer, nicht sauber funktionierenden, Software meine organisatorischen Maßnahmen diktieren lassen.

Wirklich schräg ist es, wenn bereits in der Hilfe zu lesen ist das etwas funktioniert - oder auch nicht 

Hugh, unbekannte Person spricht nicht klar genug.....was will mir mitteilen???

[solaar]

..........................

17 GB sind wirklich etwas schräg - aber ich will mir doch nicht von einer, nicht sauber funktionierenden, Software meine organisatorischen Maßnahmen diktieren lassen.

Wirklich schräg ist es, wenn bereits in der Hilfe zu lesen ist das etwas funktioniert - oder auch nicht 

Hugh, unbekannte Person spricht nicht klar genug.....was will mir mitteilen???

also der letzte Satz ist denk ich mal hierauf bezogen :
Komprimiert alle Datenbanken mit einem bestimmten Prozentsatz von nicht verwendetem Platz. Wenn Sie zum Beispiel 10 angeben, werden Datenbanken mit mindestens 10% nicht verwendeten Platz komprimiert. Beachten Sie, dass die Berechnung des nicht verwendeten Platzes nicht immer zuverlässig ist.

[koehlerbv]

Was man ja bei den Interna eines NSF vollkommen normal ist 
Man könnte natürlich die 17 GB byteweise scannen und allen Tables folgen, aber dann würde die Performance ... nun, etwas schwächeln.

Vulgo: Works as designed.

Bernhard

[hallo.dirk]

Wenn mich mir das im Englischen aunschaue, steht da:

Note that the unused space calculation is not always a reliable measure of unused space.

Für mich ein kleiner Unterschied

[solaar]

mmh sinngemäß ist das doch das selbe oder?
Man kann es machen, aber die werte sind nicht immer korrekt... irgendwie würde ich sagen das dies genau gegen den parameter -s10 spricht. wenn es bei einer DB 1,2GB gebracht hat dann frage ich mich wie lange dies schon bei 98 % stand.

nun gut. anderer Lösungsansatz:
wie oder durch welchen task kann man die Berechnung aktualisieren lassen?
Sollte dies relativ schnell laufen könnte man diesen task vor dem compact laufen lassen.

 

[sarazena]

Ich denke mal, dass Carsten die Files 1:1 kopiert hat, das Ganze also mit auf- oder nicht aufgebauten Indices nix zu tun hat.

Carsten hat garantiert nicht 1:1 kopiert (also auf Fileebene), sonst wären die Dateigrössen nicht unterschiedlich.

Bernhard

Ich gehe davon aus, das Carstens Frage wie folgt zu interpretieren ist:

2 gleiche Datenbanken auf 2 Servern; danach compact mit unterschiedlichen Parametern; Ergebnis: Original 800 MB. Kopie 100 MB.

Frage 1 Warum ist das so
Frage 2 Wie ändert man das (wie bringt man das trotz -s10 zum funktionieren)?

Gruß Sara

[solaar]

Ich gehe davon aus, das Carstens Frage wie folgt zu interpretieren ist:

2 gleiche Datenbanken auf 2 Servern; danach compact mit unterschiedlichen Parametern; Ergebnis: Original 800 MB. Kopie 100 MB.

Frage 1 Warum ist das so
Frage 2 Wie ändert man das (wie bringt man das trotz -s10 zum funktionieren)?

Gruß Sara

Im Prinzip genau richtig...
im cluster ist das ja ganz anschaulich; auf server1 haben wir über nacht 60 GB gespart. (hier wurde der compact -B ausgeführt
Der Clusterpartner hat nachwievor die originalgrössen.... (hier wurde mit -s10 gestartet)

[koehlerbv]

Zu 1) Die eine DB hat aufgebaute Indizes, die andere nicht (oder viel weniger). Das geht auch aus Carstens Erläuterungen hervor. Um gleiche Bedingungen zu schaffen, wäre also noch der Parameter -D erforderlich (da kommt dann aber vermutlich bei grossen DBs bei den Usern wenig Freude auf).

Zu 2) Eine Datenbank kann nur soweit komprimiert werden, wie es ihre aktuelle Struktur zulässt. Und eine Notes-Datenbank hat nichts gemein mit FAT32 oder NTFS oder ext3 oder ReiserFS. Nach entsprechender Benutzung ist es nicht nur möglich, sondern sicher, dass die interne Struktur in einzelnen Repliken einer DB unterschiedlich ist. Was COMPACT hieraus dann macht, wird sich aber nur um sehr wenige Prozentpunkte unterscheiden. Kein Verleich also zur Ansichtsindex-Problematik.

Bernhard

[solaar]

ich habe nochmal ne Fräge dazu

Ich dachte bisher immer das sich Ansichtindizes nur aufbauen wenn jemand aktiv mit Lotus arbeitet.
Im vorliegendem Fall habe ich gesehen das der compact -B eine Datenbank von 1100 MB auf 50 MB geschrumpft hat.
Ich habe mir das Mailfile angesehen und gesehen das dies noch einer der wenigen Outlook User ist, die mails per pop3 abrufen.
Bei Mailabruf landen ja nur die mails vom Posteingang im Ordner gelöschte Objekte.
Dieser war auch voll mit ca 30 MB Anhängen.

Die 30 MB + 19 MB Grundmailfilegrösse kommt ja in etwas auf 50 MB.

Habe mit dem User gesprochen und er war die letzten 2 Monate nicht im Urlaub. Er hat jeden Tag mails abgerufen. Ich gehe also nicht davon aus das er vor kurzem 1Gb an mails abgeholt hat und diese sonst dort zur Abholung bereit gestanden haben.

Bauen sich beim pop3 Abruf auch Ansichten auf? Sorry ich blicke das noch nicht so ganz.

compact -B säubert uns derzeit um die 200 GB auf mail. Davon sind zig Konten die um 50 % komprimiert wurden.

compact -B -s5 hat diese nicht angefasst...

Also laienhaft bin ich immernoch der Ansicht das ich den Parameter -s knicken kann, wenn die %-Anzeige nicht korrekt ist.
Wie man diese per task o.ä. manuell berechnen lässt, weiß niemand oder?

 
thx
Carsten

[michael-r]

unterschätze niemals Benutzer , Benutzer haben nie etwas anders gemacht und nie etwas probiert .

Hm habt ihr den vorher jemals compact, fixup, updall als Serverprogramm periodisch laufen lassen?

Ich würde mal eher auf nein tippen, daher auch die großen Unterschiede. Die Notes DBs schauffeln alles an Platz zu, ungenutzer Platz wird nicht freigegeben.

Andererseits wie im letzten Fall beschrieben könnte es sein, dass der Benutzer seine gesendeten Mails aufgeräumt hat, in meinem Fall und die eines anderen Benutzers gab das je Datebank 500 MB frei, wobei diese klar erst nach dem compact freigegeben wurden.

Achso und was du sagtest mit unterschiedlichem Platzverbrauch, auf unterschiedlichen Servern, das lässt sich sogar teilweise an Clients nachvollziehen. Dort hilft dann auch mal ein compact . Und unter Windows sind unsere Mailfiles größer als unter i5/OS, liegt am Dateisystem wie Bernhard sagte.

MFG Michael

[solaar]

compact lief halt mit -B -s5 jeden Tag, fixup -J ebenfalls jeden Tag

updall haben wir nicht eingeplant, machen wir nur bei Bedarf.

gesendete gibt es halt bei dem letzten Beispiel nicht da es ein pop3-User ist.

Ích glaube mittlerweile das der springende Punkt einfach nur die -%-Berechnung ist, wenn ich diese manuell beeinflussen könnte, manuell=per task o.ä., dann wäre uns schon geholfen.

[1174:0002-0B60] 12/13/2007 05:11:48 PM  Compacted  mail\xxxntje.nsf, 579584K bytes recovered (28%)
[1174:0002-0B60] 12/13/2007 05:11:03 PM  Compacted  mail\xxxnert.nsf, 59136K bytes recovered (41%)


nur mal schnell 2 Beispiele... das geht hier im halbminutentakt weiter.....
es ist einfach unwahrscheinlich das das ganze Unternehmen in den letzten 2 Tagen so viele mails gelöscht hat.

[solaar]

mal ein ganz anderer Ansatz für unser Problem:

innerhalb der Woche:
 compact -B -s10

am Wochenende:
 
mehrere compacts gleichzeitig laufen lassen. Habe dies gerade mal mit 3 compacts gemacht und die CPU/Speicherlast war kaum merkbar.

also folgende serverprogramme planen

load compact -B test_user_a-d.ind
load compact -B test_user_e-h.ind
load compact -B test_user_i-n.ind
load compact -B test_user_o-z.ind

in den Dateien packe ich jeweils die kurz vorher extrahierten nsf dateien (lässt sich scripten so das immer die jeweiligen mailfiles aufgelistet werden. Ansonsten würden neu angelegte User hier manuell einzupflegen sein - wer will das schon machen.)

Meinem Kurztest nach sollte der compact -B dadurch von der Nettozeit ungefähr durch Faktor 4 geteilt werden und die ganze Geschichte wäre in einer Nacht durch.
Theoretisch könnte man nach erfolgreichem Test die task erweitern.

Das will ich natürlich nicht einfach jetzt so aus der Hüfte schiessen, deshalb die Frage:
Wer hat sowas schonmal gemacht oder gibt es hierzu Erfahrungswerte?
Was haltet ihr davon?
Was spricht dagegen?

Vielleicht bin ich auch auf einem völlig falschen Weg..

Danke für eure Bemühungen
Carsten

hier ein Auszug aus der IBM Beschreibung:
   
 
How to run Compact against multiple databases simultaneously
 Technote (FAQ)
 
Problem
You would like to run Compact against multiple databases simultaneously. How can this be accomplished? 
 
Solution
You can use either of the options listed below to run Compact against multiple databases simultaneously.
Option 1: Tools -> Compact in the Domino Administrator client:

1. Select the Files tab.

2. While holding down the Ctrl key, select the files to be compacted.

3. Select Tools -> Compact.


Option 2: Use an Indirect file:
You can use an indirect file to specify one or more databases to compact, to rebuild views, or to fix corrupted views and documents. An indirect file is a text file that lists database file names or directory names and that you can specify for the compact, updall, or fixup task on the Domino console command line. The indirect file allows you to specify more than one database on the command line.

To create the indirect file

1. Use a text editor, such as Notepad, to create the text file.

2. List the files names of the databases in the Data directory that you want to fixup, compact, or rebuild. If the databases reside in a subdirectory of the Data directory, specify the directory and the database file name. If you want to fixup, compact, or rebuild all databases in a subdirectory, specify only the directory name.

3. Save the file with the file extension IND.
 
 
 
 
 
 

[m3]

mehrere compacts gleichzeitig laufen lassen. Habe dies gerade mal mit 3 compacts gemacht und die CPU/Speicherlast war kaum merkbar.

Hast Du Dir auch den Disk I/O angesehen?

[solaar]

jaein

ja - ich hab dran gedacht und sehe das als einzige Bremse
nein - ich hab mir das aktuell nicht angesehen.

aber das lässt sich ja überprüfen