Das Notes Forum
Lotus Notes / Domino Sonstiges => Tipps und Tricks => Thema gestartet von: blizzard am 12.01.10 - 10:32:56
-
Nettes pdf von den ESLUG Leuten.
--> http://www.slug.es/blogslug.nsf/dx/defragging-domino-servers-v12.pdf/$file/defragging-domino-servers-v12.pdf
Nutzt das wer von euch und kann über Performance Verbesserungen berichten?
-
Ja, ich nutze es ( zumindest contig.exe ). Der Performancegewinn ist enorm.
Auf einem unserer Server mit ca 600 Mailboxen ging fast gar nichts mehr. Die Responsezeiten waren jenseits von Gut und Böse. Zudem schnellten aus nicht ermittelbaren Gründen die Transaktionen/Minute von einem "normalen" Mittelwert von 500 manchmal für Minuten auf 70.000 und höher.
Seitdem ich die .NSF und die .FT regelmässig einmal wöchentlich defragmentiere, schnurrt der Server wieder wie ein Kätzchen.
Ich rufe contig.exe mit den entsprechenden Parametern über scheduled Tasks auf.
Ist wirklich ein Gewinn ...
Auch das Addin von Andrew läuft problemlos ( Das habe ich zuhause installiert )
-
Wenn ich mich mal schnell einklinken darf :)
Ich habe heut DominoDefrag auf einem unserer Server ausprobiert. Funktioniert sehr gut.
Werde nun das ganze auch einmal am Wochenende ausführen.
Davor ein fixup -f, ein Compact -B und ein Updall -C -R.
Ich hab im Logfile das Ende des Updall Prozesses (des größten Server) untersucht und starte eine Stunde den Defrag.
Finde ich eigentlich eine gute Idee :)
Grüße
Stephan
-
Davor ... ein Compact -B
Den Compact kannst du über den DDefrag Task gleich mitmachen.
-
Hallo,
das habe ich auch gesehen. Ist das egal ob der Updall davor oder danach läuft ? Das ist noch eine Einstellung von meinem Vorgänger.
Hast du das ganze auch schon auf einem Windows 2008 64Bit und Domino 8.5.1 FP1 64Bit getestet ? Wenn nicht dann mach ichs morgen :)
Die C++ API für Notes gibts nur für Windows 2003 64Bit. Das ist hoffentlich kein Problem.
Grüße
stephan
-
c++ und 64 Bit ... Ein Spiel mit Napalm und Rasierklingen ...Nicht uneingeschränkt zu empfehlen. contig.exe lässt sich aber auch über den Schduler und eine Batch steuern. Gibt dann nicht so schöne Einträge im Log, tut aber, was es soll.
-
Hallo,
mit welchen Parametern bzw. Optionen nutzt ihr DominoDefrag und wie sieht euer Zeitplan dafür aus?
Wir führen zur Zeit per Programmdokument auf den Domino-Servern im Domino-Cluster aus:
compact -B mail jeden Samstag um 21:00 Uhr
compact -B clubusy.nsf jeden Mo/Di/Mi/Do/Fr um 03:00 Uhr
compact -B crm jeden Di/Fr um 04:00 Uhr
Vielen Dank für Infos und Tips!
-
Gibt es auch ein Tool, das unter Windows 2000 läuft?
-
contig.exe läuft auch unter 2k ( bis runter zu NT ) DDefrag macht ja nichts weiter als contig zu starten.
Starten kannst du das Programm über eine Batch
contig -v -s D:\Programme\IBM\Lotus\Domino\data\*.nsf
contig -v -s D:\Programme\IBM\Lotus\Domino\data\ft*
defragmentiert dir alle NSF und die FT Verseichnisse.
-
Super.
Danke für die Info Ulrich.
-
Steppe es läuft unter 2008 x64 und x64 Domino 8.5
-
Das ganze ist ja schön und gut. Läuft auch super.
Nur die Preisfrage an dem ganzen ist, wie kann ich nachvollziehen, dass es nun besser und schneller läuft. Da fehlt mir ein bisschen die Möglichkeiten.
Die Fragmente per Grafik darzustellen ist ja schön und gut, aber das sagt mir über den Performancegewinn leider recht wenig bzw. ist nicht griffig.
-
Kann jemand Empfehlungen mitteilen, zu welchem Zeitpunkt ein Defrag ausgeführt werden sollte, z. B. wöchentlich nach Ende eines Compact?
Danke!
-
Best Practice für DominoDefrag?
Nach einigem Einlesen zum Thema DominoDefrag & compact bin ich zu folgendem Schluß gekommen:
* Zur Geschwindigkeitsoptimierung und Vermeidung von zu schneller Neufragmentierung lässt man DominoDefrag nach einem compact -b laufen. Dabei bleibt die Datenbankdateigröße gleich, intern ist aber noch Speicher frei, d.h. Domino muss vom Betriebssystem bei neuen Dokumenten nicht gleich die ganze Datei vergrößern (was bei Windows gleichbedeutend mit Fragmentierung ist).
* Um Speicherplatz bei einem Backup zu sparen und das Backup zu beschleunigen, lässt man vor dem Backup DominoDefrag nach einem compact -B laufen.
* Die Häufigkeit der Defragmentierung sollte man an die Anforderung anpassen. Wenig genutzte/nicht performance-kritische DBs müssen natürlich nicht so oft defragmentiert werden(z.B. wöchentlich Sa/So) wie DBs, die von vielen Nutzern genutzt werden und in denen viele Änderungen vorgenommen werden (z.B. täglich ab 23 Uhr)
Kann mir jemand bestätigen bzw. mich korrigieren ob meine Überlegungen so richtig sind?
Gruß,
Patrick
-
Ja, ist soweit korrekt.
Eins musst allerdings wissen, falls du Quotas einsetzt, dann wundern sich die User evtl. wieso die Quota nicht sinkt wenn du nur compact -b machst.
Zum Backup: Obacht, kommt auf die Software an die benutzt wird. Bspw. mit Tivoli TDP muss man aufpassen, dass das Fullbackup unmittelbar nach dem compact -B geschieht, da die DBIID geändert wird und das Ding meint, dass die Datei doch unbedingt gebackuped gehört, das es ja eine neue Datei ist. Somit kannst unter Umständen deine Backup-Strategie töten.
Ansonsten kannst auch weniger frequentierte DBs defraggen. Je häufiger du defragst umso schneller laufen die Tasks durch. Somit bietet sich auch ein Programm Dokument an, welches regelmäßig bestimmte Verzeichnisse defraggt.
-
Anmerkung:
compact -B verkleinert die DB Grösse und wirkt sich damit auch auf das Quota aus.
Grüsse
Christoph
-
Anmerkung:
compact -B verkleinert die DB Grösse und wirkt sich damit auch auf das Quota aus.
Grüsse
Christoph
Schon klar, aber Patrick möchte ja
Vermeidung von zu schneller Neufragmentierung lässt man DominoDefrag nach einem compact -b laufen.
-
Schon klar Ulrich, ich hab mich aber auf den Post von
Ja, ist soweit korrekt.
Eins musst allerdings wissen, falls du Quotas einsetzt, dann wundern sich die User evtl. wieso die Quota nicht sinkt wenn du nur compact -b machst.
bezogen und die Aussage ist so halt nicht richtig.
Beim Defrag ist ein Copystyle natürlich der bessere Weg.
Grüsse
Christoph
-
Was soll denn da bitte nicht richtig sein??
-
wir setzen DominoDefrag via Programmdokument ein, wobei zeitgleich mehrere für unterschiedliche Ordner gestartet werden.
Aufruf: load dominodefrag [Ordner] "-B - S 10"
Zeitplan: jeden Samstag um 20:00 Uhr
In der notes.ini sind folgende Parameter gesetzt:
DominoDefrag_Compact=1
DominoDefrag_FTIndex=1
DominoDefrag_SummaryEmailAddress=meine@mail.tld
Wie krieg ich das hin, das z. B. in der Woche via Programmdokument ein DominoDefrag OHNE Compact laufen soll?
-
Beim Defrag ist ein Copystyle natürlich der bessere Weg.
eben nicht
-
Was soll denn da bitte nicht richtig sein??
Vielleicht steh ich auf dem Schlauch, aber compact -B verkleinert die Datenbank und Platz für die Quota wird freigegeben. Der User wundert sich also nicht, sondern kann wie bei -c neue Dokumente erstellen.
Grüsse
Christoph
-
Ich hab nirgends von einem compact -B geschrieben.
Nur den Hinweis gegeben, dass ein compact -b die physische Datenbankgröße nicht verändert und somit die Quota nicht sinkt. Gerade -B verändert die Struktur (deshalb auch eine neue DBIID) und wirkt sich negativ auf die Fragmentierung aus und kann wie ausgeführt auch Konsequenzen auf die Backup Strategie haben.
Trotzdem kann es natürlich notwendig sein ein -B zu setzen (ja, die Quota), dann aber genauso wie er es beschrieben hat. Unmittelbar vor dem Backup und dem Defrag.
-
Eins musst allerdings wissen, falls du Quotas einsetzt, dann wundern sich die User evtl. wieso die Quota nicht sinkt wenn du nur compact -b machst.
Christoph, der feine Unterschied ist -B (reduziert die Größe) und -b (reduziert die Größe nicht).
blizzard hat bisher nur von -b geschrieben und da stimmt die Aussage mit der Quota
-
@batped & @blizzard: Sorry. Da war ich wohl vorhin nicht bei der Sache. Stimmt natürlich, dass -b und -B unterschiedlich auf die Quota wirken.
Grüsse
Christoph
-
contig.exe läuft auch unter 2k ( bis runter zu NT ) DDefrag macht ja nichts weiter als contig zu starten.
Starten kannst du das Programm über eine Batch
contig -v -s D:\Programme\IBM\Lotus\Domino\data\*.nsf
contig -v -s D:\Programme\IBM\Lotus\Domino\data\ft*
defragmentiert dir alle NSF und die FT Verseichnisse.
2 Fragen @ Ulrich:
Wie lange läuft das contig denn dann bei Dir?
Wo liegen die Serverdaten (lokale Plattten oder SAN)?
-
contig läuft ca 45 Minuten bei den nsf files und 15 Minuten bei den FT Daten.
Die NSF liegen ( noch ) auf lokalen Platten, die DAOS Files (.NLO) im SAN.
-
Die Zahlen sind aber völlig belanglos Dirk.
Das bringt dir ja nichts wenn du weißt wie lange das bei Uli oder mir geht.
Es kommt hier auf die Fragmentierung der Files an. Wenn die Fragmentierung hoch ist, dann dauert es länger und wenn sie klein ist dauert es schneller.
Heisst also wenn du das regelmäßig laufen hast, dann ändern sich die Zeiten nach unten hin.
--> Anzahl an files + Größe der Fragmentierung = Zeit
Bei mir liegen die Files SAN und es ändert auch nichts an der Zeit im Vergleich zu einem Server mit lokalen Platten.
-
Hm, sollte ich wirklich mal testen.
Meine Kollegen aus dem SAN Team beschweren sich über eine hohe IO Last im SAN die durch Domino verursacht wird.
Sie ist zwar messbar es gibt aber noch keine sspürbaren Einbußen, wenn ich die Last aber dadurch reduzieren könnte....
Ich werde es mal testen...
@Matthias
Wenn die Fragmentierung hoch ist, dann dauert es länger und wenn sie klein ist dauert es schneller.
Ist schon klar, aber als Richtwert passt das schon ;)
Das Problem ist, dass nur ein compact -c eine DB total fragmentiert.... und wer kann von sich behaupten, noch nie einen -c ausgeführt zu haben.
Meine Theorie ist, dass ein Defrag die IO Anfragen im SAN reduzieren müsste.
Zumindest kann ich das relativ leicht ausmessen..... Ich hab ja die aktuelle Werte
-
Hallo ZUsammen,
ich habe jetzt testweise einen Server (8.5FP1) mit DominoDefrag 32Bit ausgestattet und bereits den 6 Lauf über den ganzen Server absolviert.
Entgegen der angaben in der Doku wird haber gar nicht so viel "blau" wie in den Screenshots der Doku. Ich habe folgende Paramater eingestellt:
DominoDefrag_Compact=1
DominoDefrag_FTIndex=1
DominoDefrag_SummaryEmailAddress=
DominoDefrag_StartPoint=5
DominoDefrag_TransactionLog=1
DD_ProcessingTransLog=0
und rufe das ganze über ein Programmdokument mit -c auf.
Habe auch schon mal testweise das ganze über " " "-B -S 10" laufen lassen. Aber das brachte auch nicht mehr.
In den Screenshots werden die blauen Bereiche ja immer größer. Bei mir stagniertes es total. habe nur einen ganz kleinen blauen Bereich alles andee ist rot.
Mach ich dabei was falsch?
Grüße
Tobi
-
Hallo,
Tobi hat dazu einen neuen "Fred" eröffnet, bitte dort antworten:
http://atnotes.de/index.php/topic,48367.msg310482.html#msg310482
Gruß Werner
-
Version 2.4 von DominoDefrag ist raus:
- Fixed bug NOSS-846RJM because didn't defrag databases with file paths containing Umlauts and some other ANSI character(s)
- Fixed bug NOSS-84GDQD because C++ LNDatabaseArray does not return .box databases and now use NSFSearch instead
- Supports use of wildcard ( *) in command line and DominoDefrag_Directory Notes INI parameter
-
- Fixed bug NOSS-846RJM because didn't defrag databases with file paths containing Umlauts and some other ANSI character(s)
Wer bitte macht Umlaute in seine Dateinamen? Sowas gehört wegen Unfähigkeit schon gleich entlassen...
-
Ich gestehe, ist mir ganz am Anfang meiner Karriere passiert. Hatte nicht aufgepasst.
Muß ich jetzt gehen? ;D
-
- Fixed bug NOSS-846RJM because didn't defrag databases with file paths containing Umlauts and some other ANSI character(s)
Wer bitte macht Umlaute in seine Dateinamen? Sowas gehört wegen Unfähigkeit schon gleich entlassen...
Hallo? Wir befinden uns im 21. Jahrhundert, da sollte jede SW im Umlauten, ... umgehen können. (paranoide Admins würde sie trotzdem nicht erlauben)
-
Man sollte solche Zeichen trotzdem nicht erlauben denn gerade in einem internationalen Umfeld gibt das ziemlich Probleme wenn jemand vom anderen Ende der Welt einen Dateinamen eintippen soll und die Zeichen dazu nicht mal auf der Tastatur hat. Leerzeichen in Dateinamen sind auch so was gruseliges.
-
- Fixed bug NOSS-846RJM because didn't defrag databases with file paths containing Umlauts and some other ANSI character(s)
Wer bitte macht Umlaute in seine Dateinamen? Sowas gehört wegen Unfähigkeit schon gleich entlassen...
Hallo? Wir befinden uns im 21. Jahrhundert, da sollte jede SW im Umlauten, ... umgehen können. (paranoide Admins würde sie trotzdem nicht erlauben)
Das erzähl mal jemanden der keine Umlaute in seiner Sprache besitzt. >:D
-
Hier noch ein Teil einer Mail vom Entwickler von Domino Defrag zum Thema Umlaute
... noticed he’s in some Das Notes Forum Umlaut discussions http://atnotes.de/index.php?topic=47390.20 ) has helped me test DominoDefrag properly for databases with file paths containing Umlaut and other European/Latin characters this week. I’m releasing 2.4.1 today (currently 1800 here) to address some issues around this. This stuff is really tricky – some Umlaut/French characters in a LNString get converted to something strange when you use a method like ToLower() for example. And I think I’ve nearly mastered the use of OSTranslate finally…..
-
Tjo, wobei leider noch keiner meine initiale Frage "Wie messe ich vorher und nachher Veränderungen" beantworten konnte. Jedenfalls nur mit den "weichen" Fakten, wie der blaue Balken ist nun 2 cm länger, aber nicht Access Time auf allen Servern um 500ms schneller. ;)
-
Diese Frage versuche ich auch noch zu klaeren.... Wobei ein SAN die Sache nicht vereinfacht. Zu viele Caches und Puffer...
-
Sollte über IOSTATS messbar sein.
Hierzu auch mal http://blog.nashcom.de/nashcomblog.nsf/dx/new-tools-and-projects.htm beobachten.
-
Sollte über IOSTATS messbar sein.
Hierzu auch mal http://blog.nashcom.de/nashcomblog.nsf/dx/new-tools-and-projects.htm beobachten.
Aber am Domino Server die IO's im SAN zu messen bring ihmo nix:
Lokal am Server hätten wir auch die durchschnittliche DiskQueLength, die Disk Read Time und die Disk write Time.
Dazwischen liegen Cache des SAN Controllers und noch mindestens der Cache des Storage...
Diese Werte kann ich auch im SAN direkt abgreifen, damit bin ich näher am IO als am Domino Server. Ich befürchte aber, dass ich den erhöhten IO des Storages aber totzdem noch nicht messen kann...
aber soweit bin ich noch nicht...
-
So kleiner Zwischenstatus:
Diese Platten sind mittlerweile dermaßen defragmentiert, dass ich es nicht schaffe diese aufzulösen.
Von 360.000 defragmentierten Blöcken lässt contig immer noch 250.000 übrig. Dies führt dazu, dass ich immer noch Dateien habe, die über 16.000 Fragmente aufweisen.
Für eine Messung unbrauchbares Ergebnis!
Ich fürchte, dass ich nur noch durch umkopieren der Daten einen klaren Status erreichen kann. Da bald ein Hardware tausch ansteht, verschiebe ich die Erhebung der Statistiken um ca 4 Wochen....
-
Diese Platten sind mittlerweile dermaßen defragmentiert, dass ich es nicht schaffe diese aufzulösen.
Ja sind die nun fragmentiert oder defragmentiert ?
Thomas
-
na fragementiert, deshalb sind ja auch bis zu 16000 Fragmente auf einem File.
Mach mal mehrmalige durchläufe, dann müsste es auf jedenfall runtergehen.
-
Ja ja, dieses de am Anfang des Wortes fragmentiert wird doch überbewertet ;)
Habs ja schon korrigiert...
Mach mal mehrmalige durchläufe, dann müsste es auf jedenfall runtergehen.
Die ersten beiden contig Durchläufe haben 24 Stunden gedauert, das kopieren währe bestimmt schneller....
-
ja dauerte bei mir auch lange, aber umso öfters es läuft umso kürzer geht es danach.
-
So, wir haben nun die Daten auf eine neue Platte kopiert:
Wenn ich den Messungen nun trauen darf (und wir Messen im SAN gegen das Storage, nicht am Domino Server!) hat die die Schreib und Lese Latentzeit von durchschnittlich 11 auf 5 mikro Sekunden verringert.
Bin mir nur nicht Sicher wie aussagekräftig dieser Wert nun ist. :-:
Ich glaube aber, dass ich zunächst das Contig auch 1x pro Woche laufen lassen werde...
-
mikro oder milli ?
-
die Einheit is us , dass müssten dann eigentlich mikro sein....
-
Hi,
kann mir jemand sagen ob das Tool
1. noch bei jemandem aktuell im Einsatz ist
2. es das Tool (lt open NTF Version 3x) nur noch für 85x gibt und es nicht mehr für Domino 8.02 geeignet ist?
VG
Steffen
-
Ja, ich habe es im Einsatz.
Bei den versionen musst du zwischen Front end und backend unterscheiden.
Die neue Version kommt mit einem XPages frontend und das läuft nicht unter 8.0.2.
Das addin läuft aber auf allen 8er servern.
Gegebenenfalls musst du die AdminDb so anpassen, daß du über deinen 8.0.2 Client Zugriff auf alle relevanten Teile der Konfiguration ommst.
-
Release 4 ist raus ... wer nutzt es ( bzw. postet einige Erfahrungswerte damit ).
Habe den Thread erst heute entdeckt ... wir habe aktuell Domino Release 8.5.3 FP4 auf 2008 R2 als VM in SAN laufen,
Ich würde das gern mal probieren, da unsere Performance mit 10% DBs teils um 50 GB dann doch schon ganz schön lahmen.
Danke
PS: mit der contig.exe ( woher - liegt wo ... ) komme ich noch nicht ganz klar, aber ich lese die Dokus erstmal und mache mich damit vertraut.
-
Hallo,
ich habe gerade bei einem Domino-Server (8.5.4FP4 64bit unter W2008 R2) DominoDefrag auf die Version 4 aktualisiert.
Nutze dabei die DominoDefragAdmin.nsf bzw. die XPage Variante.
Folgende DominoDefrag Optionen sind (erstmal) gesetzt:
DominoDefrag_Directory=
DominoDefrag_MinuteInterval=0
DominoDefrag_Runtime=0
DominoDefrag_FTIndex=1
DominoDefrag_StartPoint=5
DominoDefrag_VerboseLogging=0
DominoDefrag_Compact=1
DominoDefrag_CompactOptions=
DominoDefrag_SummaryEmailAddress=DominoDefragReport
DominoDefrag_SummaryEmailFrom=server@domain.tld
DominoDefrag_TransactionLog=0
DominoDefrag_DAOS=0
DominoDefrag_PerformanceCheck=1
DominoDefrag_FreeSpace=
DominoDefrag_FreeSpaceMaxMB=0
DominoDefrag_OptimizeDataVolume=1
DominoDefrag_OptimizeFiles=0
DominoDefrag_EnterpriseSupport=1
DominoDefrag_ErrorLogging=1
DominoDefrag_CompactStart=10%
DominoDefrag_CreateClusterReplicaStub=0
DominoDefrag_OnlyOOO=0
Das generierte Programdokument enthält:
Program name: DominoDefrag.exe
Command line: [ohne]
und natürlich die Schedule Daten.
Läuft heute abend an und (hoffentlich) durch. Schau´n wir mal ...
-
... und ich hatte vor einigen Wochen das ekelhafte Problem mit den Semaphoren-Meldungen und den Aussetzern am Server gegenüber den Clients.
Hier ein sehr interesanter Artikel von IBM dazu: http://www-10.lotus.com/ldd/dominowiki.nsf/dx/01152009062114PMWEBVDT.htm
Querverweis zu dem Artikel bzw. Problem mit dem "LkMgr End Long Held Lock Dump" >> http://atnotes.de/index.php/topic,54021.0.html
-
DominoDefrag 4.0 läuft so weit.
Leider werden bei mir im Enterprise Modus die DominoDefrag Mails nicht verarbeitet und somit gibt es auch keine Reports etc.
Habe allerdings die DominoDefragAdmin DB auf einen anderen Server liegen als der Home-Server im PersDok der Perosn, mit der die DominoDefragAdmin DB signiert ist.
Der Parameter AMGR_DISABLEEMAILLOOKUP=1 hilft leider auch nicht.
-
Hallo Kollegen,
ich würde gern das DDefrag 4.1 mal konfigurieren und testen, aber wenn ich von der Serverconsole mal testhalber eine Datei mit DDefrag probieren möchte, bekomme ich folgende Meldung in der Console: ( Screenshots )
Die Dateien liegen dort wo sie sollen, in der Config muß für den Eintrag für das DominoDefrag_Directory m.M. nach als Default auch nichts eingetragen werden.
Ich habe mal einen Ordner angelegt und den Pfad hinterlegt, die Meldung bleibt.
Wer kann mir den entscheidenden Tipp geben ?
Danke
-
Wenn mich nicht alles täuscht, ist mit Directory der Pfad zu deinen Datenbanken gemeint. Also wahrscheinlich alles unterhalb von data bzw mit dirlinks verbunden.
(Defaults to root data directory if not specified)
-
...es schien wohl an einem zu langem Dateipfad zu den Dateien / DBs mit Underlines zu liegen, es funktioniert erstmal der Testlauf per Programmdokument ...
Fortsetzung / Feedback folgt: