Das Notes Forum
Domino 9 und frühere Versionen => ND8: Administration & Userprobleme => Thema gestartet von: blizzard am 27.01.09 - 19:24:04
-
Guten Abend zusammen,
ich wunder mich etwas, dass das Thema DAOS hier noch gar nicht oder nur in geringen Zügen beabeitet oder auch befragt wurde. Ich sehe es als das neue tolle Feature schlecht hin.
Allerdings habe ich natürlich auch etwas Bedenken bei einer 8.5 Migration DAOS einzuführen, da jeder noch den Horror mit SharedMail kennt. Ich kenne keinen der das benutzt hat.
Ich habe mit dem DAOS Estimator mal einige unsere MailDBs gecheckt und komme zu tollen Zahlen, welche für euch evtl. auch sehr aufschlussreich sein könnten:
Summary:
Total DB's analyzed: 1607
Total DB's skipped due to errors: 0
Total Size of NSF's Examined: 355.1 GB
Total Attachments found: 1303733
Total Duplicate Attachments found: 648984
Total DAOS Eligible Attachments: 1303733
Estimated Size of DAOSified NSF's: 112.2 GB
Estimate Size of DAOS dir: 160.6 GB
Total Disk Savings: 107.3 GB
Compression Statistics:
None: 577194
Huffman: 725857
LZ1: 682
Huffman on LZ1 servers: 0
Ich würde natürlich sehr gerne 107GB sparen, habe aber natürlich so meine Bedenken, zum Beispiel:
- Backup (ok flat; einmal Full danach incrementell)
- Restore; was tun bei einem Problem ??? Wann zurückspielen und um welchen Bereich handelt es sich? (Stichwort *.nlo files)
- Performance? (sollte eigentlich im einiges schneller werden, da die nsf files um bis zu 80% schrumpfen.)
- Replikation? (ja, lokal sollte alles normal wie zuvor auch dabei sein, auch Server-Replikation sollte je nach Status des anderen Server auch komplett oder "daosfied" sein.
- Einstellbar pro User bzw. pro Datenbank oder generell? (es scheint ein Flag pro Datenbank zu geben, bin mir da aber nicht ganz sicher)
- einrichtbar ist es sehr einfach, aber kann man es auch wieder deaktivieren?
Hat irgendjemand von euch Erfahrungen? Habt ihr es vielleicht schon aktiv und erste Resultate oder Probleme zu berichten?
-
einrichtbar ist es sehr einfach, aber kann man es auch wieder deaktivieren?
Da würde mich gleich interessieren: und was passiert dann? Sind die Attachments wieder in den Datenbanken wo sie vorher auch waren?
-
Das ist aber echt verwunderlich, dass im größten deutschen Forum für Notes Tekkis das neue Speicherkonzept von IBM/Notes Domino kaum diskutiert wird. Die letzten Jahre wurde immer über den Speicherbedarf von Notes vs. Exchange gemeckert und dass der Speicher so teuer ist. Nun bringt Lotus eine "Lösung" und kaum jemand scheint es zu interessieren.
1/3 Einsparung ist ja nicht schlecht. Fraglich ist, was man alles dagegen rechnen muss. Wie funktionieren Backup und Restore? Was kostet mich Transaction Logging. Wie läuft es im Cluster? Was passiert mit verschlüsselten E-Mails und wie stabil sind die Millionen von Verlinkungen? Auf der Lotusphere fand ich die Antworten der IBM noch recht unklar.
Ich bin mal gespannt wie sich die Diskussion um DAOS weiterentwickelt oder ob es wie Shared Mail wieder verschwindet. Einfach die Daten verzippen und die Screenshots von bmp in jpg umwandeln und schon hat man eine ähnliche Einsparung ohne die Nebenwirkungen.
-
zur Verschlüsselung:
da gibt es keine Probleme, weil der Anhang mit einem neu generierten öffentlichen Schlüssel verschlüsselt wird. Danach wird nur der dazugehörige private Schlüssel mit dem öffentlichen Schlüssel des jeweiligen Empfängers verschlüsselt. D.h. der Empfänger entschlüsselt den privaten Schlüssel mit seinem privaten Schlüssel und kann dann die verschlüsselte Mail entschlüsseln.
Alles andere wäre auch beim Versenden einer verschlüsselten Mail an viele Empfänger inperformant.
Damit ist der Anhand immer der gleiche verschlüsselte Stream.
zum Deaktivieren:
laut IBM soll es genau so deaktivierbar sein, wie es aktiviert wird, d.h. über einen compact
Compact database.nsf –c –daos on
Compact database.nsf –c –daos off
zur Aktivierung:
in den Datenbank-Eigenschaften kann DAOS eingeschaltet werden (letzter Reiter - Punkt: "Use Attachment and Object Service"), d.h. es wird pro Datenbank und pro Domino aktiviert.
DAOS Objekte werden auch bei der DB Quote berücksichtigt, d.h. auch wenn der Anhang zentral gespeichert wird, wird die Größe der DB zugeschrieben.
Außerdem soll DAOS transparent für C-Api calls, Agents, Lotusscript sein.
Als Nachteil sehe ich an, dass dies nicht clusterfähig ist.
Restore ist für mich auch noch ein großer schwarzer Fleck, da habe ich auch noch keine näheren Informationen.
Aktiviert ist es bei uns nicht, dafür setzen wir noch die falsche Domino-Version im Prod.-System ein.
Gruß
Dirk
-
Was Backup und Restore angeht ist diese Technote aufschlussreich: http://www-01.ibm.com/support/docview.wss?rs=463&context=SSKTMJ&context=SSPQ69&context=SSKTWP&context=SSRNU3&context=SSRNUY&dc=DB560&dc=DB520&uid=swg21358548&loc=en_US&cs=utf-8&lang=en
Das heißt für uns, bevor wir beispielsweise "verwaiste" Mail-Datenbanken vom Notes Server entfernen, wird DAOS abgeschaltet und das nächste Voll-Backup abgewartet, um nicht später mühselig die NLO Dateien im Restore-Fall zurücksichern zu müssen.
Denn so lange die jeweilige Backup-Lösung nocht nicht "DAOS-aware" ist, muss man sich um die NLO Dateien separat kümmern. Es gibt zwar einen Befehl, der für eine bestimmt .nsf alle zugehören NLOs anzeigt, aber die muss man dann immer noch in einem extra Schritt aus dem Backup kratzen.
-
ich wunder mich etwas, dass das Thema DAOS hier noch gar nicht oder nur in geringen Zügen beabeitet oder auch befragt wurde.
Einer der Gründe dürfte sein:
da jeder noch den Horror mit SharedMail kennt.
DAOS ist darüber hinaus noch sehr jung; da trauen sich halt noch nicht so viele ran. Wenn ein Paul Mooney das auf seinem Testserver mit 3 Datenbanken und einem Attachment macht, dann ist das eine Sache. Wenn man aber 700 datenbanken mit gut und gerne 2 Mio Attachments DAOSified, dann ist das schon eine ganz andere Dimension.
Ich habe es gemacht! Die Ergebnisse sprechen für sich. Die User merken nichts davon.
Glaub mir, mein Blutdruck ist auch ganz schön in die Höhe gegangen, als ich die ersten Datenbanken mit -daos on komprimiert habe. Und mir ist auch der Schweiss auf der Stirn gestanden, als ich die ersten NEEDS RESYNC Meldungen auf dem Schirm hatte. Ganz unwohl wurde mir, als mein prod. Domino meldete, daß die daoscat.nsf ein Problem hat und ich als letzten Ausweg nur ein Löschen derselben sah. Blutdruck, Schweissproduktion und Unwohlsein arbeiteten aber nach dem neuerstellen und Resync wieder im Rahmen der normalen Parameter. ...
Das Schöne an DAOS ist, daß man im Grunde nicht viel machen muss / kann ...
Trotzdem ist das Thema spannend; ich habe mir vorgenommen, DAOS als Session auf dem nächsten AdminCamp anzubieten.
-
Das Thema Restore ist auch für mich momentan der Hauptknackpunk:
Wenn wir heute einen Restore machen, stelle wir den Restore auf einem anderen Server zur Verfügung, wo sich dann der Anwender die Dokumente holen kann. Hier kann es zu Problemen kommen bzw. muss sich überlegen es anderes zu machen (Attachment liegt auf Restore-Server nicht im DAOS oder ist nicht DAOS aktiviert).
Wenn man die Periode für die Vorhaltung nicht mehr benötigter NLO-Dateien mit der Datensicherung (wieviele Generation, wie lange zurück) koordiniert, sollte die Notwendigkeit, NLO-Dateien aus der Sicherung zurückholen zu müssen, gegen Null gehen.
@Dirk: Deine Ausführungen zur Verschlüsselung fand ich sehr hilfreich und schlüssig, da sich bei uns genau diese Frage gestellt, danke. Hast Du die Infos von IBM (Technote, Doku)?
Was sich bei uns in der Überlegung auch noch als Frage herauskristallisiert hat: Bringt DAOS auch etwas bei der Replikation? Wenn ein Attachment bereits im DAOS liegt und in einer DB erneut eingehängt wird (kommt ja vor...) und dann repliziert wird (Cluster oder normale Replikation mit anderem Server) und diese Server auch DAOS aktiviert sind und dort liegt Attachment auch bereits im DAOS, erfolgt dann eine Replikation mit oder ohne Attachment? Wenn ohne, wäre dies ja genial.
Gruß
Wolfgang
-
die Info habe ich vom EntwicklerCamp mitgenommen, weil genau bei der Verschlüsselung habe ich erst auch Bedenken gehabt.
-
Als Nachteil sehe ich an, dass dies nicht clusterfähig ist.
Meinst du damit, daß man nicht 1 Attachment Repository für 2 Cluster member verwenden kann?
-
genau das meine ich damit.
-
Kann mir aber vorstellen, daß IBM das in einem der nächsten releases auch lösen wird.
Lt. IBM Wiki kann man ja für die Speicherung der NLO auch NAS einsetzen. Knackpunkt ist hier wohl die Verschlüsselung, die für jeden Server unterschiedlich ist. Hier sollte sich aber auch ein Weg finden, über die Cluster member einheitlich zu verschlüsseln.
-
mein erster Gedanke als ich von DAOS gelesen habe war
- gute Idee, hoffentlich besser als SharedMail
mein 2. Gedanke
- wie funktioniert das mit der Verschlüsselung
und mein 3. Gedanke
- wieder nicht fertig umgesetzt (Clusterfähigkeit)
Aber da ist noch Potential für eine 8.5.x (x > 1) oder eine 9.x drin.
-
Ich sehe die "Nicht-Clusterfähigkeit" eher als Pluspunkt im Sinne Beherrschbarkeit und Einschränkung der Complexität (ich habe z. B. selektive Replikation und will das dann in der Folge Attachments nur auf einen Server bleiben oder Problem mit Cluster über WAN, etc.). Als Option ok, als Standardfunktion und nicht änderbar eher problematisch.
Gruß
Wolfgang
-
und mein 3. Gedanke
- wieder nicht fertig umgesetzt (Clusterfähigkeit)
Das ist dann aber auch bei einem "normalen" Cluster so. Da habe ich die Files ja auch für jeden Clustermember separat gespeichert.
und diese Server auch DAOS aktiviert sind und dort liegt Attachment auch bereits im DAOS, erfolgt dann eine Replikation mit oder ohne Attachment? Wenn ohne, wäre dies ja genial.
Das muss ich mal testen; momentan ist der andere Clustermember abe noch nicht DAOSified.
-
laut IBM erfolgt die Replikation mit Anhängen. Ein Domino sieht nicht, wie der andere Domino seine Anhänge verwaltet.
-
Das würde ja auch dem DAOS widersprechen. Wie soll das auch funktionieren? Irgendwie müssen die Attachments auch in den DAOS Folder von den Spokes kommen, sofern es dort überhaupt aktiv ist.
Gleiches gilt für die mail.box und den Router Task, sofern die Mail den Server verlässt.
-
Hallo Blizzard,
wie schaut's denn mit Data Compression und Design Compression in Verbindung mit aktivierter LZ1 aus?
Ich habe bei uns den Test gemacht und festgestellt, dass ich auch ohne DAOS bis zu 35% (8.5 Testserver) des Plattenplatzes einsparen kann. Auf unseren 6.5.6-er Servern brachte die LZ1 sogar schon zw. 10 und 15% Einsparung.
DAOS oben drauf bringt dann nochmal ca. 15% in Abhängigkeit der Häufigkeit der gleichen Anhänge auf diesem Server. Denn auch die Anhänge müssen ja irgendwo abgespeichert werden.
Wir haben uns entschieden vorerst nur mit LZ1, DataCompression und Design Compression auf 8.5 zu arbeiten.
Wie in der Auswertung des Estimator zu sehen sind ja einige Datenbanken bei Euch noch mit Huffman komprimiert. Ich denke es sollte auch bei möglich sein ca. 50GB schon auf den 6.5.4-er Servern herauszuholen. Auf den 8.5-ern wird dann noch mehr, wegen der verbesserten LZ1 komprimierung und der Möglichkeit den Body zu komprimieren. Text lässt sich ja bekanntlich gut komprimieren.
Viel Spass beim testen.
-
ja denke auch, dass alleine mit LZ1 und Design compression ordentlich zusätzlich sparen lässt. Bei einem 8.5er Mailtemplate lässt sich das schon ganz deutlich sehen. Aus 30MB werden ca. 12 MB.
-
Also meine Erfahrungen mit DAOS sind eher schlecht.
Der DaosEstimator lag bei der Größe des DAOS-Directories doch erheblich daneben.
Das Verzeichnis war um einiges größer als erwartet und die Ersparnis dadurch geringer aber immer noch sehr interessant.
Der Virenscanner (Trendmicro Scanmail) scheint nicht nur bei uns ein Problem mit DAOS zu haben, Backup-Software ist natuerlich auch noch nicht so weit.
Aber das eigentliche Problem liegt in den massiven Problemen, wenn intern Mails verschluesselt werden bzw. gesendete Mails verschluesselt in der DB gespeichert werden.
Naja, PMR läuft und auch hier waren die Probleme wohl bei IBM schon bekannt.
-
Was sind das für Probleme mit verschlüsselten Mails? Lt. Post im Notes/Domino 8.5 - Forum soll auch dann nur eine NLo-Datei erstellt werden bzw. dieses genutzt werden. Hast Du andere Erfahrungen?
Wolfgang
-
Was sind das für Probleme mit verschlüsselten Mails? Lt. Post im Notes/Domino 8.5 - Forum soll auch dann nur eine NLo-Datei erstellt werden bzw. dieses genutzt werden. Hast Du andere Erfahrungen?
Das ist vermutlich richtig, auch wenn natuerlich das nicht funktioniert, wenn die Mails einzeln geschickt werden, da dann zwei unterschiedliche Files generiert werden.
Das Problem sind eher verschiedene Bugs im Handling (wie gesagt auch Kopie gesenderter Nachricht wird verschlüsselt gespeichert)
Fehler z.B.: User entwirft ein Memo mit Attachment und speichert dies als Entwurf. Macht es dann wieder auf und will senden. Fehlermeldung (Englische Variante) :
the encrypted data has been modified or the wrong key was used to
decrypt it: mail.box
Fehler z.B.: gleiches Szenario wie oben, aber Memo besteht aus einer bereits empfangen Mail mit anhängen. User fügt Text oder Attachments hinzu und speichert....
Alle neu hinzugefügten Sachen verschwinden einfach
Fehler z.B: User empfängt wieder Mails und will diese weiterleiten oder Attachments hinzufügen ohne als Entwurf zu speichern->Fehlermeldung
I
Wie bereits geschrieben, einen Teil finde ich auch bereits in irgendwelchen Blogs und ein Hotfix existiert anscheinend auch für einen Teil der Probleme (noch nicht von mir getestet). Die erste Frage vom IBM Support war warum wir eigentlich intern verschlüsseln.
Der Fehler lässt sich immer mit einem compact -c -daos off beseitigen, dann hat man halt keinen daos mehr.
-
Danke für die Infos.
-
zu verschlüsselten Mails:
http://www.eknori.de/2009-04-14/daos-encrypted-mail/
( Habe dazu auch noch im LDD 8.5 Forum gepostet http://www-10.lotus.com/ldd/nd85forum.nsf/DateAllThreadedWeb/82d14893574b294685257598003969a7?OpenDocument (http://www-10.lotus.com/ldd/nd85forum.nsf/DateAllThreadedWeb/82d14893574b294685257598003969a7?OpenDocument) )
-
Das für verschlüsselte Emails immer ein neues nlo erstellt wird ist verständlich.
Das zwei erstellt werden, könnte ich in dem Fall wg. der gespeicherten Kopie verstehen. Allerdings würde ich zunächst mal prüfen, ob
nicht eines davon nach einen prune 0 wieder verschwindet.
-
Auch nach einem prune 0 sind die Files noch da.
Ich schiebe gleich noch ein Mysterium hinterher
http://www.eknori.de/2009-04-14/daos-where-do-this-files-come-from/
-
Dave Kern hat das Verhalten bei verschlüsselten Mails bestätigt (http://www-10.lotus.com/ldd/nd85forum.nsf/7756aedc25e6d81285256324005ac76c/852940e0860224d185257598004425a6?OpenDocument), und Nathan Freeman hat die Erklärung dazu geliefert ( 2.Kommentar ) (http://www.eknori.de/2009-04-14/daos-encrypted-mail/)
-
Dank Kurzarbeit habe ich ja ein wenig Zeit, das Eine oder Andere auszuprobieren. Heute habe ich mal 3 VMs aufgesetzt; 2 Domino Server und ein NAS ( freenas.org )
Die beiden Dominos laufen im Cluster und haben ein gemeinsames DAOS Verzeichnis auf dem NAS.
Funktioniert sogar.
-
mhh ich könnte mir vorstellen, dass das kurzzeitig geht, aber was passiert wenn der eine Server meint, dass das Dokument bei sich nirgends mehr verwendet wird und der andere aber noch meint es wäre vorhanden?
(sollte im Cluster eigentlich nicht vorkommen)
Dann Backup und Redundanz im Cluster? Ist das nicht etwas womit man eigentlich den Cluster ad absurdum führt? Ich baue doch einen Cluster um gewisse Services hochverfügbar zu haben. Knallt mir das DAOS Verzeichnis weg, dann hab keine mehr.
Was passiert bei der Einstellung zum löschen nicht mehr verwendeter nlo's, wenn dort unterschiedliche Werte eingetragen sind?
Ich glaube genau aus einigen dieser Gründe ist es nicht supported.
-
Ich glaube genau aus einigen dieser Gründe ist es nicht supported.
Genau, ist ja auch bloss ein Test.
Bitte liebe Hobbyadmins, Urlaubsvertretungen und User mit Adminrechten: NICHT blindlings nachmachen im Livesystem!!
-
jo, aber ein guter Test.
Da die Stimmen doch recht laut wurden, wieso man das nicht auch genau so verwenden kann, nehme ich an, dass in naher Zukunft evtl. doch die Möglichkeit dazu geschaffen wird.
-
Hallo,
sehr interessant die Diskussion.
Ich habe da ein klein wenig Probleme zu verstehen wie das mit lokalen Repliken von Mail-Datenbanken funktioniert. Ich beschäftige mich erst neu mit DAOS und das erste was mir eingefallen ist, wie das mit mobilen usern funktioniert. Sind die attachments auf einer lokalen Replik ganz normal in der Mail gespeichert?
-
Sind die attachments auf einer lokalen Replik ganz normal in der Mail gespeichert?
Ganz genau, so ist es.
Auf den Servern, oder auf dem lokalen Client, auf dem DAOS nicht aktiviert ist, liegen die Attachments ganz normal in der Datenbank.
-
Hier (http://www-10.lotus.com/ldd/nd85forum.nsf/ShowMyTopicsAllThreadedweb/b46c85fd02b400678525758b0044a70d?OpenDocument) eine Erklärung, warum das re-sync einer einzelnen Datenbank nicht machbar ist.
-
Ich bastele gerade an einer kleinen Datenbank, die mir historische Daten des DAOS Repository ( Filecount, Grösse des Verzeichnisses ... ) speichert und dann in einem ( oder mehreren ) Charts darstellt. DAOS selber stellt mir diese daten nicht zur Verfügung.
Die Daten werden einmal täglich ermittelt. Hier mal ein Beispiel für ein Chart ( Ich verwende Fusion Charts )
Da sind jetzt nur die Daten von 2 Tagen drin ...
-
Hier jetzt das komplette Paket http://www.eknori.de/2009-04-30/sntt-determine-daos-foldersize-and-nlo-count/
-
danke, Klasse Arbeit.
-
in 8.5.1 ist die Funktionalität erweitert worden.
http://www.eknori.de/2009-08-28/daos-optimization-in-domino-8-5-1/
Das betrifft sowohl die Replikation Client --> Server als auch das Weiterleiten und Antworten auf Mails, die ein Attachment enthalten, das es schon als NLO auf dem Server gibt.
Bei der Server -> Server Replikation funktioniert diese Optimierung ebenfalls. Gibt es das Attachment auf dem TargetServer schon, dann wird nur noch das Ticket repliziert.
Eine Besonderheit gibt es noch bei der Cluster Replizierung: SCR unterstützt die Optimierung ( noch ) nicht.
( Quelle: IBM Lotus Notes/Domino 8.5.1 Managed Beta Forum, Jon Champlin, Gary Rheaume )
-
Wie schaut das denn eigentlich mit dem Erstellen von Repliken über den Adminp Process bei DAOS aktivierten Datenbanken aus ?
Wird das unter 8.5.1 supported, beziehungsweise wie sieht euer aktueller Workaround aus ?