DAOS

[blizzard]

Guten Abend zusammen,

ich wunder mich etwas, dass das Thema DAOS hier noch gar nicht oder nur in geringen Zügen beabeitet oder auch befragt wurde. Ich sehe es als das neue tolle Feature schlecht hin.

Allerdings habe ich natürlich auch etwas Bedenken bei einer 8.5 Migration DAOS einzuführen, da jeder noch den Horror mit SharedMail kennt. Ich kenne keinen der das benutzt hat.

Ich habe mit dem DAOS Estimator mal einige unsere MailDBs gecheckt und komme zu tollen Zahlen, welche für euch evtl. auch sehr aufschlussreich sein könnten:

Summary:
     Total DB's analyzed:                            1607
     Total DB's skipped due to errors:                  0
     Total Size of NSF's Examined:                  355.1 GB                   
     Total Attachments found:                     1303733                     
     Total Duplicate Attachments found:            648984                     
     Total DAOS Eligible Attachments:             1303733                     
     Estimated Size of DAOSified NSF's:             112.2 GB                   
     Estimate Size of DAOS dir:                     160.6 GB                   
     Total Disk Savings:                            107.3 GB                   
     Compression Statistics:                                                   
       None:                                       577194                     
       Huffman:                                    725857                     
       LZ1:                                           682                     
       Huffman on LZ1 servers:                          0 


Ich würde natürlich sehr gerne 107GB sparen, habe aber natürlich so meine Bedenken, zum Beispiel:

- Backup (ok flat; einmal Full danach incrementell)
- Restore; was tun bei einem Problem Wann zurückspielen und um welchen Bereich handelt es sich? (Stichwort *.nlo files)
- Performance? (sollte eigentlich im einiges schneller werden, da die nsf files um bis zu 80% schrumpfen.)
- Replikation? (ja, lokal sollte alles normal wie zuvor auch dabei sein, auch Server-Replikation sollte je nach Status des anderen Server auch komplett oder "daosfied" sein.
- Einstellbar pro User bzw. pro Datenbank oder generell? (es scheint ein Flag pro Datenbank zu geben, bin mir da aber nicht ganz sicher)
- einrichtbar ist es sehr einfach, aber kann man es auch wieder deaktivieren?

Hat irgendjemand von euch Erfahrungen? Habt ihr es vielleicht schon aktiv und erste Resultate oder Probleme zu berichten?

[Micha B]

einrichtbar ist es sehr einfach, aber kann man es auch wieder deaktivieren?

Da würde mich gleich interessieren: und was passiert dann? Sind die Attachments wieder in den Datenbanken wo sie vorher auch waren?

[TB]

Das ist aber echt verwunderlich, dass im größten deutschen Forum für Notes Tekkis das neue Speicherkonzept von IBM/Notes Domino kaum diskutiert wird. Die letzten Jahre wurde immer über den Speicherbedarf von Notes vs. Exchange gemeckert und dass der Speicher so teuer ist. Nun bringt Lotus eine "Lösung" und kaum jemand scheint es zu interessieren.

1/3 Einsparung ist ja nicht schlecht. Fraglich ist, was man alles dagegen rechnen muss. Wie funktionieren Backup und Restore? Was kostet mich Transaction Logging. Wie läuft es im Cluster? Was passiert mit verschlüsselten E-Mails und wie stabil sind die Millionen von Verlinkungen? Auf der Lotusphere fand ich die Antworten der IBM noch recht unklar.

Ich bin mal gespannt wie sich die Diskussion um DAOS weiterentwickelt oder ob es wie Shared Mail wieder verschwindet. Einfach die Daten verzippen und die Screenshots von bmp in jpg umwandeln und schon hat man eine ähnliche Einsparung ohne die Nebenwirkungen.

[diali]

zur Verschlüsselung:
da gibt es keine Probleme, weil der Anhang mit einem neu generierten öffentlichen Schlüssel verschlüsselt wird. Danach wird nur der dazugehörige private Schlüssel mit dem öffentlichen Schlüssel des jeweiligen Empfängers verschlüsselt. D.h. der Empfänger entschlüsselt den privaten Schlüssel mit seinem privaten Schlüssel und kann dann die verschlüsselte Mail entschlüsseln.

Alles andere wäre auch beim Versenden einer verschlüsselten Mail an viele Empfänger inperformant.

Damit ist der Anhand immer der gleiche verschlüsselte Stream.

zum Deaktivieren:
laut IBM soll es genau so deaktivierbar sein, wie es aktiviert wird, d.h. über einen compact
Compact database.nsf –c –daos on
Compact database.nsf –c –daos off

zur Aktivierung:
in den Datenbank-Eigenschaften kann DAOS eingeschaltet werden (letzter Reiter - Punkt: "Use Attachment and Object Service"), d.h. es wird pro Datenbank und pro Domino aktiviert.

DAOS Objekte werden auch bei der DB Quote berücksichtigt, d.h. auch wenn der Anhang zentral gespeichert wird, wird die Größe der DB zugeschrieben.

Außerdem soll DAOS transparent für C-Api calls, Agents, Lotusscript sein.

Als Nachteil sehe ich an, dass dies nicht clusterfähig ist.

Restore ist für mich auch noch ein großer schwarzer Fleck, da habe ich auch noch keine näheren Informationen.

Aktiviert ist es bei uns nicht, dafür setzen wir noch die falsche Domino-Version im Prod.-System ein.

Gruß
Dirk

[FlorianN]

Was Backup und Restore angeht ist diese Technote aufschlussreich: http://www-01.ibm.com/support/docview.wss?rs=463&context=SSKTMJ&context=SSPQ69&context=SSKTWP&context=SSRNU3&context=SSRNUY&dc=DB560&dc=DB520&uid=swg21358548&loc=en_US&cs=utf-8&lang=en

Das heißt für uns, bevor wir beispielsweise "verwaiste" Mail-Datenbanken vom Notes Server entfernen, wird DAOS abgeschaltet und das nächste Voll-Backup abgewartet, um nicht später mühselig die NLO Dateien im Restore-Fall zurücksichern zu müssen.

Denn so lange die jeweilige Backup-Lösung nocht nicht "DAOS-aware" ist, muss man sich um die NLO Dateien separat kümmern. Es gibt zwar einen Befehl, der für eine bestimmt .nsf alle zugehören NLOs anzeigt, aber die muss man dann immer noch in einem extra Schritt aus dem Backup kratzen.

[eknori]

ich wunder mich etwas, dass das Thema DAOS hier noch gar nicht oder nur in geringen Zügen beabeitet oder auch befragt wurde.

Einer der Gründe dürfte sein:

da jeder noch den Horror mit SharedMail kennt.

DAOS ist darüber hinaus noch sehr jung; da trauen sich halt noch nicht so viele ran. Wenn ein Paul Mooney das auf seinem Testserver mit 3 Datenbanken und einem Attachment macht, dann ist das eine Sache. Wenn man aber 700 datenbanken mit gut und gerne 2 Mio Attachments DAOSified, dann ist das schon eine ganz andere Dimension.

Ich habe es gemacht! Die Ergebnisse sprechen für sich. Die User merken nichts davon.
Glaub mir, mein Blutdruck ist auch ganz schön in die Höhe gegangen, als ich die ersten Datenbanken mit -daos on komprimiert habe. Und mir ist auch der Schweiss auf der Stirn gestanden, als ich die ersten NEEDS RESYNC Meldungen auf dem Schirm hatte. Ganz unwohl wurde mir, als mein prod. Domino meldete, daß die daoscat.nsf ein Problem hat und ich als letzten Ausweg nur ein Löschen derselben sah. Blutdruck, Schweissproduktion und Unwohlsein arbeiteten aber nach dem neuerstellen und Resync wieder im Rahmen der normalen Parameter. ...

Das Schöne an DAOS ist, daß man im Grunde nicht viel machen muss / kann ...

Trotzdem ist das Thema spannend; ich habe mir vorgenommen, DAOS als Session auf dem nächsten AdminCamp anzubieten.

[wfh]

Das Thema Restore ist auch für mich momentan der Hauptknackpunk:

Wenn wir heute einen Restore machen, stelle wir den Restore auf einem anderen Server zur Verfügung, wo sich dann der Anwender die Dokumente holen kann. Hier kann es zu Problemen kommen bzw. muss sich überlegen es anderes zu machen (Attachment liegt auf Restore-Server nicht im DAOS oder ist nicht DAOS aktiviert).

Wenn man die Periode für die Vorhaltung nicht mehr benötigter NLO-Dateien mit der Datensicherung (wieviele Generation, wie lange zurück) koordiniert, sollte die Notwendigkeit, NLO-Dateien aus der Sicherung zurückholen zu müssen, gegen Null gehen.

@Dirk: Deine Ausführungen zur Verschlüsselung fand ich sehr hilfreich und schlüssig, da sich bei uns genau diese Frage gestellt, danke. Hast Du die Infos von IBM (Technote, Doku)?

Was sich bei uns in der Überlegung auch noch als Frage herauskristallisiert hat: Bringt DAOS auch etwas bei der Replikation? Wenn ein Attachment bereits im DAOS liegt und in einer DB erneut eingehängt wird (kommt ja vor...) und dann repliziert wird (Cluster oder normale Replikation mit anderem Server) und diese Server auch DAOS aktiviert sind und dort liegt Attachment auch bereits im DAOS, erfolgt dann eine Replikation mit oder ohne Attachment? Wenn ohne, wäre dies ja genial.

Gruß
Wolfgang

[diali]

die Info habe ich vom EntwicklerCamp mitgenommen, weil genau bei der Verschlüsselung habe ich erst auch Bedenken gehabt.

[eknori]

Als Nachteil sehe ich an, dass dies nicht clusterfähig ist.

Meinst du damit, daß man nicht 1 Attachment Repository für 2 Cluster member verwenden kann?

[diali]

genau das meine ich damit.

[eknori]

Kann mir aber vorstellen, daß IBM das in einem der nächsten releases auch lösen wird.
Lt. IBM Wiki kann man ja für die Speicherung der NLO auch NAS einsetzen. Knackpunkt ist hier wohl die Verschlüsselung, die für jeden Server unterschiedlich ist. Hier sollte sich aber auch ein Weg finden, über die Cluster member einheitlich zu verschlüsseln.

[diali]

mein erster Gedanke als ich von DAOS gelesen habe war
- gute Idee, hoffentlich besser als SharedMail
mein 2. Gedanke
- wie funktioniert das mit der Verschlüsselung
und mein 3. Gedanke
- wieder nicht fertig umgesetzt (Clusterfähigkeit)

Aber da ist noch Potential für eine 8.5.x (x > 1) oder eine 9.x drin.

[wfh]

Ich sehe die "Nicht-Clusterfähigkeit" eher als Pluspunkt im Sinne Beherrschbarkeit und Einschränkung der Complexität (ich habe z. B. selektive Replikation und will das dann in der Folge Attachments nur auf einen Server bleiben oder Problem mit Cluster über WAN, etc.). Als Option ok, als Standardfunktion und nicht änderbar eher problematisch.

Gruß
Wolfgang

[eknori]

und mein 3. Gedanke
- wieder nicht fertig umgesetzt (Clusterfähigkeit)

Das ist dann aber auch bei einem "normalen" Cluster so. Da habe ich die Files ja auch für jeden Clustermember separat gespeichert.

und diese Server auch DAOS aktiviert sind und dort liegt Attachment auch bereits im DAOS, erfolgt dann eine Replikation mit oder ohne Attachment? Wenn ohne, wäre dies ja genial.

Das muss ich mal testen; momentan ist der andere Clustermember abe noch nicht DAOSified.

[diali]

laut IBM erfolgt die Replikation mit Anhängen. Ein Domino sieht nicht, wie der andere Domino seine Anhänge verwaltet.

[blizzard]

Das würde ja auch dem DAOS widersprechen. Wie soll das auch funktionieren? Irgendwie müssen die Attachments auch in den DAOS Folder von den Spokes kommen, sofern es dort überhaupt aktiv ist.
Gleiches gilt für die mail.box und den Router Task, sofern die Mail den Server verlässt.

[Janka]

Hallo Blizzard,

wie schaut's denn mit Data Compression und Design Compression in Verbindung mit aktivierter LZ1 aus?
Ich habe bei uns den Test gemacht und festgestellt, dass ich auch ohne DAOS bis zu 35% (8.5 Testserver) des Plattenplatzes einsparen kann. Auf unseren 6.5.6-er Servern brachte die LZ1 sogar schon zw. 10 und 15% Einsparung.
DAOS oben drauf bringt dann nochmal ca. 15% in Abhängigkeit der Häufigkeit der gleichen Anhänge auf diesem Server. Denn auch die Anhänge müssen ja irgendwo abgespeichert werden.
Wir haben uns entschieden vorerst nur mit LZ1, DataCompression und Design Compression auf 8.5 zu arbeiten.
Wie in der Auswertung des Estimator zu sehen sind ja einige Datenbanken bei Euch noch mit Huffman komprimiert. Ich denke es sollte auch bei möglich sein ca. 50GB schon auf den 6.5.4-er Servern herauszuholen. Auf den 8.5-ern wird dann noch mehr, wegen der verbesserten LZ1 komprimierung und der Möglichkeit den Body zu komprimieren. Text lässt sich ja bekanntlich gut komprimieren.

Viel Spass beim testen.

[blizzard]

ja denke auch, dass alleine mit LZ1 und  Design compression ordentlich zusätzlich sparen lässt. Bei einem 8.5er Mailtemplate lässt sich das schon ganz deutlich sehen. Aus 30MB werden ca. 12 MB.

[omega]

Also meine Erfahrungen mit DAOS sind eher schlecht.
Der DaosEstimator lag bei der Größe des DAOS-Directories doch erheblich daneben.
Das Verzeichnis war um einiges größer als erwartet und die Ersparnis dadurch geringer aber immer noch sehr interessant.

Der Virenscanner (Trendmicro Scanmail) scheint nicht nur bei uns ein Problem mit DAOS zu haben, Backup-Software ist natuerlich auch noch nicht so weit.

Aber das eigentliche Problem liegt in den massiven Problemen, wenn intern Mails verschluesselt werden bzw. gesendete Mails verschluesselt in der DB gespeichert werden.
Naja, PMR läuft und auch hier waren die Probleme wohl bei IBM schon bekannt.

[wfh]

Was sind das für Probleme mit verschlüsselten Mails? Lt. Post im Notes/Domino 8.5 - Forum soll auch dann nur eine NLo-Datei erstellt werden bzw. dieses genutzt werden. Hast Du andere Erfahrungen?

Wolfgang