Das Notes Forum

Domino 9 und frühere Versionen => ND9: Administration & Userprobleme => Thema gestartet von: maxritti am 25.09.20 - 06:27:57

Titel: Gibt es Daosest noch?
Beitrag von: maxritti am 25.09.20 - 06:27:57
Guten Morgen zusammen,

wir wollten mal unsere Archive hinsichtlich Anhängen analysieren, um ggf. DAOS zu aktivieren.
Jetzt habe ich mal nach DAOS gesucht, finde bei HCL nur diesen Artikel, ohne Link.

https://hclpnpsupport.hcltech.com/csm?id=kb_article&sys_id=2e47ec2c1b6df30083cb86e9cd4bcbaa

Über eknoris link habe ich die Version 1.8 gefunden.

https://atnotes.de/index.php?topic=62510.0

Ist das die aktuelle Version oder gibt's da bei HCL noch was neues und ich finde es nur nicht?
Oder wrd das gar nicht weiter entwickelt?

Die 1.8 funktioniert, hat aber ein Ausgabeproblem.
Schneidet links am Rand die Verzeichnisse ein wenig ab.
Macht die Auswertung ein wenig schwieriger.

Titel: Re: Gibt es Daosest noch?
Beitrag von: eknori am 25.09.20 - 06:46:33
Das ist die letzte Version.
Ich würde mir aber nach mehreren Projekten den Aufwand sparen. Letztlich landest Du bei einem sinnvollen Schwellwert von 128kB.

Das sind dann ca 80% der max Anzahl aller Attachments, und möglichst geringer Zahl an resultierenden NLO.
Bei kleinerem Wert hast Du die ganzen Visitenkarten mit im Repository, die die Anzahl der NLO exponentiell in die Höhe schnellen lassen.

Titel: Re: Gibt es Daosest noch?
Beitrag von: Tode am 25.09.20 - 06:48:55
Ich denke, daosest war am Anfang dafür da, die Skeptiker bei einer neuen Funktion zu überzeugen sie einzusetzen. DAOS hat sich aber wirklich als „rocksolid“ erwiesen und ist in meinen Augen ein „nobrainer“ geworden. Für Mail und Archive lohnt sich das immer... vielleicht wurde deshalb das Tool nicht weiterentwickelt...

Und wie Ulrich schreibt: es kommt eh immer der gleiche optimale Schwellwert raus...
Titel: Re: Gibt es Daosest noch?
Beitrag von: maxritti am 25.09.20 - 07:28:44
Das ist die letzte Version.
Ich würde mir aber nach mehreren Projekten den Aufwand sparen. Letztlich landest Du bei einem sinnvollen Schwellwert von 128kB.

Das sind dann ca 80% der max Anzahl aller Attachments, und möglichst geringer Zahl an resultierenden NLO.
Bei kleinerem Wert hast Du die ganzen Visitenkarten mit im Repository, die die Anzahl der NLO exponentiell in die Höhe schnellen lassen.

Ich denke, daosest war am Anfang dafür da, die Skeptiker bei einer neuen Funktion zu überzeugen sie einzusetzen. DAOS hat sich aber wirklich als „rocksolid“ erwiesen und ist in meinen Augen ein „nobrainer“ geworden. Für Mail und Archive lohnt sich das immer... vielleicht wurde deshalb das Tool nicht weiterentwickelt...

Und wie Ulrich schreibt: es kommt eh immer der gleiche optimale Schwellwert raus...

Danke Euch beiden für die Info.
D.h. DAOS einfach aktivieren und gut ist?
Oder muss der 128kB Schwellwert noch via notes.ini DAOSEST_BUCKETS eingestellt werden?

/EDIT:

Gibt es denn auch so einen ganz groben Wert den man Entschiedern nennen kann um zu sagen, so oder soviel wird eingepart?
Dafür wäre daosest ja gewesen um ein wenig die Ersparnisse zu errechnen.
Titel: Re: Gibt es Daosest noch?
Beitrag von: eknori am 25.09.20 - 08:19:50
Zitat
Oder muss der 128kB Schwellwert noch via notes.ini DAOSEST_BUCKETS eingestellt werden?
Ui,Ui,Ui. Du möchtest Dich bitte noch einmal einghend mit DAOS beschäftigen!
Der Schwellwert wird im ServerDokument eingestellt.

Zitat
Gibt es denn auch so einen ganz groben Wert den man Entschiedern nennen kann um zu sagen, so oder soviel wird eingepart?
Nein, den gibt es nicht.
Die Ersparnis (in kB, MB oder GB ) hängt ja von einigen Faktoren ab.
Je mehr MailFiles die gleiche bitidentische  Datei als Attachment haben, desto größer ist der Grad der Deduplizierung.
Werden Mails verschlüsselt? Da kann dann ein Attachment x mal vorhanden sein, DAOS dedupliziert aber nicht, weil die Verschlüsselung VOR DAOS greift.

Entscheidend ist aber nicht nur die Deduplizierung. Auch Standardprozesse wie compact oder Fixup sind schneller durch. Und die datensicherung sowieso. DAOS ist IMMER ein Gewinn.

Für Entscheider gibt es natürlich einen solchen Wert. Liegt bei mir zwischen 40% und 60%.  Kommt darauf an, wo der am wenigsten das gesicht verzieht.

Titel: Re: Gibt es Daosest noch?
Beitrag von: maxritti am 25.09.20 - 08:25:10
Zitat
Oder muss der 128kB Schwellwert noch via notes.ini DAOSEST_BUCKETS eingestellt werden?
Ui,Ui,Ui. Du möchtest Dich bitte noch einmal einghend mit DAOS beschäftigen!
Der Schwellwert wird im ServerDokument eingestellt.

Okay, ich gebe zu, dass meine Finger für Posts im Forum manchmal zu schnell sind.  ;)
In der Tat macht der Wert im Serverdokument Sinn.
Hatte ich auch schon gesehen, aber wohl nicht richtig interpretiert oder verstanden.  :'(

Nein, den gibt es nicht.
Die Ersparnis (in kB, MB oder GB ) hängt ja von einigen Faktoren ab.
Je mehr MailFiles die gleiche bitidentische  Datei als Attachment haben, desto größer ist der Grad der Deduplizierung.
Werden Mails verschlüsselt? Da kann dann ein Attachment x mal vorhanden sein, DAOS dedupliziert aber nicht, weil die Verschlüsselung VOR DAOS greift.

Entscheidend ist aber nicht nur die Deduplizierung. Auch Standardprozesse wie compact oder Fixup sind schneller durch. Und die datensicherung sowieso. DAOS ist IMMER ein Gewinn.

Für Entscheider gibt es natürlich einen solchen Wert. Liegt bei mir zwischen 40% und 60%.  Kommt darauf an, wo der am wenigsten das gesicht verzieht.

Alles klaro. Dann weiß ich bescheid.

Danke noch mal und ein schönes WE.
Titel: Re: Gibt es Daosest noch?
Beitrag von: Tode am 25.09.20 - 08:47:49
Wegen der Entscheider: DAOS kostet NIX und bringt Performance und spart Plattenplatz... Da gibt es nichts abzuwägen: Das aktiviert man einfach...
Titel: Re: Gibt es Daosest noch?
Beitrag von: maxritti am 25.09.20 - 09:34:18
Oder so.  :D

Noch eine abschließende Frage.
Wenn bei ca. 5 TByte Mailarchive DAOS aktiviert wird, hat der Server bestimmt erst mal was zu tun.
Merkt der Benutzer das in der Performance, wenn der auf sein Archiv zugreift bis DAOS fertig ist?

Ich tippe mal auf "kaum".  :)
Titel: Re: Gibt es Daosest noch?
Beitrag von: J Parlin am 25.09.20 - 10:21:29
... n kleines Konzept sollte man sich aber mal vorab zurecht legen, einfach nur EINSCHALTEN halte ich für keine praktikable Lösung.
Titel: Re: Gibt es Daosest noch?
Beitrag von: CarstenH am 25.09.20 - 10:46:57
Genau was J Parlin sagt.

Ansonsten bringt ein reines "einschalten" gar nichts, außer dass neu eintreffende Attachments im DAOS landen.

Da man bereits vorhandene Attachments nachträglich aus den DB's holen und diese anschließend um den frei gewordenen Platz verkleinern möchte kommt man um ein compact aller betreffenden DB's nicht herum, das wiederum dürfte kaum unbemerkt im Tagesgeschäft ablaufen wenn man keinen Cluster hat (wobei man auch das für beide Server getrennt planen sollte - aus verständlichen Gründen).

HTH
Carsten
Titel: Re: Gibt es Daosest noch?
Beitrag von: Pfefferminz-T am 25.09.20 - 13:18:50
Und natürlich sollte euer Backup und Restore entsprechend angepasst werden. Und die Retention time müsst ihr auch für euch definieren, die hängt auch mit dem Backup/Restore zusammen.
Titel: Re: Gibt es Daosest noch?
Beitrag von: maxritti am 25.09.20 - 13:38:29
Darum liebe ich dieses Forum.  :)

Jeder gibt sein Bestes und das noch für lau.

Auch Euch noch schönen Dank und ein schönes WE.
Titel: Re: Gibt es Daosest noch?
Beitrag von: J Parlin am 25.09.20 - 14:24:24
... ich hätte jetzt u.a. noch über einen geeigneten gesonderten Speicherort nachgeacht.
Titel: Re: Gibt es Daosest noch?
Beitrag von: michael-r am 30.09.20 - 12:43:02
Oder so.  :D

Noch eine abschließende Frage.
Wenn bei ca. 5 TByte Mailarchive DAOS aktiviert wird, hat der Server bestimmt erst mal was zu tun.
Merkt der Benutzer das in der Performance, wenn der auf sein Archiv zugreift bis DAOS fertig ist?

Ich tippe mal auf "kaum".  :)

Ein Mailarchiv wird warscheinlich weniger genutzt als die eigentliche Maildatenbank, aus meiner Sicht dann eher unkritisch.
Bei unseren Mailservern ist die Ersparnis immer so um die 50% gewesen.

Der DBMAINT Job erledigt die Arbeit über Nacht auch mit dem verkleinern der Datenbanken.
Das einzige was vielleicht ist, wenn du sehr große Datenbanken hast dann packt das der DBMAINT auch nicht sofort, auf eine Datenbank habe ich Wochen lang gewartet, weil die auch fast immer im Zugriff war.
Ein compact -c bei einer Datenbank mit über 60 GB hat auch nur so 30 - 45 Minuten gedauert ;).

LZ1 Komprimierung sollte vor DAOS aktiviert sein.

MFG Michael
Titel: Re: Gibt es Daosest noch?
Beitrag von: eknori am 30.09.20 - 13:31:03
Zitat
Ein compact -c bei einer Datenbank mit über 60 GB hat auch nur so 30 - 45 Minuten gedauert Wink.

Ich habe erst kürzlich mit solchen Größen zu tun gehabt. Hat nicht länger als 10 Minuten gedauert. Und das war auf einem Server unter Last.

Zitat
LZ1 Komprimierung sollte vor DAOS aktiviert sein.
Theoretisch ja.
In der Praxis gehe ich dazu über alle zusätzliche Komprimierung auszuschalten.

Design- / und (Summary) Data Compresion bringen im Vergleich zu DAOS nicht so viel. Das war in den Anfagstagen, ohne DAOS eine sinnvolle Sache.

zu LZ1. Ich habe es nicht mehr weiter getestet, aber seinerzeit wurden Attachments , die über iNotes in die Datenbank gelangten, OHNE Komprimierung gespeichert, völlig egal, was auf der Datenbank eingestellt war. Ich habe dann auch auf OHNE Komprimierung im DEFAULT umgestellt.
Da kann ich mir dann sicher sein, daß ich keine duplicate NLO habe. ( Obwohl das in produktiven Umgebungen kaum mehr herauszufinden ist )

Und ich spare mir, mir Gedanken darüber zu machen, wie viele Duplikate ich wohl bekomme, wenn ich jede Mail verschlüssele, LZ1 aktiviert habe, und über Notes und iNotes arbeite.
Titel: Re: Gibt es Daosest noch?
Beitrag von: michael-r am 30.09.20 - 14:51:56
Zitat
Theoretisch ja.
In der Praxis gehe ich dazu über alle zusätzliche Komprimierung auszuschalten.

Muss das nicht aktiviert sein? Da gab es doch mal irgendwelche Problem wenn man das ohne macht.

MFG Michael
Titel: Re: Gibt es Daosest noch?
Beitrag von: eknori am 30.09.20 - 15:35:26
Nein, das war eine andere Geschichte

Code
Also don´t use the option “-ZU” at already DAOS enabled databases !!! > In earlier releases -ZU was ignored for DAOS enabled databases. Now it works but gets attachments out of DAOS into the NSF to recompress, which is increasing the physical database size and duplicates data. You should only use -ZU before you enable DAOS. And this needs to be a two step process.
Titel: Re: Gibt es Daosest noch?
Beitrag von: werfi am 20.10.20 - 12:52:45
Hi,

gibt es noch eine Beschreibung zum Estimator?
Ich will DAOS einführen, benötige jedoch ein paar Daten zur Planung.

Vorab vielen Dank!

Gruß
Markus
Titel: Re: Gibt es Daosest noch?
Beitrag von: (h)uMan am 20.10.20 - 15:29:15
wie wirkt sich DAOS denn aus, wenn Mail-DBs auch per imap und nciht nur per Notes/iNotes/Verse genutzt werden?

Titel: Re: Gibt es Daosest noch?
Beitrag von: CarstenH am 20.10.20 - 16:00:27
wie wirkt sich DAOS denn aus, wenn Mail-DBs auch per imap und nciht nur per Notes/iNotes/Verse genutzt werden?

DAOS ist vollständig transparent für alle Zugriffe - die Reduzierung ist (unabhängig vom verwendeten Client) nur serverseitig sichtbar.
Am Client selbst merkt man nichts davon.

HTH
Carsten
Titel: Re: Gibt es Daosest noch?
Beitrag von: CarstenH am 20.10.20 - 16:06:35
gibt es noch eine Beschreibung zum Estimator?
Ich will DAOS einführen, benötige jedoch ein paar Daten zur Planung.

Bitte schau dir diesen Thread nochmal von Anfang an. Da stehen eigentlich alle Antworten, die du brauchst (inkl. Entscheider-Werte).

Carsten
Titel: Re: Gibt es Daosest noch?
Beitrag von: werfi am 22.10.20 - 11:29:38
gibt es noch eine Beschreibung zum Estimator?
Ich will DAOS einführen, benötige jedoch ein paar Daten zur Planung.

Bitte schau dir diesen Thread nochmal von Anfang an. Da stehen eigentlich alle Antworten, die du brauchst (inkl. Entscheider-Werte).

Carsten

Hallo Carsten,

das hab ich gelesen, aber mir geht's um die technische Anwendung. Wie wird der Esimator eingesetzt?
Von der Domino Konsole oder über eine cmd?
Parameter etc. damit ich die Analyse als Datei speichern kann.

Vorab vielen Dank!

Gruß
Markus
Titel: Re: Gibt es Daosest noch?
Beitrag von: CarstenH am 22.10.20 - 12:26:10
Wie wird der Esimator eingesetzt?
Von der Domino Konsole oder über eine cmd?

Beides geht. Technisch ist es ein Addin, das über die API arbeitet und einfach ins bin Verzeichnis gepackt wird.
Danach kann es - wie z.B. updall oder compact - entweder bei laufendem Server über die Domino Console oder auch beim heruntergefahrenem Server, dann via cmd , aufgerufen werden.

Ich habe noch eine (ältere) Anleitung gefunden, die ich hier mal anhänge.

HTH
Carsten
Titel: Re: Gibt es Daosest noch?
Beitrag von: werfi am 22.10.20 - 14:21:11

Beides geht. Technisch ist es ein Addin, das über die API arbeitet und einfach ins bin Verzeichnis gepackt wird.
Danach kann es - wie z.B. updall oder compact - entweder bei laufendem Server über die Domino Console oder auch beim heruntergefahrenem Server, dann via cmd , aufgerufen werden.

Ich habe noch eine (ältere) Anleitung gefunden, die ich hier mal anhänge.

HTH
Carsten


Super!
Vielen Dank!