Domino 11 und Tika

[JayDee]

Wir sind vor einigen Wochen auf Domino 11 umgestiegen (von 9.0.1).
Jetzt fiel auf, dass keine Dateianhänge mehr indiziert werden, obwohl dies für einige Datenbanken konfiguriert ist. Die FT-Indizes der Datenbanken sind entsprechend kleiner und  in den Anhängen werden logischerweise keine Treffer mehr gefunden.
Mir ist klar, dass seit Domino10 die Keyview-Komponente durch Apache Tika ersetzt wurde.
Die ist auf den Servern auch da, wird aber offensichtlich nicht mit Domino mitgestartet. Wenn ich sie manuell starte, läuft sie, es kommen keine Fehlermeldungen, dennoch passiert nichts.
Im Netz und in der Admin-Hilfe zu Domino 11 ist nicht viel dazu zu finden.
Was muss getan werden, damit der Dominoserver selbst Tika mitstartet? Woher weiß Tika was es indizieren soll?
Gibt es da Erfahrungen/Handreichungen?
Die Server sind Windows 2012 R2.

[JayDee]

Mit dem Problem steh ich wohl alleine da.
Was ich bisher sagen kann ist, dass es nur auf einem von mehreren Windows 2012 R2 Servern nicht funktioniert, auf anderen schon.
Lokal in meinen Windows 10 mit Notes 11 funktioniert es ebenfalls nicht. Der JVM-Tika-Prozess ist einfach nicht da, und wenn man ihn manuell startet, indiziert er trotzdem nichts.

Auf dem Server wo es nicht geht, ist noch ein separates JDK von Oracle installiert. Davon weuiß allerdings Domino an sich nichts. Möglichweise beißt sich da ja was.

[eknori]

Du bist nicht der Einzige.
Ich habe die FT geschichte gestern im Zusammenhang mit DQL und .zip files testen wollen, und musste feststellen, dass Tika auch auf meinem v11.0.1 Server auf Win2016 nicht zu laufen scheint. Zumindest gibt der procmon keinen Hinweis darauf, und auch netstat meldet den Port 9998 als nicht belegt.
DEBUG_TIKA=1 in der notes.ini bewirkt nichts.

Es scheint aber auch ein generelles Problem mit der Indexierung durch Tike in v11+ im Vergleich zu v10 zu geben. In v10 wurden .zip files automatisch indexiert, in v11 wohl nicht.
Hier hilft nur FT_USE_MY_ATTACHMENT_WHITE_LIST=1 und FT_INDEX_FILTER_ATTACHMENT_TYPES=*.txt,*.pdf,*.zip in der notes.ini zu setzen.

Aber testen kann ich es momentan leider nicht.

[JayDee]

Danke 

Ich kann im Prinzip alles was du schreibst bestätigen, Ticket bei HCL läuft, es gibt aber bisher kaum Fortschritte. Falls da was bei rauskommt melde ich das hier natürlich.

Ergänzen kann ich noch folgendes. Ein generelles Problem kann es nicht sein, denn ich habe nur einen von vier Servern auf dem es nicht läuft.
Und lokal im Notes 11 unter Windows 10 funktioniert es gut, da hatte ich anfangs wohl nur ein temporäres Problem.

[eknori]

Ich hatte Kontakt zu dem Entwickler bei HCL.

Bitte prüfe mal deine Server notes.ini, ob dort der Parameter FT_INDEX_ATTACHMENTS vorhanden ist.

der hat zusätzlich zu den dokumentierten Einstellungen https://admincamp.de/notesini/name/FT_Index_Attachments?open&vw=name noch eine neue neue Einstellung

FT_INDEX_ATTACHMENTS=3

verwendet TIKA.

Bei mir funktioniert es leider immer noch nicht. Ich bin da weiter am Ball.

[JayDee]

Danke.
Auf den Servern wo es funktioniert ist der Parameter gar nicht existent.
Auf dem Server wo Tika nichts macht war er auf 2 gesetzt.
Ich probiere jetzt die Variante mit Wert 3 und dann auch mal ganz ohne den Parameter.

[eknori]

OK, funktioniert jetzt bei mir

FT_INDEX_ATTACHMENTS auf 3 gesetzt

set con DEBUG_TIKA=1
set con DEBUG_FILTER_TIMING=1
set con FT_USE_MY_ATTACHMENT_WHITE_LIST=1
set con FT_INDEX_FILTER_ATTACHMENT_TYPES=*.txt,*.zip"
set con FT_USE_ATTACHMENT_WHITE_LIST=1


FT_INDEX_FILTER_ATTACHMENT_TYPES für ZIP muss gesetzt sein, weil sonst die Files nicht indexiert werden. Das war in V10 noch nicht nötig. Da hat sich wohl in V11+ was geändert.

Dann den Index von der Db löschen und neu erstellen.

Auf der Console sieht man dann i.E. Folgendes, wenn man die Indexierung manuell anstößt

lo updall ec11.nsf -X
[1A48:0002-13A8] 20.03.2020 07:24:02   Index update process started:  ec11.nsf -X
[1A48:0002-13A8] 20.03.2020 07:24:02   Updating views in d:\Domino\data\ec11.nsf
[1A48:0002-13A8] 20.03.2020 07:24:03 Tika upload and response took 31 msecs Filtering Attachment 'Neues Textdokument.txt' in 'd:\Domino\data\ec11.nsf' (DocID = 468302), sent size = 44, returned size = 68
[1A48:0002-13A8] 20.03.2020 07:24:03 Tika Attachment Filtering - took 31 msecs Filtering Attachment 'Neues Textdokument.txt' in 'd:\Domino\data\ec11.nsf' (DocID = 468302), size = 44, occurrences = 11
[1A48:0002-13A8] 20.03.2020 07:24:03 Tika upload and response took 281 msecs Filtering Attachment 'someText.zip' in 'd:\Domino\data\ec11.nsf' (DocID = 477050), sent size = 186, returned size = 58
[1A48:0002-13A8] 20.03.2020 07:24:03 Tika Attachment Filtering - took 281 msecs Filtering Attachment 'someText.zip' in 'd:\Domino\data\ec11.nsf' (DocID = 477050), size = 186, occurrences = 8
[1A48:0002-13A8] 20.03.2020 07:24:03 Tika upload and response took 47 msecs Filtering Attachment 'someText.txt' in 'd:\Domino\data\ec11.nsf' (DocID = 477054), sent size = 28, returned size = 42
[1A48:0002-13A8] 20.03.2020 07:24:03 Tika Attachment Filtering - took 47 msecs Filtering Attachment 'someText.txt' in 'd:\Domino\data\ec11.nsf' (DocID = 477054), size = 28, occurrences = 7
[1A48:0002-13A8] 20.03.2020 07:24:03   Index update process shutdown

[JayDee]

Danke für die Hinweise 
Der HCL Support ist noch nicht soweit wie du.

Zwischenstand: Tika läuft jetzt mit
FT_INDEX_ATTACHMENTS=3
(War bereits vorhanden gewesen mit Wert 2.)

Die anderen Server, auf denen Tika von Anfang an funktioniert, haben diesen Parameter gar nicht, diese Variante teste ich auch noch.

Allerdings sieht mir das so aus, dass das alles nur funktioniert, wenn man explizit das updall Kommando absetzt wie in deinem Bsp., nicht aber, wenn man vom GUI aus den FTI aktualisieren will bzw. nicht wenn schedulete FTI-Aktualisierung wie stündlich, sofort etc eingestellt ist.

Außerdem werden die Anhänge nicht farblich markiert, wenn Treffer sind, die anderen Server machen das.

[eknori]

So wie es mir darstellt musst Du auf allen Datenbanken erst den FT Index löschen, und dann neu erstellen. Danach indexiert Tika sauber neue Einträge. ...


Zumindest auf meiner Testmaschine

[JayDee]

Danke.
So wie es aussieht läuft es also ganz ohne den FT_Index_Attachments Parameter, oder eben mit ihm und Wert 3.
Mit Wert 2 geht gar nichts, und das war bei uns die Ursache.