FileIndexer - indizieren von Dateien mit Notes

[JulianBuss]

Ausgehend von der Problematik, Gigabytes von Dateien zu haben und nix mehr zu finden, habe ich überlegt wie man vernünftig von Notes aus in Dateien suchen kann.

Es gibt die DomainSearch, die das prinzipiell kann - aber die ist schweinelangsam und gibt einem auch keine Vorschau auf den Inhalt einer Datei.

Und ich möchte aus Notes heraus suchen können, damit man die Suche direkt in die Notes-Anwendungen einbauen kann, die sowieso den ganzen Tag benutzt werden (CRM Software).

Ausserdem hat mich bei allen anderen Indexern, die es so gibt, genervt dass die immer nur eine Handvoll Dateitypen verarbeiten können.

Lange Rede kurzer Sinn: ich baue an so einem Tool und habe bereits eine lauffähige, recht umfangreiche Version die ich bei OpenNTF.org eingestellt hab.

Siehe http://www.openntf.org/mainbar.nsf/WebBoardSub?OpenView&RestrictToCategory=DC46D9884C1C4ADE86256F4800710AF9&Count=30&ExpandSection=0

Detail-Infos gibts hier: http://www.youatnotes.de/web/youatnotes/fileindexer-wiki.nsf/Pages/StartPage

Eine Version zum Download werde ich in den nächsten Tagen bereitstellen.

Was mich nun interessiert: bin ich der einzige der sich mit so einer Anforderung rumschlägt oder habt Ihr auch schonmal an sowas gedacht?

[TMC]

Julian,

gedacht habe ich daran schon oft. Also eine verdammt schnelle Suche über Dateien in (Netzlaufwerk-)Verzeichnissen vom Notes-Client aus, und dabei wird fast jedes gängige Dateiformat durchsucht.

Würde ich für genial finden, wenn es da was vernünftiges gibt. Werde mir gleich mal die Links ansehen.

In Vorfreude,
Matthias

**Edit** Klingt verdammt gut (die Beschreibung in den Links). Werde mal in Openntf posten, ich denke man braucht da ein paar Responses, damit das zu einem Projekt umgewandelt wird.

[JulianBuss]

bin jetzt erstmal bis Montag unterwegs, ich werde Montag versuchen ein Release zu bauen und zum Download bereitzustellen...

[TMC]

OK, prima.
Ideen hätte ich auch ein paar, was so alles an Features sinnvoll wäre.
Aber ich warte erstmal auf das erste Release.
Feedback folgt (in Form von Text [dabei evtl. gleich Code / Designelemente als XML falls zutreffend]).

Wo sollen wir eigentlich weiter die DB diskutieren, hier bei Atnotes, bei OpenNTF oder im Wiki (wohl eher nicht so prickelnd)?

[JulianBuss]

ich denke wir diskutieren erstmal hier... erstmal sehen wie sich das bei openntf.org so entwickelt...

[JulianBuss]

hab nun einen Download fertig gemacht, und es gibt nun auch ein Forum:

Forum: http://www.youatnotes.de/php-bin/viewforum.php?f=15
Download:
siehe Wiki unter http://www.youatnotes.de/web/youatnotes/fileindexer-wiki.nsf

[Marinero Atlántico]

Warum benutzt du nicht Lucene?
Es kann unterschiedliche Dateitypen indizieren und wir haben damit eigentlich gute Erfahrungen gemacht.

Gruß Axel

[JulianBuss]

1.) habe ich  noch nicht gekannt, danke für den Tipp :-)
2.) auf den ersten Blick habe ich nicht erkennen können, dass Lucene PDF, Office-Dokument etc. indiziert Mir fehlt aber ein Indexer der wirklich alles wichtige indizieren kann.
3.) ich will ja grade die Daten im Notes haben, damit ich die Suche auch von Notes aus ausführen und das Suchergebnis im Notes anzeigen kann.

So wie ich das auf den ersten Blick gesehen hab kann man auch in Lucene eigene "Filter" implementieren - also hätte ich bestimmt auch darauf aufbauen können.. aber viel Ersparnis hätte es mir wohl nicht gebracht, da ich wohl die "wichtigen" Filter für PDF, DOC & Co auch selbst hätte bauen müssen. Und die Logik, den Index ins Notes zu bringen, auch.

Gibts eine Liste von unterstützten Dateiformaten für Lucene?

Danke jedenfalls für den Tipp 

[Marinero Atlántico]

da ich wohl die "wichtigen" Filter für PDF, DOC & Co auch selbst hätte bauen müssen.

gibts schon als openSource.

Und die Logik, den Index ins Notes zu bringen, auch.

Stimmt. Aber Lucene ist relativ einfach einzubinden. Bei uns aus einer Tomcat Anwendung waren das glaub ich 3 statische Methoden.

Gibts eine Liste von unterstützten Dateiformaten für Lucene?

Verstreut hier: http://www.jguru.com/faq/Lucene und http://jakarta.apache.org/lucene/docs/contributions.html
Wenn ich mich recht erinnere wurden bei uns MS-Office Dokumente erstmal durch irgendwelche POI gejagt.

Danke jedenfalls für den Tipp 

gerngeschehen.

Ein ganz guter Einsteigerartikel ist der hier: http://www.javaranch.com/newsletter/200404/Journal200404.jsp#a1

Eric Hatcher (tolles Ant Buch) schreibt ein Buch für Manning, das angeblich diesen Monat herauskommt. Meine mich aber zu erinnern, er hätte auf der Ranch von Februar 2005 gesprochen.
http://www.manning.com/hatcher2

Gruß Axel

[Marinero Atlántico]

Hatchers Buch ist draussen. Ich habs mir direkt als PDF gekauft (sehr guter Autor, legendäres Ant-Buch).
Dagegen anzuprogrammieren dürfte schwierig sein.
Lucene ist B I G. Es gibt jetzt Porting Projekte nach C/++, .NET, Python und Perl.
Diese Woche gibt es in Javaranch eine Buch Promotion mit Hatcher und einem Co-Autor mit nicht zumerkenden Südslavischen Namen.
http://saloon.javaranch.com/cgi-bin/ubb/ultimatebb.cgi?ubb=get_topic&f=64&t=000969

Axel

[JulianBuss]

ich hab mit Lucene angeguckt und finde es auch klasse, aber mein System ist quasi fertig und läuft tadellos. Ist jetzt ein Projekt bei openntf.org.
Und letztlich bringt Lucene viel mit was ich nicht brauche - denn die ganze Suchfunktionalität will ich ja grade im Notes haben und nicht in einer eigentständigen Anwendung.

Also wer mal gucken will: http://www.openntf.org/Projects/pmt.nsf/ProjectHome?ReadForm&Query=YouAtNotes%20FileIndexer

[Marinero Atlántico]

Herzlichen Glückwunsch.
Ich werde es mir einmal anschauen. 
Ohne das jetzt persönlich zu meinen, aber ich besitze einen gewissen, gesunden Skeptizismus bzgl. solcher Eigenentwicklungen, inwieweit sie nicht-funktionale Requirements wie z.B. Skalierbarkeit unterstützen. 
Ich möchte hier keinen Glaubenskrieg starten.
Lucene ist keine eigenständige Anwendung, sondern mehr ein jar mit einer Api, die sich als Subsystem völlig transparent in eine Anwendung einbauen lässt. Wir haben damit sehr gute Erfahrungen gemacht. Soweit ich weiss benötigt Lucene nur Java1.3 und man könnte das vermutlich sehr wohl in eine Notes Anwendung integrieren, so ähnlich wie du das mit den openOffice jars wohl auch gemacht hast.
Suleiman schreibt über Lucene:

It's not even worth enumerating all the projects in jakarta that do this, the ones that don't are few and far between. Lucene is a worthy exception; how those lucene devs sleep at night while being part of such an embarrassingly incompetent organisation is fast becoming a modern day mystery of epic proportions.

Gruß Axel