Das Notes Forum

Best Practices => Diskussionen zu Best Practices => Thema gestartet von: DaWutz am 27.04.05 - 00:32:07

Titel: [Themenvorschlag] kSpam
Beitrag von: DaWutz am 27.04.05 - 00:32:07
Nachdem ich schon recht häufig von diesem Forum profitiert habe, wollte ich auch mal etwas "zurückgeben". Der Text ist ein Auszug aus meiner Abschlussprüfung, und soll beim aufsetzen eines kSpam helfen. Weitere Anregungen / Kritik / Fragen sind natürlich immer willkommen.

Ich poste die einzelen Teile in extra Beiträgen, das erleichtert dann die Wartung.

Grüße aus der Nacht,

Daniel!
Titel: Re: [Themenvorschlag] kSpam
Beitrag von: DaWutz am 27.04.05 - 00:35:58
   Inhaltsverzeichnis: 
1. Was ist kSpam

2. Installation kSpam

3. Konfiguration kSpam

4. Filterregeln
   4.1 Einfache Filterregeln
   4.2. Komplexe Filterregeln unter Verwendung regulärer Ausdrücke

5. Quellen

Titel: Re: [Themenvorschlag] kSpam
Beitrag von: DaWutz am 27.04.05 - 00:36:24
1. Was ist kSpam

kSpam ist ein Open-Source Spamfilter der auf dem Domino-Server installiert wird (und auch nur dort!).
Er unterzieht eingehende Mails einer Prüfung und handelt dann gemäß seinen Einstellungen (Markieren, Blocken und Kopieren, Blocken,...).
Ausgehende Mails werden nicht berücksichtigt.
Titel: Re: [Themenvorschlag] kSpam
Beitrag von: DaWutz am 27.04.05 - 00:36:53
2. Installation kSpam

kSpam kann kostenlos bei www.openntf.org bezogen werden. Lediglich eine Registrierung ist erforderlich. Die Installation von kSpam ist dann in wenigen Minuten erledigt. Nach dem Entpacken der herunter geladenen zip-Datei genügen 6 Schritte um kSpam in den Domino-Server zu integrieren.
 
1.   Signieren der Datenbank-Vorlagen kSpamCon.ntf, mailgood.ntf und mailspam.ntf mit der Server-ID (im Domino Administrator). Diese Datenbanken-Vorlagen werden benötigt um die Konfigurationsdatenbank, die Datenbank für die „guten“ Mails und die Datenbank für die gefilterten Mails zu erstellen.

2.   Kopieren der Dateien nspam.dll und nbload.exe in das Domino Verzeichnis.

3.   Erstellen der Konfigurationsdatenbank KSpamCon.nsf aus der Vorlagen-Datenbank. Wichtig ist hier, dass der Name nicht verändert wird, da die dll-Datei nach dieser Datenbank sucht. (Auch die Groß- und Kleinschreibung beachten!)

4.   Erstellen der mailspam.nsf und der mailgood.nsf aus den entsprechenden Vorlagen im Data-Verzeichnis des Domino Servers. Die mailgood.nsf wird nur benötigt, wenn zum Filtern der Bayesische Filter zum Einsatz kommt. Werden nur Filterregeln benutzt, wird nur die mailspam.nsf benötigt.

5.   Eintragen des Parameters „Extmgr_addins=spam“ in die notes.ini. Wenn der Parameter „Extmgr_addins“ schon vorhanden ist, dann wird der Wert „spam“ einfach durch ein Komma getrennt hinter dem letzten Wert angehangen.

6.   Da wir den Bayesischen Filter nutzen wollen, benötigen wir noch einen weiteren Parameter in der notes.ini: „Servertasks=bload“. Dieser Task ruft nun in Intervallen die nbload.exe auf, die dann aus den Mails in der mailgood.nsf und der mailspam.nsf die Wort-Wahrscheinlichkeiten für Spam kalkuliert. Beim ersten Starten erfolgt nun eine Fehlermeldung, das „bload“ eine Datei (comblist.txt) nicht finden kann. Das ist normal, denn diese Datei wird erst angelegt, wenn eMails in der mailspam.nsf als Spam markiert worden sind.

Nun ist kSpam fertig installiert. Die weitere Konfiguration erfolgt in der Konfigurationsdatenbank kSpamCon.nsf.
Titel: Re: [Themenvorschlag] kSpam
Beitrag von: DaWutz am 27.04.05 - 00:37:31
3. Konfiguration kSpam

Der nächste Schritt ist die Konfiguration von kSpam. Bis zur Version 1.39b2 musste sämtliche Konfiguration über Parameter in der notes.ini erfolgen. Das war nicht wirklich komfortabel und bedeutete, dass Änderungen immer einen Neustart erforderten, damit sie wirksam wurden.
Seit der Version 1.4b kann die Konfiguration über ein Konfigurationsdokument in der Datenbank kSpamCon.nsf erfolgen. Dies ist wesentlich komfortabler und das Konfigurationsdokument kann einfach in eine andere Datenbank kopiert werden, wenn kSpam noch auf anderen Server eingesetzt werden soll.

Das Konfigurationsdokument ist in 2 Teile gegliedert. Den Allgemeinen Teil und den Bayesisch-Spezifischen. Der Allgemeine Teil umfasst 13 Punkte, die recht gut in der Maske erklärt sind. Des Weiteren steht bei jedem Punkt, wie der Name des entsprechenden Parameters in der notes.ini lautet. Im Folgenden werden die einzelnen Parameter des Konfigurationsdokumentes erklärt.

1.   „Instance ID“: Die ID sollte für jeden Server in einem Netzwerk gleich sein, da darüber ausgelesen wird, ob eine Mail schon innerhalb dieses Netzes geprüft wurde.

2.   „Default action“: Beschreibt die Aktion, die ausgeführt wird, wenn eine der Filterregeln auf die Mail zutrifft.

3.   „Default probability increase“: Gibt an, um wie viel Prozent die Spam-Wahrscheinlichkeit hochgesetzt wird. Dieser Parameter wirkt nur, wenn als „Default action“ „Increase Probability“ eingestellt wurde.

4.   “Mark messages with a reason field?“: Gibt an, ob in Mails Felder eingefügt werden, die Auskunft über den Grund geben, warum diese Mail gefiltert wurde.

5.   „Reload configuration every hour?“: Dieser Parameter erlaubt das Ändern der Konfiguration, ohne das der Server neu gestartet werden muss. Die Konfiguration wird jede Stunde ausgelesen.

6.   „Show statistics“: Gibt an, ob kSpam Logs schreiben soll. Eine Auswertung kann z.B. in der Server-Konsole mit „show stat smtp.kspam.*“ gelesen werden.

7.   „Minimum "From:" header length?“: Gibt die minimale Anzahl der Zeichen an, die das Feld „From“, also der Absender, haben muss.

8.   „Maximum numbers in sender's username?“: Gibt an, wie viele Ziffern in einer Absenderadresse vorkommen dürfen.

9.   „First character in "From:" header must not be a number?”: Gibt an, ob das erste Zeichen der Absender-Adresse eine Ziffer sein darf.

10.   „Other forms to scan?“: Wenn noch andere Masken-Arten durchsucht werden sollen, dann kann man dies hier spezifizieren. Die Masken „Memo“ und „Reply“ werden standardmäßig durchsucht.

11.   „Add recipients list to copied and denied messages?”: Gibt an, ob die Empfängerliste mit in ein Leser-Feld in der Mail-Maske geschrieben werden soll.

12.   „Copied mail database“: Hier wird die Datenbank angegeben, in die die gefilterten Mails kopiert werden sollen.

13.   „Turn on debugging?“: Hier können Debug-Informationen in eine Textdatei (ks_debug.txt) ausgegeben werden. Wird nur dann benötigt, wenn wirklich ein Problem auftritt und man diese Informationen an openntf.org weiterleiten möchte.

Der zweite Reiter “Bayesian” bietet nun die Einstellungen die nur den Bayesischen Filter betreffen. Teilweise hebeln diese Einstellungen die Einstellung unter „General“ aus.

1.   „Bayesian filter enabled“: Der wichtigste Parameter für den Bayesischen Filter – ist er an oder aus? Ist der Filter nicht eingeschaltet, dann gelten alle weiteren Parameter auf dieser Seite nicht!

2.   „Token reload period“: Gibt an, in welchen Zeitintervallen die Token neu aus den Datenbanken mailgood.nsf und mailspam.nsf ausgewertet werden.

3.   „Probability boundary“: Gibt an, ab welcher Wahrscheinlichkeit eine Mail in die mailspam.nsf umgeleitet wird.

4.   „Mark messages with token list and probability?”: Gibt an, ob die Spam-Wahrscheinlichkeit und die in der Mail gefundenen Token noch einmal extra in einem Feld in der Mail abgelegt werden.

5.   „Good message ratio“: Gibt an, bis zu welcher Wahrscheinlichkeit eine Mail in die mailgood.nsf umgeleitet wird.

6.   „Bayesian action“: Dieser Parameter gibt an, was mit der Mail geschehen soll, wenn sie dem Filter „zum Opfer“ gefallen ist.
 
7.   „Mark with“: Gibt an, wie eine Mail gekennzeichnet wird, wenn sie als Spam erkannt wurde. Wirkt nur, wenn als „Bayesian action“ der Wert 1 (Mark) gesetzt wurde.

8.   „Tokens to ignore“: Hier können Token definiert werden, die bei der Berechnung der Spamwahrscheinlichkeit ignoriert werden sollen.

9.   „Dump token lists to file“: Hier kann definiert werden, ob die Token und ihre Wahrscheinlichkeit in einer Datei ausgegeben werden soll. Dies kann genutzt werden, um sich selber ein Bild zu machen, wie die Wahrscheinlichkeit berechnet wird und welche Token in die Liste des vorherigen Parameters aufgenommen werden sollten. Die Token werden in die Dateien goodlist.txt und spamlist.txt geschrieben.
 
Die nun folgenden „Preparation settings“ dienen der Lernphase des Spamfilters. Sie werden nacheinander eingeschaltet und können nie parallel laufen.

10.   „Preparation setting 1“: Dieser Parameter dient dazu, die mailgood.nsf zu füllen. Jede Mail die nicht von den Regeln erfasst wird, wird in die mailgood.nsf kopiert.

11.   „Preparation setting 2“: Diese Einstellung wird eingeschaltet, nachdem die erste Phase eine Weile gelaufen ist. Mit diesem Parameter werden Mails mit einer kalkulierten Wahrscheinlichkeit von unter 10% in die mailgood.nsf und mit über 90% in die mailspam.nsf gesendet.

12.    „Turn on debugging?“: Hier können Debug-Informationen in eine Textdatei (bload.txt) ausgegeben werden. Wird nur dann benötigt, wenn wirklich ein Problem auftritt und man diese Informationen an openntf.org weiterleiten möchte.

Die erste Lernphase sollte so lange laufen, bis ca. 1000 Mails in jeder Datenbank sind. In dieser Phase muss eine stetige Kontrolle des Filters erfolgen, da falsche Mails in den Datenbanken die Erkennung von Spam beeinträchtigen. Die zweite Phase kann dann schon länger mitlaufen, die Mitarbeiter sollten dann schon eine Entlastung von Spam bemerken.
Die Anzahl der Mails in der mailspam.nsf und mailgood.nsf sollte nicht zu hoch sein, da dies eine kräftige CPU-Last beim einlesen der Wort-Wahrscheinlichkeiten zur Folge hat. Daher sollte die „Token reload period“ auch nicht zu klein angesetzt werden, da dies eine hohe Last auf dem Server erzeugen kann.

Ein Parameter der nicht oder nur sehr spärlich im Zusammenhang mit kSpam dokumentiert ist lautet: CONVERTER_LOG_LEVEL=10
Mit diesem Parameter in der notes.ini vermeidet man das zuspammen das Logs mit den "CD to MIME Conversion"-Einträgen.
Titel: Re: [Themenvorschlag] kSpam
Beitrag von: DaWutz am 27.04.05 - 00:37:55
4. Filterregeln

kSpam bietet die Möglichkeit sowohl mit einfachen Regeln, als auch mit komplexen Regeln unter Einbezug von "Regular Expressions" zu filtern. Die Unterschiede und Vorgehensweisen werden in den nächsten beiden Unterpunkten erklärt.

Weiterhin ist zu den Filterregeln zu sagen, dass die Länge der Regeln begrenzt ist auf 1024 Zeichen pro Feld.
Auszug aus dem Source:
   #define TOMV_MAX_RULE_FROM   1024 // max from rule length
   #define TOMV_MAX_RULE_TO   1024 // max to rule length
   #define TOMV_MAX_RULE_SUBJECT   1024 // max subject rule length
   #define TOMV_MAX_RULE_BODY   1024 // max body rule length
   #define TOMV_MAX_RULE_ATTACH   1024 // max attachment rule length

Wird die Aktion "Mark" ausgewählt, dann darf das Feld "Mark with:" ebenfalls nicht länger als 1024 Zeichen sein.
   #define TOMV_MAX_RULE_MARK   1024 // max mark text rule length
Titel: Re: [Themenvorschlag] kSpam
Beitrag von: DaWutz am 27.04.05 - 00:38:16
4.1 Einfache Filterregeln

In der Konfigurationsdatenbank KSpamCon.nsf können neue Regeln erstellt werden. Diese gliedern sich in den Bereich „allow“ (erlauben) und „deny“ (verbieten).

Anhand eines Beispiels wird nun das Erstellen einer solchen Regel erläutert. Der erste Punkt der ausgefüllt werden muss, ist der Punkt „Priority“. Durch diese Vergabe von Prioritäten ist es möglich, auf die Abarbeitungsreihenfolge der Filterregeln Einfluss zu nehmen. Regeln mit der Priorität 10 werden vor Regeln mit der Priorität 15 ausgeführt.
Die nächsten Punkte „From contains:“, „To contains:“, „Subject contains:“ und „Body contains:“ werden nun mit den Begriffen gefüllt, die es zu Filtern gilt.
In unserem Beispiel wird jede Mail mit dem Wort „Test“ im Betreff gefiltert Der nächste Punkt „Action“ gibt an, was mit der Mail passieren soll, wenn die Regel zugegriffen hat. In unserem Beispiel „Mark“. Die Mail wird also markiert und zwar mit dem Text oder der Zeichenfolge die im nächsten Feld („Mark with:“) angegeben ist.
Der letzte Punkt „Probability Increase:“ wird nur dann benötigt, wenn unter „Action“ „Increase Probability“ ausgewählt wurde. Zu beachten ist, dass wenn sowohl Erlaubnis-Regeln als auch Verbots-Regeln erstellt wurden, die Erlaubnis-Regeln zuerst angewendet werden.
Titel: Re: [Themenvorschlag] kSpam
Beitrag von: DaWutz am 27.04.05 - 00:38:43
4.2 Komplexe Filterregeln unter Verwendung regulärer Ausdrücke

Wenn komplexere Muster, oder verschiedene Schreibweisen gefiltert werden sollen, dann ist das Arbeiten mit normalen Regeln nicht mehr sinnvoll, da der Aufwand bei der Einrichtung und Pflege der Regeln viel zu hoch wäre.
Zur Verdeutlichung – Penis kann auf verschiedenste Arten geschrieben werden (Penis, Penls (kleines „L“ anstelle einem i) oder Pen1s (mit der 1 als „i“)).
Das würde schon bedeuten, dass 3 verschiedene Regeln gebraucht würden, um dieses eine Wort in seinen Spielarten abzufangen.
Deshalb bietet kSpam noch die Möglichkeit Regeln mit so genannten „Regulären Ausdrücken“ anzuwenden. Die Verwendung von regulären Ausdrücken lässt sich am Besten anhand eines Beispiels erklären.

Grundsätzlich werden alle Regeln die reguläre Ausdrücke verwenden mit dem Schlüsselwort „#REGEX#:“ eingeleitet. „#REGEX#:(?i)penis“ würde also alle Arten von Groß- und Kleinschreibung ausfiltern (z.b. peNIs, PeNiS usw.).
 
Um nun die verschiedenen Arten abzubilden, das „i“ darzustellen wird vor dem „i“ ein RegEx-Tag geöffnet „[“. Dies bedeutet, wir wollen nun prüfen ob an dieser Stelle ein „i“ vorkommt, dargestellt durch eins der folgenden Zeichen. Die folgenden Zeichen werden einfach fortlaufend geschrieben. Danach wird der RegEx-Tag wieder geschlossen, mit „]“. Unser Beispiel würde dann wie folgt aussehen: „#REGEX#:(?i)pen[i1|l]s“. Das "(?i)" vornedran bedeuted, das alle Groß- und Kleinschreibung ignoriert wird.
 
Da dies aber noch nicht alle Variationen sind, um ein Wort erscheinen zu lassen, das Aussieht wie „Penis“, sieht der reguläre Ausdruck den wir verwenden entsprechend komplexer aus. |=>  „#REGEX#:(?i)p\W{0,2}(?i)[e3]\W{0,2}(?i)n\W{0,2}(?i)[il1|]\W{0,2}(?i)[$s5]“

Wie man sieht, werden reguläre Ausdrücke schnell unübersichtlich. Daher gibt es Programme, mit denen man reguläre Ausdrücke testen kann. Ein geeignetes Programm ist zu finden unter: http://weitz.de/regex-coach/ .

Was es noch nicht gibt, sind Programme, denen ein Wort präsentiert wird und die dann einen regulären Ausdruck daraus bauen, der alle Möglichkeiten der „Schreibweise“ abfängt.

ParameterBedeutung
?iGroß- und Kleinschreibung ignorieren
\W{1,3}Anzahl von Zeichen dazwischen (1x bis 3x)
[abc]an dieser Stelle kann ein "a" oder ein "b" oder ein "c" stehen
[a]{1,3}"a", bis zu 3x hintereinander (a, aa, aaa)

Hier nun noch eine Liste von 'RegEx'en:
zu Filternregulärer Ausdruck
Casino#REGEX#:(?i)(c\W{0,2}[a@]{1,3}\W{0,2}[s5$]{1,3}\W{0,2}[i1l|]{1,3}\W{0,2}[n]{1,3}\W{0,2}(([0o])|(\(\))))
Beispiel:
[/b]		ca$ino, CASlN0, C@s1n0
Cialis#REGEX#:(?i)(c\W{0,2}[i1l|]{1,3}\W{0,2}[a@]{1,3}\W{0,2}[i1l|]{1,3}\W{0,2}[i1l|]{1,3}\W{0,2}[s5$])
Beispiel:
[/b]		Cialis, C1@l|$, CiaIis
Fick oder Fuck#REGEX#:(?i)(f\W{0,2}[|1ivul]\W{0,2}c\W{0,2}k)
Beispiel:
[/b]		Fvck, f1ck
Penis#REGEX#:(?i)(p\W{0,2}[e3]\W{0,2}n\W{0,2}[il1|]\W{0,2}[$s5])
Beispiel:
[/b]		peni$, p3ni$
Pharmacy#REGEX#:(?i)(Ph[a@]rm[a@][cz][yil|])
Beispiel:
[/b]		Pha@rmacy, Pharmazi
Pussy#REGEX#:(?i)(p\W{0,2}[vu]\W{0,2}[s5$]{1,3}\W{0,2}[1iIyl])
Beispiel:
[/b]		Pv$$i, pUs$y
Valium#REGEX#:(?i)([vw\\/]\W{0,2}[a@]\W{0,2}[lI|1]{0,2}\W{0,2}[1il|]{0,2}\W{0,2}[uv]\W{0,2}m|(/\\/\\))
Beispiel:
[/b]		V@l1um, \/al1um
Viagra#REGEX#:(?i)(([vw]|(\\/))\W{0,2}[i1|l]\W{0,2}[a@]\W{0,2}[g6q]{1,2}\W{0,2}r\W{0,2}[a@])
Beispiel:
[/b]		Vi@gra, V1aqra
Xanax#REGEX#:(?i)(x\W{0,2}[a@]{1,3}\W{0,2}n{1,3}\W{0,2}[a@]{1,3}\W{0,2}x)
Beispiel:
[/b]		XannaX, X@nax
Diese Liste soll nicht vollständig oder allumfassend sein, aber sie soll eine Ausgangsbasis für eigene reguläre Ausdrücke sein.
Titel: Re: [Themenvorschlag] kSpam
Beitrag von: DaWutz am 27.04.05 - 00:38:59
5. Quellen


Mein Dank gilt an dieser Stelle auch Ulrich "eknori" Krause, der mir immer wieder Hilfreich mit dem ein oder anderen "Tip" zur Verfügung stand!!
Titel: Re: [Themenvorschlag] kSpam
Beitrag von: DaWutz am 27.04.05 - 01:15:01
Ok, ich ergänze die Angaben hier, wenn ich noch mehr habe. Evtl. stelle ich auch noch eine Beispiel Datenbank ein, damit die einzelnen Teile auch leichter nachvollzogen werden können.

Aber nun bin auch ich endlich müde und wandere in mein Bett.

Gute Nacht,

Daniel!
Titel: Re: [Themenvorschlag] kSpam
Beitrag von: Wipe am 27.04.05 - 11:41:54
Erwähnen sollte man noch, wie die ganze Abarbeitung auf dem Dominoserver läuft:

1. Grundsätzlich greifen die eingestellten Policies des Domino Servers
2. kSpam prüft die statischen Regeln ab (nach Priorität)
3. kSpam prüft anhand des Bayesian Filters
Titel: Re: [Themenvorschlag] kSpam
Beitrag von: eknori am 27.04.05 - 12:44:45
möglicherweise sind noch ein paar FestWerte aus dem Quelltext interessant

kspam/common/kspam_globals.h

#define TOMV_BLOAD_DEFAULT_PERIOD 720 // default period for wait


#define TOMV_MAILVIEW   "($All)" // mail view to retrieve msgs
#define TOMV_RULE_LIST_VIEW "Incoming Filters" // config view
#define TOMV_CONFIG_DOC_VIEW "Configuration" // configuration doc view


#define TOMV_MAX_ATTACHMENTS   100 // max no. attachments
#define TOMV_MAX_RECIPIENTS   100 // max recipients
#define TOMV_MAX_BODYTEXT   10000 // max body text
#define TOMV_REGEX_PRE_TEXT "#REGEX#:" // regex rule prefix
#define TOMV_MAX_RULE_FROM   1024 // max from rule length
#define TOMV_MAX_RULE_TO   1024 // max to rule length
#define TOMV_MAX_RULE_SUBJECT   1024 // max subject rule length
#define TOMV_MAX_RULE_ACTION   20 // max action rule length
#define TOMV_MAX_RULE_BODY   1024 // max body rule length
#define TOMV_MAX_RULE_ATTACH   1024 // max attachment rule length
#define TOMV_MAX_RULE_MARK   1024 // max mark text rule length
#define TOMV_MAX_BAYESIAN_MARK_WITH 128 // max length of text to mark subject
Titel: Re: [Themenvorschlag] kSpam
Beitrag von: DaWutz am 27.04.05 - 22:28:33
Hallo zusammen,

erstmal danke für das Feedback. Das sind beides sicher Punkte die man noch berücksichtigen sollte.

Allerdings hab ich da auch noch eine Frage:
Zitat
Erwähnen sollte man noch, wie die ganze Abarbeitung auf dem Dominoserver läuft:
1. Grundsätzlich greifen die eingestellten Policies des Domino Servers
2. kSpam prüft die statischen Regeln ab (nach Priorität)
3. kSpam prüft anhand des Bayesian Filters
Bist Du Dir sicher was die Policies und die kSpam-Rules angeht? Ich bin mir nicht mehr sicher wo, aber ich meine im Ohr zu haben, das dies wohl nicht feststeht und selbst die kSpam-Crew da nciht einer Meinung ist.
Mir käme es zwar auch logisch vor, das erst der Domino kommt, und dann die Regeln einer DB, aber immerhin werden ja DLL´s hinterlegt, die sich tief in den Domino einklinken.
Titel: Re: [Themenvorschlag] kSpam
Beitrag von: Wipe am 28.04.05 - 11:30:36
Hi Daniel,

hab das ganze nochmal getestet. Zumindest bei mir blockt erst Domino.
hab mal im Konfig-Doc eine Mailadresse gesperrt analog dazu war schon länger eine Regel bei mir hinterlegt. Hab dann über Outlook ein mail reingejagt.

28.04.2005 11:28:56   SMTP Server [0A74:000D-0D4C] Mail from andy@you rejected for policy reasons. Sender is denied in your configuration.

Titel: Re: [Themenvorschlag] kSpam
Beitrag von: DaWutz am 30.04.05 - 09:20:43
Ok, ich werde das jetzt auch nochmals bei mir testen, aber ich glaube auch, dass dies so korrekt ist. Ich werde dann nach dem WE noch ein paar Änderungen einbauen.

Und meine KSpamCon.nsf werde ich auch mal "ausmisten" und posten, dann können wir vielleicht anfangen mal eine "größere" Liste auszubauen.
Titel: Re: [Themenvorschlag] kSpam
Beitrag von: eknori am 30.04.05 - 09:38:45
Also das mit der Reihenfolge kann ich so nicht bestätigen. Ich habe meine Server Regeln so erweitert, daß ich das Feld X-Warning prüfen kann.

Ich habe mehrere Dokumente, die nach diesen Regeln geblockt wurden, die aber trotzdem noch von kSpam geprüft wurden. Es gibt aber auch welche, die eine KS_PROB von 0.9900 haben und mit KS_REASON "Bayesian Filter" in die mailspam gestellt , obwohl auch X-WARNING zum Blocken hätte führen müssen
Titel: Re: [Themenvorschlag] kSpam
Beitrag von: DaWutz am 01.05.05 - 10:38:04
Ok, ich habe nun noch ein paar Sachen geändert und angepasst.

@ Ulrich: Was meinst Du mit:
Zitat
Ich habe meine Server Regeln so erweitert, daß ich das Feld X-Warning prüfen kann.
?

@ Rest: hat sonst keiner kSpam am Start bzw. Erfahrungen damit gesammelt?
Titel: Re: [Themenvorschlag] kSpam
Beitrag von: eknori am 01.05.05 - 10:47:22
Zitat
@ Ulrich: Was meinst Du mit:
Zitat
Ich habe meine Server Regeln so erweitert, daß ich das Feld X-Warning prüfen kann.
?

Ich habe ein wenig an der Programmierung des DominoDirectory gedreht; so wie es Daniel Koffler hier beschrieben hat http://www.dominopower.com/issues/issue200312/00001158001.html
Titel: Re: [Themenvorschlag] kSpam
Beitrag von: DaWutz am 01.05.05 - 11:42:46
Hmm, sounds interessting... Werd ich mir wenn ich Zeit finde zu gemüte führen. Hab das gerade überflogen und das scheint eine recht gute Anleitung zu einem komplexen Thema zu sein. (Wobei "mein" Notes Admin es nicht gerne sieht, wenn ich an der names.nsf rumspiele...)

Aber ich teste das dann erstmal zuhause, da ist´s egal, wenn ich was zerschiesse!  ;)
Titel: Re: [Themenvorschlag] kSpam
Beitrag von: DaWutz am 01.05.05 - 19:30:36
So, ich habe jetzt mal ein paar Beispiele für Reguläre Ausdrücke nachgetragen. Würde mich freuen, wenn wir da mehr zusammen bekommen würden.

Nachtrag: Sauerei, ein [ x] wird zu einem

Test: (immer ohne Leerzeichen...)
Titel: Re: [Themenvorschlag] kSpam
Beitrag von: Marinero Atlántico am 01.05.05 - 19:54:40
Code
[x]
Ich find da gibts aber im Internet schon eine Menge Seiten zu.
Es bringt auch nichts, die hier einzeln aufzuführen.
Viel wichtiger ist es
- die nicht einfachen Konzepte zu verstehen.
- ein geeignetes Testtool zu haben
- gewisse Übung zu bekommen, um die beliebig verknüpfen zu können.
Titel: Re: [Themenvorschlag] kSpam
Beitrag von: DaWutz am 01.05.05 - 19:58:04
Naja, und um eben dieses Verstehen und diese Übung zu bekommen benötigt man meiner Meinung nach Beispiele, die man nachvollziehen kann. Und aus diesen raus kann man dann eigene Basteln.

Bei kSpam ist ein 22-Seitiges Dokument zur Verwendung von RegEx dabei, aber auf den ersten, zweiten und auch dritten Blick erschlägt einen das förmlich.
Titel: Re: [Themenvorschlag] kSpam
Beitrag von: Marinero Atlántico am 01.05.05 - 21:31:57
v.a. auch ein Tool nennen, mit dem man regex testen kann. Gibt es. Als ich das mal brauchte hab ich mit einer kleinen selbstkopierten Java-Klasse gearbeitet. Es gibt aber richtige Tools.
Versuch doch mal, ob du die Tools hier benutzen kannst (.Net + perl).
Ich könnte auch sicher ein JavaTool nennen, wenn ich suchen würde.
Und hier z.B. ein cheat sheet: http://www.regexlib.com/CheatSheet.htm
 
Titel: Re: [Themenvorschlag] kSpam
Beitrag von: Marinero Atlántico am 01.05.05 - 22:33:15
Jedenfalls glaub ich nicht, dass einfache Listen viel weiterhelfen. Bischen Übersicht über Strukturen, weitereführende Literatur  (das Regex Buch von OReilley ist gut).
Hinweise auf Besonderheiten von regex Implementierung in kSpam. Vielleicht weitere Hinweise, wie man dieses Wissen in Linux, Java, .Net und JavaScript wiederverwenden kann.
Titel: Re: [Themenvorschlag] kSpam
Beitrag von: TMC am 07.08.05 - 16:20:35
Vielen Dank für die Beteiligung, Daniel.

Dein Artikel ist nun in den Best Practices aufgenommen:

kSpam — Spamfilter für Domino-Server (http://www.atnotes.de/index.php?topic=24810.0)