Nov 27

Die klassische Spambekämpfung besteht im wesentlichen aus einigen wenigen altbekannten Mechanismen. Wir prüfen regelmäßig die zur Verfügung stehenden Techniken um die Leistungsfähigkeit des Redliners zu verbessern. Die wohl häufigsten Techniken, die wir beobachten konnten sind Greylisting und Blacklists sowie Spamassassin.

Greylisting: Bei diesem Verfahren wird der erste Versuch eine eMail an das betreffende System aus zu liefern abgebrochen. Das System merkt sich die wichtigsten Daten der Mailkommunikation (IP-Adress des Absenders, sowie Absender-Mailadresse). Viele Spammer versuchen eine Mail genau einmal auszuliefern und scheitern bereits an dieser Barriere. Vernünftig konfigurierte Mailserver liefern die Mail einfach ein paar Minuten später erneut aus. Greylisting erkennt, dass dies der 2. Versuch der Auslieferung ist und lässt die Mail passieren.

Blacklists: Hierbei handelt es sich um schwarze Listen, die von Dienstleistern, die zum Teil nicht unumstritten sind, wie z.B. Spamhaus gepflegt werden. Versucht ein Absender eine Mail aus einem dieser gelisteten IP-Adress-Bereiche zu senden wird dies erkannt und die Mail geblockt, gelöscht oder als Spam markiert.

Eine weitere Standardtechnik, die mittlerweile fast überall zum Einsatz kommt ist die Erkennung von Spam nach diversen Mustern. Hierfür wird zum Beispiel Spamassassin genutzt.

Redliner hat damals mit genau diesen Techniken begonnen. Wobei uns bereits damals diverse Unzulänglichkeiten aufgefallen sind:

1.) Greylisting verzögert den Empfang der eMails, da diese ja zunächst einmal abgelehnt werden.
2.) Blacklists bedeuten leider häufig, dass Kunden, die sich zufällig bei einem Provider einwählen, dessen IP-Bereich auf einer dieser Listen landete abgewiesen wurde, OBWOHL es sich in keinster Weise um Spammer handelte.
3.) Spamassasin ist an sich eine interessante Lösung birgt aber die latente Gefahr entweder zu viel bzw. zu wenig zu filtern – die Justierung der Filterregeln ist dort manchmal eine Qual zumal man immer Gefahr läuft einige Mails fälschlicher Weise als Spam zu behandeln. Wir haben viele Systeme beobachten können, die offenbar Ihre Filterregeln automatisiert von externen Quellen einlesen.

Nach etlichen Probeläufen, Tests und Entwicklung haben wir uns beim Redliner zu einer anderen Art der Spamerkennung entschlossen. Deren wesentliche Merkmale sind:

1.) Kennen wir oder unsere Testsysteme (dz. 3) bereits die IP-Adresse bzw. das IP-Netz von der eingeliefert werden soll? Wenn ja, welche Erfahrungen haben wir damit gemacht (Selbstreferenz) und welche haben andere damit gemacht (Blacklists zum Beispiel). Dabei geht unsere eigene Datenbasis immer vor. Haben wir keine Erfahrung und ist ein anderes System der Auffassung die IP listen zu müssen, so beginnen wir mit der verzögerten Annahme der Mail. Dies hat den Vorteil, dass wir die Mail die eingeliefert wird „on the fly“ weiter untersuchen können.

2.) Bevor wir die Mail komplett annehmen prüfen wir die einliefernde Mailadresse gegen 8 verschiedene Kriterien. Ja, der gute alte Paranoia-Check ist dort auch vertreten führt aber nicht automatisch, wie üblich,  zum ablehnen der Mail, weil es einfach zu viele schlecht konfigurierte Systeme gibt. Einer der wesentlichen Tests ist, ob aus unserem System an die einliefernde Domain schonmal eine Mail versendet wurde. Ist dies der Fall wird geprüft ob möglicherweise direkt an diese Mailadresse schon mal von den Systemen des Redliners eine Mail versandt wurde. Dies sind die wesentlichen Faktoren, die die nachgelagerten Prozesse positiv oder negativ beeinflussen.

3.) Kommen wir zu der Auffassung, die eMail kann grundsätzlich angenommen werden so gibt es noch diverse Kriterien, wie, mit oder ohne Anhang, was für ein Anhang, wie viel Text, wie ist die eMail aufgebaut etc.

4.) Eine unserer neuestem Innovationen ist das Crosschecking und Rating aller dieser Faktoren. Beispiel: Wird versucht von einer Mailadresse, der wir bereits „vertrauen“ von einer IP-Adresse, die als kritisch gilt, weil Sie zu einem Netz gehört, dem wir grundsätzlich nicht „vertrauen“, eine Mail bei uns einzuliefern, so nehmen wir die Mailadresse an, stellen Sie aber nicht sofort zu oder (ja, nach Zufallsgenerator) lehnen die Annahme zunächst ab. Wird uns dann im 2. Versuch eine „vernünftige“ eMail eingeliefert und passiert alle nachgelagerten System erhält das Netzwerk bzw. die IP-Adresse oder Mailadresse einen „Trustpoint“.

Nur auf diesem Wege entsteht eine von uns gewollte und vor allem kontrollierte Datenbasis ohne den so oft typischen Einfluss von zum Beispiel zu hart gesetzten Filtern oder leichtfertig gelisteten IP-Adressen. Das einzige, was nun permanent überwacht wird sind sich plötzlich zu schnell verändernde Rankings. Wobei wir fast das gesamte Jahr nicht wirklich ernsthaft in unser System eingreifen mussten.

Noch eine letzte Info für interessierte Leser:

Derzeit treffen auf unsere Systeme ca. 2,5 Mio Mailkontakte pro 24h. Davon sind derzeit 93% schon vor der vollständige Einlieferung als Spam identifiziert. Von den verbleibenden 7% werden nochmals fast 55% nach der kompletten Entgegennahme der Mail als Spam aussortiert. Spam wird bei uns inzwischen sofort gelöscht und weder markiert unseren Nutzern zugestellt noch in in unserem System „geparkt“. In den letzten 3 Jahren wurde 7 einzelne IP-Adressen manuell auf unsere Whitelist gepackt und wir hatten 18 einzelne Beschwerden von Kunden, das Mails nicht eingegangen sein sollen, die Sie erwartet haben. Davon haben sich 3 Beschwerden als begründet heraus gestellt.

Redliner ist ein Produkt der irrsinn.de gmbh und wurde 2006/2007 als fester Bestandteil unserer Dienstleistungspalette ins Angebot aufgenommen. Derzeit vertrauen uns ca. 500 ausgewählte Kunden von 7 Resellern mit über 8000 Mailadressen. Redliner ist kein Massenprodukt. In aller Regel erbringen wir für unsere Reseller weitere Dienstleistungen aus unserem Portfolio.


Nov 24

Wir haben seit ein paar Stunden neue Filterregeln im Einsatz. Diese haben in den vergangenen Wochen hervorragende Arbeit auf unserem Testsystem geleistet. Leider konnten wir es nicht vermeiden, dass in der Zeit des Umschaltens einiges an Spam unser System passiert hat. Dies bitten wir zu entschuldigen.

Sollten Sie dennoch unerwünschte Ergebnisse oder Nebewirkungen feststellen zögern Sie nicht uns zu kontaktieren.