Nov 27

Die klassische Spambekämpfung besteht im wesentlichen aus einigen wenigen altbekannten Mechanismen. Wir prüfen regelmäßig die zur Verfügung stehenden Techniken um die Leistungsfähigkeit des Redliners zu verbessern. Die wohl häufigsten Techniken, die wir beobachten konnten sind Greylisting und Blacklists sowie Spamassassin.

Greylisting: Bei diesem Verfahren wird der erste Versuch eine eMail an das betreffende System aus zu liefern abgebrochen. Das System merkt sich die wichtigsten Daten der Mailkommunikation (IP-Adress des Absenders, sowie Absender-Mailadresse). Viele Spammer versuchen eine Mail genau einmal auszuliefern und scheitern bereits an dieser Barriere. Vernünftig konfigurierte Mailserver liefern die Mail einfach ein paar Minuten später erneut aus. Greylisting erkennt, dass dies der 2. Versuch der Auslieferung ist und lässt die Mail passieren.

Blacklists: Hierbei handelt es sich um schwarze Listen, die von Dienstleistern, die zum Teil nicht unumstritten sind, wie z.B. Spamhaus gepflegt werden. Versucht ein Absender eine Mail aus einem dieser gelisteten IP-Adress-Bereiche zu senden wird dies erkannt und die Mail geblockt, gelöscht oder als Spam markiert.

Eine weitere Standardtechnik, die mittlerweile fast überall zum Einsatz kommt ist die Erkennung von Spam nach diversen Mustern. Hierfür wird zum Beispiel Spamassassin genutzt.

Redliner hat damals mit genau diesen Techniken begonnen. Wobei uns bereits damals diverse Unzulänglichkeiten aufgefallen sind:

1.) Greylisting verzögert den Empfang der eMails, da diese ja zunächst einmal abgelehnt werden.
2.) Blacklists bedeuten leider häufig, dass Kunden, die sich zufällig bei einem Provider einwählen, dessen IP-Bereich auf einer dieser Listen landete abgewiesen wurde, OBWOHL es sich in keinster Weise um Spammer handelte.
3.) Spamassasin ist an sich eine interessante Lösung birgt aber die latente Gefahr entweder zu viel bzw. zu wenig zu filtern – die Justierung der Filterregeln ist dort manchmal eine Qual zumal man immer Gefahr läuft einige Mails fälschlicher Weise als Spam zu behandeln. Wir haben viele Systeme beobachten können, die offenbar Ihre Filterregeln automatisiert von externen Quellen einlesen.

Nach etlichen Probeläufen, Tests und Entwicklung haben wir uns beim Redliner zu einer anderen Art der Spamerkennung entschlossen. Deren wesentliche Merkmale sind:

1.) Kennen wir oder unsere Testsysteme (dz. 3) bereits die IP-Adresse bzw. das IP-Netz von der eingeliefert werden soll? Wenn ja, welche Erfahrungen haben wir damit gemacht (Selbstreferenz) und welche haben andere damit gemacht (Blacklists zum Beispiel). Dabei geht unsere eigene Datenbasis immer vor. Haben wir keine Erfahrung und ist ein anderes System der Auffassung die IP listen zu müssen, so beginnen wir mit der verzögerten Annahme der Mail. Dies hat den Vorteil, dass wir die Mail die eingeliefert wird „on the fly“ weiter untersuchen können.

2.) Bevor wir die Mail komplett annehmen prüfen wir die einliefernde Mailadresse gegen 8 verschiedene Kriterien. Ja, der gute alte Paranoia-Check ist dort auch vertreten führt aber nicht automatisch, wie üblich,  zum ablehnen der Mail, weil es einfach zu viele schlecht konfigurierte Systeme gibt. Einer der wesentlichen Tests ist, ob aus unserem System an die einliefernde Domain schonmal eine Mail versendet wurde. Ist dies der Fall wird geprüft ob möglicherweise direkt an diese Mailadresse schon mal von den Systemen des Redliners eine Mail versandt wurde. Dies sind die wesentlichen Faktoren, die die nachgelagerten Prozesse positiv oder negativ beeinflussen.

3.) Kommen wir zu der Auffassung, die eMail kann grundsätzlich angenommen werden so gibt es noch diverse Kriterien, wie, mit oder ohne Anhang, was für ein Anhang, wie viel Text, wie ist die eMail aufgebaut etc.

4.) Eine unserer neuestem Innovationen ist das Crosschecking und Rating aller dieser Faktoren. Beispiel: Wird versucht von einer Mailadresse, der wir bereits „vertrauen“ von einer IP-Adresse, die als kritisch gilt, weil Sie zu einem Netz gehört, dem wir grundsätzlich nicht „vertrauen“, eine Mail bei uns einzuliefern, so nehmen wir die Mailadresse an, stellen Sie aber nicht sofort zu oder (ja, nach Zufallsgenerator) lehnen die Annahme zunächst ab. Wird uns dann im 2. Versuch eine „vernünftige“ eMail eingeliefert und passiert alle nachgelagerten System erhält das Netzwerk bzw. die IP-Adresse oder Mailadresse einen „Trustpoint“.

Nur auf diesem Wege entsteht eine von uns gewollte und vor allem kontrollierte Datenbasis ohne den so oft typischen Einfluss von zum Beispiel zu hart gesetzten Filtern oder leichtfertig gelisteten IP-Adressen. Das einzige, was nun permanent überwacht wird sind sich plötzlich zu schnell verändernde Rankings. Wobei wir fast das gesamte Jahr nicht wirklich ernsthaft in unser System eingreifen mussten.

Noch eine letzte Info für interessierte Leser:

Derzeit treffen auf unsere Systeme ca. 2,5 Mio Mailkontakte pro 24h. Davon sind derzeit 93% schon vor der vollständige Einlieferung als Spam identifiziert. Von den verbleibenden 7% werden nochmals fast 55% nach der kompletten Entgegennahme der Mail als Spam aussortiert. Spam wird bei uns inzwischen sofort gelöscht und weder markiert unseren Nutzern zugestellt noch in in unserem System „geparkt“. In den letzten 3 Jahren wurde 7 einzelne IP-Adressen manuell auf unsere Whitelist gepackt und wir hatten 18 einzelne Beschwerden von Kunden, das Mails nicht eingegangen sein sollen, die Sie erwartet haben. Davon haben sich 3 Beschwerden als begründet heraus gestellt.

Redliner ist ein Produkt der irrsinn.de gmbh und wurde 2006/2007 als fester Bestandteil unserer Dienstleistungspalette ins Angebot aufgenommen. Derzeit vertrauen uns ca. 500 ausgewählte Kunden von 7 Resellern mit über 8000 Mailadressen. Redliner ist kein Massenprodukt. In aller Regel erbringen wir für unsere Reseller weitere Dienstleistungen aus unserem Portfolio.


Nov 24

Wir haben seit ein paar Stunden neue Filterregeln im Einsatz. Diese haben in den vergangenen Wochen hervorragende Arbeit auf unserem Testsystem geleistet. Leider konnten wir es nicht vermeiden, dass in der Zeit des Umschaltens einiges an Spam unser System passiert hat. Dies bitten wir zu entschuldigen.

Sollten Sie dennoch unerwünschte Ergebnisse oder Nebewirkungen feststellen zögern Sie nicht uns zu kontaktieren.


Aug 24

… also spamtechnisch. Der russische Spam, der derzeit REDLINER ungehindert zu passieren scheint ist wirklich ausgesprochen gut gemacht – Hut ab! Wir haben die ersten Ansätze dem ganzen Herr zu werden, riskieren aber eine zu hohe Fehlerquote bei der Spamerkennung (False positiv) von daher bitten wir noch ein wenig um Geduld. Spamerkennungrate im Moment immer noch bei 97,3%.


Aug 20

Hallo, lange nichts voneinander gelesen. Hier ein kurzes Update aus dem Maschinenraum. In den letzten Wochen verzeichnen wir ein stärkeres Spamaufkommen. Im Moment überarbeiten wir unsere Erkennungsalgorhythmen. Noch sind bei uns von Kundenseite keine Beschwerden eingegangen. Wir gehen also davon aus, dass sich das neue Aufkommen noch nicht wesentlich in allen Mailboxen niedergeschlagen hat. Sobald wir unsere Filter angepasst haben werden wir wieder unsere übliche Erkennungsrate von 98,3% erreichen. Im Moment liegen wir leider nur bei knapp 96%. Wir bitten dies zu entschuldigen, das Erkennen von Spam ist aber ein nicht endender Wettlauf zwischen uns und den Spammern 😉


Aug 11

Diesem Golem-Artikel zufolge haben Yahoonutzer bald die Möglichkeit selbst zu entscheiden ob sie auf Yahoos Website zukünftig mit Werbung zugespamt werden wollen oder nicht. Damit reagiert Yahoo als erstes Internet Unternehmen auf eine Untersuchung des US-Kongresses. In Amerika machen sich, wie hierzulande, die Datenschützer Sorgen ob der individualisierten Werbung, die Unternehmen wie Yahoo, Google und Co. Ihren Nutzern um die Ohren hauen.

Um die Werbung zu individualisieren ist es nunmal nötig das Nutzerverhalten nicht nur zu analysieren sondern auch auf zuzeichnen. Beide Methoden sind mehr als fragwürdig.

Wer nicht solange warten will, bis auch andere Unternehmen reagieren, dem können wir schon jetzt 2 überaus sinnvolle Erweiterungen der gängigen Browser Firefox und Internetexploderexplorer empfehlen:

Adblock Plus für Firefox oder
IE7Pro für den Intenetexplorer

Weiterhin einen spamfreien Tag!


Apr 02

Wir haben es gewagt. Nachdem uns die alter Version ja echt ans Herz gewachsen war, haben wir uns nun doch entschieden auf WP 2.5 zu aktualisieren. Und bisher können wir nur sagen: „Es geht!“

Grundsätzlich hat sich von der Bedienung her nicht allzuviel geändert, da wir ohnehin mit einem angepassten Admininterface arbeiten. Das hat ein wenig gemuckert, weil eigentlich nicht 2.5 kompatibel, aber hey, ist doch alles nur PHP 😉

Bei Nebenwirkungen ärgert euch nicht leise still und heimlich sondern weist uns kurz drauf hin. Danke!


Jan 18

Das Instituts für Internet-Sicherheit an der FH Gelsenkirchen (ifis) ist einem Bericht der IX zufolge zu dem Ergebnis gekommen, DNS-Blacklisting (schwarze Listen von IP-Adressen von denen aus SPAM verschickt wurde) seien zu langsam. Was grundsätzlich an dem Konzept des Blacklistings schlechthin liegt. Eine IP-Adresse muss lang genug, ausreichend SPAM versenden, damit diese in einer der schwarzen Listen aufgenommen wird. Im Zeitalter von Bot-Netzwerken, bei denen 1.000e von ahnungslosen PC-Usern Ihr System unfreiwillig der E-Müll-Mafia zur Verfügung stellen und diese Rechner regelmäßig von ihren Providern eine neue dynamische IP-Adresse erhalten, kann es nur so sein, dass Blacklisten zu langsam sind. Sie sind schlichtweg unbrauchbar. Nur für einen kleinen Teil von offenen oder gehackten Mailservern in Rechenzentren mit fester IP-Adresse funktioniert das Blacklisting zuverlässig. Von daher kann diese Methode bei einem ausgewogenen Antispam-System nur ein Teil des Ganzen sein. Ebenso wie die zahlreichen weiteren Verfahren, die es inzwischen gibt. Ein effizienter Einsatz ist es, das System nicht sich selbst zu überlassen sondern Methoden der Überwachung einzubauen. Mechanismen, die von sich aus in einem gewissen Rahmen reagieren oder entsprechend Alarm auslösen, damit ein Mensch sich der Sache annehmen kann. Eine der „intelligenten“ Methoden kann zum Beispiel sein, dass wenn E-Mails mit gleichen, eindeutigen Charakteristika von unterschiedlichen Versendern mit einer auffälligen Häufigkeit „im Netz auftauchen“ oder vielfach an ungültige Adressen gesendet werden, dann könnte ein Inhaltsfilter, der nach den Charakteristika dieser auffälligen Mails sucht, das Mittel der Wahl sein. Ebenso könnte man IP-Adressen, von denen in gewisser Regelmäßigkeit unauffällige Mails an unbekannte Versender geschickt werden, nur zeitweise blockieren oder Mails von solchen IP-Adressen gewisse Zeit weiteren Filtern zuführen oder diese Adressen nicht mehr automatisch im Greylisting auf die weiße Liste setzen, obwohl man dies in anderen Fällen tun würde, um den Mailverkehr nicht unnötig zu verzögern….

Ja, was man alles machen könnte 🙂 – wir tun dies und vieles mehr bereits. Klingt das nicht alles fürchterlich? Automatische Mailfilter, Greylisting, Blacklists… Aber darum müssen Sie sich im Grund nicht kümmern, wir Filtern derzeit 99,2% Ihres Spams (nach den aktuellen Statistiken) und das bei einer Fehlerquote von inzwischen nur 0,046 Promille (False positiv). Und das alles mit mehr als 5 statischen und ca. 10 dynamischen Filtern und Prozessen und wenn uns dann noch ein innovativer Spammer unterkommt, hat unser System bisher zuverlässig Alarm geschlagen und wir haben die Spamwelle durch eine kurze Anpassung der Parameter von defendix.net gestoppt.


Dez 11

Bisher wurde das gute alte IRC oft für die Steuerung von Bot-Netzen genutzt um Attacken oder Spam von vielen tausenden „fernbedienten“ Rechnen zu steuern. Im Zeitalter von Web 2.0 scheint dies nicht mehr zeitgemäß. Einem Bericht von heise online zufolge, werden dafür immer mehr Web 2.0 Technologien genutzt.

Dies erschwert die Erkennung von Kontrollstrukturen erheblich. Wir können daher allen Blog Betreibern empfehlen Ihre Kommentare auf verdächtige Befehle hin zu untersuchen. Im Moment steht diese Form der Bot-Netz-Steuerung noch am Anfang, jedoch dürfte dies, auf Grund der besseren Tarnung, die Zukunft sein.


Nov 09

In den letzten Tagen haben uns zahlreiche Anfragen von ARCOR Kunden erreicht, dass sie keine Mails mehr versenden können. Nach ein wenig Recherche stellten wir fest, dass unter anderem Spamhaus.org eines der ARCOR Netze (84.58.0.0/13) auf ihre schwarzen Listen gesetzt hat. Dies hat bei etlichen Systemen zur Folge, das E-Mails von Adressen, die von Rechnern aus diesem IP-Bereich gesendet werden, nicht mehr angenommen werden. Bereits Ende letzte Woche haben wir ARCOR davon in Kenntnis gesetzt. Am Montag (05.11.07) wollte man uns zurückrufen bzw. man sagte uns bereits vor dem Wochenende zu, sich dem Problem anzunehmen. Jetzt habe ich das oben benannte Netz wieder mal geprüft, weil immer noch Kunden anrufen und siehe da – ES IST NICHTS PASSIERT.

Ich kann nur sagen, wem so was auffällt, dass er von seinem ARCOR Zugang aus keine Mails mehr versenden kann, dann penetrant die Hotline anrufen und fristlos kü… vielleicht mal prüfen, ob der Provider noch zu einem passt.

Das hier sieht ja recht ordentlich aus:

DNS-Status of 84.58.0.0:
Reverse DNS (PTR) exists and claims to be: dslb-084-058-000-000.pools.arcor-ip.net.
Forward DNS for dslb-084-058-000-000.pools.arcor-ip.net is: 84.58.0.0.

DNS is consistent.

Jetzt kommts:

Result for 84.58.0.0 in LHSBL Blocklists (Alphabetic order):
[…]
blackholes.five-ten-sg.com LISTED!
[…]
dnsbl.sorbs.net LISTED! See why
[…]
dnsbl-2.uceprotect.net LISTED! See why
dnsbl-3.uceprotect.net LISTED! See why
[…]
l2.apews.org LISTED! See why Don’t care about the listing, nobody is using this list.
[—]
no-more-funn.moensted.dk LISTED! See why
[…]
zen.spamhaus.org LISTED! See why


Okt 23

Spam wird immer preiswerter ebenso weitere sogenannte „Dienstleistungen“.

Egal, was gewünscht wird:

  • „… 20 Millionen Werbemails für 350 € …“
  • „… Attacken auf Server für 14 € pro Stunde …“
  • „… 10 Millionen Mailadressen für 100 € …“

Diese Informationen stammen von Heise.

Angesichts dieser Preise ist es verwunderlich, wie wenig immer noch in aktuelle Sicherheitstechnik investiert wird. Dabei geht es uns in erster Linie um den Schutz vor Spam. Sprechen Sie uns aber gern auch zu weiteren Themen bezüglich Sicherheit an.