Sep 22

Nach Arcor scheint es jetzt Kunden der Telekom erwischt zu haben. Es können von etlichen Anschlüssen der Telekom aus keine Mails mehr versendet werden, da die zu Grunde liegenden IP-Adressen auf schwarzen Listen gelandet sind (Blacklists). Dies passiert u.a. dann, wenn über einen Provider eine zu große Menge von Spam (meist hervorgerufen von Viren) abgesetzt wird.

Ja, das mit dem Spam ist so eine Sache, vor allem bei den großen Providern, die seit Jahren nur auf Wachstum aus sind und dabei aus unserer Sicht an vielen Stellen zwar darauf achten, dass alles funktioniert, sich aber keinerlei Gedanken über das “wie” machen.

Auch wir nutzen u.a. Blacklisten um unser Spamaufkommen zu minimieren.

Hier hatten wir uns schon einmal mit Blacklists beschäftigt und erklärt, wie sie selbst prüfen können ob sie betroffen sind.


Mrz 03

Derzeit läuft auf Grund einer akut gewordenen Sicherheitslücke ein Update unseres Verwaltungssystems. Es wird in den nächsten 4-6h zu eingeschränkter Verfügbarkeit unserer Mailserver kommen. Wir sahen uns zu diesem Schritt gezwungen um die Systemsicherheit auch weiterhin in gewohnter Qualität zur Verfügung zu stellen.

Wir danken für Ihr Verständnis.

Update: 04.03.2011 – 00:36h
Plesk, welches wir als Verwaltungsoberfläche nutzen mag nach dem Update seine Lizenz nicht mehr annehmen. Davon betroffen ist derzeit keines der zentralen Systeme. Lediglich Webmail ist damit nicht erreichbar und eingerichtete Konten können nicht verändert und neue nicht angelegt werden. Die eigentlichen Spamfiltersysteme von Redliner sind fehlerfrei in Betrieb. Wir haben das Problem inzwischen zu SWSoft eskaliert. Wir gehen davon aus, dass diese das Problem im Laufe des morgigen (ach nee, ist ja schon heute ;-) ) Tages lösen werden. Wir halten euch auf dem Laufenden.

Update: 04.03.2011 – 01:28h
Alle Funktionen wieder hergestellt. Das Design passen wir in den nächsten Tagen wieder an. Es wird auch neue Spamfilter geben – Ihr müsste nicht mehr alle Uhren kaufen ;-)


Nov 27

Die klassische Spambekämpfung besteht im wesentlichen aus einigen wenigen altbekannten Mechanismen. Wir prüfen regelmäßig die zur Verfügung stehenden Techniken um die Leistungsfähigkeit des Redliners zu verbessern. Die wohl häufigsten Techniken, die wir beobachten konnten sind Greylisting und Blacklists sowie Spamassassin.

Greylisting: Bei diesem Verfahren wird der erste Versuch eine eMail an das betreffende System aus zu liefern abgebrochen. Das System merkt sich die wichtigsten Daten der Mailkommunikation (IP-Adress des Absenders, sowie Absender-Mailadresse). Viele Spammer versuchen eine Mail genau einmal auszuliefern und scheitern bereits an dieser Barriere. Vernünftig konfigurierte Mailserver liefern die Mail einfach ein paar Minuten später erneut aus. Greylisting erkennt, dass dies der 2. Versuch der Auslieferung ist und lässt die Mail passieren.

Blacklists: Hierbei handelt es sich um schwarze Listen, die von Dienstleistern, die zum Teil nicht unumstritten sind, wie z.B. Spamhaus gepflegt werden. Versucht ein Absender eine Mail aus einem dieser gelisteten IP-Adress-Bereiche zu senden wird dies erkannt und die Mail geblockt, gelöscht oder als Spam markiert.

Eine weitere Standardtechnik, die mittlerweile fast überall zum Einsatz kommt ist die Erkennung von Spam nach diversen Mustern. Hierfür wird zum Beispiel Spamassassin genutzt.

Redliner hat damals mit genau diesen Techniken begonnen. Wobei uns bereits damals diverse Unzulänglichkeiten aufgefallen sind:

1.) Greylisting verzögert den Empfang der eMails, da diese ja zunächst einmal abgelehnt werden.
2.) Blacklists bedeuten leider häufig, dass Kunden, die sich zufällig bei einem Provider einwählen, dessen IP-Bereich auf einer dieser Listen landete abgewiesen wurde, OBWOHL es sich in keinster Weise um Spammer handelte.
3.) Spamassasin ist an sich eine interessante Lösung birgt aber die latente Gefahr entweder zu viel bzw. zu wenig zu filtern – die Justierung der Filterregeln ist dort manchmal eine Qual zumal man immer Gefahr läuft einige Mails fälschlicher Weise als Spam zu behandeln. Wir haben viele Systeme beobachten können, die offenbar Ihre Filterregeln automatisiert von externen Quellen einlesen.

Nach etlichen Probeläufen, Tests und Entwicklung haben wir uns beim Redliner zu einer anderen Art der Spamerkennung entschlossen. Deren wesentliche Merkmale sind:

1.) Kennen wir oder unsere Testsysteme (dz. 3) bereits die IP-Adresse bzw. das IP-Netz von der eingeliefert werden soll? Wenn ja, welche Erfahrungen haben wir damit gemacht (Selbstreferenz) und welche haben andere damit gemacht (Blacklists zum Beispiel). Dabei geht unsere eigene Datenbasis immer vor. Haben wir keine Erfahrung und ist ein anderes System der Auffassung die IP listen zu müssen, so beginnen wir mit der verzögerten Annahme der Mail. Dies hat den Vorteil, dass wir die Mail die eingeliefert wird “on the fly” weiter untersuchen können.

2.) Bevor wir die Mail komplett annehmen prüfen wir die einliefernde Mailadresse gegen 8 verschiedene Kriterien. Ja, der gute alte Paranoia-Check ist dort auch vertreten führt aber nicht automatisch, wie üblich,  zum ablehnen der Mail, weil es einfach zu viele schlecht konfigurierte Systeme gibt. Einer der wesentlichen Tests ist, ob aus unserem System an die einliefernde Domain schonmal eine Mail versendet wurde. Ist dies der Fall wird geprüft ob möglicherweise direkt an diese Mailadresse schon mal von den Systemen des Redliners eine Mail versandt wurde. Dies sind die wesentlichen Faktoren, die die nachgelagerten Prozesse positiv oder negativ beeinflussen.

3.) Kommen wir zu der Auffassung, die eMail kann grundsätzlich angenommen werden so gibt es noch diverse Kriterien, wie, mit oder ohne Anhang, was für ein Anhang, wie viel Text, wie ist die eMail aufgebaut etc.

4.) Eine unserer neuestem Innovationen ist das Crosschecking und Rating aller dieser Faktoren. Beispiel: Wird versucht von einer Mailadresse, der wir bereits “vertrauen” von einer IP-Adresse, die als kritisch gilt, weil Sie zu einem Netz gehört, dem wir grundsätzlich nicht “vertrauen”, eine Mail bei uns einzuliefern, so nehmen wir die Mailadresse an, stellen Sie aber nicht sofort zu oder (ja, nach Zufallsgenerator) lehnen die Annahme zunächst ab. Wird uns dann im 2. Versuch eine “vernünftige” eMail eingeliefert und passiert alle nachgelagerten System erhält das Netzwerk bzw. die IP-Adresse oder Mailadresse einen “Trustpoint”.

Nur auf diesem Wege entsteht eine von uns gewollte und vor allem kontrollierte Datenbasis ohne den so oft typischen Einfluss von zum Beispiel zu hart gesetzten Filtern oder leichtfertig gelisteten IP-Adressen. Das einzige, was nun permanent überwacht wird sind sich plötzlich zu schnell verändernde Rankings. Wobei wir fast das gesamte Jahr nicht wirklich ernsthaft in unser System eingreifen mussten.

Noch eine letzte Info für interessierte Leser:

Derzeit treffen auf unsere Systeme ca. 2,5 Mio Mailkontakte pro 24h. Davon sind derzeit 93% schon vor der vollständige Einlieferung als Spam identifiziert. Von den verbleibenden 7% werden nochmals fast 55% nach der kompletten Entgegennahme der Mail als Spam aussortiert. Spam wird bei uns inzwischen sofort gelöscht und weder markiert unseren Nutzern zugestellt noch in in unserem System “geparkt”. In den letzten 3 Jahren wurde 7 einzelne IP-Adressen manuell auf unsere Whitelist gepackt und wir hatten 18 einzelne Beschwerden von Kunden, das Mails nicht eingegangen sein sollen, die Sie erwartet haben. Davon haben sich 3 Beschwerden als begründet heraus gestellt.

Redliner ist ein Produkt der irrsinn.de gmbh und wurde 2006/2007 als fester Bestandteil unserer Dienstleistungspalette ins Angebot aufgenommen. Derzeit vertrauen uns ca. 500 ausgewählte Kunden von 7 Resellern mit über 8000 Mailadressen. Redliner ist kein Massenprodukt. In aller Regel erbringen wir für unsere Reseller weitere Dienstleistungen aus unserem Portfolio.


Nov 24

Wir haben seit ein paar Stunden neue Filterregeln im Einsatz. Diese haben in den vergangenen Wochen hervorragende Arbeit auf unserem Testsystem geleistet. Leider konnten wir es nicht vermeiden, dass in der Zeit des Umschaltens einiges an Spam unser System passiert hat. Dies bitten wir zu entschuldigen.

Sollten Sie dennoch unerwünschte Ergebnisse oder Nebewirkungen feststellen zögern Sie nicht uns zu kontaktieren.


Okt 04

Um unser Blog wieder etwas zu beleben werden wir eine neu Beitragsserie starten “Spamwetter”. Hier werden wir über unsere eigenen Erfahrungen bezüglich des Spamaufkommens unserer Systeme berichten.

In der letzten Wochen konnten wir einen nicht unwesentlichen Anstieg von Spam unserer russischen Freunde verzeichnen. Auch wenn der Text der Spammails in kyrillisch daher kommt sind die Mailheader ansonsten hervorragend aufgebaut. Leider passieren diese Mails daher auch ohne große Gegenwehr unsere Systeme. Wir arbeiten im Moment an neuen Filtern zu Inhaltserkennung.

Etwas nervig war ebenfalls der Spam in dem schweizer Uhren angeboten wurden. Alle weiteren Spammails waren unauffällig. Die Spamerkennungsrate liegt immer noch jenseits der 98% – nach wie vor keine False-Positives seit Einsetzen unserer Spamfilter.


Sep 06

In den letzten Tagen erhielten wir eine eMail folgenden Inhalts:

Mass email services

Rates: $130 per 1 million delivered messages.

We provide a detailed report.

Our database is updated weekly and includes countries all over the world.

-Different payment options.
-High response.
-Instant advertising.

130 $ für 1.000.000 versendete eMails. Das ist so ziemlich das preiswerteste was wir bis jetzt gesehen haben und zeigt zum einen, wie kaputt der Markt (zum Glück) ist und zum anderen, wie wichtig das Thema Spam und dessen Bekämpfung immer noch ist.


Aug 24

… also spamtechnisch. Der russische Spam, der derzeit REDLINER ungehindert zu passieren scheint ist wirklich ausgesprochen gut gemacht – Hut ab! Wir haben die ersten Ansätze dem ganzen Herr zu werden, riskieren aber eine zu hohe Fehlerquote bei der Spamerkennung (False positiv) von daher bitten wir noch ein wenig um Geduld. Spamerkennungrate im Moment immer noch bei 97,3%.


Aug 20

Hallo, lange nichts voneinander gelesen. Hier ein kurzes Update aus dem Maschinenraum. In den letzten Wochen verzeichnen wir ein stärkeres Spamaufkommen. Im Moment überarbeiten wir unsere Erkennungsalgorhythmen. Noch sind bei uns von Kundenseite keine Beschwerden eingegangen. Wir gehen also davon aus, dass sich das neue Aufkommen noch nicht wesentlich in allen Mailboxen niedergeschlagen hat. Sobald wir unsere Filter angepasst haben werden wir wieder unsere übliche Erkennungsrate von 98,3% erreichen. Im Moment liegen wir leider nur bei knapp 96%. Wir bitten dies zu entschuldigen, das Erkennen von Spam ist aber ein nicht endender Wettlauf zwischen uns und den Spammern ;-)


Feb 25

Drüben im innovativ.in Blog habe ich mal meine Meinung zum SPAM geschrieben. Wen das interessiert, bitte hier entlang – diskutieren können wir darüber natürlich auch hier. Aber innovativ.in hat definitiv die besseren Häppchen.


Feb 19

Um Google Buzz wird es nicht still. Offenbar hat man ein paar Qualitätsjournalisten davon überzeugt bei der Schadensbegrenzung zu helfen. Die Zeit ist sich wirklich für nichts zu schade. Google Buzz scheint ungefähr so sinnvoll zu sein wie Google Wave. Und wir können uns sicher sein das Buzz Twitter ungefähr so killt wie Android das Apple iPhone.