Ab sofort schützt Microsoft SmartScreen™ Sie nicht mehr ausschließlich vor Spam-Nachrichten. Mit dem neusten Hotmail-Update kann SmartScreen automatisch mehr als eine Milliarde E-Mails pro Tag als Newsletter identifizieren. Da Newsletter anteilig mehr als ein Viertel aller Nachrichten in einem typischen Posteingang ausmachen, bedeutet es eine deutliche Zeitersparnis, wenn diese E-Mails automatisch kategorisiert werden können.
Lesen Sie in diesem Beitrag, wie wir SmartScreen über Spam hinaus auf eine bestimmte Art von Greymails – Newsletter – angesetzt haben. Damit unterstützt Hotmail Sie in Ihrem Kampf gegen Spam und hilft Ihnen den Dschungel der Greymails zu durchdringen.
Als 2006 der Spam-Anteil im Posteingang auf 30 Prozent angewachsen war, gab es für uns ein Ziel: Wir mussten etwas gegen diese Unmengen an E-Mails unternehmen, die wirklich niemand in seinem Postfach haben möchte. Das Hotmail-Team konzentrierte die Ressourcen auf die Entwicklung und stetige Verbesserung von SmartScreen – mit dem Ergebnis, dass die Spam-Rate auf einen historischen Wert unter 3 Prozent sank.
Mit dem großen Erfolg, Spam-Nachrichten auf ein handhabbares Maß reduziert zu haben, begannen wir damit, den verbleibenden E-Mail-Rest im Posteingang zu analysieren. Was wir dabei entdeckten, überraschte uns sehr.
Der überwiegende Großteil des E-Mail-Verkehrs (bis zu 82% aller E-Mails) sind Greymails. Greymails sind zumeist E-Mails, die ursprünglich einmal gewünscht waren – zum Beispiel Newsletter, Nachrichten aus sozialen Netzwerken, tägliche Angebote etc. Dieser E-Mail-Typ ist problematisch, da der Nutzer diese Nachrichten nach einer bestimmten Zeit nicht mehr bekommen möchte – denn dann werden sie als Spam wahrgenommen.
Unsere Lösung setzt nicht bei einer allgemeingültigen Regel an. Vielmehr halten wir es für sinnvoller, Ihnen Funktionen zur Verfügung zu stellen, die es Ihnen erleichtern, Ihren Posteingang so zu organisieren, wie es Ihnen am ehesten entgegen kommt und Ihnen damit alle Mittel an die Hand zu geben, dem Greymail-Problem adäquat zu begegnen. Ich denke dabei an Funktionen wie Aufräumen, Bereinigung planen, Schnellansichten und andere Verbesserungen bei Hotmail, die sich nicht durch Automatismen über Sie hinwegsetzen, sondern Sie entscheiden lassen.
So sinnvoll und effizient diese Werkzeuge auch sein mögen: Wir wissen, dass sie eine gewisse Wartung verlangen. So sollten Sie Ihren Posteingang regelmäßig kontrollieren, um festzustellen, ob alles nach Ihren Vorstellungen läuft oder ob sich Nachrichten eines neuen Absenders eingeschlichen haben, die Ihr Eingreifen erfordern. Sie haben Besseres zu tun – also wollten wir noch einen Schritt weitergehen.
Greymails automatisch erkennen
Die Grundidee ist, eine E-Mail zu erkennen, bevor Sie sie in Ihrem Posteingang sehen. Außerdem soll aufgrund dieser Identifikation direkt eine automatische Aktion erfolgen, wenn es Sinn macht. Im Prinzip ist das keine neue Idee. SmartScreen klassifiziert und kennzeichnet Nachrichten als Spam oder Bedrohungen und teilt dem Nachrichtenübermittlungssystem mit, was mit dieser oder jener E-Mail zu passieren hat.
Die Entscheidungen von SmartScreen auf der Basis der Bedrohung durch eine bestimmte Nachricht können wie folgt aussehen:
- Auslieferung einer E-Mail in Ihren Posteingang von einem Absender, der Ihnen unbekannt ist. Allerdings überlässt SmartScreen Ihnen die Entscheidung, ob Sie die Nachricht in der Vollansicht einsehen möchten oder nicht.
- Markierung einer Nachricht als Junk-E-Mail und Auslieferung in den Junk-Ordner.
- Ablehnung einer E-Mail.
Im Kampf gegen Spam haben wir eine ganze Menge gelernt und die Infrastruktur, die wir dabei aufgebaut haben, bot sich zur Übertragung auf das Greymail-Problem an. Indem wir Nachrichten automatisch als Greymail einordnen, gewinnen Aufräumen, Bereinigung planen und andere innovative Funktionen noch weiter an Wert. Eine Frage blieb jedoch offen: Wo fangen wir an?
Als wir uns den Greymail-Anteil (satte 82%!) im Posteingang genauer ansahen, fielen einige Punkte sofort ins Auge. Die sozialen Netzwerke nehmen mittlerweile einen wichtigen Teil im Leben vieler E-Mail-Nutzer ein. Spürbar wird das anhand des Anteils der damit zusammenhängenden Benachrichtigungen von Facebook, Twitter und anderen beliebten Netzwerken im Posteingang. Glücklicherweise verändern sich die Absender von diesen Netzwerken selten und sind leicht zu identifizieren – so können wir den Ein-Klick-Filter “Neuigkeiten aus sozialen Netzwerken” anbieten, mit dessen Hilfe Sie sich alle Updates auf einen Blick anzeigen lassen können.
Allerdings gibt es ein weiteres Segment mit einem dermaßen großen E-Mail-Aufkommen, dass die Unmengen von Updates aus sozialen Netzwerken dagegen zwergenhaft wirken: 50% aller E-Mails im Posteingang setzen sich aus Newslettern und Angeboten zusammen – Online-Versandhäuser, Vereine, Institution und Vereinigungen, Gutscheine und kostenlose Probeversionen, sensationelle Rabatte und alles, was es sonst noch zu kaufen, tun oder sehen gibt.
Newsletter haben mit Benachrichtigungen aus den sozialen Netzwerken wenig gemeinsam. Letztere stammen häufig von derselben E-Mail-Adresse, sehen identisch aus und haben oftmals dieselben inhaltlichen Kategorien. Newsletter sind da ganz anders und können sich extrem voneinander unterscheiden. Schließlich kann jeder Newsletter versenden und sie gestalterisch und inhaltlich nach den eigenen Vorstellungen aufbereiten.
Um dieser Vielfalt zu begegnen, mussten wir einen anderen Ansatz wählen als den, den wir für den Umgang mit Updates aus sozialen Netzwerken verwendet hatten. Und da diese Vielfalt eine Eigenart ist, die viele andere Greymail-Kategorien gemein haben, wollten wir ein System entwickeln, das auch über Newsletter hinauswachsen sollte.
Die Umsetzung des neuen Newsletter-Filters
Damit Hotmail Ihre Newsletter identifizieren konnte, brauchten wir eine Liste von Newsletter-Charakteristika und eine Software, die diese in einkommenden E-Mails aufspüren konnte. Die Charakteristika-Liste stellt das Modell dar, aufgrund dessen sich Newsletter von allen anderen E-Mail-Kategorien unterscheiden und lässt sich im Wesentlichen auf zwei Punkte reduzieren:
- Vorhandensein eines Headers, der die Abmeldung vom Newsletter-Erhalt ermöglicht.
- Die E-Mail-Adresse des Absenders.
Auf Basis einer klaren Definition des Begriffs “Newsletter” stellten wir eine Referenzliste von ungefähr 10.000 Nachrichten zusammen, die wir als “Newsletter” bzw. “kein Newsletter” markierten. Diese Liste können Sie sich als Test für unseren Newsletter-Filter vorstellen: Die Erfolgsrate bei der Identifikation von Newslettern zeigte, wie exakt der Filter zu arbeiten in der Lage war.
Wir nutzten die Technik des maschinellen Lernens, um das Modell so weiterzuentwickeln, dass es die Mehrzahl der Newsletter unserer Referenzliste zuverlässig erkannte. Da die Liste auf einer völlig zufällig gewählten Stichprobe fußte, waren wir davon überzeugt, dass die Erfolgsrate des Filters im Internet der im Einsatz gegen unsere Testliste sehr nahe kommen würde. Als der Filter soweit war, dass er die meisten Newsletter unserer Liste identifizieren konnte, starteten wir einen internen Piloten. Diese Phase nennen wir “dogfooding”.
Gratis-Hundefutter für alle!
Das “Dogfooding” bezeichnet den Prozess, dass Microsoft-Angestellte neue Software mit ihren echten Hotmail-Benutzerkonten testen. Dieser Vorgang war unumgänglich, um dem Filter den letzten Feinschliff zu geben. Unseren Dogfood-Nutzer hatten die Möglichkeit, nicht oder fehlerhaft identifizierte Newsletter zu melden – ganz ähnlich, wie wir mit Spam-Nachrichten verfahren, die durch unser Filtersystem schlüpfen. Diese Prozedur dauerte noch einmal einige Wochen, bis wir das Modell auf den Release-Stand gebracht hatten.
Wie gut funktioniert all das?
In der Regel sind Spammer viel zu wahllos, als dass sie zu viele Gedanken daran verschwenden würden, ob sie Ihnen nun eine Postfachladung voller Rolex-Angebote oder Werbung zu Pharmazeutika schicken sollen – wir bekommen alle mehr oder weniger den gleichen Spam. Interessant am Greymail-Phänomen ist hingegen, dass jeder Posteingang unterschiedliche Greymails aufweist, je nach Online-Aktivitäten des jeweiligen Nutzers.
Wir haben den Newsletter-Filter so aufgesetzt, dass er sich im Posteingang des durchschnittlichen Nutzers gut bewährt und in den aller meisten Fällen Newsletter richtig identifiziert. Wenn man einen Blick auf die Zahlen wirft, haben wir uns damit ein hohes Ziel gesteckt:
Die meisten Newsletter werden wochentags verschickt, etwa 1,5 Milliarden Newsletter pro Tag. Newsletter nehmen ungefähr die Hälfte des gesamten E-Mail-Verkehrs ein, der über unsere Server läuft. Und wenn SmartScreen eine E-Mail als Newsletter einstuft, hat der Filter in 97% aller Fälle recht.
Wenn eingehende Newsletter richtig kategorisiert werden, können Sie diese Nachrichten schnell mit der Aufräumen-Funktion wegsortieren oder sich mit dem Ein-Klick-Filter gesammelt anzeigen lassen. Damit steht Ihnen mehr Zeit zur Verfügung, E-Mails zu lesen und zu beantworten, anstatt Ihren Posteingang zu organisieren.
Und was kommt jetzt?
Da der neue Newsletter-Filter online ist und arbeitet, werden wir uns nun darauf konzentrieren, die Kategorien weiter auszubauen und Ihnen weitere Funktionen anzubieten, mit denen Sie das Beste aus den Kategorien herausholen können.
Ich hoffe, dass der Newsletter-Filter Sie im Kampf gegen die Greymails gut unterstützen kann und freue mich über Ihr Feedback!
Christian Weghofer