Terugblik op problemen met Microsoft Mail 2022/2023
Door: Daniël Smidt (Chief Technology Officer)
In deze Post-mortem blikken we terug op de e-mail-problematiek rondom het gebruik van Simplicate en Microsoft. Daarnaast blikken we vooruit en vertellen meer over gerelateerde product updates die er nog aankomen.
In het kort
- Vanaf 12 december 2022 werden onze websites onterecht door Microsoft Office 365 Defender gemarkeerd als phishing sites.
- Hierdoor kwamen e-mails met onze links niet aan in Microsoft e-mailboxen.
- De oorzaak lag in onzorgvuldigheid van het Defender Machine Learning algoritme.
- Na een zeer intensief en slepend proces is het opgelost. Sinds 16 februari 2023 komen alle e-mails aan.
Deze situaties willen wij in de toekomst voorkomen. Daarom hebben wij maatregelen genomen zoals extra monitoring en aangescherpte beveiliging.
Daarnaast zijn we nu versneld bezig met het:
- Scheiden van domeinnamen tussen onze website en software. Onze software zal primair via simplicate.app beschikbaar worden in plaats van simplicate.com of .nl.
- Aanbieden van e-facturatie via Peppol. We geloven dat dit de toekomst is van veilig factureren. Het garandeert inzicht in de aflevering van facturen en voorkomt phishing.
Deze punten leggen we hieronder uit.
Wat ging er fout?
Op 15 december 2022 ontvingen we de eerste melding bij onze supportafdeling van het feit dat bepaalde mails niet aankomen. Uit nader onderzoek bleek dat het probleem al sinds 12 december speelt. Het werd snel duidelijk dat het alleen om Microsoft-gebruikers gaat en daarnaast alleen om mailtjes met links naar simplicate.nl of simplicate.com in de tekst. Onze sites werden onterecht door Microsoft Office 365 Defender gemarkeerd als phishing sites. E-mails kregen een ‘High Confidence Phish’-kenmerk door een ‘URL detonation reputation’. Hierdoor kwamen deze e-mails in quarantaine, waardoor ze zelfs de spambox van een gebruiker niet bereikten. E-mails vanuit Simplicate met PDF-bijlagen of zonder link kwamen wel aan.
Afgelopen jaar hebben we in het kader van onze ISO-27001 certificering veel procedures, waaronder voor continuïteit, doorgelicht en waar nodig aangescherpt. We moeten eerlijk bekennen dat dit scenario zo ongebruikelijk was, dat het niet bij ons op de plank lag.
Ondanks onze monitoring op e-mail, hadden we geen eigen indicatie dat er wat fout liep. Wij konden de e-mails gewoon afleveren en kregen geen foutmeldingen (bounces) terug. Dit laat de technische beperking van e-mail zien: er is geen standaard voor ontvangstbevestiging. We ontdekten dat de oorzaak niet zit in hoe onze applicatie mail verstuurt, want ook e-mails die een link bevatten naar Simplicate en verstuurd werden vanuit bijvoorbeeld privéadressen zoals Gmail of Hotmail kwamen niet aan.
Hoe meer onderzoek we deden, des te meer we vermoedden dat er buiten ons platform wat was veranderd. Ondertussen kregen we van verschillende partijen signalen dat Microsoft in december aanpassingen heeft gedaan aan Office 365-producten en hoorden we in het reguliere nieuws van uitval van clouddiensten. De afhankelijkheid van partijen als Microsoft in onze maatschappij is groot, maar ze zijn zeker niet feilloos. Ons probleem bleek ook hier een geval van overmacht te zijn. De ontoegankelijkheid tot Microsoft maakte de weg naar de oplossing tot een erg moeilijk en vooral slepend proces.
Uiteindelijk hebben we een werkende oplossing en uitleg van Microsoft, maar geen uitputtende oorzaakanalyse ontvangen (Root Cause Analysis). Of dit onwil, policy of onmacht is weten we niet. Het blijft deels gissen waarom precies onze URL’s als phishing werden aangemerkt. De logica van het algoritme van Microsoft Defender maakt gebruik van Machine Learning, waar weinig over bekend is. We zijn een aanvullende (juridische) procedure gestart om hier meer inzicht in te krijgen.
De oplossing
Op 16 februari 2023 heeft het Engineering Team van Microsoft op het hoofdkantoor in Redmond, U.S.A. voor ons de oplossing doorgevoerd in Microsoft Defender van Office 365.
Eerder zijn ook andere pogingen gedaan, die slechts tijdelijk of niet volledig werkten. De eerste poging was het door Microsoft resetten van de domeinreputatie van de domeinen simplicate.nl en simplicate.com. Deze negatieve reputatie was volgens Microsoft onterecht ontstaan door een fout in hun Machine Learning algoritme van Defender. De aanpassing werkte slechts tijdelijk, want de negatieve reputatie kwam automatisch terug door hetzelfde algoritme.
We hebben meer dan twee maanden zeer intensief contact met Microsoft gehad en verschillende ingangen gezocht. Het probleem is uiteindelijk definitief verholpen doordat het Microsoft Engineering Team een harde uitzonderingsregel in hun algoritme heeft geconfigureerd. Wij schatten in dat dit een middel is wat ze slechts in uitzonderlijke situaties toepassen.
Uiteraard hebben we zelf nog veel andere oplossingsrichtingen geprobeerd gedurende de uitval. Hieronder leggen we een aantal van deze maatregelen in detail uit.
Maatregelen om het probleem in de toekomst te voorkomen
We streven naar zo veel mogelijk zekerheid om in de toekomst niet in dezelfde situatie te belanden. De harde uitzonderingsregels die nu door Microsoft zijn toegepast, zorgen ervoor dat het Machine Learning model van Defender leert van zijn fouten. Hierdoor zou het probleem zich in de toekomst niet weer voor mogen doen.
Deze uitleg geeft ons onvoldoende zekerheid. Daarom zorgen we ervoor dat we, nog meer dan we al deden, alle technische industriestandaarden hanteren en best practices volgen, zodat we de kans om uitgefilterd te worden zo klein mogelijk maken. Daarnaast hebben we een aantal grotere productveranderingen in petto.
Extra monitoring en testprocedures
We hebben onze monitoring flink uitgebreid om sneller te kunnen reageren. Een deel van deze monitoring is ook beschikbaar geworden voor Simplicate beheerders. Daarnaast hebben we onze testprocedures met het Quality Assurance team uitgebreid om zeker te zijn dat mails met linkjes naar onze omgevingen aankomen. De komende tijd doorlopen we ook elke ochtend nog een extra uitgebreide testprocedure.
Elk jaar laten we onze software door een externe partij toetsen op beveiliging. Onder andere met een penetratietest. Deze laatste test van 2022 gaf ons voldoende zekerheid dat we niet als phishingsite ingezet kunnen worden. Toch hebben we onze logs onderzocht op verdacht verkeer en niks gevonden. Ook externe Malwarescans gaven geen zorgelijke uitslag. Er werd slechts door één van de vijf tools verouderde code gevonden, die we uit voorzorg hebben vervangen. Uit e-mail evaluatie tooling kregen we al een 9.4 uit 10. Toch hebben we onder andere de beveiliging van e-mail door middel van DMARC nog strenger afgesteld. Daarnaast is extra monitoring geïntroduceerd die laat weten wie namens onze domeinen probeert te e-mailen.
Web Application Firewall (WAF)
Onze website www.simplicate.com wordt gehost bij DigitalOcean. Hosters hebben door misbruik het risico op blocklists te komen. Daarom versturen we e-mail via de gespecialiseerde e-mailproviders Mandrill/Mailchimp en Postmark. Daarnaast hebben we nu (net als bij onze software) uit voorzorg ook een Web Application Firewall geplaatst voor onze website. Hiermee wordt de kans op phishing en het negatief beïnvloeden van de reputatiescore door een hostingpartij verder voorkomen.
Gescheiden domeinnaam voor klantomgevingen
Op dit moment is het zo dat onze domeinnaam van onze website gelijk is aan onze software (bijvoorbeeld: omgeving.simplicate.nl). Onze website en software hebben hierdoor onbedoeld invloed op elkaar, ze delen hun reputatiescore. Wij werken er naar toe dat we de Simplicate omgevingen op een apart domein (omgeving.simplicate.app) kunnen gaan aanbieden. We maken het hiermee makkelijker om te switchen van domeinnamen als het probleem zich weer voordoet en hiermee voorkomen we een gedeelde reputatie. Deze oplossing hebben we met Microsoft gevalideerd.
Technisch gezien hebben we veel aanpassingen uitgeprobeerd. Helaas werden workarounds en omleidingen snel weer door het Defender algoritme ontdekt en ongedaan gemaakt. Gericht te werk gaan en evalueren was lastig omdat Microsoft niet prijsgeeft hoe het algoritme werkt en wat voor kenmerken of technische combinaties problematisch zijn. Daarom richten we ons nu op productverbeteringen voor de lange termijn die zeker bijdragen aan meer grip op betrouwbare communicatie.
Peppol
Omdat e-mail geen afleverzekerheid biedt, zijn we begonnen aan het ontwikkelen van andere communicatiemiddelen. Zo gaan we versneld e-facturatie via het Peppol netwerk ondersteunen. We geloven erin dat dit de toekomst is van facturatie, onder andere omdat dit phishing onmogelijk maakt en afleverzekerheid biedt.
Het initiatief om over te gaan op een ander domein en het ondersteunen van Peppol hebben de komende tijd onze prioriteit. Uiteraard horen jullie hier tijdig meer over en maken we het zo makkelijk mogelijk om Simplicate te blijven gebruiken.
Tot besluit
We willen jullie bedanken voor het geduld en vertrouwen in deze onzekere periode. In het bijzonder bedankt voor iedereen die mails heeft doorgestuurd zodat we bewijs hadden, op ons bericht op LinkedIn heeft gereageerd en anderen die ons met raad en daad hebben bijgestaan en zelfs vrijwillig in het weekend met ons doorzochten.
Ondertussen weten we ook dat er bedrijven met vergelijkbare problemen zijn. We hebben veel expertise opgedaan rond dit thema en delen graag onze kennis.
Mochten je na het lezen van dit bericht nog vragen of tips hebben, neem dan zeker contact op met onze supportafdeling via support@simplicate.nl of 088 - 5200 500. We helpen je graag verder.
We hebben een week lang uitvoerig getest of het incident opgelost is en of mails niet alsnog in spam of quarantaine terechtkwamen. Uit de tests blijkt dat alle mails goed aankomen en daar zijn we enorm blij mee! We sluiten daarom dit incident. Begin van volgende week zullen we een uitgebreide terugblik publiceren.
Dit houdt in dat e-mails die een link bevatten naar simplicate.nl of .com weer aankomen en niet meer in de spambox of in quarantaine belanden.
Microsoft heeft dit zelf 24 uur gemonitord en wij hebben intern ook uitgebreide tests gedaan om dit te verifiëren. Zowel Microsoft als onze eigen tests geven aan dat alle e-mails weer aankomen bij de ontvangers.
Uiteraard houden we de geleverde oplossing nauwlettend in de gaten. Mocht er iets wijzigen in de status dan zullen we iedereen uiteraard direct weer informeren.
We balen enorm dat onze klanten zo langdurig hinder hebben ondervonden van een incident wat, ook tot onze frustratie, zo buiten onze macht lag. We willen jullie enorm bedanken voor alle begrip en steunbetuigingen.
We gaan het incident uiteraard uitvoerig analyseren en evalueren. Uiteraard blijven wij ook zoeken en doorgaan met het ontwikkelen van opties en uitwijkmogelijkheden in onze architectuur en processen, waarmee we streven om mogelijke hinder in de toekomst tot een minimum te beperken.
Achter de schermen is er enorm veel gedaan en gebeurd. In de komende periode kunnen jullie daarom van ons een uitgebreide terugblik verwachten.
Wat is de huidige status per proces?
Op dit moment is de status als volgt. Verder in dit bericht kun je lezen aan welke maatregelen op dit moment wordt gewerkt.
Via onze supportpagina met hulpartikelen kun je meer informatie vinden over workarounds bij de processen die impact ondervinden van dit probleem.
Welke maatregelen en acties nemen jullie momenteel?
Naast dat we elke dag testen, schakelen we continu met het support team van Microsoft. De mogelijkheid voor een volledige oplossing ligt zoals we helaas al eerder hebben geschreven bij dit team. Voor Microsoft blijkt het enorm uitdagend dit probleem onder controle krijgen, waardoor de doorlooptijd extreem veel langer is dan door ons gewenst.
Sinds dit probleem aan het licht kwam zijn we met man en macht bezig om een oplossing te vinden waarin we niet afhankelijk zijn van Microsoft. Microsoft kan ons niet concreet aangeven wat er aan onze kant zou moeten veranderen om dit probleem op te lossen. We hebben daarom al veel oplossingsrichtingen ontwikkeld en getest, maar doordat de oorzaak van het probleem ver buiten onze eigen systemen zit kost het veel tijd en moeite om deze goed te kunnen valideren.
Op dit moment zijn we bezig om architectuuraanpassingen in Simplicate door te voeren zodat we middels een technische omweg de processen die geraakt zijn door dit probleem weer normaal kunnen laten verlopen. Concreet betekent dit dat we alle systemen op andere domeinen en URL’s aan gaan bieden, zodat we de als spam gekwalificeerde domeinen mijden. Doordat dit fundamentele wijzigingen in de applicatie betreft kost dit helaas de nodige tijd, maar we werken hard en onverstoord door om dit zo snel als mogelijk voor elkaar te krijgen. Zodra hier meer over bekend is zullen we iedereen uiteraard voorzien van een update.
In het geval dat mails zonder link toch niet aankomen, horen we dat graag. We blijven iedere dag testen of de situatie verbetert en werken door aan oplossingen die de Microsoft problemen omzeilen.
"The URLs/domains are no longer getting detected as Spam/Phish. As we have noticed earlier that even blank emails are getting marked as Spam/Phish, we have engaged the Microsoft Engineering team that looks into the algorithms that mark the emails as Spam/Phish basis certain patterns. I'm currently waiting for them to share an update basis their investigation."
Helaas betekent dit in de praktijk dat de meeste mails met links naar onze Simplicate omgevingen nog steeds een grote kans hebben onterecht in Quarantaine of Spam te belanden.
Op dit moment wordt er vanuit Simplicate gekeken naar alternatieven waarbij er inzicht in de aankomst van mails gemonitord kan worden.
Update Microsoft:
“Apologies for the delay causing. Currently Microsoft Engineering teams are collaborating on this issue. I’m following up internally to expedite the resolution.
We will update you as soon as possible.”
"Basis the samples shared by you earlier, Microsoft Engineering investigated further and found the issue to be caused by the scanning filters and the associated algorithms. Currently Microsoft Engineering teams are collaborating on this issue internally to isolate this further and remediate it. I'm following up internally to expedite the resolution and will share periodic updates."
Blijf ook zelf aangeven bij Microsoft dat dit om legitieme mail gaat.
Namens Simplicate hebben we een onderzoek laten starten bij Microsoft om dit incident op te lossen. Op 3 januari 2023 hebben we vanuit Microsoft de terugkoppeling gekregen dat het incident is opgelost. Dit bleek niet het geval, waarna het onderzoek is heropend. Op 10 januari kregen we eenzelfde bericht, alleen bleek wederom dat het incident toch niet is opgelost. Het onderzoek bij Microsoft is daarom weer heropend en er wordt opnieuw onderzoek gedaan hoe dit wel kan worden opgelost.
Op dit moment is de status dat een groot aantal mails die vanaf Simplicate naar gebruikers met een Microsoft-mailbox wordt verstuurd in de spamfolder terechtkomen. Voorheen konden de mails ook in het Quarantaine Center van Microsoft komen (een extra laag beveiliging boven de spambox).
Vandaag 17 januari 2023 hebben we van Microsoft te horen gekregen dat dat niet meer het geval is en de mails enkel nog in de spambox terecht kunnen komen op het moment dat de mail niet in de reguliere inbox terechtkomt. Hier houden we wel een slag om de arm, gezien we tot twee keer toe een positieve terugkoppeling hebben gekregen, alleen vervolgens bleek dat het toch niet opgelost was. We blijven daarom in contact met Microsoft en testen zelf dagelijks of het probleem is verholpen.
Eventuele workarounds zullen we vermelden via dit supportartikel: Workarounds Microsoft incident. De status van dit incident zullen we vanaf heden op deze pagina vermelden.