Microsoft: grote storing van deze week kwam door patch voor Wide Area Network – IT Pro – Nieuws

De grote, wereldwijde Microsoft-storing van eerder deze week werd veroorzaakt door een patch voor het Wide Area Network. Daardoor konden routers geen packets meer forwarden. Daardoor werkte ook de tooling niet meer om het WAN te monitoren, schrijft Microsoft in een statusupdate.

Microsoft schrijft in een preliminary post incident-review in het Azure-statusdashboard meer informatie over een grote storing die eerder deze week plaatsvond. Tijdens die storing lag wereldwijd een groot deel van Microsoft-diensten, waaronder Office 365, Outlook en Teams plat en waren diensten die op Azure waren gehost slecht bereikbaar. De storing duurde volgens Microsoft in totaal 5 uur en 40 minuten, al waren veel diensten na twee uur al deels bereikbaar.

In een eerdere statusupdate zei Microsoft al dat er een probleem was ontstaan nadat een foutieve Wide Area Network-patch was doorgevoerd, maar details ontbraken nog. Nu geeft het bedrijf die details wel. Microsoft probeerde een IP-adres van een WAN-router aan te passen, maar gaf daarbij per ongeluk een commando aan de router waardoor er berichten naar alle routers in dat netwerk werden gestuurd. Daardoor pasten die routers hun forwarding tables aan. In de tijd dat dat gebeurde, werden normale packets niet of nauwelijks meer geforward. Dat leidde ertoe dat de routers in golven van een half uur slechte verbindingen hadden en weinig verkeer doorlieten.

Volgens Microsoft was de betreffende opdracht niet goed getest op de specifieke router waar die werd uitgevoerd. Het bedrijf erkent dat de opdracht verschillend kan reageren op specifieke hardware en dat het betreffende kwaliteitscontroleproces niet goed was doorlopen. Een extra probleem is dat door de storing ook de systemen niet meer werkten waarmee de andere systemen konden worden gemonitord.

Microsoft zegt dat het in de toekomst geen ‘opdrachten met een hoge impact’ meer direct op apparaten kan uitvoeren. Dat proces is inmiddels ingeregeld. Daarnaast wil het bedrijf vanaf februari zorgen dat alle opdrachtcommando’s aan veiligheidsrichtlijnen voldoen.