En fejlslået opdatering fra Crowdstrike, fik for præcis en uge siden 8,5 millioner Windows-enheder til at bryde sammen.
Det påvirkede virksomheder og myndigheder i hele verden. Skabte problemer i alt fra byggemarkeder, til lufthavne og taxaselskaber. Hundredetusindvis af folks hverdag blev forstyrret - og selvom regningen først nu er ved at blive gjort op, så løber den op i milliarder af kroner.
Efter syv dage efter, hvad der er blevet kaldt historiens største, globale it-nedbrud meddeler Crowdstrike, selskabet bag den umodne opdatering, at 97 procent af alle maskiner er tilbage i normal drift.
Selvom det globale it-koks ikke var forårsaget af en ondsindet aktør, så tjener nedbruddet alligevel som en generalprøve på, hvor galt det kan gå, når en lille del af den digitale verden går i blåt og sender efterdønninger rundt i det meste af verdenen med lysets hastighed.
Faktum er, at det digitale økosystem er yderst kompleks, tæt forbundet og alligevel er magten koncentreret omkring meget få spillere, som holder hånden under den massive virtuelle økonomi, som illustrerer den indbyggede sårbarhed i systemet.
Hadegaven fra Crowdstrike
Den gode nyhed må være, at it-medarbejdere på tværs af landegrænser tog ansvaret på sig og reagerede hurtigt på den umodne opdatering fra sikkerhedsselskabet Crowdstrike.
Internettet flød på kort tid over med memes og utallige billeder af it-medarbejdere i kontorfællesskaber og lufthavne fra Beijing til Los Angels, som fysisk rebooter computere i en hastighed, som gjaldt det vitterligt civilisationens fremtid. Det vakte minder om Log4j-sårbarheden.
Hastigheden for at komme tilbage må også have overrasket Crowdstrike selv, siden selskabet har iværksat en konkurrence med knap 50.000 kroner på højkant til de teknikere, der var hurtigst til at eliminere dødens blå skærm.
Hvordan Crowdstrike kommer til at definere, hvem der reagerede hurtigst står stadig hen i det uvisse, men man må håbe, at udrulningen kommer til at ske mere smertefrit end virksomhedens gavekort til Uber Eats på sølle ti dollars, som blev sendt ud til kunderne.
Mængden af indløsninger var tilsyneladende så massiv, at Uber Eats algoritmer lugtede svindel - og annullerede alle gavekort, så it-heltene nu skylder Uber Eats ti dollars.
Crowdstrike var (og er) toppen af cybersikkerhed
Texanske Crowdstrike er ellers en af cybersikkerhedens absolutte sværvægtere. Selskabet hjalp blandt andet med at efterforske den russiske indblanding i det amerikanske valg, og hack af det Demokratiske Partis systemer op til præsidentvalget i 2016 mellem Hillary Clinton og Donald Trump.
Selskabet leverer produkter som endpoint-beskyttelse, trusselsindsamling og en veludviklet platform til at respondere på cyberangreb, som tusindvis af selskaber bruger på globalt plan.
Kunderne tæller lufthavne, hospitaler, store banker og cybersikkerhedsselskaber, som fortæller om et produkt, som indgår i beskyttelsen af de vigtigste organisationer på globalt plan. Det seneste regnskab viser en årlig abonnementsomsætning på den anden side af 25 milliarder kroner, selvom selskabet kun har 13 år på bagen.
Derfor er det endnu mere foruroligende, at sværvægteren, der skal sikre digital beskyttelse, kunne være så lemfældig med en opdatering midt i sommerferien.
Hvorvidt det er en enkelt medarbejders fejl, der forårsagede verdenshistoriens største it-nedbrud, er stadig uklart. Men flere beviser peger på, at Crowdstrike ikke har haft et ordentligt testmiljø, hvor nye opdateringer kunne sendes ned i kulminen som en viruel kanariefugl for at undersøge, hvorvidt det er sikkert at udrulle opdateringerne.
Tilbage i april oplevede Linux-maskiner en lignede blue screen of death, som også skyldtes en fejlfyldt opdatering fra netop Crowdstrike, men det it-koks påvirkede ikke det digitale samfund i samme grad - og fløj derfor under radaren for de fleste.
Crowdstrikes medstifter og administrerende direktør George Kurtz kan da også se frem til at blive udfrittet om netop disse spørgsmål, når han skal stå skoleret for en komité i USA.
Ufrivilligt melder han sig i den lidet attraktive men eksklusive klub af tech-bosser, som har skulle forsvare sine forretningsmodeller og deres potentielt negative påvirkning af samfundet overfor en vred og gråhåret, lovgivende forsamling i USA.
Forvirring om Microsofts rolle
Tilfældigvis gik Microsofts cloud-satsning Azure også ned fredag morgen. Det sammenholdt med, at det var Microsoft maskiner, som blev påvirket af den blå død, fik mange medier til at påstå, at det globale nedbrud var deres skyld.
Det er ikke rigtigt. Men nedbruddets rækkevidde blev så omfattende, fordi Crowdstrikes platform har direkte adgang til Microsofts kernel, som er den allerinderste af kildekoden i et operativsystem. De indre organer.
Derfor gik Apples systemer med Crowdstrike software på også fri, da Apple er mere tilbageholdende med at lukke tredjeparter så dybt ind i sit maskinrum.
Microsoft påstår, at det skyldes en 15 år gammel aftale, som selskabet indgik med EU-Kommissionen kaldet “Interoperability Commitment,” som betyder for eksempel sikkerhedssoftware fra tredjeparter skal have den samme adgang til Windows, som Microsoft selv har - et forsøg på at stække gigantens monopollignende tilstande.
Der er dog samtidig tilsyneladende ingen planer om at begrænse adgangen til Windows.
De store økonomiske konsekvenser
Selvom nedbruddet ikke stod på lang tid, så forlyder det, at langt over 5.000 flyafgange blev aflyst på grund af fejlen.
Et forsigtigt estimat er, at omkostningerne løber op i syv milliarder kroner, men hvem der præcist får lov til at betale regningen, er stadig uklart. Men Crowdstrike kan formentligt se frem til en byge af søgsmål om erstatning.
"Hvis du er advokat for Crowdstrike, kommer du nok ikke til at nyde resten af din sommer," lød det fra Dan Ives, der er teknologianalytiker hos Wedbush Securities, til CNN.
Aktiekursen den seneste uge ligner en piste, der er beregnet til at styrtløb med et fald på over 15 procent. Den slags gør indtryk i bestyrelseslokalet - og kan risikere at koste CEO´er deres job.
Allestednærværende Elon Musk har allerede bekendtgjort, at Crowdstrikes software skal fjernes fra alle maskiner, som er under hans kontrol.
Hvorvidt andre organisationer følger Elon Musks eksempel er stadig for tidligt at konkludere, men verdens sikkerhedschefer må frem med kuglerammen og vurdere, hvorvidt omkostningen ved at udskifte en bid af sine forsvarsværker til en anden, potentielt mere troværdig leverandør, står på mål med den omkostning, som nedbruddet kostede.
Samtidig betyder Crowdstrikes tætte parløb med Microsoft at det ikke er så nemt - for forsvindende få danske (og internationale) virksomheder kan eller er villige til at klare sig uden Microsofts styresystemer og løsninger. Så selv hvis du ville af med Crowdstrike, så kan opgaven være næsten umulig.
Kan det ske igen?
Det store spørgsmål er om det kan ske igen.
For de otte millioner blå skærme viste for alle, at den digitale verden er en skrøbelig verden. Det vidste vi nok godt i forvejen, det er bare en af de ubekvemme sandheder som vi til hverdag prøver at glemme.
Men samtidig bør vi have en berettiget forventning om at nogle højtlønnede medarbejdere i de ekstremt værdifulde selskaber tager deres kæmpe ansvar på sig. Men den ubekvemme sandhed er nok alligevel, at det sker igen.
Ikke på præcis samme måde, for det har de nok styr på. Men fordi en anden obskur, men central, stump teknologi driller.
Det decentrale internets arkitektur, hvor ingen har det overordnede ansvar, kombineret med den stigende konsolidering hos nogle få store techfirmaer gør systemet sårbart i selve sin grundkerne.
Det bekymrende er, at nedbruddet også er en form for generalprøve og en enorm øget fristelse for lande som Rusland, Nordkorea og Kina, fordi det viser hvad der sker, hvis de en dag for alvor får et heldigt slag ind.
Derfor kommer et lignende nedbrud til at ske igen.
Og det, som vi skal øve os på er, hvordan vi kan reagere hurtigt, så skaden på virksomheder og samfundet kan minimeres.
For håb ikke er en strategi. Heller ikke inden for cybersikkerhed.