Der var to hovedårsager til, at Roskilde Kommune 27. april mistede mere end 82.500 filer fra systemet KMD Care.
Den ene var et nedbrud på to servere samtidig, og en fejl i backup rutinen, der betød at filerne heller ikke kunne genfindes.
Det viser en redegørelse, som KMD har præsenteret for Roskilde Kommune, og som Computerworld har fået aktindsigt i.
Læs også: Roskilde Kommune har mistet 82.500 filer på tusindvis af borgeres sager efter stort KMD-nedbrud
Her fremgår det, at to Hitachi 10k RPM SAS diskdrev fredag 27. april gik offline med fire minutters mellemrum.
Det betød, at 107 servere mistede forbindelsen til deres diskdrev. Tre af dem var Roskilde Kommunes KMD-servere.
Teknisk fejl betød at der ikke blev taget backup
Efter sådan et nedbrud skal KMD naturligvis også tage backup af alle filer, så de ikke forsvinder, hvis serveren bryder ned.
Det lykkedes også for de 104 af serverne, men fordi Roskilde Kommune havde en særlig praksis i forhold til backup.
“Roskilde Kommune har haft en helt særlig anvendelse af KMD Care, der betød, at den temporære folder blev anvendt til permanent lager for filer,” fremgår det af rapporten.
Det betød, at KMD var nødt til at ændre backupsystemet til også at dække den temporære folder, og det gav en kodefejl i backupen.
Den fejl betød, at der der ikke blev taget backup af den folder, som Roskilde Kommune har gemt sine filer i KMD Care på de sidste seks år.
Ifølge rapporten har KMD ellers løbende testet, at der blev taget backup af alle filerne, men ændringen i Roskilde Kommunes backup-system har altså betydet, at testen ikke har været korrekt.
Nedbrud får KMD til at love nye tiltag
Efter nedbrudet har KMD beklaget fejlen over for Roskilde Kommune, og i redegørelsen, der blev præsenteret mundtligt for kommunens ledelse, har KMD også præsenteret en række nye tilta, der skal sikre, at lignende nedbrud ikke kan ske igen.
Tidligere har direktør Social, Job og Sundhed i Roskilde Kommune, Christian Harsløf, i disse spalter krævet håndfaste garantier fra KMD for, at et lignende nedbrud ikke vil kunne ske igen.
Det kan du læse mere om her: Roskilde Kommune forlanger garantier fra KMD efter kæmpe-nedbrud - overvejer erstatningskrav
I redegørelsen forklarer KMD, at man på nuværende tidspunkt ikke er færdig med at analysere hele hændelsen.
Derefter forventer selskabet at kunne præsentere en samlet plan. KMD oplyser dog ikke, hvonår man forventer at have denne plan færdig.
Ifølge KMD har man dog allerede taget hul på to initiativer, der skal give Roskilde Kommune garanti for, at et lignende nedbrud ikke sker igen.
Det er en disk-spejling af Roskilde Kommunes servere i et andet datacenter, der skal sikre at selv, hvis man oplever et lignende nedbrud, så er filerne stadig i det andet datacenter.
Den nye disk-spejling skulle, ifølge redegørelsen, være i funktion i slutningen af sidste uge.
Folder er blevet omdøbt
Derudover er den temporære folder blevet omdøbt, så den fremover er en del af standard-backuppen og altså ikke bliver omgået, fordi den normalt ikke bliver brugt til backup.
KMD skriver også, at man har testet den nye backup og tjekket, at de indeholder det rigtige indhold.
Rapporten nævner dog ikke noget om nogen former for erstatning til Roskilde Kommune.
Christian Harsløf har ellers tidligere påpeget, at nedbruddet har kostet Roskilde Kommune en hel del arbejdstimer, selvom han ikke vil sige, om kommunen kommer til at kræve en erstatning fra KMD.
“Det (kompensation fra KMD red.) bliver også en del af den drøftelse, vi skal have med KMD. Nu skal vi have gjort regnebrættet op, og så må vi tage den i forhandlingslokalet,” sagde han i sidste uge til Computerworld.
Se hele KMD's redegørelse her: Intern redegørelse for hændelse 27. april 2018 vedrørende Roskilde Kommunes KMD Care installation.
Læs også:
Roskilde Kommune forlanger garantier fra KMD efter kæmpe-nedbrud - overvejer erstatningskrav