Artikel top billede

Nødprocedurerne aldrig testet før kæmpe EPJ-nedbrud

Region Midtjylland har aldrig gennemført en fuld test-nedlukning på det vigtige EPJ-system og dets backup-systemer, der i weekenden gik helt ned i en kædereaktion af uheld og nedbrud. Se her, hvad der gik galt.

Region Midtjylland med knap 1,3 millioner indbyggere har aldrig gennemført en komplet nød-test - en total disaster recovery - af regionens store EPJ-system, Midt-EPJ.

Og i weekenden gik det galt.

Her blev hele regionens EPJ-system ramt af et langvarigt og totalt nedbrud, der betød, at læger, sygeplejersker og andre ikke kunne få adgang til oplysningerne i patient-journalerne og dermed potentielt livsvigtige oplysninger om patienterne.

Det store nedbrud blev initieret af en strømafbrydelse i Holstebro, hvor regionens EPJ-server er placeret.

Kædereaktion

Herefter fulgte en række følgevirkninger, der begyndte med, at nødgeneratoren svigtede. Tilsammen førte kæden af følgevirkninger til det totale nedbrud lørdag ved 18-tiden.

Midt-EPJ var først fuld funktionsdygtig igen sent søndag.

Du kan læse mere om, hvordan det store nedbrud forløb her: Stort dansk EPJ-system ramt af totalt nedbrud.

It-driftchef Peter Bruun Nielsen betegner nedbruddet som et 'worst case scenario,' hvor hele datacenteret går ud.

"Det var jo meget alvorligt, og set i bakspejlet klarede vi ikke testen godt nok, selv om vi kom igennem til sidst. Vi er faktisk meget kede af det," siger han til Computerworld.

Ingen fuld total disaster recovery-test

Problemet blev ikke mindre af, at Region Midtjylland ifølge flere it-folk med kendskab til sagen, som Computerworld har været i kontakt med, aldrig har gennemført en total afprøvning af nød-procedurerne i det livsvigtige EPJ-system.

Det bekræfter Peter Bruun Nielsen.

"Vi har aldrig udført en fuld test af datacenteret, hvor vi slukker det hele. Der er en kompleksitet i det nuværende system, der gør, at vi ikke kan udføre en total disaster recovery," siger han til Computerworld.

Han fortæller, at den ramte nødgenerator - der ikke gik i gang, som den skulle - imidlertid bliver prøvestartet én gang om måneden og senest fungerede, som den skulle.

Backup i systemvinduer - men ingen fuld test

Samtidig afvikles regionens skrabede readonly-backup system, Opslags-EPJ, jævnligt i system-vinduer, der typisk ligger om natten.

Opslags-EPJ svigtede imidlertid også i weekenden.

"Vi havde et system-vindue for nylig uden problemer. Men i weekenden opstod der en fejl, så der ikke var kontakt. Nu skal vi ned at kigge på, hvordan vi får ændret Opslags-EPJ, så det ikke sker igen," siger Peter Bruun Nielsen.

"Normalt lukker vi Midt-EPJ ned det ene sted og tager det op det andet sted, når vi laver system-vinduer. Men forskellen er selvfølgelig, at det er en planlagt og kontrolleret proces, hvor det i weekenden skete lige pludselig," siger Peter Bruun Nielsen.

Kører asynkront

Et af problemer med regionens EPJ-setup er, at de to datacentre - et i Holstebro i det vestjyske og et i Skejby i det østjyske - ikke kører synkront.

Det betyder, at de to databaser aldrig er identiske, selv om den ene altid vil køre Midt-EPJ, mens den anden vil køre Opslags-EPJ, der skal tage over i nødstilfælde.

Det betød, at it-folkene frygtede at tabe vigtig data, hvis de skulle tvinge Midt-EPJ over på backup-serverne i Skejby.

"Da vi stod i situationen, var det første prioritet at få Opslags-EPJ op hurtigt. Og da det viste sig umuligt, fik det prioritet at overføre Midt-EPJ til Skejby. Men det er en kompliceret proces," siger Peter Bruun Nielsen.

Det tager desuden omkring et kvarter at opstarte Opslags-EPJ.

I weekenden gik også systemets netværks-udstyr ned på grund af manglende strøm.

Og det skulle først i gang, inden serverne igen kunne genstartes.

Det er ifølge Peter Bruun Nielsen en tidskrævende proces, da mange servere skal startes - og det skal ske i en bestemt rækkefølge.

Har I ikke en beredskabsplan, som man kan følge i den her slags situationer?

"Vi har et fast vagt-setup med en 24-7 overvågningsdesk, der med det samme begynder at tage fat i vagterne, når vi får meldingen. Men med så massivt et nedbrud som dette er der brug for specialist-kompetencer, og det var en udfordring at få tilkaldt de nødvendige folk på dette tidspunkt. Det lykkedes da, men det tog tid," siger Peter Bruun Nielsen.

Midt-EPJ blev også ramt af et stort nedbrud i februar. Det kan du læse mere om her: Ramt igen og igen: Så slemt var det store EPJ-nedbrud

Læs også:

Stort dansk EPJ-system ramt af totalt nedbrud

Ramt igen og igen: Så slemt var det store EPJ-nedbrud




Brancheguiden
Brancheguide logo
Opdateres dagligt:
Den største og
mest komplette
oversigt
over danske
it-virksomheder
Hvad kan de? Hvor store er de? Hvor bor de?
Højer og Lauritzen ApS
Distributør af pc- og printertilbehør.

Nøgletal og mere info om virksomheden
Skal din virksomhed med i Guiden? Klik her

Kommende events
Sådan bruger du aktivt AI til at styrke din cybersikkerhedsindsats

Kan AI styrke din cybersikkerhed og forebygge f.eks. ransomwareangreb? Ja – og endda særdeles effektivt! På denne konference kan du blive klogere på, hvordan du i praksis anvender AI til at styrke dit sikkerhedsniveau – og gøre cyberbeskyttelsen mere fleksibel.

27. november 2024 | Læs mere


Styrk din virksomhed med relevant, pålidelig og ansvarlig AI integration med SAP

Kom og få indsigt i, hvordan du bruger AI til at transformere og effektivisere dine arbejdsgange. Vi kigger nærmere på AI-assistenten Joule, der vil revolutionere måden, brugerne interagere med SAP’s forretningssystemer. Og så får du konkret viden om, hvordan du kommer i gang med at bruge AI til at booste din forretningsudvikling.

03. december 2024 | Læs mere


Fyr op under vækst med dataanalyse, AI og innovation

Hvor langt er den datadrevne virksomhed nået i praksis? Det kan du høre om fra virksomheder, som har foretaget transformationen. Du kommer også til at høre, hvordan de anvender AI i processen, hvilke mål de har nået, hvordan de har høstet gevinsterne og hvilke nyskabelser, der er på vej i horisonten.

04. december 2024 | Læs mere