Tuff kritik mot TakeCare - trots att haveri berodde på annat
Alla journaler i Stockholms län verkade ha varit öppna för hela världen och under två tisdagar sommaren 2013 fungerade TakeCare inte alls. Företaget CGM var i kris. - Innan det var kartlagt vad som egentligen hänt, och var felet låg, var det förstås väldigt tufft, säger områdeschef Daniel Andersson på CGM.
I Stockholms läns landsting är TakeCare en del av nästan alla IT-system som personalen i vården använder.
- Det är det som är problemet, därför är det lätt att skylla på, eller tro, att det är TakeCare som är problemet när något går fel. Det var inte fallet i någon av de krissituationer som uppstod under förra året, berättar Daniel Andersson är affärsområdeschef för regioner, landsting och kommuner på CompuGroup Medical Sweden, CGM.
Det började en tisdag mitt i sommaren 2013. Användare inom landstinget börjar höra av sig till supporten på CGM. TakeCare ligger nere, sa de. Det var driftsstopp.
- Katastrof, hos oss var det fullt pådrag direkt och vi hade krismöte med alla inblandade på landstingets teknikavdelning. Det enda vi fick veta först var att var att systemet bara hade dykt. Vi visste ingenting, berättar Daniel Andersson.
Alla sjuksköterskor och läkare i tjänst i hela Stockholms landsting blev påverkade. Patienterna var där. Men diagnos, alla prover som tagits, all behandling som getts och annan livsavgörande information, gick från en sekund till en annan inte att nå. Skärmarna vara bara svarta.
Vid krismötet stod det klart att driftsorganisationen på landstinget i Stockholm hade uppgraderat driftssystemet i samband med att systemet dykt. Internminnet hade tagit slut. När systemet efteråt skulle startas om hade detaljer blivit fel, exakt vad som gått fel vid uppstarten visste man fortfarande inte.
- Det var slarv, kan man säga, att man tagit alldeles för lätt på uppgraderingen. Man måste öva på disaster recovery. Man måste öva på vad som ska hända, vem som ska göra vad, rutiner som ska göras och i vilken ordning. Det hade man inte gjort.
Läs mer: SLL IT förklarar orsaken till haveriet
Systemet startades om och efter nära sju timmar fungerade systemet igen. När det händer på en persondator går det att trycka på resetknappen och sedan är datorn i gång. När det händer med gigantiska offentliga serverar med hundratusentals användare, flera hundra kopplingar till andra system och integreringar, tar återhämtningen flera timmar.
Exakt vad det var som gått fel visste man fortfarande inte.
Tisdagen veckan därpå händer det igen.
- Man visste ju ännu inte vad det var som var fel. Vi gjorde allt för att hjälpa till och när vi startat om TakeCare fungerade det efter ett par timmar, men hela företaget var på tåspetsarna hela tiden. Det var verkligen jättejobbigt.
Grundläggande felet var fortfarande inte identifierat. Alla leverantörer och tekniker hos SLL IT fortsatte ännu intensivare med att felsöka och analysera vad som gått fel.
- Vi hade redan kollat allt och visste i stort sett att felet inte låg hos TakeCare. Alla detaljer fungerade som de skulle visade våra analyser.
Efter ytterligare en tid identifierades problemet. Det visade sig att felet låg hos IBM:s operativsystem. Inte systemet i sig, utan det var en inställning i programvaran som hade ändrats automatiskt under uppgraderingen. Något som hade kunnat undvikas om leverantören hade varit med vid uppgraderingen.
- Egentligen ska man ha en så kallad changehantering inför en stor uppgradering eller förändring. Det innebär bland annat att företrädare för alla stora leverantörer ska träffas och gå igenom en checklista på vad som kan tänkas hända med det egna systemet när förändringen inträffar. Men det gjorde man inte.
Att felet var identifierat var en lättnad för alla på CGM, men krisen hade visat en annan svaghet i systemet. När kriser inträffar testas nödsystemen. Även TakeCare har ett nödsystem, som av någon orsak inte fungerat under någon av sommarens två kristillfällen. När TakeCare ligger nere, ska informationen fortfarande gå att läsa, utan att vara öppen för redigering. Det hade inte fungerat som det skulle, och när den första krisen var utredd fick nödsystemet genomgå samma analys.
- Det vi fick veta då var att läs-moodet inte var uppgraderat och underhållet av IT-avdelningen på landstinget. Det ser vi förstås väldigt allvarligt på och nu gör även kunden det. När det hände andra tisdagen fungerade det fortfarande inte.
För ledningen på CGM är det tyvärr begripligt att två allvarliga driftstopp kunde inträffa. De menar att det är ett systemfel, kulturellt, snarare än att en enskild tekniker skulle gjort på ett annat sätt.
- Man kan säga att IT-avdelningen tog för lätt på uppgraderingen, men vi ser också att man ibland tar för lätt på tekniken ännu högre upp. Det är ju bara IT, säger Daniel Andersson och slår ut armarna.
Produkter inom IT har bara i ett par års tid klassificerats som medicinteknik, innan dess ansågs IT-stöden inte vara en del av behandlingen av patienter. Det gör att verkligheten för IT-leverantörerna har ändrats, men också för deras beställare. CGM är idag en leverantör av e-hälsa, de levererar mjukvara, även om de i huvudsak jobbar mot landstingens IT-avdelningen, men mjukvara som vårdpersonalen använder är inte längre bara en teknisk produkt . Det är också medicinteknik och e-hälsa. Medicinteknik lyder under det medicinteknisk direktivet och det är en stor skillnad när det kommer till uppföljning, underhåll, utbildning och patientsäkerhet. En medicinteknisk produkt är alltid leverantörens ansvar. Om den inte fungerar, måste det åtgärdas direkt.
Men tillbaka till TakeCare och sommaren 2013. Katastroferna stannade inte vid driftsstoppen, under hösten kom nästa bakslag. Ledningen på CGM hade inte hört något om några problem med säkerheten när de en morgon slår upp tidningen och får läsa om att det gjorts intrång i Stockholms journaler. I ett antal artiklar i Dagens Nyheter “avslöjades” att det tidigare gjorts intrång i journalerna i Stockholms läns landsting. I journalerna som administreras av systemet TakeCare.
För Daniel Andersson och hans avdelning var katastrofen en faktum igen. Tillsammans med teknikerna från CGM fick han krismöte samma dag med landstingets IT-avdelning. De kunde direkt svara på vad som hänt.
- Brandväggen in till Stockholms läns landstings server hade mycket riktigt varit öppen, trafiken hade släppts in. Det är inte samma sak som att trafik hade varit inne som tur var. Det hade inte skett några intrång i journalerna.
Bakgrunden var att stora förändringar skulle göras i Stockholms läns landstings IT-arkitektur. Innan nya Karolinska Solna skulle kopplas upp till näten skulle det gamla sjukhuset separeras från Karolinska Institutet. Under den processen inträffade ett fel som inte upptäcktes direkt. Istället för att klippa möjligheten för KI:s medarbetare att automatiskt nå sjukhusets server, öppnades brandväggen för alla som gick in på KI:s publika server. Det var landstingets tekniker som upptäckte att det plötsligt var trafik från hela världen som kommit in på landstingets servrar.
- Besökarna visste förmodligen inte om det själva, och även om de hade märkt det, hade de inte kunna ta sig in i journalsystemen eller ta del av information som finns där, berättar Daniel, “intrånget” hade bara skett i skalet, inte i datan.
Vem är ansvarig för skalet?
- Det är landstingets tekniker, vi kan inte göra något för att förebygga att intrång sker om brandväggen tas bort. Även om landstingets tekniker och våra utvecklare jobbar tillsammans, ofta sida vid sida, med utveckling och implementering, har landstinget det operativa ansvaret för verksamheten, säger Daniel Andersson.
TakeCare började som ett mindre projekt redan 1994. Huddinge sjukhus behövde ett sätt att kommunicera provsvar med laboratoriet. Det var ingen produkt, utan bara ett projekt som en lösning på ett specifikt problem. Prover och provsvar skulle kunna skickas fram och tillbaka på ett patientsäkert vis. De som togs in för uppdraget var IT-konsulterna Martin Williamsson och Peter Pischler. Mattias Widegren som är marknadschef på CGM har uppgift att få varumärket att följa med i utvecklingen.
- Det har varit en fantastisk resa från den här labbsvarskopplingen till det heltäckande system Stockholm har i dag, säger Mattias Widegren.
Sedan dess källkoden utvecklats, byggts ut och stora delar är helt nya.
- Vi får ofta kritik för att det är ett gammalt system, men det är en felaktig bild att säga att det är uråldrigt. Mer än 50 procent av koden är byggd under de sista två till tre åren.
Blir det inte som att ni “lappar och lagar”, att om TakeCare hade byggts i dag hade allt varit annorlunda från början?
- Hade vi utvecklat TakeCare i dag då hade vi använt oss av andra tekniker. En del av tekniken är gammal, vissa programmeringsspråk som är äldre och system som man inte lär sig i skolan i dag. Våra tekniker får ju lära sig detgamla och använder det nya, så är det egentligen med alla system som använts under längre tid. Så kommer det vara i framtiden också. Det innebär inte att alla måste skrota och köpa helt nya system hela tiden, säger Anderssson.
Är TakeCare flexibelt och kompatibelt på det sätt som efterfrågas i dag?
- Absolut. Om vi tittar på det enorma utveckling som skett under bara de sista fem åren, tio åren, har TakeCare gått från att vara ett system som användes lokalt på ett sjukhus till att implementeras i hela Stockholms län och alla olika verksamheter. Det finns ett 100-tals integrationer med andra system som TakeCare pratar med i dag, om vi tittar på ursprunget var det integration som systemet var satt att lösa redan från början.
Går det till exempel att integrera ett annat labbsystem med TakeCare?
- Ja, ja. Det finns ju många leverantörer av både privata och offentliga labbsystem, och TakeCare kan integreras med alla. Den flexibiliteten är inbyggd. Eller ta röntgensystem, många kunder har inte ett, utan samma sjukhus använder ofta flera olika labbsystem som alla ska integreras i journalsystemet. Ofta är systemen upphandlade i olika omgångar vid olika tillfällen och det viktiga är att TakeCare ska kunna integrera alla. Det fungerar alldeles utmärkt.
Kan informationen delas och presenteras för andra och i andras system?
- Att kunna dela information, med både andra sjukhus och med patienterna, blir bara viktigare nu med NPÖ och andra förändringar som är på gång. Vi skulle kunna göra mer, men än så länge upplever vi att delningsfunktioner fortfarande är ett nedprioritet område hos kunden.
Både Daniel Andersson och Mattias Widegren berättar att de upplever en stor samhällsförändring och att TakeCare och företaget är en del av det. Från att vara en leverantör av teknik som några läkare efterfrågade har upphandlingen blivit mer politiskt styrd. Det skapar ibland avstånd mellan produkten, vården och inköpsavdelningen.
- Det har vi sett under valrörelsen och i Almedalen, att politikerna ville ha patienten i fokus, säger Mattias Widegren, men i vården är inte alla helt med eller ser inte hur det skulle gå till att sätta patienten i fokus. Men det är på gång, det är faktiskt en patientmaktsrevolution som pågår.