Många sådana system idag har en ganska begränsad avsedd användning; till exempelatt urskilja förändringar i avbildningar eller cellprov. Framtidens system tänks mer generella och ska genom att sammanväga indata från undersökningar med all kunskap och vetenskap föreslå diagnos och/eller behandling.

Men hur rimmar detta med CE-märkning och tillverkaransvar? Här diskuteras några av utmaningarna:

Begreppet Artificiell intelligens, AI-system är ganska odefinierat och används ofta slarvigt i diskussioner om vad som är möjligt och vad som är önskvärt. Jag begränsar mej här att illustrera med två extremer:

1. Övervakad inlärning: Innebär att man uppnår en förfinad algoritm, trimmar vissa bestämda variabler i algoritmen, genom att träna den med en kontrollerad datamängd och ett i förväg känt ”rätt svar”. Ganska okontroversiellt och tillämpas redan t ex för produkter för mönsterigenkänning såsom bildtolkning eller automatiska hjärtstartare.

2. Oövervakad inlärning. Innebär att sträva mot en förbättrad (?) funktion som, till skillnad från ovan, bygger på ej kategoriserade data och utan att ha något facit. Man kan alltså inte kontrollera den resulterande funktionen gentemot ”rätt svar”.

Det senare är en modell som stimulerar fantasin och som till exempel beskrivs i läroboken Artificial Intelligence: A Modern Approach, S. Russell och P. Norvigs, som en allvarlig risk, då de "kan leda till utvecklingen av ett system med ett oavsiktlig beteende".

Möjliga problem med AI i ett CE-märkningsperspektiv:

• Tillverkaransvar. MDD/MDR kräver ett tydligt, uttalat tillverkaransvar typ ”Jag tar ansvaret för att min produkt är säker och uppfyller lagkraven”. Innebär en hel del åtaganden för tillverkaren och som inte får komprometteras under produktens livslängd. Tufft för en föränderlig produkt, men inte omöjligt.

• Att definiera avsedd användning. Innebär tillverkarens löfte till användaren. Ger avgränsningar och förväntad prestanda. Produktens förväntade prestanda ska beläggas med en klinisk utvärdering och med erfarenheter från klinisk användning. Om prestanda har utvecklats till bättre än utlovat och tillverkaren vill tillgodoräkna förbättringen måste den kliniska utvärderingen uppdateras.

• En uppstyrd konstruktionsprocess. Ett säkerhetskrav som särskilt gäller komplicerade programvaror med säkerhetskritiska funktioner. Men, hur kan man ha koll på kvaliteten på programvaran i ett självutvecklande system?

• Klinisk utvärdering.Vid klinisk utvärdering av medicintekniska programvaror ska man utvärdera följande:

- Vilken vetenskaplig grund man har för produktens algoritmer.

- Att man lyckats koda produktens programvara så att kliniska indata ger förväntade utdata,

- och att produktens presentation av utdata verkligen är kliniskt användbar i den avsedda situationen.

Med vedertagen nomenklatur kallas dessa steg Scientific Validity, Analytical Validation samt Clinical Validation. Se imdrf.org, dokument N41.

Särskild utmaning för system som har fri tillgång till externa källor för att självständigt uppdatera sina algoritmer. Vad blir resultatet om algoritmen inhämtar referensvärden från olämpliga källor och t ex börjar rekommendera paramedicinska åtgärder, om inte detta nu var avsikten…?

Hur ska man validera kliniska påståenden om ett AI-system innan det tas i bruk, när man inte i förväg vet hur bra det kommer att ”lära sig” att bli?

För system med hyfsat avgränsad tillämpning är det säkert greppbart, men utmaningen växer med komplexiteten och hur mycket externa källor tillåts påverka algoritmerna.

Har vi ett dilemma? Definitivt!

• Ska AI system uppfylla samma krav vi ställer på andra CE-märkta medicintekniska produkter. Med krav på validerade releaser. Möjligen en broms utvecklingstakten?

• Ska vi sänka kraven så det passar bättre för utvecklingshungriga intressenter?

Predikamentet ökar i takt med att teknikutvecklingen trycker på.

Ska vedertagna krav gälla alla, måste myndigheter och andra intressenter komma överens och ge vägledning hur kraven ska tillämpas, i proportion mot de aktuella riskerna. (MDR regel 11 kommer t ex inte att fungera som den ser ut idag…)

Snarast!

Annars måste vi förklara för patienterna att risk/nytta balansen förskjutits och att vi är beredda att chansa lite mer med hälsan.