Clinical AI Validator

En clinical AI validator afgør, om en AI-model er god nok til at møde patienter. Ikke om den scorer flot i en videnskabelig artikel. Om den virker på netop de patienter, det apparatur og de arbejdsgange, den skal bruges i.

Rollen sidder typisk tre steder. Hos producenter af medicinsk udstyr, i regionernes AI- og datakontorer, og på hospitalsafdelinger med egne modeller. Opgaverne ligner hinanden. Dokumentationskravet er tungest i producentleddet.

Typiske opgaver:

• Definere kravene: hvad skal modellen kunne, og hvilke fejl er acceptable?
• Bygge et testdatasæt af lokale patientdata, holdt helt adskilt fra træningsdata
• Fastlægge facit (ground truth), fx to speciallægers uafhængige svar med en tredje som opmand
• Beregne sensitivitet, specificitet, positiv prædiktiv værdi, AUROC og kalibrering
• Køre subgruppeanalyser på køn, alder, scannertype, afdeling og tidspunkt på døgnet
• Køre modellen i skyggedrift, hvor den ser data uden at påvirke behandlingen
• Teste hvordan personalet reagerer på modellens svar, herunder blind tillid til forslag
• Overvåge model-drift efter idriftsættelse og indstille modellen til pause, hvis ydelsen falder
• Skrive validerings- og evalueringsrapporter, der kan holde til en revision

En almindelig dag starter tit med et møde på afdelingen. Radiologerne mener, modellen giver for mange falske positive om natten. Du trækker tallene og ser, at nattens billeder kommer fra en ældre scanner. Efter frokost skriver du afsnittet om klinisk ydeevne til evalueringsrapporten. Sidst på dagen taler du med leverandørens regulatory affairs-afdeling om den tekniske dokumentation.

En stor del af jobbet er at sige nej på et oplyst grundlag. En model med 94 procents nøjagtighed kan være ubrugelig, hvis sygdommen er sjælden. Du skal kunne forklare hvorfor — både til en dataspecialist og til en overlæge.

Hvilken lovgivning dækker denne rolle?
AI, der stiller diagnoser eller styrer behandling, er som regel medicinsk udstyr efter EU's forordning om medicinsk udstyr (MDR), og efter IVD-forordningen hvis den analyserer prøvemateriale. Det kræver klinisk evaluering, risikostyring og CE-mærkning, typisk gennem et bemyndiget organ. EU's AI-forordning (AI Act) klassificerer desuden sundheds-AI som højrisiko og stiller krav om datastyring, logning, gennemsigtighed og menneskeligt tilsyn. Lægemiddelstyrelsen fører tilsyn med medicinsk udstyr i Danmark, mens Datatilsynet og databeskyttelsesforordningen (GDPR) sætter rammen for brugen af patientdata. Skal modellen afprøves på patienter, kræver det som hovedregel godkendelse fra en videnskabsetisk komité efter komitéloven.

Der findes ingen dansk uddannelse, der hedder clinical AI validator. Folk kommer typisk fra en af tre retninger.

• Den kliniske vej: cand.med. (6 år), eller sygeplejerske, radiograf og bioanalytiker med videreuddannelse i sundhedsdata
• Den tekniske vej: Medicin og Teknologi på DTU eller Sundhedsteknologi på Aalborg Universitet (5 år i alt)
• Den kvantitative vej: statistik, biostatistik, folkesundhedsvidenskab eller datalogi, gerne med klinisk overbygning

Adgangskravet til de tekniske og naturvidenskabelige bacheloruddannelser er typisk gymnasial eksamen med Matematik A og Fysik B eller Kemi B. Kravene står på uddannelsesstedets egen side og på Uddannelses- og Forskningsministeriets uddannelsesguide.

Mange lander først i faget efter en ph.d. Typiske emner er medicinsk billedanalyse, klinisk epidemiologi eller machine learning på registerdata. Det er stadig den mest almindelige indgang til de tunge stillinger.

Alternative veje ind:

• Radiograf eller bioanalytiker, der lærer statistik og Python og kender apparaturet indefra
• Dataanalytiker fra en anden branche, der lærer det kliniske og det regulatoriske på jobbet
• Regulatory affairs-specialist fra medicoindustrien, der tager AI-delen ovenpå
• Kvalitetsmedarbejder med ISO 13485-erfaring fra en medicovirksomhed

Efteruddannelse, der reelt tæller: GCP-kursus gennem GCP-enhederne ved de danske universitetshospitaler, kurser i medicinsk udstyr hos Dansk Standard og Medicoindustrien, og RAC-certificeringen fra RAPS for det regulatoriske. Kendskab til ISO 14971 om risikostyring og IEC 62304 om software i medicinsk udstyr forventes hos producenterne.

Selve rollen kræver ingen autorisation. Men den kliniske vurdering, der bruges som facit, skal stilles af en autoriseret sundhedsperson efter autorisationsloven. Derfor arbejder validatorer uden klinisk baggrund altid tæt sammen med læger.

Regn med to til fire år fra første stilling, før du selvstændigt kan stå på mål for en validering. Det regulatoriske lærer de fleste langsommere end statistikken.

Python er standarden, typisk med pandas, scikit-learn og PyTorch. Til billeddata bruges MONAI og pydicom. R bruges stadig meget til statistikken, blandt andet fordi biostatistikere kender det.

Data hentes med SQL fra regionens datawarehouse eller fra EPJ-systemerne. I Øst er det Sundhedsplatformen, i Midt og Nord Columna fra Systematic. Billeder kommer fra PACS, ofte Sectra, i DICOM-format. Udveksling af data sker i stigende grad med HL7 FHIR.

Facit laves i annoteringsværktøjer som Label Studio, MD.ai eller 3D Slicer. Kliniske afprøvninger dokumenteres tit i REDCap.

Analyserne skal kunne genskabes af andre. Derfor bruges Git, Docker, MLflow og versionsstyrede notebooks. Arbejde på registerdata foregår i lukkede miljøer, fx Forskermaskinen hos Sundhedsdatastyrelsen eller forskerordningen hos Danmarks Statistik.

Dokumentationen lever i et kvalitetsstyringssystem, fx Greenlight Guru, Qualio eller et hjemmebygget opsæt. Opgaver og afvigelser styres i Jira og Confluence. Overvågning efter idriftsættelse bygges ofte i Grafana eller Power BI, med alarmer på ændringer i modellens outputfordeling.