MLOps Engineer

En MLOps engineer sørger for, at maskinlæring virker uden for en notebook. Data scientists bygger modellen. MLOps engineeren gør den til et system, der kører hver dag uden håndkraft.

Arbejdet minder om platform engineering, men med data og modeller oveni. Du skal kunne kode, drifte og forstå, hvornår en model stille og roligt bliver dårligere.

Typiske opgaver:

• Bygge trænings- og inferenspipelines, så modeller kan genoptrænes automatisk
• Pakke modeller i containere og køre dem på Kubernetes eller en managed cloudtjeneste
• Sætte CI/CD op for modeller: test, godkendelse, udrulning og hurtig tilbagerulning
• Versionere data, features, kode og modelvægte, så et resultat kan genskabes bagefter
• Overvåge datadrift, modelkvalitet, svartider og GPU-omkostninger
• Køre shadow-deployment eller A/B-test, før en ny model får al trafik
• Dokumentere modeller, så revision og compliance kan følge med

En almindelig dag starter ofte med dashboards og natlige jobs, der fejlede. Måske er et træningsjob løbet tør for hukommelse. Måske er svartiden på et endpoint steget, fordi datamængden voksede.

Derefter er der typisk standup med data scientists og en dataingeniør. Resten af dagen går med pipeline-arbejde, kodegennemgang og infrastruktur som kode. En del tid går også med at oversætte mellem forskere og driftsfolk.

Mange MLOps engineers har vagt eller beredskab. Falder et inference-endpoint, står produktionen tit stille — for eksempel svindeltjek i en betalingsstrøm.

Dokumentation og regler fylder mere og mere. EU's forordning om kunstig intelligens, AI-forordningen, stiller krav om logning, teknisk dokumentation og menneskeligt tilsyn for højrisikosystemer. Det er ofte MLOps engineeren, der bygger selve logningen og sporbarheden. Datatilsynet stiller samtidig krav til, hvordan persondata behandles og hvor de ligger. Derfor ender valg af cloudregion og adgangsstyring tit på MLOps-bordet.

Hvem ansætter? Banker og pensionsselskaber bruger modeller til kreditvurdering og hvidvaskovervågning. Medicinal- og biotekvirksomheder bruger dem i forskning og produktion. Industri og vindmøllebranchen bruger prædiktivt vedligehold på maskiner og møller. E-handel og medier bruger anbefalinger og prissætning. Shipping og logistik bruger prognoser for kapacitet og forsinkelser. Dertil kommer konsulenthuse, softwarehuse og enkelte offentlige myndigheder.

Skal du hyre en? Rollen er ung, og titlen dækker over vidt forskellige jobs. Nogle steder er det i praksis en dataingeniør. Andre steder er det en platformsudvikler med GPU'er.

Spørg konkret, ikke bredt:

• Hvor mange modeller har du haft i produktion, og hvor længe kørte de?
• Hvordan opdagede du sidst, at en model blev dårligere — og hvad gjorde du?
• Hvem blev ringet op, da endpointet faldt om natten?
• Hvordan ruller I en dårlig model tilbage, og hvor lang tid tager det?

En ærlig advarsel til begge sider: mange virksomheder har ikke nok modeller i drift til at holde en fuldtids MLOps engineer beskæftiget. Så bliver jobbet i praksis dataplatform og infrastruktur. Det er fint, hvis begge parter ved det på forhånd.

Der findes ingen dansk uddannelse, der hedder MLOps. Folk kommer ind i faget fra to sider: fra softwareudvikling og drift, eller fra data og statistik.

Den typiske vej gennem uddannelsessystemet:

• Civilingeniør eller kandidat i datalogi, softwareteknologi, machine learning eller matematisk modellering. Cirka 5 år på DTU, ITU, AAU, AU, SDU eller KU.
• Diplomingeniør i softwareteknologi eller it, cirka 3,5 år, med mere praktik og mindre teori.
• Datamatiker på erhvervsakademi, 2,5 år, eventuelt suppleret med en professionsbachelor i softwareudvikling på 1,5 år.

Adgangskravene til de lange ingeniør- og datalogiuddannelser er typisk Matematik A og Fysik B eller Kemi C. Til datamatiker kræves normalt Matematik C. De præcise krav og karaktergrænser fastsættes af uddannelserne selv og fremgår af Uddannelses- og Forskningsministeriets adgangskrav. Ansøgning sker gennem Den Koordinerede Tilmelding, hvor kvote 2 kan være en vej ind for folk med erhvervserfaring.

De almindeligste skift ind i faget:

• Fra DevOps eller platform engineer. Du kan allerede Kubernetes, CI/CD og infrastruktur som kode. Du mangler forståelse for træning, features og modelevaluering.
• Fra backend-udvikler. Du kan kode og drifte services. Du skal lære, at en model ikke fejler med en stacktrace, men bare bliver mindre præcis.
• Fra dataingeniør. Du kender pipelines og datakvalitet. Du skal lære serving, GPU-drift og modelversionering.
• Fra data scientist. Du kender modellerne. Du skal lære Git-disciplin, test, containere og drift i produktion.

Skiftet fra drift til MLOps er som regel hurtigere end skiftet fra forskning til drift. Driftsvaner tager længst tid at lære.

Certificeringer kan åbne døre, især i konsulentbranchen, hvor kunden ser dem i CV'et. De mest anerkendte er AWS Certified Machine Learning Engineer, Google Professional Machine Learning Engineer og Microsoft Certified: Azure AI Engineer Associate. Til driftsdelen vejer Certified Kubernetes Administrator fra Cloud Native Computing Foundation tungt. Ingen af dem erstatter en model, du selv har haft i produktion i et år.

Sådan bygger du erfaring uden et MLOps-job: Tag en lille model og sæt den i drift for alvor. Byg genoptræning, overvågning og tilbagerulning. Skriv ned, hvad der gik galt. Den historie tæller mere til en samtale end et kursusbevis.

Efteruddannelse findes som enkeltfag og masteruddannelser på DTU, ITU og AAU, ofte på deltid ved siden af job.

Sprog og modeller: Python er standarden. Dertil kommer PyTorch, TensorFlow og scikit-learn, alt efter hvad data scientists bruger. Lidt Go eller Rust ses i serving-laget, hvor svartid betyder noget. SQL er uundværligt, fordi data ligger i et datawarehouse.

Pipelines og orkestrering: Airflow, Dagster eller Prefect til jobs. Kubeflow eller Metaflow til selve ML-flowet. MLflow til at spore forsøg, parametre og modelversioner. DVC eller LakeFS til at versionere data.

Drift og infrastruktur: Docker, Kubernetes, Helm og Terraform. Git med GitHub Actions eller GitLab CI til automatisk test og udrulning. NVIDIA-drivere og GPU-planlægning bliver hurtigt et emne, når træningen vokser.

Cloud og platforme: Azure Machine Learning fylder meget i Danmark, fordi mange virksomheder allerede er Microsoft-huse. Amazon SageMaker og Google Vertex AI bruges også bredt. Databricks og Snowflake er almindelige i data-laget. Enkelte kører helt eller delvist on-premise, typisk banker, forsvarsleverandører og myndigheder.

Serving: KServe, BentoML, NVIDIA Triton eller en simpel FastAPI-service. Til sprogmodeller bruges vLLM, Ollama eller en hostet API.

Overvågning: Prometheus og Grafana til teknisk drift. Evidently eller lignende til datadrift og modelkvalitet. OpenTelemetry til sporing på tværs af services.

LLM-delen er kommet til de seneste år. Her arbejder man med vektordatabaser som pgvector eller Qdrant, evalueringssæt, prompt-versionering og styring af tokenforbrug. Mange danske virksomheder vil holde data i EU, blandt andet på grund af GDPR og Datatilsynets vejledning om cloud. Det påvirker helt konkret, hvilken region og hvilken model man må vælge.