Data Engineer

En data engineer bygger de rør, data løber igennem. Virksomhedens data ligger spredt ud i ERP-systemet, webshoppen, CRM, logfiler og eksterne API'er. Data engineeren henter det ud, renser det og lægger det ind i et datawarehouse eller en lakehouse-platform. Derfra kan analytikere, controllere, Power BI-rapporter og AI-modeller bruge det.

Rollen er teknisk. Man skriver kode, ikke rapporter. En data engineer laver sjældent selv analysen eller grafen.

Typiske opgaver

• Bygge og vedligeholde datapipelines (ETL/ELT), der kører automatisk hver nat eller hvert femte minut
• Modellere data i tabeller, andre kan forstå — fx ordrer med dimensioner for kunde, produkt og tid
• Skrive tests, der fanger dubletter, tomme kolonner og pludselige fald i antal rækker
• Rette jobs, når et kildesystem skifter feltnavn eller datoformat uden varsel
• Flytte gamle SSIS-pakker eller Excel-ark over i moderne pipelines
• Holde øje med skyregningen, hvor én dårligt skrevet forespørgsel kan koste mange penge
• Dokumentere hvor tallene kommer fra, så en controller kan spore et tal tilbage til kilden
• Styre adgang og pseudonymisering, så personoplysninger ikke ender i et testmiljø

En almindelig arbejdsdag
Dagen starter tit med at tjekke, om nattens jobs kørte igennem. Er der rødt i overvågningen, går den første time med fejlsøgning. Ofte er årsagen banal: et kildesystem var nede, eller en kolonne skiftede type.

Så er der standup med teamet. Resten af formiddagen går typisk med at bygge på en ny pipeline eller review af en kollegas kode. Om eftermiddagen kommer en analytiker forbi og spørger, hvorfor omsætningstallet ikke stemmer. Det ender med en times detektivarbejde i logs og SQL.

Meget af arbejdet er vedligehold, ikke nybyg. Det overrasker mange, der søger ind i faget.

Hvem arbejder man sammen med
Data engineeren sidder mellem systemerne og forretningen. Man taler dagligt med dataanalytikere, BI-udviklere, data scientists og backend-udviklere. Man taler også med økonomi, marketing eller produktion, som ejer kildedataene. En stor del af jobbet er at forstå, hvad et felt i et fagsystem egentlig betyder.

Brancher i Danmark

• Banker, realkredit og pensionsselskaber — rapportering, hvidvask- og risikodata
• Medicinal og biotek — forsøgsdata og produktionsdata med krav om sporbarhed
• E-handel og detail — ordrer, lager, kundeadfærd og prissætning
• Energi, forsyning og telekom — måledata og driftsdata i meget store mængder
• Det offentlige, fx kommuner, regioner og styrelser — registerdata og statistik
• It-konsulenthuse, som løser opgaven for flere kunder ad gangen

Forskellen på nabofagene
En data scientist bygger modeller og laver statistik. En dataanalytiker svarer på forretningsspørgsmål og bygger dashboards. En analytics engineer arbejder mest i dbt tæt på forretningen. En data engineer leverer det fundament, de tre andre står på. Titlerne overlapper i praksis, især i mindre virksomheder.

Hvad er svært ved jobbet
Data er aldrig så pænt, som dokumentationen påstår. Man bruger meget tid på undtagelser, gamle systemer og aftaler, ingen kan huske. I virksomheder med kritisk drift følger vagt eller rådighed med. Og fejl er synlige: går nattens kørsel ned, mangler direktionen sine tal om morgenen.

Data engineeren skal også kende reglerne for persondata. Efter EU's databeskyttelsesforordning (GDPR) må personoplysninger kun bruges til det formål, de er indsamlet til. Datatilsynet fører tilsyn i Danmark og har flere gange haft sager om test- og udviklingsmiljøer med rigtige persondata. I energi, transport, sundhed og digital infrastruktur stiller EU's NIS2-direktiv desuden krav til logning, adgangsstyring og backup — krav, der lander direkte i data engineerens pipelines.

Der findes ingen dansk uddannelse, der hedder data engineer. Folk kommer ind ad flere veje, og de fleste starter i en anden it-rolle.

Den korte vej: datamatiker
Datamatikeruddannelsen tager to år på et erhvervsakademi. Ifølge UddannelsesGuiden, som drives af Uddannelses- og Forskningsministeriet, kræver optag en gymnasial eksamen eller en relevant erhvervsuddannelse, begge med matematik B. Uddannelsen giver programmering, databaser og SQL — grundstenene i faget. Bagefter kan man tage en top-up til professionsbachelor i softwareudvikling på halvandet år.

Universitetsvejen
En bachelor på tre år plus en kandidat på to år er den anden klassiske vej. Relevante uddannelser er datalogi, software engineering, data science, matematik-teknologi og lignende på DTU, KU, AU, AAU, SDU og ITU. Adgangskravene ligger typisk på matematik A. Universitetsvejen giver mere teori om distribuerede systemer og algoritmer. Den er en fordel, hvis man vil arbejde med meget store datamængder eller platformudvikling.

Sidevejen — den mest almindelige
Mange data engineers er skiftet fra en beslægtet stilling:

• BI-udvikler eller SSIS-udvikler, der er gået fra on-premise til sky
• Databaseadministrator med mange års SQL i hænderne
• Backend-udvikler, der overtog integrationerne
• Dataanalytiker, som blev træt af at vente på ordentlige data
• Økonomimedarbejder eller controller, der lærte SQL og Python af nød

Den sidste gruppe undervurderer ofte sig selv. Forretningsforståelse er svær at lære; SQL er ikke.

Kan man være selvlært?
Ja, men det kræver mere end kurser. Arbejdsgivere kigger efter noget, der rent faktisk kører. Byg et lille projekt, der henter data fra et offentligt API hver dag, lægger det i en database og tester resultatet. Læg det på GitHub med læsbar kode og en forklaring. Det siger mere end ti gennemførte onlinekurser.

Certificeringer
Certificeringer åbner døre hos konsulenthuse og i Microsoft-tunge virksomheder. De mest brugte er Microsoft Certified: Fabric Data Engineer Associate (DP-700), AWS Certified Data Engineer – Associate, Databricks Certified Data Engineer Associate og Google Cloud Professional Data Engineer. Navnene og eksamenskoderne ændrer sig med jævne mellemrum, så tjek udbyderens egen side før tilmelding. En certificering erstatter ikke erfaring, men den viser, at du kender platformen.

Det første job
De fleste starter som junior data engineer, BI-udvikler eller analytics engineer. Konsulenthuse ansætter flest juniorer, fordi de har mange kunder og faste oplæringsforløb. Til gengæld skifter man opgave ofte. En intern afdeling giver dybere kendskab til ét datalandskab.

Er faget lovreguleret?
Nej. Titlen data engineer er ikke beskyttet, og der kræves hverken autorisation eller certificering for at arbejde i faget. Til gengæld arbejder man ofte med personoplysninger, og der gælder reglerne i EU's databeskyttelsesforordning (GDPR) og Datatilsynets vejledninger — ikke som krav til personen, men til den behandling man bygger.

Værktøjskassen er stor, men kernen er den samme overalt: SQL og Python.

Sprog

• SQL — det vigtigste værktøj. Bruges hver eneste dag
• Python — til pipelines, API-kald og databehandling
• Bash og Git — til drift, versionsstyring og code review
• Scala eller Java ses stadig i tunge Spark-miljøer

Pipelines og orkestrering

• Apache Airflow, Dagster eller Prefect til at planlægge og overvåge jobs
• dbt til transformationer og test af data i selve datawarehouset
• Azure Data Factory eller Fivetran, når data bare skal flyttes uden meget kode
• Apache Kafka til hændelser, der skal behandles løbende
• Apache Spark og Databricks til store datamængder

Lager og databaser

• Snowflake, Google BigQuery, Databricks og Microsoft Fabric
• PostgreSQL, Microsoft SQL Server og Oracle som kildesystemer
• Filformater som Parquet, Delta Lake og Iceberg

Drift og kvalitet

• Docker og Kubernetes til at pakke og køre kode ens hver gang
• Terraform til at oprette infrastruktur som kode
• CI/CD i GitHub Actions eller Azure DevOps
• Great Expectations eller Soda til datakvalitetstest
• Datakatalog og lineage, så man kan se hvor et tal kommer fra

I danske virksomheder
Microsoft-stakken dominerer bredt: Azure, SQL Server, Fabric og Power BI. Det hænger sammen med, at mange danske virksomheder allerede kører Microsoft 365. Snowflake og Databricks er udbredt i større virksomheder med tunge datamængder. Kender du SQL, Python, Git og én skyplatform godt, kan du lære resten i jobbet.

AI-assistenter som Copilot skriver i dag en del af koden. Det flytter arbejdet mod design, datamodellering og fejlsøgning — ikke væk fra faget.