Data Warehouse Architect

En data warehouse architect bygger ikke rapporter. Arkitekten bygger det fundament, rapporterne står på.

Arbejdet starter i kildesystemerne. Det kan være SAP, Dynamics 365, e-conomic, et lønsystem, en webshop eller en produktionslinje. Data skal samles ét sted, gøres ens og gemmes med historik. Arkitekten bestemmer hvordan.

Typiske opgaver

• Tegne datamodellen: stjerneskema efter Kimball, Data Vault 2.0 eller lagdeling i bronze, sølv og guld i et lakehouse
• Vælge platform og kunne begrunde valget: Snowflake, Databricks, Microsoft Fabric, Google BigQuery, Amazon Redshift eller SQL Server on-premise
• Beskrive hvordan data hentes ind, hvor ofte, og hvad der sker når en natlig kørsel fejler
• Håndtere ændringer over tid, fx med SCD type 2, så sidste års tal i en rapport stadig kan genskabes
• Definere forretningsbegreber sammen med økonomi: hvornår er en kunde aktiv, og hvad tæller med i omsætningen
• Styre adgang, så løndata og helbredsoplysninger ikke ligger åbne for hele organisationen
• Holde øje med forbruget, fordi cloud-platforme afregner pr. kørsel og pr. forespørgsel

En almindelig dag
Formiddagen går ofte med møder. En controller vil have et nyt nøgletal med tilbagevirkende kraft. En systemejer skifter ERP, og alle integrationer skal tegnes om. Eftermiddagen er mere teknisk: review af SQL og dbt-modeller, tegninger i et modelleringsværktøj, dokumentation af nøgler og kornethed.

Meget af tiden går med at oversætte mellem to sprog. Forretningen taler om dækningsbidrag og kundeloyalitet. Udviklerne taler om joins, nøgler og partitionering. Arkitekten står i midten og siger nej til genveje, der bider senere.

Hvor sidder man
Rollen findes typisk i større organisationer med mange systemer. I Danmark er det ofte banker, pension og forsikring, medicinal, detail og engros, energi og forsyning, transport samt kommuner og statslige styrelser. Mange arbejder i konsulenthuse som Netcompany, twoday, KMD eller Deloitte og skifter mellem kunder hvert halve år.

Reglerne fylder i designet
Persondata i lageret er et fast tema. Data må ikke gemmes længere end nødvendigt, og en sletteanmodning skal kunne gennemføres — også i historiske tabeller og backups. Det følger af EU's databeskyttelsesforordning (GDPR), som Datatilsynet fører tilsyn med i Danmark. Regnskabsdata trækker den anden vej, fordi bogføringsloven kræver, at regnskabsmateriale kan opbevares og fremfindes i fem år. Arbejder du i en bank eller et forsikringsselskab, stiller EU's DORA-forordning desuden krav til it-risikostyring, logning og styring af leverandører. Arkitekten skal kunne forklare, hvor i modellen de krav er løst.

Der findes ingen uddannelse, der hedder data warehouse architect. Man ender i rollen efter en del år med data.

De typiske uddannelsesveje

• Datamatiker på et erhvervsakademi, 2 år. Adgangskravet er en gymnasial eksamen med matematik B. Bagefter kan du tage en top-up til professionsbachelor i softwareudvikling på 1½ år.
• Bachelor i datalogi, software engineering eller data science på 3 år plus kandidat på 2 år. Udbydes blandt andet af DTU, IT-Universitetet, Aarhus Universitet, Aalborg Universitet og Syddansk Universitet.
• Fra økonomisiden: HA eller cand.merc. kombineret med SQL og Power BI. Mange dygtige BI-folk kommer fra controlling og kender tallene indefra.

Erfaring vejer tungest
Regn med 5-8 år som BI-udvikler, dataingeniør eller databaseudvikler først. Ingen bliver ansat som arkitekt uden at have bygget og driftet et datalager selv. Det, der adskiller arkitekten, er at have set en dårlig model overleve i ti år.

Certificeringer, der reelt bliver spurgt til

• Microsoft DP-700, Fabric Data Engineer, og DP-600, Fabric Analytics Engineer
• SnowPro Advanced Architect fra Snowflake
• Databricks Certified Data Engineer Professional
• CDVP2 fra Data Vault Alliance, hvis virksomheden kører Data Vault
• TOGAF fra The Open Group, hvis du bevæger dig mod enterprise-arkitektur

Certificeringer åbner døre til samtaler. De erstatter ikke en portefølje af løsninger, du kan tegne på en tavle.

Veje ind uden en it-uddannelse
Det sker jævnligt, at superbrugere i økonomi eller logistik arbejder sig ind. Vejen går typisk gennem Excel og Power BI, videre til SQL, og derfra til en stilling som BI-udvikler. Sideløbende kan du tage en akademiuddannelse i informationsteknologi eller en diplomuddannelse i it på deltid. DTU og IT-Universitetet udbyder desuden masteruddannelser på deltid til folk i job.

Hvad rollen fører videre til
Mange bliver lead data architect eller enterprise architect. Andre går ledelsesvejen som data platform manager, head of data eller CDO. En del vælger konsulentvejen og bliver selvstændige, fordi efterspørgslen på platformskift er stabil.

Er du på den anden side af bordet og skal ansætte: bed kandidaten tegne et datalager fra et konkret kildesystem på ti minutter. Det afslører mere end et CV.

SQL er rygraden. Alt andet skifter hurtigere.

Platforme til lageret
Snowflake, Databricks, Microsoft Fabric, Azure Synapse, Google BigQuery, Amazon Redshift og PostgreSQL. Mange danske virksomheder kører stadig SQL Server on-premise ved siden af skyen. Arkitekten skal kunne håndtere begge dele samtidig i flere år.

Modellering og transformation
dbt bruges i dag til at bygge og teste modeller i lag. Til selve tegningerne bruges erwin Data Modeler, SqlDBM, PowerDesigner eller dbdiagram. Data Vault 2.0 og Kimballs dimensionelle modellering er de to metoder, du bliver spurgt om til samtaler.

Indlæsning og orkestrering
Fivetran, Airbyte og Qlik Replicate til at hente data ind. Apache Airflow, Azure Data Factory eller SSIS til at styre rækkefølgen. Apache Kafka, når data skal ind løbende i stedet for om natten.

Datakvalitet og katalog
dbt tests, Great Expectations eller Soda til at fange fejl, før forretningen gør det. Microsoft Purview, Collibra eller Atlan som katalog, så folk kan slå op, hvad en kolonne betyder, og hvor tallet kommer fra.

I den anden ende
Power BI dominerer i danske virksomheder. Qlik Sense og Tableau ses også, især hvor der er investeret for år tilbage. Arkitekten leverer ikke rapporterne, men modellen skal passe til værktøjet.

Omkring det hele
Git og Azure DevOps eller GitHub til versionsstyring. Terraform til at rulle miljøer ud ens hver gang. Python til de opgaver, SQL ikke kan løse. Dokumentation i Confluence og opgaver i Jira.

Eksterne data hentes ofte ind ved siden af egne systemer. Typiske kilder er CVR-registret fra Erhvervsstyrelsen, statistikbanken fra Danmarks Statistik og offentlige data fra Datafordeleren.