Datakvalitet: hvad det er, hvem der kan det, og hvad de tjener

Datakvalitet er færdigheden i at vurdere, måle og forbedre, om data er egnede til det formål, de skal bruges til. Det handler ikke kun om at finde tomme felter. En dygtig person kan forbinde fejl i data med den forretningsproces, det system eller den integration, hvor fejlen opstår.

Datakvalitet vurderes typisk gennem egenskaber som korrekthed, fuldstændighed, konsistens, aktualitet, validitet og entydighed. Hvilke egenskaber der betyder mest, afhænger af anvendelsen. Et telefonnummer kan eksempelvis have korrekt format uden faktisk at tilhøre den rigtige kunde.

En person med Datakvalitet-færdigheder kan profilere et datasæt og undersøge, hvad det faktisk indeholder. Personen kan finde manglende værdier, dubletter, ugyldige formater, usandsynlige værdier, brudte relationer og ændringer i datamønstre.

Færdigheden omfatter også at definere datakvalitetsregler. Det kan eksempelvis være, at et kundenummer skal være unikt, en ordredato skal være gyldig, en produktkode skal findes i et godkendt register, eller at bestemte felter ikke må være tomme i en bestemt forretningsproces.

En stærk specialist kan skelne mellem en teknisk regel og en forretningsregel. Databasen kan godt acceptere en værdi, selv om værdien ikke giver mening for virksomheden. Derfor skal regler ofte udvikles sammen med dataejere og fagpersoner, som forstår betydningen af data.

Datakvalitet omfatter også root cause analysis. Hvis kundedata gentagne gange er forkerte, er løsningen ikke nødvendigvis at rense tabellen igen. Fejlen kan komme fra en formular, en integration, et manuelt arbejdstrin eller en uklar definition. En erfaren person forsøger at rette årsagen så tæt på kilden som muligt.

En anden vigtig del er overvågning. Datakvalitet ændrer sig over tid. Nye systemer, produkter, integrationer eller arbejdsprocesser kan introducere fejl. Derfor kan relevante regler køres automatisk og udløse advarsler, når data ikke længere opfylder de aftalte forventninger.

Datakvalitet hænger tæt sammen med data governance. Det skal være tydeligt, hvem der ejer et dataområde, hvem der må definere reglerne, hvem der skal reagere på fejl, og hvad der regnes som acceptabel kvalitet for den konkrete anvendelse.

Færdigheden kræver ofte SQL og forståelse for databaser. Python, R eller data engineering-værktøjer kan også være relevante. Great Expectations kan eksempelvis bruges til at beskrive og validere forventninger til data, mens dbt kan bruges til automatiske tests i analytiske datamodeller. Microsoft Purview har tilsvarende funktioner til profiling, regler og overvågning af datakvalitet i governance-miljøer.

En stærk Datakvalitet-specialist renser derfor ikke bare data. Personen gør problemer målbare, finder årsagerne og bygger kontroller, der mindsker risikoen for, at de samme fejl fortsætter.

Datakvalitet-færdigheden er vigtig, når beslutninger, automatisering eller kundeservice afhænger af data. Dårlige data kan føre til forkerte rapporter, fejlede processer og beslutninger, der ser velbegrundede ud, men bygger på et forkert grundlag.

Færdigheden er central i business intelligence og rapportering. Hvis to rapporter viser forskellige tal for den samme KPI, er problemet ikke nødvendigvis visualiseringen. Definitioner, dubletter, datakilder eller transformationer kan være forskellige.

Datakvalitet er også vigtig ved data warehouse- og lakehouse-løsninger. Her samles data ofte fra mange systemer. En fejl tidligt i pipeline kan sprede sig til dashboards, analyser og andre datasæt længere nede i kæden.

Ved systemmigrationer bliver kompetencen særlig synlig. Før data flyttes til et nyt CRM-, ERP- eller fagsystem, skal man forstå gamle værdier, dubletter, manglende felter og forskellige definitioner. Ellers flyttes gamle problemer blot over i den nye løsning.

Master data er et andet vigtigt område. Kunde-, produkt-, leverandør- og organisationsdata bruges ofte af mange systemer. En fejl i sådanne grunddata kan derfor påvirke flere processer på samme tid.

Datakvalitet er også afgørende for machine learning og AI. En model kan være teknisk avanceret og stadig give dårlige resultater, hvis trænings- eller inputdata er forkerte, skæve, ufuldstændige eller ikke længere repræsenterer virkeligheden.

I regulatoriske og revisionsprægede miljøer bliver sporbarhed vigtig. Virksomheden skal kunne forstå, hvor data kommer fra, hvilke transformationer der er foretaget, og hvordan kritiske oplysninger bliver kontrolleret.

Customer operations bruger også datakvalitet. Forkert kontaktinformation, dublerede kunder eller forkerte abonnementer påvirker både kunderejser, fakturering, support og marketing.

Typiske roller er Data Analyst, Data Engineer, Analytics Engineer, Data Steward, Data Quality Analyst, Data Governance Specialist og Master Data Specialist. Færdigheden kan også være vigtig hos systemejere og procesejere, selv om datakvalitet ikke står i deres jobtitel.

Datakvalitet læres bedst på data, der faktisk har problemer. Tag et rigtigt eller realistisk datasæt og undersøg det uden først at få at vide, hvad fejlene er. Profilér felterne, find mønstre og formulér spørgsmål til de personer, der kender processen bag data.

DAMA-DMBOK fra DAMA International er et anerkendt fundament inden for data management og har Datakvalitet som et selvstændigt vidensområde. Det er nyttigt til at forstå sammenhængen mellem datakvalitet, governance, metadata, master data og integration.

Teorien bør hurtigt omsættes til regler. Tag eksempelvis et kundedatasæt og definer, hvad korrekthed, fuldstændighed, entydighed og aktualitet konkret betyder for netop disse data. En regel skal kunne forklares til en forretningsejer og kunne testes på de faktiske data.

SQL er en vigtig træningsvej. Skriv forespørgsler, der finder dubletter, manglende værdier, ugyldige relationer og usandsynlige kombinationer. Sammenlign derefter resultaterne med den virkelige forretningsproces.

Derefter bør reglerne automatiseres. Great Expectations kan bruges til at formulere verificerbare forventninger til data. dbt har tilsvarende testmekanismer, som er relevante, når datakvalitetskontroller skal ligge tæt på transformationerne i en analytisk pipeline.

Profiling er også vigtig at træne. Undersøg fordelinger, antal unikke værdier, null-værdier, formater og relationer mellem felter. Målet er at opdage problemer, før man ved præcis, hvilken regel man leder efter.

Den næste træning bør være root cause analysis. Når en fejl findes, skal man følge datapunktet tilbage gennem transformationer, integrationer og kildesystemer. Spørg hvor den forkerte værdi blev skabt, og hvorfor kontrollen ikke fangede den tidligere.

Arbejd derefter med ownership. Tag et dataproblem og afgør, hvem der faktisk bør rette det. Data engineering kan eje pipeline-koden, mens en forretningsenhed ejer definitionen af, hvad værdien betyder. Den skelnen er central i professionelt datakvalitetsarbejde.

En god øvelse er også at etablere løbende overvågning. Vælg nogle kritiske dataelementer. Definér regler og alarmer. Følg resultaterne over tid. Undersøg derefter, om målingerne faktisk opdager problemer, som betyder noget for brugerne.

Et kursus kan lære begreber og metoder, men stærk Datakvalitet-færdighed kommer ikke fra et kort kursus alene. Erfaringen opbygges gennem uklare definitioner, mærkelige kildedata, integrationer og situationer, hvor en teknisk korrekt værdi viser sig at være forretningsmæssigt forkert.

Giv personen et datasæt med nogle åbenlyse og nogle skjulte problemer. Se, om personen starter med at forstå datasættets formål og betydning frem for straks at begynde at slette dubletter eller udfylde tomme felter.

Spørg hvad god datakvalitet betyder. Et stærkt svar vil normalt være, at data skal være egnede til den konkrete anvendelse. Personen bør kunne forklare, hvorfor forskellige processer kan stille forskellige kvalitetskrav til det samme dataelement.

Bed kandidaten forklare forskellen mellem korrekthed og validitet. En fødselsdato kan eksempelvis have et gyldigt datoformat og stadig være forkert for personen. Det viser, om kandidaten forstår forskellen mellem tekniske kontroller og den virkelige betydning af data.

Spørg hvad personen gør ved gentagne dubletter. En svag tilgang er kun at fjerne dubletterne. En stærk kandidat vil også undersøge, hvorfor de bliver oprettet, og om identifikation, integration eller brugerprocesser skal ændres.

Et godt spørgsmål er, hvem der skal eje en datakvalitetsregel. En erfaren person vil normalt skelne mellem teknisk implementering og forretningsmæssigt ejerskab. IT kan implementere testen, men en faglig dataejer bør ofte afgøre, hvad korrekt data betyder.

Spørg hvordan datakvalitet kan overvåges i en data pipeline. Kandidaten bør kunne forklare automatiske tests, thresholds eller forventninger, alarmer og hvordan fejl håndteres, før dårlige data bevæger sig videre til kritiske forbrugere.

Bed også personen forklare en situation, hvor data blev rettet ved kilden i stedet for i rapporteringen. Konkrete eksempler viser, om kandidaten har arbejdet med årsager frem for kun symptomer.

Ved seniorprofiler kan man spørge, hvordan datakvalitetsarbejde prioriteres. Ikke alle felter kræver samme kontrol. En stærk specialist kan identificere kritiske dataelementer og koncentrere indsatsen dér, hvor fejl påvirker processer, kunder, rapportering eller risiko mest.

Det stærkeste tegn på Datakvalitet-færdighed er evnen til at forbinde teknik og forretning. Personen kan finde et problem i data, forklare hvorfor det betyder noget, spore årsagen og etablere en kontrol, der gør problemet mindre sandsynligt fremover.