Datamigrering: hvad det er, hvem der kan det, og hvad de tjener

Datamigrering er færdigheden i at flytte data fra et system eller datalager til et andet uden at miste kvalitet, relationer eller forretningsbetydning.

Det kan være data fra et gammelt ERP-, CRM- eller økonomisystem, der skal ind i en ny platform. Det kan også være databaser, filer, dokumentmetadata eller data fra et lokalt miljø, der skal flyttes til cloud.

En person med stærke færdigheder i datamigrering begynder med at forstå kildedata og målsystemet. Vedkommende undersøger tabeller, felter, datatyper, relationer, datamængder, afhængigheder og kendte kvalitetsproblemer, før selve flytningen planlægges.

En central opgave er source-to-target mapping. Her beskrives, hvor hvert relevant dataelement kommer fra, hvor det skal placeres, og om det skal ændres undervejs. Et felt med kundestatus i det gamle system kan eksempelvis skulle oversættes til en anden struktur eller andre værdier i det nye system.

Dataprofilering er også vigtig. Personen undersøger data for manglende værdier, dubletter, ugyldige formater, forældede poster og uventede værdier. Problemerne skal findes før migreringen, så fejl ikke blot flyttes videre til det nye system.

Datamigrering omfatter ofte transformation og datarensning. Det kan være ændring af datoformater, samling eller opdeling af felter, konvertering af koder, normalisering af værdier eller håndtering af dubletter. En dygtig person skelner mellem teknisk konvertering og ændringer, der kræver en forretningsmæssig beslutning.

Selve flytningen kan udføres med SQL, scripts, ETL- eller ELT-værktøjer, databaseværktøjer eller funktioner i det system, der implementeres. Valget afhænger af datakilder, målsystem, kompleksitet, datamængde og krav til nedetid.

Ved systemer, der fortsætter med at modtage ændringer under migreringen, kan der være behov for inkrementel migrering eller Change Data Capture, CDC. Her flyttes først et grundlag af data, hvorefter ændringer fra kildesystemet løbende overføres frem mod cutover.

Test og validering er en afgørende del af færdigheden. Det er ikke nok, at et migrationsjob melder succes. Kilde og mål skal sammenholdes. Det kan omfatte antal poster, summer, nøglefelter, relationer, datatyper og konkrete forretningsscenarier. Google Cloud anbefaler blandt andet kontrol af skema, tabelindhold og sammenligning mellem kilde og mål ved databaseflytninger.

En erfaren person planlægger også flere prøveflytninger før den endelige migrering. Processen skal kunne gentages. Fejl skal kunne rettes i transformationsregler eller scripts frem for manuelt i det nye system.

Cutover er den kontrollerede overgang til det nye system. Her skal det være klart, hvornår ændringer i kilden stopper, hvordan de sidste data flyttes, hvilke kontroller der køres, og hvornår brugerne skifter til målsystemet.

Datamigrering omfatter også fallback eller rollback. Hvis kritiske problemer opdages under overgangen, skal teamet vide, om og hvordan driften kan føres tilbage. Google Clouds migrationsvejledning fremhæver netop test, switchover og fallback som centrale dele af migrationsdesignet.

Sikkerhed og databeskyttelse hører også til arbejdet. Migreringsfiler, midlertidige databaser og testmiljøer kan indeholde de samme følsomme oplysninger som produktionssystemet. Adgang, kryptering, logning og efterfølgende oprydning skal derfor tænkes ind i processen.

God datamigrering handler dermed ikke bare om at kopiere data. Det handler om at bevise, at de rigtige data er kommet korrekt frem, og at organisationen kan arbejde videre med dem.

Datamigrering er vigtig, når en virksomhed skifter et system, hvor eksisterende data skal bevares og fortsat kunne bruges.

Det ses ofte ved implementering eller udskiftning af ERP-, CRM-, HR-, løn-, økonomi- og sagsbehandlingssystemer. Her kan en teknisk vellykket systemimplementering stadig fejle, hvis kunder, produkter, medarbejdere, historik eller transaktioner er migreret forkert.

Færdigheden er også vigtig ved cloud-migrering. Databaser og dataplatforme kan skulle flyttes mellem lokale miljøer og cloud eller mellem forskellige databaseteknologier. Her skal kompatibilitet, datatyper, afhængigheder og den tilladte driftsafbrydelse vurderes.

Datamigrering bruges ved virksomhedsfusioner og opkøb. Data fra forskellige organisationer skal måske samles, selv om virksomhederne bruger forskellige definitioner, koder og strukturer. Her bliver datakvalitet og forretningsregler mindst lige så vigtige som den tekniske flytning.

Færdigheden er relevant ved modernisering af dataplatforme og data warehouses. Historiske data kan skulle flyttes til en ny arkitektur, mens rapporter, integrationer og andre systemer fortsat skal kunne bruge data korrekt.

Datamigrering gør især en forskel, når data har økonomisk, juridisk eller driftsmæssig betydning. En manglende gammel note kan være mindre kritisk end en forkert kontosaldo, kundeaftale eller status på en aktiv sag. En erfaren person prioriterer derfor valideringen efter forretningsrisiko.

Typiske roller er data engineer, databaseadministrator, integrationsperson, ERP- eller CRM-konsulent, solution architect og person med erfaring i datamigrering. På større projekter arbejder de tekniske personer tæt sammen med systemejere og fagpersoner, som kan afgøre, hvad data faktisk betyder.

Datamigrering trænes bedst ved at gennemføre komplette migrationer i kontrollerede miljøer. Man lærer relativt hurtigt at flytte en tabel. Den svære del er at håndtere beskidte data, relationer, ændrede datamodeller, afhængigheder og fejl uden at miste kontrollen.

Et godt teknisk fundament er SQL og forståelse for relationelle databaser. Man bør kunne læse et dataskema, forstå primær- og fremmednøgler, joins, datatyper og constraints. Det gør det muligt både at analysere kilden og kontrollere målet.

Derefter bør man træne source-to-target mapping. Tag et ældre datasæt og design et nyt målskema. Dokumentér hvilke felter der kopieres direkte, hvilke der transformeres, hvilke der udelades, og hvilke forretningsregler der kræver afklaring.

Dataprofilering og datakvalitet bør trænes særskilt. Arbejd med datasæt med dubletter, ugyldige værdier og manglende relationer. Beslut hvilke fejl der kan rettes automatisk, og hvilke der skal sendes til en dataejer.

ETL og ELT er centrale arbejdsformer. Microsoft Fabric Data Factory og Azure Data Factory er eksempler på platforme til dataflytning og transformation. Microsofts officielle tutorials viser blandt andet opbygning, validering, fejlfinding og overvågning af datapipelines.

Ved databaseflytninger kan man træne med værktøjer som Azure Database Migration Service, AWS Database Migration Service eller Google Cloud Database Migration Service. Værktøjerne er forskellige, men øvelserne bør omfatte vurdering af kilden, første load, løbende synkronisering, validering og cutover.

Microsoft Learn-forløbet Migrate SQL Server workloads to Azure SQL er et konkret træningsspor for databaseorienteret migrering. Det arbejder blandt andet med vurdering, valg af migrationsmetode, gennemførelse og opgaver efter migreringen.

DAMA-DMBOK fra DAMA International er et anerkendt fagligt referenceværk for bredere data management. Det dækker blandt andet datakvalitet, dataarkitektur, metadata samt data integration og interoperabilitet. De områder er relevante, fordi migrationsproblemer ofte skyldes manglende styr på selve dataene frem for manglende kendskab til migrationsværktøjet.

Den vigtigste praktiske træning er gentagne rehearsal migrations. Byg migreringen, kør den, kontrollér resultatet, find fejl, ret processen og kør igen. En god migrationsproces skal kunne gentages fra et kendt udgangspunkt.

Træn også validering uafhængigt af selve migrationsværktøjet. Skriv SQL-forespørgsler eller scripts, der sammenligner kilde og mål. Kontrollér kritiske summer, nøglefelter, relationer og kendte forretningsscenarier.

Til sidst bør man øve en komplet cutover med en fallback-plan. Det er her, tekniske færdigheder møder driftsforståelse. En migration kan være teknisk korrekt og stadig være dårligt gennemført, hvis rækkefølgen, ansvaret eller beslutningspunkterne under overgangen er uklare.

Et kort kursus kan lære et bestemt værktøj. Stærk datamigreringskompetence kommer gennem praktiske migrationer, hvor man har oplevet dårlige data, fejlede kørsler, ændrede mappings og valideringsproblemer og har lært at gøre processen kontrolleret og reproducerbar.

Bed personen gennemgå en konkret migration fra start til slut. En stærk kandidat taler ikke kun om værktøjet. Vedkommende beskriver kildesystemet, målet, datakvaliteten, mappings, test, cutover og hvordan resultatet blev valideret.

Spørg, hvordan personen fandt problemer i kildedata før migreringen. Et godt svar kan handle om dataprofilering, SQL-analyser, dubletter, ugyldige værdier, manglende relationer og samarbejde med dataejere.

Bed kandidaten forklare en source-to-target mapping. Personen bør kunne beskrive, hvordan et felt eller en struktur i det gamle system blev omsat til målsystemets datamodel, og hvordan transformationsregler blev dokumenteret og testet.

Spørg derefter: Hvordan vidste du, at migrationen var korrekt? Et svagt svar er, at migrationsværktøjet ikke viste fejl. Et stærkere svar beskriver uafhængig reconciliation mellem kilde og mål samt funktionel test gennem det nye system.

Spørg om en migration, der fejlede eller gav et uventet resultat. En erfaren person kan normalt forklare, hvordan årsagen blev fundet, hvordan processen blev rettet, og hvordan man sikrede, at samme fejl ikke blev gentaget ved næste kørsel.

Spørg også til prøveflytninger. En stærk migrationsproces er automatiseret og reproducerbar nok til at kunne køres igen. Store mængder manuel efterrettelse efter hver prøveflytning er ofte tegn på en skrøbelig proces.

Ved kritiske systemer bør kandidaten kunne forklare cutover og fallback. Hvem besluttede, at målsystemet var klar? Hvornår stoppede ændringer i kilden? Hvordan blev de sidste ændringer flyttet? Hvilke kontroller skulle være bestået, før brugerne blev sendt videre?

Se også efter forståelse for forretningen. Den bedste person med erfaring i datamigrering ved, at to felter med samme navn ikke nødvendigvis betyder det samme. Vedkommende søger afklaring hos dataejere og domæneeksperter, når en transformation påvirker dataenes betydning.

Erfaring med SQL, ETL- eller ELT-platforme og konkrete migrationsværktøjer er relevant. Den stærkeste dokumentation er dog eksempler på migrationer, hvor kandidaten kan forklare både teknik, datakvalitet, validering og selve overgangen til det nye system.