Finetuning af AI-Modeller

Hvad dækker finetuning af AI-modeller?

Finetuning er at tage en model, der allerede er trænet, og træne den videre på dine egne eksempler. Modellen lærer en adfærd: jeres fagsprog, jeres tone, jeres faste svarformat, jeres måde at sige nej på. Den lærer ikke jeres viden. Den skelnen er det første, en dygtig fagperson siger højt, og den er også det sted, flest projekter går galt.

En person med færdigheden kan først og fremmest vurdere, om opgaven overhovedet skal løses med finetuning. Ofte skal den ikke. En strammere prompt eller et opslagslag, hvor modellen slår op i jeres dokumenter undervejs (RAG, retrieval-augmented generation), løser mange opgaver billigere og kan opdateres samme dag. Finetuning bruges, når adfærden skal sidde fast hver eneste gang.

Dernæst kan personen bygge træningsdatasættet. Det er hovedparten af arbejdet. Eksemplerne er par af et input og det svar, I gerne vil have. De skrives i hånden eller hentes fra rigtig historik: gamle sager, godkendte svar, tidligere korrespondance. Data skal renses for dubletter, rettes for fejl og ryddes for personoplysninger, der ikke må ende inde i en model. Et skævt mønster i data bliver til et skævt mønster i modellen, og det kan ikke slettes bagefter. Det kan kun trænes om.

Så vælger personen basismodel og metode. Fuld finetuning opdaterer alle vægte og kræver tungt udstyr. LoRA fryser grundmodellen og træner et lille ekstra lag ovenpå. QLoRA gør det samme på en komprimeret udgave af modellen, så en enkelt GPU kan klare opgaven. Resultatet er en lille adapterfil, man kan versionere, skifte ud og rulle tilbage. Ud over almindelig eksempeltræning (SFT, supervised fine-tuning) findes præferencetræning på par af et bedre og et dårligere svar (DPO) og træning mod en automatisk bedømmer (reinforcement finetuning), hvor modellen belønnes for svar, en bedømmer giver høj karakter.

Personen kan køre træningen og læse den undervejs: hvor mange gennemløb data skal have, hvor hurtigt modellen må ændre sig, og hvornår kurven tipper fra læring til udenadslære.

Og personen kan måle. Uden måling er finetuning gætteri. Der lægges eksempler til side før træningen, og den nye model holdes op mod den oprindelige på de samme opgaver. Der måles både på det, modellen skulle blive bedre til, og på det, den ikke måtte blive dårligere til. En finetunet model, der rammer formatet perfekt og til gengæld har glemt at regne, er et kendt resultat, ikke et uheld.

I det daglige ser færdigheden mindre spektakulær ud, end folk tror. Der går mere tid i et regneark med eksempler end på GPU'en. Der gemmes datasæt, opskrift og målinger, så en kørsel kan gentages et halvt år senere af en anden.

Hvornår er færdigheden vigtig?

Færdigheden gør en forskel, når den samme opgave skal løses tusindvis af gange på præcis samme måde. Et forsikringsselskab, der skal have skadesanmeldelser klassificeret efter en fast taksonomi. Et laboratorium, hvor prøvesvar skal ud i et fast skema hver gang. En kommune, hvor et udkast skal skrives i sagsbehandlingssprog og ikke i marketingsprog. En virksomhed med et internt fagsprog, hvor de samme forkortelser betyder noget andet end i almindeligt dansk.

Den er også vigtig, når pris og svartid presser. En stor model med en meget lang systemprompt er dyr per kald. En mindre model, der er trænet på den store models bedste svar, kan ofte klare den snævre opgave til en brøkdel og svare hurtigere. Det kaldes destillation og er en af de mest brugte grunde til at finetune overhovedet.

En tredje situation er fortrolighed. Skal modellen køre på egne servere eller i eget miljø, fordi data ikke må forlade huset, er finetuning af en åben model ofte den eneste vej til et rimeligt niveau på et snævert område. Her spiller færdigheden sammen med drift af lokale modeller.

Typiske roller: machine learning engineer, AI-ingeniør, data scientist, MLOps- eller platformsingeniør. I mindre virksomheder ligger opgaven ofte hos en udvikler, der også står for driften. Fagpersonen fra forretningen er sjældent den, der træner, men er altid den, der leverer og godkender eksemplerne. Uden den fagperson bliver datasættet gætteri.

Lige så vigtigt er det at vide, hvornår færdigheden ikke er svaret. Ændrer viden sig hver uge, hjælper finetuning ikke: modellen bliver bare selvsikker på gamle oplysninger. Skal I kunne henvise til kilden i et svar, hører opgaven til i et opslagslag. Har I ingen måde at måle på, er det for tidligt at træne.

Dertil kommer det regulatoriske. Træner man videre på en generel AI-model, kan man efter EU's AI-forordning i visse tilfælde selv få pligter som udbyder af den ændrede model. Kommissionens vejledning lægger vægt på, om ændringen betyder en væsentlig ændring af modellen, og på at dokumentationspligten i givet fald angår selve ændringen. Samtidig er træningsdata en GDPR-opgave i sig selv: personoplysninger i eksemplerne ender inde i vægtene og kan ikke uden videre rettes eller slettes igen. En moden person med færdigheden nævner det selv, før juristen spørger.

Hvordan trænes færdigheden finetuning af AI-modeller?

Færdigheden fås ikke på et weekendkursus. Et kursus kan lære dig at køre en notebook igennem. Det, der tager tid, er at kunne se forskel på en model, der er blevet bedre, og en model, der bare lyder bedre.

Forudsætningerne er reelle. Du skal kunne Python på arbejdsniveau, kunne læse en træningskurve, forstå hvad tokens er, og kunne bygge en evaluering, du selv stoler på. Kan du ikke det, er evaluering det rigtige sted at starte, ikke træning.

Den vej, folk faktisk går, ser sådan ud. Man bygger først en evaluering på en opgave, man kender: et sæt input med et facit eller en klar bedømmelse. Man presser derefter en almindelig prompt så langt, den kan komme, og noterer, hvor den stopper. Så kører man sin første LoRA-træning på en lille åben model, gerne en model i den lette ende, som kan trænes på én lejet GPU eller en kraftig arbejdsstation. Man kører den samme evaluering igen og finder ud af, at noget blev bedre og noget blev værre. Den erkendelse er selve læringen.

Værktøjerne er nogenlunde standardiserede. Hugging Face er omdrejningspunktet med bibliotekerne Transformers, PEFT (til LoRA og beslægtede metoder) og TRL (til SFT, DPO og lignende træningsløkker). Unsloth og Axolotl bruges af mange til at gøre træning på en enkelt maskine hurtigere og lettere at konfigurere. vLLM og Ollama bruges til at afvikle den færdige model bagefter. Hugging Face udgiver selv gratis kurser om emnet, og de er en fornuftig indgang, netop fordi de er skrevet af dem, der vedligeholder bibliotekerne.

De grundlæggende artikler er værd at læse i original: LoRA af Hu m.fl. fra 2021 og QLoRA af Dettmers m.fl. fra 2023. De er teknisk skrevet, men de forklarer, hvorfor metoderne ser ud, som de gør.

Den anden vej er de administrerede platforme, hvor man uploader eksempler og får en trænet model tilbage. Her lærer man data og evaluering, men ikke maskineriet. Man skal også være opmærksom på, at udbudet flytter sig: OpenAI oplyser i sin egen dokumentation, at platformen til finetuning er ved at blive udfaset og ikke længere er åben for nye brugere, mens eksisterende brugere fortsat kan køre træninger i en periode. Skyplatformene fra Microsoft, Amazon og Google tilbyder tilsvarende træning af åbne og lukkede modeller. Priser og betingelser oplyses af udbyderen og ændrer sig ofte.

Arbejder man på dansk, er der en ekstra pointe. De store modeller er trænet med engelsk i centrum, og dansk fagsprog er tyndere repræsenteret. Danish Foundation Models, et samarbejde mellem Aarhus Universitet, Københavns Universitet, Syddansk Universitet og Alexandra Instituttet, udgiver åbne danske grundmodeller, blandt andet Munin, som kan bruges som udgangspunkt. Det ændrer ikke metoden, men det ændrer, hvor meget dansk træningsdata der skal til for at nå et brugbart niveau.

Realistisk tidshorisont: nogle uger til at kunne gennemføre en træning, adskillige måneder med rigtige opgaver til at kunne stå på mål for en model i drift. Den erfaring, der tæller mest, er den, man får af en model, der blev dårligere, og som man selv fandt årsagen til.

Sådan genkender du én, der kan finetune AI-modeller

Stil det spørgsmål, der skiller hurtigst: hvornår vil du fraråde finetuning? Et godt svar kommer prompte og er konkret. Når viden ændrer sig ofte. Når der ikke findes en evaluering endnu. Når prompten ikke er presset til bunds. Den, der svarer, at finetuning altid er bedre, har ikke prøvet det på en opgave, der betød noget.

Spørg derefter til målingen. Hvordan ved du, at modellen blev bedre? Du leder efter et sæt eksempler, der blev holdt uden for træningen, en sammenligning med den oprindelige model, og en måling af det, modellen ikke måtte blive dårligere til. Bed om at se et tal, der gik den forkerte vej. Alle rigtige projekter har mindst ét.

Spørg til data. Hvor kom eksemplerne fra, hvem godkendte dem, hvordan blev de renset, og hvad blev sorteret fra? Den erfarne bruger mest tid her og fortæller gerne om dubletter, om uens svar på samme spørgsmål, og om hvordan personoplysninger blev fjernet, før de nåede træningen.

Spørg til det, der gik galt. Hvad gjorde du, da modellen begyndte at gentage sig selv, eller da den mistede noget, den kunne før? Svaret bør nævne konkrete greb: færre gennemløb, langsommere indlæring, blandet almindelige eksempler ind i datasættet, valgt et tidligere gemt punkt i træningen.

Se efter driftstankegangen. Kan personen vise en adapter eller en model, der er versioneret, dokumenteret og kan rulles tilbage? Kan personen forklare, hvad modellen koster at køre, og hvornår den skal trænes igen? Kender personen sit ansvar efter AI-forordningen og GDPR, når en model trænes på virksomhedens egne sager?

Advarselstegnene er lige så tydelige. Nogen, der beskriver finetuning som måden at "lære modellen vores dokumenter", har forvekslet det med opslag. Nogen, der lover en bestemt forbedring i procent, før datasættet findes, gætter. Nogen, der kun kan vise en kørt notebook uden evaluering, har afprøvet et værktøj, ikke løst en opgave. Og nogen, der ikke kan nævne én ting, deres model blev dårligere til, har ikke målt efter.

Et sidste, blødt tegn: den dygtige taler lige så meget om fagpersonerne, der leverede eksemplerne, som om modellen. Færdigheden er halvt maskinlæring og halvt datakuratering, og den, der har den, ved det godt.