Llama 3 / Lokale AI-Modeller (Open Source)

Hvad bruges Llama 3 og lokale AI-modeller til?

En lokal AI-model er en sprogmodel, du henter ned og kører på din egen maskine eller på virksomhedens egen server. Llama 3 er Metas familie af den slags modeller. Den findes i flere generationer og størrelser — Llama 3, 3.1, 3.2 og 3.3 — og har været den mest udbredte startmodel i danske opsætninger. Selve modellen er en fil med "vægte" (de tal, modellen har lært under træningen). Filen kan hentes gratis og køres uden internetforbindelse.

Opgaven, en lokal model løser, er let at forklare: virksomheden vil have det, ChatGPT kan, men uden at teksten forlader huset. Når en sagsbehandler beder en cloud-tjeneste om at opsummere et dokument, sendes dokumentet til en ekstern leverandør. Kører modellen lokalt, bliver teksten på jeres eget netværk.

De konkrete anvendelser ligner hinanden på tværs af brancher. Man bygger en intern chat, hvor medarbejdere kan spørge ind til virksomhedens egne dokumenter — kontrakter, vejledninger, journaler, personalehåndbøger. Man opsummerer lange sagsakter og mødereferater. Man sorterer og fordeler indgående mails og supporthenvendelser automatisk. Man trækker felter ud af fakturaer, PDF'er og formularer. Man laver udkast til standardsvar. Man anonymiserer tekst, så navne og personoplysninger fjernes, før materialet sendes videre til et andet system. Og man bruger modellen som kodeassistent på kildekode, der ikke må uploades nogen steder.

At søge i egne dokumenter kaldes ofte RAG (retrieval-augmented generation). Det betyder i praksis, at systemet først finder de relevante afsnit i virksomhedens egne filer og derefter beder modellen svare ud fra netop dem. Det er den opsætning, langt de fleste danske projekter ender med — ikke at træne en helt ny model.

Ud over datasikkerhed er der tre andre grunde til at køre lokalt. Prisen er forudsigelig, fordi du betaler for hardware og strøm i stedet for pr. forbrugt tekststump. Systemet kan køre på lukkede net uden internetadgang, hvilket er afgørende i produktion, forsyning og forsvar. Og du er ikke afhængig af, at en leverandør ændrer, prissætter eller lukker en model, du har bygget oven på.

Der hører også en ærlig bagside med. En lille lokal model er ikke lige så dygtig som de største cloud-modeller, og forskellen er tydeligst på dansk og på svære opgaver. Modellen skal have et grafikkort (GPU) for at svare i et brugbart tempo. Og der skal bygges en hel opsætning omkring den — brugerstyring, logning, overvågning, opdateringer — før det ligner drift frem for et forsøg.

Et licensforhold er værd at kende, fordi det rammer danske virksomheder direkte. Llama er ikke open source i klassisk forstand, men "åbne vægte" under Metas egen fællesskabslicens. Licensen kræver, at produkter bygget på modellen tydeligt oplyser, at de er bygget med Llama, og meget store tjenester med over 700 millioner månedlige brugere skal bede Meta om en særskilt licens. Vigtigere for de fleste: Metas politik for Llama 4 udelukker virksomheder med hovedsæde i EU fra rettighederne til de multimodale modeller, og hele Llama 4-familien er multimodal. Derfor er Llama 3.3 og 3.1 i praksis det, danske virksomheder bruger, når valget falder på Meta. Meta har desuden i 2026 udsendt sine nyeste frontmodeller uden åbne vægte, så mange holder nu også øje med alternativer som Mistral, Qwen og Gemma. Værktøjerne omkring modellerne er heldigvis de samme, uanset hvilken model du vælger.

De programmer, der afvikler modellen, hedder typisk Ollama, llama.cpp eller LM Studio i den lille ende og vLLM eller NVIDIA Triton i den store. Modelfilerne hentes som regel fra Hugging Face. Chatvinduet, brugerne ser, er ofte Open WebUI.

Hvem bruger lokale AI-modeller?

Det korte svar er: dem, hvis tekst ikke må ligge hos en amerikansk cloud-leverandør, og dem, der har så stort et forbrug, at egen hardware kan betale sig.

I den offentlige sektor er det kommuner, regioner og hospitaler, der arbejder med borger- og patientoplysninger. Flere fælles danske initiativer trækker i samme retning: Danish Foundation Models arbejder med den danske basismodel Munin, og Dansk Sprogmodel Konsortium samler offentlige og private parter om danske sprogdata. SkoleGPT er et eksempel på en dansk løsning, hvor modellen hostes på dansk infrastruktur frem for hos en global udbyder.

I det private er det først og fremmest finans, pension og forsikring, advokat- og revisionshuse, life science og medicinalindustri samt forsvars- og politileverandører. Dertil kommer energi- og forsyningsselskaber og industrivirksomheder, som i forvejen har krav til netadskillelse og forsyningssikkerhed, blandt andet via NIS2-reglerne. Endelig bruger danske it-huse, hostingleverandører og softwareudviklere lokale modeller, både til egne produkter og som en ydelse, de leverer til kunder.

Små og mellemstore virksomheder findes også i billedet, men typisk i mindre målestok: én kraftig arbejdsstation med en model, som et par medarbejdere bruger til dokumenthåndtering.

De faggrupper, der arbejder direkte i det, er AI- og machine learning-ingeniører, platform- og infrastrukturfolk, DevOps-profiler, dataingeniører og integrationsudviklere. Omkring dem sidder sikkerhedsarkitekter, databeskyttelsesrådgivere og jurister, fordi opsætningen skal kunne dokumenteres. Det er sjældent én person, der kan hele kæden.

Typiske opgaver for en specialist i lokale AI-modeller

Den mest almindelige henvendelse er den første opsætning. Virksomheden har besluttet, at data skal blive hjemme, men ved ikke, hvilken model og hvilken størrelse der passer til opgaven, hvor meget grafikkort der skal købes, og hvordan modellen stilles til rådighed for de systemer, der skal bruge den. En specialist dimensionerer hardwaren, installerer afviklingsprogrammet, pakker det i containere og lægger et API foran, som resten af huset kan kalde.

Den næstmest almindelige er springet fra forsøg til drift. Modellen kørte fint på en bærbar til demoen, men da tredive kollegaer begyndte at bruge den samtidig, stod svarene i kø. Det er en klassisk situation, hvor man skifter fra Ollama til vLLM eller lignende, sætter batching op og vælger den rigtige komprimering af modellen (kvantisering). Det er ren driftsoptimering og har intet med modellens intelligens at gøre.

Søgning i egne dokumenter er sit eget projekt. Her hyres hjælp til at opdele dokumenterne fornuftigt, vælge en embedding-model, sætte en vektordatabase op og holde den opdateret. Den fejl, der koster mest, er adgangsstyring: hvis alle dokumenter ligger i samme indeks, kan modellen komme til at vise en medarbejder noget, vedkommende ikke må se. Rettighederne skal følge med hele vejen ind i søgningen.

Dansk kvalitet er en tilbagevendende fejlsøgningsopgave. Modellen svarer på engelsk, bøjer forkert, opfinder danske stednavne eller falder igennem på fagsprog. Løsningen er sjældent én ting. Den kan være et andet modelvalg, en bedre systemprompt, en dansk-tunet variant, eller en egentlig finjustering på virksomhedens eget materiale. Uanset hvad hører der et testsæt med: en samling rigtige danske eksempler med det rigtige svar, så man kan måle, om ændringerne hjælper.

Finjustering og tilpasning på egne data er en selvstændig disciplin. Ofte viser det sig, at opgaven kan løses med bedre søgning og bedre prompts, og at finjustering ikke er pengene værd. En god specialist siger det højt, før arbejdet sættes i gang.

Sikkerhed og compliance fylder mere, end folk regner med. Den største misforståelse er, at "lokalt" i sig selv betyder "lovligt" og "lukket". Selv når modellen kører internt, kan der opstå dataflow gennem logfiler, backup, integrationer og supportværktøjer. GDPR-kravene om behandlingsgrundlag, dokumentation og menneskeligt tilsyn består, og EU's AI-forordning kan stille yderligere krav afhængigt af, hvad systemet bruges til. Selve modelfilen skal desuden behandles som et aktiv med værdi: den skal hentes fra en kilde, man kan stole på, og beskyttes som andre følsomme filer. Prompt injection — hvor et dokument indeholder skjulte instruktioner til modellen — er en reel angrebsvej, når modellen får lov at læse indgående materiale.

Økonomi og hardware er også en hyppig opgave. Skal I købe grafikkort eller leje dem? Hvor stort skal forbruget være, før egen drift bliver billigere end at betale pr. forespørgsel? Det regnestykke afhænger af jeres tal og bør laves, før der bestilles udstyr.

Endelig er der migrering og vedligehold. Nogle flytter fra en cloud-model til en lokal, andre den modsatte vej, når de opdager, hvad driften koster. Modeller udskiftes løbende, og en opsætning bygget på Llama 3 skal på et tidspunkt kunne flyttes til noget nyere uden at hele integrationen skal skrives om. Den slags fremtidssikring er lettere at bygge ind fra start end at rette bagefter.

De rene fejlsøgningsopgaver, folk googler, er som regel: modellen løber tør for hukommelse på grafikkortet, første ord i svaret kommer for langsomt, modellen glemmer starten af lange dokumenter, eller svarene bliver til volapyk, fordi den forkerte chatskabelon er sat op til netop den model.

Hvordan lærer man at arbejde med Llama 3 og lokale AI-modeller?

Vejen ind går gennem hænderne. Installer Ollama eller LM Studio på din egen maskine, hent en lille model, og få den til at svare. Byg derefter en simpel søgning i dine egne dokumenter. Flyt så det hele til en server med grafikkort og prøv vLLM. Den rækkefølge lærer dig mere end noget kursus, fordi det er præcis de trin, virksomheder betaler for.

Af dokumentation er Metas egen Llama-dokumentation på llama.com udgangspunktet, sammen med Llama Cookbook på Meta-llamas GitHub, som indeholder gennemarbejdede eksempler. Hugging Face har både modelbiblioteket og et gratis LLM-kursus, der er blevet standardreferencen for begyndere. Dokumentationen til vLLM og til Ollama er nødvendig læsning, når du går fra forsøg til drift.

Af certificeringer findes NVIDIA-Certified Associate: Generative AI LLMs (NCA-GENL) som en indgangsprøve, og en tilsvarende prøve på professionelt niveau. Begge er bundet til NVIDIAs egen værktøjskasse, så de dækker ikke hele feltet, og de er ikke et krav på det danske marked. Pris og vilkår oplyses af NVIDIA. Af kurser er DeepLearning.AI's korte kurser velansete, fordi de er lavet af folk fra feltet og kan tages på få timer.

I dansk sammenhæng er Danish Foundation Models og modellen Munin værd at følge, hvis dansk sprogkvalitet er central for jer. Alexandra Instituttet og de danske universiteter udbyder desuden efteruddannelse inden for AI og sprogteknologi.

En ærlig forudsætning: det her er lige så meget infrastruktur som AI. Du kommer ikke langt uden Linux, containere, netværk, overvågning og en grundlæggende forståelse af, hvordan et grafikkort bruger hukommelse. Python er nødvendigt, når du skal ud over de færdige værktøjer. Færdigheden læres ikke på en weekend, men den kan bygges op på nogle måneder, hvis du har driftserfaring i forvejen.

En sidste ting er værd at tage med: lær opsætningen, ikke modellen. Modellerne skiftes ud hvert halve år, mens afviklingsprogrammerne, søgningen i egne dokumenter, evalueringen og sikkerheden omkring det hele er det, der bliver ved med at være det samme. Den, der kan sætte Llama 3 sikkert i drift, kan også sætte den næste model i drift.