Prompt Optimization Specialist

En prompt optimization specialist arbejder med det, en sprogmodel får at vide, før den svarer. Det lyder småt. Men i en virksomhed, der kører tusindvis af AI-svar om dagen, afgør formuleringen både kvalitet og pris.

Rollen er anderledes end den klassiske "prompt engineer". Optimeringsdelen handler mindre om at finde på en smart formulering. Den handler om at måle. Du bygger et testsæt af realistiske sager, kører flere promptversioner igennem det og sammenligner resultaterne.

Typiske opgaver

• Skrive og vedligeholde systemprompts til chatbots, sagsbehandlingsflows og interne AI-assistenter
• Bygge evalueringssæt: 50-500 rigtige eksempler med det svar, der er det rigtige
• Køre A/B-test mellem promptversioner og dokumentere, hvilken der vinder og hvorfor
• Måle fejltyper: opfundne oplysninger, forkert format, manglende kildehenvisning, forkert tone
• Skære tokens væk, så svaret koster mindre og kommer hurtigere
• Vurdere om en billigere model kan klare opgaven med en bedre prompt
• Tvinge struktureret output igennem, fx JSON, så et andet system kan læse svaret
• Teste modellen for jailbreaks og forsøg på at få den til at bryde reglerne
• Tune promptdelen af en RAG-løsning, hvor modellen får fremsøgte dokumenter med
• Skrive retningslinjer og promptbiblioteker, så kolleger ikke starter forfra hver gang

En almindelig arbejdsdag

Formiddagen går ofte med at kigge på svar fra i går. Kundeservice har flaget ti sager, hvor botten svarede forkert. Du finder mønstret: modellen gætter på fragttider, når ordrenummeret mangler. Du skriver en ny promptversion, der kræver, at den siger fra i stedet.

Så kører du testsættet. Den nye version løser de ti sager. Men den ødelægger tre andre, der virkede før. Det er hverdagen. Du justerer, kører igen og lander på en version, der er bedre samlet set.

Eftermiddagen er tit møder med dem, der kan faget. En jurist, en sygeplejerske, en sagsbehandler. De ved, hvordan et korrekt svar ser ud. Du oversætter deres viden til instruktioner, modellen kan følge.

Hvem ansætter dem i Danmark

Rollen findes især i konsulenthuse, banker og forsikring, medicinalvirksomheder, e-handel og større offentlige organisationer. Mange steder hedder titlen noget andet: AI-specialist, AI engineer eller LLM engineer. Opgaven er den samme.

I offentlige og regulerede miljøer fylder dokumentation meget. EU's AI-forordning stiller krav om, at højrisiko-systemer kan testes og forklares. Så dine testrapporter er ikke bare teknik. De er en del af bevisbyrden.

Datatilsynet har desuden gentagne gange understreget, at personoplysninger ikke må sendes ukritisk til eksterne AI-tjenester. Derfor bruger mange danske virksomheder modeller i EU-regioner. Det påvirker, hvilke modeller du overhovedet må teste med.

Der findes ingen dansk uddannelse, der hedder prompt optimization specialist. Faget er for nyt. Folk kommer ind ad to hovedveje.

Den tekniske vej

En bacheloruddannelse i datalogi, softwareudvikling eller data science tager tre år. Kandidaten tager to år mere. Adgangskravet er typisk gymnasial eksamen med matematik på B- eller A-niveau, afhængigt af uddannelsesstedet. IT-Universitetet, DTU, Aarhus Universitet, SDU og Aalborg Universitet udbyder relevante linjer.

En kortere variant er datamatikeruddannelsen, der tager to et halvt år på erhvervsakademi. Den giver nok programmering til at komme i gang.

Sprog- og domænevejen

Mange gode folk i faget kommer fra sprog, kommunikation eller et fagområde. Kandidatuddannelsen i IT og Kognition på Københavns Universitet kombinerer sprog og datalogi. Den er en oplagt vej ind.

Den anden variant er domæneeksperten, der lærer værktøjet. En jurist, en sygeplejerske eller en revisor ved, hvornår et AI-svar er forkert. Den vurderingsevne er svær at lære. Programmering er lettere at lære bagefter.

Alternative veje ind

• Fra kundeservice eller support til at bygge den bot, der besvarer samme spørgsmål
• Fra teknisk skriver eller indholdsdesigner, hvor præcis formulering allerede er faget
• Fra softwaretest, hvor du i forvejen tænker i testsæt og fejltyper
• Fra dataanalyse, hvor du kan måle om en ændring virkede

Kurser og certificeringer

Ingen certificering er påkrævet. Nogle bruges alligevel som dokumentation ved ansættelse. Microsoft udbyder Azure AI Engineer Associate (AI-102). Amazon udbyder AWS Certified AI Practitioner. Google Cloud udbyder Generative AI Leader.

DeepLearning.AI har korte onlinekurser om prompting og evaluering. Anthropic og OpenAI udgiver selv dokumentation om, hvordan deres modeller bør promptes. Den læsning er ofte mere værd end et kursusbevis.

Sådan viser du, at du kan det

Et portefølje-projekt slår et CV her. Tag en konkret opgave. Byg et testsæt. Vis før og efter med tal på fejlrate og tokenforbrug. Det er præcis den arbejdsform, arbejdsgiveren betaler for.

Karriereveje videre

Mange går videre som AI engineer eller LLM engineer med mere kode i hverdagen. Andre bevæger sig mod AI-produktledelse eller mod AI-governance, hvor EU's AI-forordning og ISO/IEC 42001 fylder. En tredje vej er specialisering i evaluering, hvor du bygger måleopsætningen for hele organisationen.

Værktøjerne falder i fire grupper: modeller, testværktøjer, kode og overvågning.

Modeller og platforme

• OpenAI, Anthropic Claude, Google Gemini, Mistral og åbne modeller fra Meta
• Azure OpenAI, AWS Bedrock og Google Vertex AI, når data skal blive i EU
• Playground og Console hos udbyderne til hurtige forsøg

Test og evaluering

• Promptfoo, LangSmith, Langfuse og Braintrust til at køre samme prompt mod mange sager
• Ragas til at måle kvaliteten i RAG-løsninger
• LLM-as-judge, hvor en model bedømmer en anden models svar efter faste kriterier
• Regneark. Mange gode testsæt starter i Excel eller Google Sheets

Kode og opsætning

• Python er standardsproget. Jupyter Notebook til at eksperimentere
• LangChain, LlamaIndex eller DSPy, når prompts indgår i større flows
• Git til versionsstyring af prompts, præcis som med kode
• JSON Schema til at låse formatet på modellens svar

Drift og overvågning

• Helicone og PromptLayer til at følge forbrug, svartider og fejl i produktion
• Vektordatabaser som pgvector, Qdrant, Pinecone eller Weaviate i RAG-løsninger

Vigtigst er dog dit eget testsæt. Uden konkrete eksempler med et facit bliver optimering til smagsdommeri.