3rd Line Support Engineer

En 3rd line support engineer er sidste led før leverandøren. Sagerne, der lander her, er dem, 1st og 2nd line har givet op på, eller dem der rammer mange brugere på én gang.

Forskellen på 2nd og 3rd line er dybden. 2nd line finder ud af, at synkroniseringen fejler. 3rd line finder ud af hvorfor, retter årsagen og sørger for, at det ikke sker igen.

Typiske opgaver

• Fejlsøge i Windows Server, Linux, Hyper-V og VMware, ofte i logfiler og traces
• Analysere netværksproblemer med pakkefangst, routing, VLAN og firewallregler
• Fejlsøge i Microsoft 365-hybridopsætninger, Entra ID Connect og certifikater
• Løse databaseproblemer i SQL Server eller PostgreSQL: låse, timeouts og langsomme forespørgsler
• Arbejde i Azure eller AWS med netværk, identitet og ressourcer
• Køre root cause-analyse efter en større driftsforstyrrelse og skrive rapporten
• Deltage i major incident-håndtering med bro og løbende status til forretningen
• Vurdere og teste patches, opdateringer og ændringer i change-processen
• Skrive automatisering i PowerShell, Bash eller Python, der fjerner en gentagen fejl
• Overtage sager fra 2nd line og lære dem op undervejs
• Eskalere til Microsoft, Cisco eller anden leverandør med ordentlig dokumentation
• Rådgive om design, når et system fejler af strukturelle grunde
• Deltage i beredskabstest og gendannelse fra backup

Dagen er delt i to. Den ene del er akutte sager og eskaleringer. Den anden del er projekter, forbedringer og dokumentation, som konstant bliver skubbet af de akutte sager.

Major incidents er rollens hårdeste øjeblikke. Når produktionen står stille, sidder du med telefonen på højttaler og ledelsen kiggende over skulderen. Evnen til at arbejde struktureret under pres betyder mere end viden om et bestemt produkt.

Dokumentation er en kerneopgave, ikke en biopgave. En løsning, der ikke er skrevet ned, ryger tilbage til 3rd line næste gang. Gode folk i rollen bruger tid på at gøre 1st og 2nd line selvkørende.

Der er stor forskel på arbejdssteder. Hos en driftsleverandør har du mange kunder, mange miljøer og SLA'er, der skal holdes. Internt i én virksomhed går du dybere i færre systemer og kender historikken bag hver eneste server.

Brancher og arbejdssteder er blandt andre it-driftsleverandører og outsourcinghuse, hostingvirksomheder, banker og forsikring, regioner og hospitaler, produktionsvirksomheder med døgndrift, energiselskaber og softwarehuse med egen drift.

Vagt er normalt. Rådighedsvagt uden for arbejdstid, weekendarbejde og planlagte ændringsvinduer om natten hører med. Spørg til vagtplan og betaling, inden du siger ja.

Karrierevejen går typisk mod systemarkitekt, cloud engineer, platform engineer eller specialist inden for netværk, sikkerhed eller database. Andre går mod teamlead, problem manager eller konsulentrollen. Erfaring fra 3rd line er stærk baggrund for it-sikkerhed, fordi du kender systemerne i dybden.

Skal du hyre, så test evnen til at strukturere en fejlsøgning frem for at ramme det rigtige svar. Bed kandidaten beskrive den værste nedbrudssag, de har været i, og hvad de ændrede bagefter. Spørg til deres seneste automatisering, og hvad den fjernede af manuelt arbejde.

Hvilken lovgivning dækker denne rolle?
Titlen er ikke beskyttet, og der kræves ingen autorisation. Til gengæld er miljøerne ofte reguleret. Behandling af personoplysninger i systemerne er omfattet af EU's databeskyttelsesforordning GDPR og databeskyttelsesloven, hvor Datatilsynet fører tilsyn, og adgang til produktionsdata skal derfor begrænses og logges. Arbejder du hos en leverandør, er forholdet til kunden reguleret af en databehandleraftale, og mange kunder kræver revisionserklæringer som ISAE 3402 eller certificering efter ISO 27001. Virksomheder i kritiske sektorer er omfattet af EU's NIS2-direktiv, som i Danmark er gennemført med lov om foranstaltninger til sikring af et højt cybersikkerhedsniveau, og Center for Cybersikkerhed vejleder om kravene. Finansielle virksomheder er derudover omfattet af EU's DORA-forordning med krav til hændelsesrapportering og test af driftsstabilitet.

Der er ingen fast uddannelsesvej. Rollen kræver erfaring, og de fleste kommer op gennem support eller drift.

Den almindeligste vej: op gennem linjerne
Typisk forløb er 1st line i et til to år, 2nd line i to til fire år og derefter 3rd line. Undervejs specialiserer du dig i noget: netværk, servere, cloud, database eller et bestemt applikationsområde.

Springet fra 2nd til 3rd line handler om at kunne arbejde uden en kendt løsning. Du skal kunne læse dokumentation, opstille en hypotese og teste den systematisk.

Formelle uddannelser

• Data- og kommunikationsuddannelsen med speciale som infrastrukturtekniker, cirka fire år med praktik
• Datamatiker, to og et halvt år
• IT-teknolog, to år
• Professionsbachelor i it-arkitektur eller softwareudvikling
• Diplomingeniør eller kandidat i datalogi, hvis du sigter mod arkitektrollen

Adgangskravet til erhvervsuddannelserne er bestået 9. eller 10. klasse med mindst 02 i dansk og matematik. De videregående kræver en gymnasial eksamen med matematik på B-niveau.

En del 3rd line-folk har ingen videregående uddannelse overhovedet. Certificeringer og dokumenteret erfaring vejer tungere i denne rolle end i de fleste andre it-job.

Certificeringer, der reelt bruges

• Microsoft: AZ-104 for Azure Administrator, AZ-800 og AZ-801 for hybrid infrastruktur
• Cisco: CCNA og CCNP, hvis du går netværksvejen
• VMware: VCP for virtualisering
• Red Hat: RHCSA og RHCE i Linux-miljøer
• AWS: Solutions Architect Associate
• ITIL Foundation, fordi incident-, problem- og change-processer styrer hverdagen

Certificeringer er ikke lovkrav. De vejer især hos driftsleverandører, fordi partneraftaler med Microsoft og Cisco kræver certificerede medarbejdere.

Alternative veje ind

• Fra udvikling, hvis du kan læse kode og forstå applikationens fejl
• Fra netværksteknik hos en teleoperatør
• Fra en leverandørs egen support, hvor du kender ét produkt til bunds
• Fra sikkerhedsområdet, hvor logfiler og systemadgang allerede er hverdag

Hvad der reelt kræves

• Systematisk fejlsøgning, hvor du kan udelukke muligheder én ad gangen
• Scripting i PowerShell, Bash eller Python, nok til at automatisere reelt arbejde
• Netværksforståelse på et niveau, hvor du kan læse en pakkefangst
• Ro under pres, når produktionen står stille
• Skriftlig disciplin, fordi rapporter og dokumentation er en del af leverancen
• Ydmyghed nok til at eskalere, når du har brugt nok tid

Engelsk skal sidde godt. Al dokumentation, alle leverandørsager og mange kolleger fungerer på engelsk.

En ren straffeattest kræves ofte i det offentlige, i finanssektoren og hos leverandører til kritisk infrastruktur. Nogle stillinger kræver sikkerhedsgodkendelse gennem Politiets Efterretningstjeneste eller Forsvarets Efterretningstjeneste.

Værktøjerne er de samme som i 2nd line, men bruges dybere. Forskellen ligger i logfiler, traces og automatisering.

Servere og virtualisering

• Windows Server med Active Directory, DNS, DHCP, certifikattjeneste og failover-klynger
• Linux, typisk RHEL, Ubuntu eller Debian
• VMware vSphere og Hyper-V
• Storage-systemer, SAN og fejlsøgning på diskperformance

Cloud

• Microsoft Azure med Entra ID, netværk, virtuelle maskiner og governance
• AWS eller Google Cloud i nogle miljøer
• Hybrid opsætning med Entra ID Connect og federation
• Terraform, Bicep eller ARM til infrastruktur som kode

Netværk

• Switche, routere og firewalls fra Cisco, Fortinet, Palo Alto eller Juniper
• Wireshark til pakkefangst og analyse
• VPN, certifikater, VLAN, routing og QoS
• Load balancere og proxyer

Overvågning og logs

• Zabbix, PRTG, SCOM, Nagios eller Datadog
• Elastic, Splunk eller Azure Monitor til logsøgning
• Windows Hændelseslog, syslog og applikationslogs
• Performance-tællere og traces

Database og applikation

• SQL Server, PostgreSQL eller MySQL
• Forespørgselsplaner, indekser og låse
• IIS, Apache eller Nginx
• Certifikatstyring og udløbne certifikater, en klassisk årsag til nedbrud

Automatisering og drift

• PowerShell, Bash og Python
• Ansible eller lignende til konfigurationsstyring
• Git til versionsstyring af scripts og konfiguration
• CI/CD-pipelines i mange moderne driftsmiljøer

Proces og sager

• ServiceNow, Jira Service Management, TOPdesk eller Ivanti
• CMDB med overblik over systemer og afhængigheder
• Change-, incident- og problemprocesser efter ITIL
• Backup og gendannelse med Veeam eller Commvault

Det vigtigste værktøj er stadig logfilen. En 3rd line-medarbejder, der kan finde det rigtige tidsstempel i et par gigabyte logs, sparer hele organisationen mange timers nedetid.