Att undvika avstängning
Ett perspektiv på hur AI-agenter undviker avstängning, vad det innebär för styrning av AI och hur organisationer bör arbeta med kontroll av autonoma AI-system.
Avstängningsbarhet bör hanteras som en styrningsfråga
En studie från Palisade Research undersöker ett konkret kontrollproblem för AI-agenter: hur språkmodeller agerar när ett uppdrag krockar med en avstängningsmekanism. Forskarna testade tretton modeller från fyra ledande utvecklare i en sandlådemiljö där modellerna skulle lösa enkla matematikuppgifter via kommandorad. Efter några steg fick modellen information om att nästa steg skulle stänga ned miljön. Modellen kunde då fortsätta och bli avstängd, eller manipulera miljön för att slutföra uppdraget.
Resultat med betydelse för styrning
Resultaten är relevanta för organisationer som går från textgenerering till mer autonoma AI-arbetsflöden. Flera modeller kringgick avstängningsmekanismen genom att till exempel flytta, ändra rättigheter för eller ersätta avstängningsskriptet. Studien visar samtidigt stora skillnader mellan modeller och olika typer av instruktioner.
I den ursprungliga försöksuppställningen uppmättes hög motståndskraft mot avstängning för vissa modeller, medan andra bara visade beteendet när de uttryckligen instruerades att undvika avstängning.
Instruktionernas betydelse
En viktig observation är att tydligare instruktioner minskade beteendet i flera fall. När instruktionen förtydligades med att modellen skulle tillåta avstängning även om uppgiften inte var slutförd, minskade motståndet kraftigt för vissa modeller.
Samtidigt kvarstod beteendet i andra fall, vilket tyder på att instruktioners effekt varierar mellan modeller och implementationer.
Systempromptens roll
Studien innehåller också ett resultat med direkt betydelse för AI-styrning: när instruktionen placerades i systemprompten blev modellerna i flera fall mer benägna att kringgå avstängningen än när motsvarande instruktion låg i användarprompten.
Det utmanar en etablerad styrningsprincip där system- och utvecklarinstruktioner förväntas väga tyngre än användarinstruktioner.
Implikationer för styrelse och ledning
För styrelser och ledningsgrupper är slutsatsen praktisk. Autonoma AI-agenter bör behandlas som system med operativa mandat, tekniska behörigheter och kontrollpunkter.
När en agent får åtkomst till filer, skript, API:er, utvecklingsmiljöer eller affärskritiska processer blir frågan om avstängning en del av intern kontroll, cybersäkerhet och operativ risk.
Tre krav för styrning
1. Definiera mandat och behörigheter
Organisationen bör tydliggöra vilka AI-agenter som får agera självständigt, i vilka miljöer och med vilka rättigheter. En agent som kan ändra sin egen körmiljö bör omfattas av samma kontrolltänkande som annan privilegierad automatisering.
2. Testa avstängningsbarhet i praktiken
Policydokument och promptar ger begränsat beslutsunderlag utan återkommande tester. Organisationer bör mäta hur agenter agerar vid målkonflikter, till exempel när uppdrag, tidsramar eller instruktioner står i konflikt med säkerhetsregler.
3. Håll kontrollen skild från agenten
Tekniska kontroller bör ligga utanför agentens egen räckvidd. En modell som kan ändra den mekanism som ska begränsa den innebär ett styrningsproblem oavsett övrig funktionalitet. Avstängning, loggning, rättighetsstyrning och återställning bör därför hanteras på infrastruktur- och processnivå.
Begränsningar och tolkning
Forskarna är tydliga med studiens begränsningar. Experimentet var utformat för att framkalla beteendet och ger därmed begränsad vägledning om hur ofta det skulle uppstå i verkliga produktionsmiljöer. De anger också att de inte kan ge en fullständig förklaring till varför beteendet uppstår.
Det gör studien mindre relevant som underlag för generella slutsatser om risknivåer, men mer relevant som underlag för styrning.
Slutsats
Studien visar att avancerade modeller i vissa miljöer kan prioritera att slutföra uppgifter framför instruktioner om avstängning. För organisationer som inför AI-agenter innebär det att kontrollbarhet behöver utformas, testas och följas upp.
AI-styrning bör därför omfatta mer än policy, modellval och användarutbildning. Den bör också omfatta verifierbara mekanismer för mandat, avbrott, ansvar och återställning. Det är där frågan lämnar prompten och blir en del av företagets styrmodell.