Oväntade militära utmaningar med AI enligt FOI

– Försvarsmakten är intresserad av att använda maskininlärningssystem, och vill därför kunna bedöma risken att motståndare utnyttjar sårbara enheter i systemen för att vilseleda, extrahera information eller förvirra dem, säger Björn Pelzer, forskare på FOI:s avdelning Cyberförsvar och ledningsteknik och en av författarna till rapporten  Attacking and Deceiving Military AI Systems,  som har genomförts på uppdrag av Försvarsmakten.

Fientlig maskininlärning är ett relativt nytt forskningsområde i världen. Forskningen på FOI, Totalförsvarets Forskningsinstitut, riktar in sig på metoder för att utnyttja svagheter i AI-system som använder sig av maskininlärning. 

– Vi på FOI vill hålla oss i framkanten av AI-forskningen och sprida kunskapen inom försvaret. Vi samarbetar också med Nato inom området. Det är många forskare över hela världen som forskar inom området då det är svårt att förutse när nya angreppsmetoder utvecklas och hur väl de fungerar. 

Studerat flera AI-system 

FOI-rapporten  Attacking and Deceiving Military AI Systems  är en sammanställning av forskningsläget inom fientlig maskininlärning, alltså att en dator matas med stora mängder data och på egen hand utvecklar regler för att lösa uppgifter som inte programmeras för. 

Rapporten presenterar tre fallstudier som visar hur olika typer av AI-system kan angripas. Forskarna undersökte såväl möjligheten att förgifta bildklassificerare, som att extrahera hemlig information ur stora generativa språkmodeller, och att påverka robotars beslutsförmåga. 

Resultaten visar att det är svårt att hacka och angripa motståndares AI-system. Träningsdata kan manipuleras, eller förgiftas, men ur motståndarens perspektiv är utmaningen en annan. 

– Den stora frågan är snarast hur motståndaren ska få använda data man har förgiftat, säger Björn Pelzer. 

Traditionell cybersäkerhet ett hinder 

Björn Pelzer bedömer att fientlig maskininlärning än så länge inte använts i någon väpnad konflikt i världen. 

– Angreppsmetoderna är ofta svåra att genomföra i praktiken. Bland annat för att det krävs stora kunskaper om ett system för att använda det, och för att angreppsmetoderna är känsliga för praktiska hinder som exempelvis traditionell cybersäkerhet. Samtidigt är användningen av AI begränsad, det finns inte så många mål än. Och varken angripare eller offer lär ha något intresse av att publicera lyckade angrepp. 

I takt med att användningen av AI ökar kommer säkerhetsriskerna att öka. 

– Ju mer användningen av AI ökar, desto mer lönsamt blir det att kunna angripa AI-baserade system. 

Han nämner ett aktuellt exempel på angrepp med fientlig maskininlärning utanför försvarsområdet. 

– I våras anklagade Getty Images utvecklarna av den generativa bildmodellen Stable Diffusion för att ha använt Getty-bilder som träningsdata utan tillstånd, och man använde en form av extraktionsattack för att visa att Stable Diffusion sannolikt hade tittat på sådana bilder. 

Utmaningar för offentlig sektor 

Björn Pelzer återkommer till utmaningen i att vara på AI-teknikens fördelar men har också stor respekt för riskerna. Det gäller inte minst användningen av maskininlärning inom den offentliga sektorn med höga krav på säkerhet, stabilitet och regelefterlevnad. 

– Frågan om hur den offentliga sektorn anammar AI omfattar många områden och frågeställningar. Om jag utgår från mitt perspektiv som AI-forskare tycker jag att det är viktigt att vara medvetet om att riskerna finns överhuvudtaget, och att inte bländas av teknikens förmågor. AI-system har gjort otroliga framsteg och kan prestera på en nivå man inte hade räknat med för bara några år sen. Men det innebär inte att systemen tänker som vi. De kan förvirras av metoder som inte skulle fungera mot människan, avslutar Björn Pelzer. 

I nästa rapport kommer FOI-forskarna att fokusera på stora språkmodeller, som ChatGPT.