AI-maskar kan bli nya säkerhetshotet
En AI-mask som på egen hand kan ta sig från ett system till ett annat och sprida skadlig kod eller stjäla data i processen. Det har skapats av forskare vid Cornell Tech, som nu vädjar till startups, utvecklare och teknikföretag att hålla ögonen öppna för den här typen av hot.
– Nu finns i princip förmågan att utföra en ny storts cyberattack som vi inte har sett tidigare, säger Ben Nassi, forskare vi Cornell Tech som ligger bakom forskningsrapporten och AI-masken, till sajten Wired.
Forskarna Ben Nassi, Stav Cohen och Ron Bitton visar i en stängd forskningsmiljö hur en AI-mask kan attackera en mejlassistent byggd på generativ AI för att stjäla data och skicka skräppostmeddelande. Den kan samtidigt bryta sig igenom vissa säkerhetsskydd i ChatGPT och Googles generativa AI Gemini.
Internetmask
En mask, eller internetmask, är en form av datorvirus som själv sprider sig från dator till dator över internet, utan att behöva hjälp från någon oförsiktig användare. Detta är vad som skiljer en mask från övriga datorvirus. Maskar är därför oftast beroende av någon form av säkerhetshål för att kunna spridas.
Många maskar gör inget annat än att sprida sig själva, men har i princip full kontroll över den infekterade datorn. Bara genom sin spridning kan de dock orsaka stor skada och höga kostnader. Ibland har maskar använts för att utföra överbelastningsattacker mot stora webbplatser från infekterade datorer.
Källa: Wikipedia
En självreplikerande prompt
Något förenklat bad forskarna ett generativt AI-verktyg att skapa en prompt – det textbaserade uppdrag man som användare ger en generativ AI – som i sig själv innehöll en prompt, som därmed bidrog till ytterligare en prompt, och så vidare – en självreplikerande prompt, som i teorin skulle kunna fungera som en sorts överflödsattack.
Därefter skapades ett mejlprogram som kopplades till bland annat ChatGPT och som bland annat kunde skicka och ta emot AI-genererade mejl innehållande en självreplikerande prompt. I det programmet skrev forskarna ett mejl som dessutom tvingade mottagarens klient att hämta hem extra data utanför systemet.
– Det genererade svaret som innehåller känslig användardata infekterar senare nya värdar när det används för att svara på ett e-postmeddelande som skickats till en ny klient och sedan lagras i databasen för den nya klienten, säger Ben Nassi.
AI-maskar kan bli vanliga
Redan idag finns många olika sätt som generativa AI-klienter pratar med andra AI-klienter, och i takt med att tekniken utvecklas kan det komma att bli vanligare med mejlklienter som läser och skickar mejl, vilket enligt många experter Wired har pratat med skulle kunna göra den här typen av mask-attacker möjliga.
En självreplikerande prompt. Foto: Compromptmized
Ännu har inte någon AI-mask upptäckts ”i det vilda”, men forskarna varnar för att det kan bli verklighet inom de närmaste två till tre åren.
Adam Swanda, säkerhetsforskare vid AI-företaget Robust Intelligence säger till Wired att människor alltid bör finnas med i loopen och att AI-agenter inte bör få lov att agera utan godkännande.
– Du vill inte att en LLM (Large Language Model) som läser din mejl också ska kunna skicka mejl. Det bör finnas en gräns där, säger han.
Open AI svarar
En talesperson från Open AI säger i ett svar till Wired att forskarna ”verkar ha hittat ett sätt att utnyttja sårbarheter genom att förlita sig på användarinput som inte kontrollerats eller filtrerats” och tillägger att man arbetar med att göra sina system ”mer motståndskraftiga” samtidigt som utvecklare bör ”använda metoder som säkerställer att de inte arbetar med skadlig input”.
Läs mer om ämnet:
