Så slipper du AI-investera i GPU:er – med Intel AMX

Intel AMX är en AI-accelerator som är utformad för att förbättra prestandan för djupinlärning och inferens. Genom att använda AMX kan behovet minska för dedikerade extra GPU:er.

– Det finns en utbredd uppfattning att GPU:er alltid krävs för att börja använda AI, vilket faktiskt inte stämmer längre. Intel AMX är en accelerator specifikt utformad för att hantera komplexa uppgifter utan att vara beroende av externa GPU:er. Detta minskar trösklarna för alla sorters verksamheter att komma igång med sina AI-resor, säger Anders Huge, Ansvarig för Offentlig Sektor på Intel.

Kopplar till IDC

Analysfirman IDC ser framåt en växande efterfrågan på förbättrade AI-funktioner i alla typer av datorer, vilket bidrar till att investeringar i AI-enheter kommer att öka kraftigt de kommande åren. Exempelvis stod AI-enheter för 1,1 procent av världens totala AI-utgifter förra året, men till 2027 kommer samma siffra att landa på 12 procent. 

– Vi på Intel tror att AI kan effektivisera alla delar av samhället framöver. Eftersom AI-acceleratorer finns i allt från servrar i molnet till AI-PC:s kan AI-arbetslaster accelereras överallt, vilket lierar med IDC:s framtidsspaning och med vårt koncept Bringing AI Everywhere. 

Minskar komplexiteten

Enligt Intel kan AMX eliminera extra kostnader och komplexitet som separata acceleratorer medför. Den senaste generationen av Intel Xeon-processorer är väl positionerad för AI-inferens av stora språkmodeller (LLM) med upp till 20 miljarder parametrar – och uppfyller vanligtvis kundernas servicenivåavtal.

– Intel AMX utmärker sig också inom transfer learning och finjustering, så att du kan träna modeller på så lite som fyra minuter – inte timmar eller dagar – utan behov av ytterligare hårdvara. Med 65 procent av datacenterinferensen som körs på Intel Xeon-processorer, kommer kunderna att dra nytta av sin befintliga arkitektur för allmän AI, snarare än att navigera i komplexiteten av en övergång till en GPU-infrastruktur.

Anders Huge ger ett exempel på när AMX kan fungera istället för en GPU.

– Om du exempelvis är en relativt liten organisation som ska göra en chattbot baserat på all information på er webbplats, räcker det bra med AMX. Om du istället är ett stort bolag som ska träna nya, stora AI-modeller från start behöver du förmodligen GPU:er.

Tid eller pengar

Detta blir också en fråga om vad som är viktigast: Tid eller pengar. Med AMX är kostnaden noll i och med att man redan har gjort den initiala investeringen i Xeon-processorn, menar Anders Huge.

– Ett exempel: Du jobbar i en kommun och ska ha ett möte om bygglov med din chef senare under dagen. Inför mötet ger du en AI-modell i uppgift att söka igenom alla bygglov för det senaste kvartalet, och sammanfatta denna data.

– Resultatet blir detsamma oavsett om uppgiften görs av en GPU eller CPU, men GPU:n kanske gör det något snabbare. Detta spelar förmodligen inte någon större roll. För vissa uppgifter är säkert tidsaspekten vital, men inte för alla.

Anders Huge påpekar därför att det alltid är smart att först testa huruvida det går att köra dina beräkningar på de Xeon-CPU:er du redan investerat i, innan du ger dig i kast med att etablera ett komplext och dyrt GPU-kluster.

– Går det inte så går det inte. Men genom att köra AI-beräkningar direkt i CPU:n kan kostnadseffektiviteten öka betänkligt. Man har ju inget att förlora eftersom det inte kostar något, och man behöver inte vänta länge på leveranser.