Kraftfull superdator ska träna modeller för 45 europeiska språk

Uppgiften är att utveckla en serie öppna, stora flerspråkiga språkmodeller för 45 europeiska språk och dialekter, inklusive Europas alla 24 officiella språk. Träningen av språkmodellerna startar i slutet av maj, och målet är att ha de första modellerna klara inom några månader.

Här trimmas språkmodellerna

På Mare Nostrum 5 i Barcelona, en av de kraftfullaste superdatorerna i Europa, tränas dessa språkmodeller. Mare Nostrum 5 är en del av Barcelona Supercomputing Center och EuroHPC, som finansieras av EU. Här antas de projekt som bedöms ha störst potential.

– Den tilldelning som vi har fått på Mare Nostrum 5 utgör en beräkningskapacitet som är avsevärt mycket större än vad som finns tillgängligt nationellt. Vi ser att både offentlig och privat sektor i EU frågar efter öppna, kraftfulla språkmodeller som är tränade för de europeiska språken. Det här är ett sätt att möta det behovet, säger Magnus Sahlgren, Head of Research, NLU, på AI Sweden, i ett pressmeddelande.

Den “extreme scale access” som AI Sweden och Fraunhofer IAIS nu fått innebär 8,8 miljoner beräkningstimmar på ett datorkluster som totalt består av 4480 stycken H100-GPU:er från Nvidia.

Utvalt samarbete 

Det är ingen slump att Fraunhofer IAIS och AI Swedens NLU-team har sammanförts i detta projekt. De är två av Europas ledande miljöer för utveckling av stora språkmodeller. Och för AI Sweden är Eurolingua-GPT ett av tre pågående EU-projekt kring språkmodeller som de deltar i. De andra två projekten är TrustLLM och Deploy AI.

– Det här är ett kvitto på att NLU-teamet hos oss på AI Sweden är en av de ledande forskargrupperna inom språkteknologi i Europa. Det ger Sverige en unik möjlighet att bidra till resten av Europa och skapa en attraktiv miljö i Sverige för att locka till oss de bästa talangerna och de viktigaste investeringarna, säger Mikael Ljungblom, Director Public Policy and International Relations, AI Sweden.