AI-assistenter inte en pålitlig källa för nyhetskonsumtion

Europeiska radio- och TV-unionen (EBU) har i samarbete med BCC granskat hur de fyra AI-tjänsterna Chat GPT, Copilot, Gemini och Perplexity besvarar frågor om nyheter och aktuella händelser. I undersökningen granskades 3 000 AI-genererade svar av 22 public servicebolag från 18 länder, på 14 olika språk. Däribland svenska SVT. 

Undersökningen visar att AI-assisternas svar innehöll minst ett allvarligt fel i 45 procent av fallen. De gäller bland annat felaktiga sammanfattningar, citat som inte stämde överens med originalkällan och länkar till artiklar som var daterade eller inte existerade.  

Brister i källhantering 

I undersökningen kan man läsa att en oroande trend är hur AI-assistenterna behandlar alla källor som lika pålitliga. Innehåll från sociala medier, tankesmedjor eller personliga bloggar lyfts ofta fram på samma sätt som material från etablerade nyhetsredaktioner – vilket gör det svårt för användaren att avgöra vad som bygger på verifierade fakta och vad som bygger på åsikter eller spekulationer.

Gällande brister i källhantering stack Gemeni ut med allvarliga fel i 76 procent av svaren jämfört med de andra assistenterna (Chat GPT, Copilot och Perplexity) som ligger på mellan 30 och 37 procent. 

Vilseledande auktoritet 

Rapporten nämner också AI-assisternas benägenhet att svara på frågor oavsett om de faktiskt kan ge ett korrekt svar eller inte – ett fenomen som brukar kallas för AI-hallucination. De deltagande organisationerna tar upp den självsäkra ton som assistenterna använder i sina svar, deras bristande förmåga att sätta tvivel i sammanhang och hur källor presenteras – faktorer som i sin tur skapar en falsk känsla av auktoritet.  

– Även om assistenten gör ett misstag fortsätter den att generera och utveckla ett svar, ibland baserat på felaktig information, enligt analys från Ukrainas public servicebolag Suspline.  

Representanter från BBC är inne på samma spår och menar att AI:n misslyckas med att besvara frågor med ett enkelt ”vet inte”. I stället försöker den fylla kunskapsluckan med förklaringar till skillnad mot vad en skicklig journalist skulle ha gjort – klargöra var gränsen går för vad vi faktiskt vet är sant. 

I nuläget har Open AI, Microsoft, Google och Perplexity AI inte kommenterat undersökningen.