Genom att surfa vidare godkänner du att vi använder cookies. Jag förstår

En smartare it-nyhetssajt

Risken med partiska algoritmer

Ett problem med dagens AI-utveckling är att tekniken oftast designas av vita personer och män. Det menar forskaren Joy Boulamwini som granskat algoritmer inom ansiktsigenkänning hos olika storföretag och där kunnat bevisa att färgade personer och kvinnor misskrediteras. 

Text Fredrik Adolfsson Foto Fredrik Kron 16 maj 2019 digit

joy-buolamwini-nära.jpg

Joy Buolamwini på scen under Dell Technologies World.

Algoritmer finns överallt. De gör vår onlineshopping personifierad, vårt Netflix-tittande bekvämt och våra preventivmedel hormonfria. Men går de alltid att lita på? Eftersom de designas av människor med fördomar så blir inte algoritmerna alltid objektiva. Joy Buolamwini har forskat på partiska algoritmer inom ansiktsigenkänning på MIT och kommit fram med resultat som inte är speciellt hedersamma för alla AI-aktörer. På Dell Technologies World pratade hon om sin forskning. 

I början av sitt arbete lade hon in ansikten i olika AI-system och märkte där stora skillnader mellan kvinnor och män samt vita och svarta personer. I Amazons system så ansågs Oprah Winfrey vara en man, i IBM Watson så var Serena Williams en man och i Microsofts system så var en ung Michelle Obama en man.

65 procent rätt på svarta kvinnor

Det här ville Joy Buolamwini studera djupare och fortsatte med att lägga in mängder med personer i olika AI-system hos IBM, kinesiska Face++, Microsoft, Amazon och Kairos. 2017 undersökte hon bland annat förmågan hos IBM:s algoritm att sätta rätt kön utifrån ansikten och den totala  korrektheten blev 87,9 procent. Det kanske inte låter så lågt men när hon fördjupade undersökningen till kvinnor och män och olika hudfärger så varierade siffrorna betänkligt. IBM:s algoritm satte rätt kön på 99,7 procent av de vita männen, 92,9 procent av de vita kvinnorna, 88 procent av de svarta männen och 65,3 procent av de svarta kvinnorna.

 Vi hörde sedan av oss till företagen med resultaten och fick svar från en del av dem. Vi hörde inget från Face++, Microsoft lanserade en ny variant i somras och IBM kom faktiskt ut med en ny API dagen efter att vi släppte vår forskning till allmänheten. Då hade de fått upp sin sammanlagda korrekthet till 95,6 procent, så förändring och förbättring är absolut möjligt. 

Bevis på underrepresentation

När människors liv och värdighet står på spel så måste AI utvecklas och användas med omsorg och övervakning.

Samma problematik fanns hos Amazons algoritm, som bland annat används av rättsväsendet i USA. I en undersökning 2018 gissade Amazons algoritm rätt kön på 100 procent av de vita männen men bara 68,6 procent av de svarta kvinnorna.

Enligt Joy Buolamwini är det ett bevis på underrepresentationen av dels kvinnor och dels svarta personer inom tech-världen och i de grupper som designar AI, vilket har skapat en teknik optimerad för bara en liten del av världen.

– Faktumet att tekniken inte klassar svarta ansikten speciellt väl kan bland annat leda till en missidentifiering av misstänkta personer vid brott. När människors liv och värdighet står på spel så måste AI utvecklas och användas med omsorg och övervakning. 

Startat två organisationer

För att försöka göra tekniken etiskt korrekt och inkluderande för alla så har Joy Buolamwini grundat Algorithmic Justice League, som arbetar med att uppmärksamma, identifiera och mildra problemen.

– Vi vill öka medvetenheten om partiska algoritmer och de samhälleliga konsekvenserna av AI. Vi utvecklar också verktyg för att utforska subjektivitet i data samt inkluderande metoder och standarder för design, utveckling och övervakning av AI.

– Jag har också startat nya Safe Face Pledge som ska förhindra missbruket av ansiktsanalys, den laglösa polisanvändningen och där vi kräver insyn i alla myndighetsanvändningar. Än så länge har tre företag skrivit på och vill vara med i rörelsen. 

joy-och-brian.jpg

Joy Buolamwini tillsammans med Brian Reaves från Dell Technologies.

Men vad kan alla andra göra för att fortsätta arbeta bort problemen med partisk AI och försöka göra världen mer rättvis? Joy Buolamwini har ett antal tips till företagen som utvecklar framtidens teknik och de handlar mycket om att våga ställa rätt sorts frågor.

– Två frågor kan vara: Vilka exkluderas i vår kultur? Vilka fördomar lurar i våra produkter? Överrepresenteras vissa grupper? Vilka känner sig möjligen överskuggade? Och lyssna på tystade röster. Vilka blir inte lyssnade på? Varför blir de nedtystade?

– Det gäller också att se på fördomar som på sin personliga hygien. Man kan inte duscha en gång per år och sedan tro att man är färdig, utan det gäller att hela tiden ha pågående processer för att arbeta bort detta. Vi människor kommer alltid ha förutfattade meningar så vi måste skapa dessa processer som hjälper till att identifiera och adressera dem.

– Våga också drömma och se framför dig hur det ser ut när vi bygger teknik där rättvisa och inkludering är de viktigaste delarna.

Rekommenderad läsning

Kapitolium

Nya appar efter attacken

18 jan 2021 digit

Efter attacken på Kapitolium i USA har de stora sociala medie-plattformarna tröttnat på hetsiga inlägg från Donald Trump och hans anhängare. Men det finns andra plattformar som välkomnar dessa.

Filament För 3D Printer

Svensk sand i 3D

13 jan 2021 digit

Idag används sand från Tyskland i 3D-skrivare, trots att svensk sand skulle innebära en bättre kvalitet till en lägre kostnad och ökad hållbarhet. Det konstaterar ett forskningsprojekt vid Rise.

Drapperad Kinesisk Flagga

Geelys nya partner

12 jan 2021 digit

Bilkoncernen Geely ska starta ett nytt bolag tillsammans med techbolaget Baidu som driver Kinas största sökmotor. Tillsammans ska de utveckla elektrifierade fordon.

En Genomskinlig Cell, Conceptbild

Revolution med Googles AI

11 dec 2020 digit

Alphafold är Deepminds nya AI som kan kartlägga ett proteins tredimensionella form. Enligt forskarna bakom är det ett väldigt stort genombrott för den medicinska vetenskapen.

Farmdjur Tittar Över Ett Staket

Vår nya kompis

3 dec 2020 digit

Roboten ska inte behandlas som en människa eller som en sak, utan snarare som ett djur. På så sätt kan vi förbättra ett förhållande med empati. Det menar robotetikforskare Kate Darling.

Vit Ytterdörr Med Fin Blomma Framför

Lantmäteriets rapport

1 dec 2020 digit

Digitaliserad fastighetsbildning kommer att ge positiva effekter när det gäller både kvalitet, kostnad och tid. Det framgår i en slutrapport som Lantmäteriet nu överlämnar till regeringen.

Stamceller I 3D

Spel-AI för celler

2 nov 2020 digit

En AI-baserad teknik för att analysera sociala nätverk har fått betydelse för individanpassad vård och framtidens läkemedel. Det är forskare vid Uppsala universitet som sett möjligheterna med den avancerade bildanalystekniken för att hantera viktig information som andra metoder missar.

Kläder Höst AI 960640

AI för mode

27 okt 2020 digit

AI och big data kan innebära en klädindustri med mer kundanpassade produkter och en hållbarare produktion och konsumtion. Det slås fast i en avhandling från Högskolan i Borås.

Hund Med Ar Glasögon

AR för hundar

9 okt 2020 digit

Hundar med AR-headset kan ta kommandon, utan att en människa är i närheten. Det är den amerikanska armén som just nu testar AR-glasögon för hundar.