Genom att surfa vidare godkänner du att vi använder cookies. Jag förstår

En smartare it-nyhetssajt

Risken med partiska algoritmer

Ett problem med dagens AI-utveckling är att tekniken oftast designas av vita personer och män. Det menar forskaren Joy Boulamwini som granskat algoritmer inom ansiktsigenkänning hos olika storföretag och där kunnat bevisa att färgade personer och kvinnor misskrediteras. 

Text Fredrik Adolfsson Foto Fredrik Kron 16 maj 2019 digit

joy-buolamwini-nära.jpg

Joy Buolamwini på scen under Dell Technologies World.

Algoritmer finns överallt. De gör vår onlineshopping personifierad, vårt Netflix-tittande bekvämt och våra preventivmedel hormonfria. Men går de alltid att lita på? Eftersom de designas av människor med fördomar så blir inte algoritmerna alltid objektiva. Joy Buolamwini har forskat på partiska algoritmer inom ansiktsigenkänning på MIT och kommit fram med resultat som inte är speciellt hedersamma för alla AI-aktörer. På Dell Technologies World pratade hon om sin forskning. 

I början av sitt arbete lade hon in ansikten i olika AI-system och märkte där stora skillnader mellan kvinnor och män samt vita och svarta personer. I Amazons system så ansågs Oprah Winfrey vara en man, i IBM Watson så var Serena Williams en man och i Microsofts system så var en ung Michelle Obama en man.

65 procent rätt på svarta kvinnor

Det här ville Joy Buolamwini studera djupare och fortsatte med att lägga in mängder med personer i olika AI-system hos IBM, kinesiska Face++, Microsoft, Amazon och Kairos. 2017 undersökte hon bland annat förmågan hos IBM:s algoritm att sätta rätt kön utifrån ansikten och den totala  korrektheten blev 87,9 procent. Det kanske inte låter så lågt men när hon fördjupade undersökningen till kvinnor och män och olika hudfärger så varierade siffrorna betänkligt. IBM:s algoritm satte rätt kön på 99,7 procent av de vita männen, 92,9 procent av de vita kvinnorna, 88 procent av de svarta männen och 65,3 procent av de svarta kvinnorna.

 Vi hörde sedan av oss till företagen med resultaten och fick svar från en del av dem. Vi hörde inget från Face++, Microsoft lanserade en ny variant i somras och IBM kom faktiskt ut med en ny API dagen efter att vi släppte vår forskning till allmänheten. Då hade de fått upp sin sammanlagda korrekthet till 95,6 procent, så förändring och förbättring är absolut möjligt. 

Bevis på underrepresentation

När människors liv och värdighet står på spel så måste AI utvecklas och användas med omsorg och övervakning.

Samma problematik fanns hos Amazons algoritm, som bland annat används av rättsväsendet i USA. I en undersökning 2018 gissade Amazons algoritm rätt kön på 100 procent av de vita männen men bara 68,6 procent av de svarta kvinnorna.

Enligt Joy Buolamwini är det ett bevis på underrepresentationen av dels kvinnor och dels svarta personer inom tech-världen och i de grupper som designar AI, vilket har skapat en teknik optimerad för bara en liten del av världen.

– Faktumet att tekniken inte klassar svarta ansikten speciellt väl kan bland annat leda till en missidentifiering av misstänkta personer vid brott. När människors liv och värdighet står på spel så måste AI utvecklas och användas med omsorg och övervakning. 

Startat två organisationer

För att försöka göra tekniken etiskt korrekt och inkluderande för alla så har Joy Buolamwini grundat Algorithmic Justice League, som arbetar med att uppmärksamma, identifiera och mildra problemen.

– Vi vill öka medvetenheten om partiska algoritmer och de samhälleliga konsekvenserna av AI. Vi utvecklar också verktyg för att utforska subjektivitet i data samt inkluderande metoder och standarder för design, utveckling och övervakning av AI.

– Jag har också startat nya Safe Face Pledge som ska förhindra missbruket av ansiktsanalys, den laglösa polisanvändningen och där vi kräver insyn i alla myndighetsanvändningar. Än så länge har tre företag skrivit på och vill vara med i rörelsen. 

joy-och-brian.jpg

Joy Buolamwini tillsammans med Brian Reaves från Dell Technologies.

Men vad kan alla andra göra för att fortsätta arbeta bort problemen med partisk AI och försöka göra världen mer rättvis? Joy Buolamwini har ett antal tips till företagen som utvecklar framtidens teknik och de handlar mycket om att våga ställa rätt sorts frågor.

– Två frågor kan vara: Vilka exkluderas i vår kultur? Vilka fördomar lurar i våra produkter? Överrepresenteras vissa grupper? Vilka känner sig möjligen överskuggade? Och lyssna på tystade röster. Vilka blir inte lyssnade på? Varför blir de nedtystade?

– Det gäller också att se på fördomar som på sin personliga hygien. Man kan inte duscha en gång per år och sedan tro att man är färdig, utan det gäller att hela tiden ha pågående processer för att arbeta bort detta. Vi människor kommer alltid ha förutfattade meningar så vi måste skapa dessa processer som hjälper till att identifiera och adressera dem.

– Våga också drömma och se framför dig hur det ser ut när vi bygger teknik där rättvisa och inkludering är de viktigaste delarna.

Rekommenderad läsning

diskmaskin.jpg
video

Första smarta roboten

22 mar 2019 digit

Genom det nya KPAM-systemet så kan robotar identifiera, plocka upp och hantera föremål som den inte sett tidigare. Detta kan vara till stor hjälp på bland annat fabriker och ses som ett genombrott då robotar tidigare krävt förprogrammering.

bowie.jpg

Algoritm som artist

25 mar 2019 digit

Första skivkontraktet med en algoritm har signerats. Warner Music har kommit överens med tyska appen Endel om att producera 20 album under 2019.

skog-sveaskog.jpg

Satellit skyddar skogen

23 apr 2019 digit

Sveaskog vill se ett slut på granbarkborrens förstöring av den svenska skogen. Därför har bolaget börjat använda sig av en intelligent satellitlösning som i realtid visualiserar insekternas framfart.

stockholm-stad-i-varlden.jpg

Stad i världen 2.0

7 mar 2019 digit

KTH och MIT, ett av världens högst rankade universitet, inleder ett samarbete kring stadsplanering och stadsutveckling med Stockholms stad i fokus för forskningen. Målet är att utveckla en smartare stad med hjälp av nyinsamlad data och AI.

svart-att-prata.jpg
video

Datorn läser dina tankar

18 apr 2018 digit

MIT-forskare har utvecklat ett datorgränssnitt som kan transkribera ord som användaren formulerar för sig själv, subvokaliserar, men inte uttalar högt. Lösningen öppnar bland annat för en ny och sömlös användning av appar och sökmotorer.

ai-robot-hållbar-AI-Daniel-Akenine.jpg

Den nya ansvarsfulla intelligensen

22 feb 2018 digit

Artificiell intelligens som ärver människans fördomar, arbetsplatser där de anställda slutar och algoritmer som gör läkare och piloter överflödiga. Daniel Akenine, Microsoft, är initiativtagare till det humanistiska initiativet addAI.org som arbetar för att AI blir ansvarsfullt och människovänligt.

kth-självseglande-båt-960640.jpg

Självkör i vind

15 mar 2018 digit

Snart kan du ute till sjöss möta på en segelbåt utan besättning. På KTH forskas det om autonoma segelbåtar som ska kunna segla i en månad oberoende av väder helt utan mänsklig hjälp.

Kundvagn i gang_2.jpg

Minutsnabba svar på BI-frågor

27 dec 2017 digit

Forskare vid MIT-spinnoffen Endor har utvecklat ett AI-baserat beslutsstöd för affärsvärlden som är lika enkelt att använda som Google och svarar på strategiskt viktiga frågor inom några minuter.

AdobeStock_55861092.jpeg

GDPR och hot mot AI

20 mar 2018 säkerhet

De flesta har idag koll på GDPR och personuppgifter men vad gäller när datan används till AI? Michael Veale, University College i London, forskar om öppenheten hos algoritmiska system i beslutsfattandet.