AI som inte diskriminerar

Leder AI till att vi i högre grad styrs mot digitala lösningar för ”Medelsvensson”? Vad ska vi göra för att cirka 20 procent av befolkningen ska slippa hamna utanför?

På Offentliga rummet den 12 juni 2019, tog vi med deltagare på en resa tillsammans med Jutta Treviranus, en professor från Kanada som ägnat hela sin karriär åt inkluderande design. Jutta Treviranus utmanar våra tankar om vad som ligger till grund för beslutsfattande med stöd av AI. Hon inspirerar oss till andra sätt att tänka för att skapa en hållbar framtid som skapar nytta för fler.

Ett avgörande ögonblick
Tänk dig att du medverkar i ett projekt som handlar om självkörande fordon, och du inser att om det som planeras skulle bli verklighet skulle en av dina vänner bli överkörd. Det hände Jutta Treviranus 2016 när hon medverkade i ett projekt om självkörande fordon som initierats av Kanadas regering. Olika inlärningsmodeller för automatiserade fordon testades i en trafikkorsning. Det visade sig att om en person, som Juttas vän Alice, som alltid tar sig över trafikkorsningar baklänges i sin rullstol, skulle befinna sig korsningen, så skulle hon köras över. När utvecklingsgruppen lovade att mer data skulle lösa problemet, stämde det inte. Tvärtom, vid nästa testtillfälle, visade det sig att alla modeller som testades körde över Alice igen. Denna gång med ännu större säkerhet.

En exploderande stjärna
Jutta Treviranus använder bilden av en exploderande stjärna för att förklara hur data som samlas in formerar sig. Cirka 80 procent samlas i ett tätt kluster i mitten, på ungefär 20 procent av ytan. Ju längre ut vi kommer i de taggiga kanterna av stjärnformationen, desto mer utspridda blir prickarna som illustrerar våra variationer. Mångfalden kan bero på olika kulturer, språk, hur vi rör oss och hur vi förstår vår omgivning . Utanför centrum av stjärnan finns alltså 20 procent som sprids ut på 80 procent av ytan.

Detta mönster kallas ibland 80/20-regeln eller Paretoprincipen efter en forskare från slutet av 1800-talet. Richard Koch har senare tillämpat regeln på affärsområden. Budskapet har handlat om att det lönar sig att fokusera på de liknande behoven och strunta i ”de svåra 20 procenten”. Det kan också visas med normalfördelningskurvan i form av en kyrkklocka (”bell curve”) med en ”puckel i mitten”. För att hantera de som är i utkanterna, blir det ofta lösningar i efterhand, speciella och segregerande lösningar som sällan möter behoven.

Att förbereda sig för det oväntade
Den data vi samlar in handlar om det som redan hänt och därigenom upprepas samma mönster. För att planera och förbättra kollektivtrafik så ställer vi frågor till pendlare som reser samma väg varje dag. Men vi har inte data om alla olika orsaker till att människor inte använder bussen. Hur kan vi förbereda oss för det oväntade, för olika behov och testa besluten som inte fattades? På Centret för Inkluderande Design i Toronto arbetar Jutta Treviranus ständigt med olika projekt där man försöker hitta lösningar.

Jutta har till exempel testat att sålla bort mängden av liknande data så att olikheterna blir vanligare. Processen som Jutta kallar en ”gräsklippare” för rättvisa, visar att det visserligen tar längre tid att få fram resultat med en större variation av data, men Juttas vän skulle inte bli överkörd.

Olikheter, samskapande och bredare nytta
Alla projekt som Jutta Treviranus arbetar med utgår från respekt för olikheter, samskapande och att uppnå bredare nytta. Universitetet har utvecklat olika verktyg för samarbeten, utvärdering och även lösningar för att skydda integritet. Den som är ovanlig är oftast lätt att identifiera därför är integritetsskyddet oftast sämre för personer som anses utgöra de ”svåra 20 procenten”.

I ett projekt om inkluderande städer inspirerat av stadsplaneraren Jane Jacobs har människor med olika erfarenheter iscensatt hur deras närmiljön skulle se ut om man fattade andra beslut genom att använda teknik för virtuell verklighet (VR).

En rapport från Australien visar på nyttan med inkluderande design inom utbildning, detaljhandel och finansiella tjänster. På centret i Toronto har forskarna upptäckt att den intelligens och design som förstår och tjänar mångfald är bättre på att reagera på det oväntade, upptäcka risker, anpassa sig till förändring och har längre livslängd.  Uppmaningen är att våga ta sig an det som är komplext och uppnå mångfaldsbonus. Jutta Treviranus utmanar oss att ändra färdriktning mot ett samhälle som inte diskriminerar.

*I Sverige finns begreppet universell utformning i policy, bland annat kopplat till mål för funktionshinderpolitik, gestaltad livsmiljö och i den nationella upphandlingsstrategin. Det är samma begrepp som används i Konventionen om rättigheter för personer med funktionsnedsättning. I denna artikel om Jutta Treviranus, används det närliggande begreppet inkluderande design, som harmonierar utmärkt med innehållet i konventionen, så det är inte tänkt att markera skillnader i begrepp.

Presentation från seminariet på svenska

Presentation från seminariet (på Engelska)

Inspelad presentation av Jutta Treviranus från Offentliga rummet 2019