Risk för diskriminering vid användandet av AI

I takt med den tekniska utvecklingen och det ökade användandet av artificiell intelligens (”AI”), har det förts diskussioner om hur användning av AI-teknik riskerar att leda till diskriminering. I december 2021 släpptes en FN-rapport om hur AI-teknik särskilt påverkar personer med funktionsnedsättning. I rapporten framhålls visserligen att utvecklingen av AI-teknik innebär stora möjligheter för personer med funktionsnedsättning, exempelvis genom hjälpmedelsteknik. Det handlar bland annat om system som möjliggör för personer att få tillgång till utbildning och vård eller annan hjälp i hemmet.

Samtidigt pekar rapporten på ett antal risker med AI-teknik kopplat till möjligheten för personer med funktionsnedsättning att tillgodogöra sig sina rättigheter som både samhällsmedborgare, konsumenter och arbetstagare. Forskning har bland annat visat att AI-teknik som baseras på diskriminerande och fördomsfulla data, i vissa fall begränsar rätten till sociala trygghetsförmåner såsom arbetslöshetsstöd. Därtill kan felaktiga riskbedömningar av AI-teknik leda till att personer med funktionsnedsättning exempelvis nekas tillgång till privata sjukförsäkringar eller får en felaktig ökning av sjukförsäkringspremierna.

Ytterligare ett exempel är att ett företag som använder AI-teknik i sin rekryteringsprocess riskerar att diskriminera arbetssökanden, om systemet är uppbyggt på eller lär sig av diskriminerande eller fördomsfulla data. Det blir också allt mer populärt att under anställningsintervjuer ta hjälp av AI-baserade system som bedömer den arbetssökande utifrån mer än de sedvanliga personlighetstesterna. Rapporten menar att allt fler använder AI-teknik där algoritmen ofta söker efter karaktärsdrag såsom känslomässig stabilitet och impulsivitet, men att det också kan mäta ansiktsuttryck, ögonkontakt och entusiasm hos den arbetssökande. AI-teknik har dock ofta svårt att läsa av ansiktsuttryck hos personer med funktionsnedsättning vilket kan leda till att de utesluts som kandidater i rekryteringsprocessen, trots att de egentligen är lämpade för arbetet.

I en annan nyligen publicerad rapport har Diskrimineringsombudsmannen (”DO”) kartlagt hur svenska förvaltningsmyndigheter använder AI-teknik och vilken kunskap de har om risken för diskriminering i förhållande till detta. Rapporten visar att endast ett fåtal myndigheter använder AI-teknik i sin verksamhet men att majoriteten av de myndigheter som använder automatiserat beslutsfattande, saknar tydliga styrdokument för att säkerställa att diskriminering inte sker. DO menar att flera myndigheter gör både riskanalyser och kvalitetsuppföljningar av användandet av AI-teknik, men att de sällan beaktar just diskrimineringsgrunderna.

På lagstiftningens område har initiativ tagits av EU-kommissionen för att minska risken för diskriminering vid användandet av AI genom ett förslag på förordning om harmoniserande regler för AI som vi skrivit om på bloggen tidigare. Förslaget skulle innebära att särskilda krav skulle ställas på användning och utveckling av AI-teknik utifrån den risk som tillämpningen utgör. Vissa tillämpningar av AI-teknik förslås till och med att förbjudas helt och hållet. Från svenskt håll har förslaget välkomnats av exempelvis DO och Jämställdhetsmyndigheten.

Förslaget diskuteras fortfarande inom EU men bör inom en hyfsat snar framtid läggas fram för omröstning i EU-parlamentet. Vi kommer därför med säkerhet ha anledning att återkomma till förordningen och dess effekter.

Du kan läsa vårt tidigare blogginlägg om EU-kommissionens förslag här: Historiskt förslag till AI-lagstiftning från EU-kommissionen.