Åpen og rettferdig kunstig intelligens

Denne artikkelen er den første i en serie på tre artikler om kunstig intelligens og hvordan det utfordrer rettferdighets- og åpenhetsprinsippet i personvernforordningen art. 5 nr. 1 (a).[1] De neste artiklene vil bli publisert i Lov&Datas 4. utgave 2022 og 1. utgave 2023.

Dagens teknologi gjør det mulig å samle inn, dele og sammenstille store mengder personopplysninger og andre data.[2] Denne muligheten har gitt grobunn for utviklingen av kunstig intelligens (KI) på et nytt nivå. KI har et vidt anvendelsesområde; det kan bidra til alt fra å effektivisere byråkratiske prosesser til å hjelpe leger med å forutsi faren for hjertesvikt. KI har åpenbare fordeler, og brukes stadig mer.[3] For eksempel blir KI stadig oftere benyttet til beslutningsstøtte, nettopp av effektiviseringshensyn. Denne artikkelserien tar derfor for seg KI brukt som beslutningsstøtte.

Bruken av KI innebærer imidlertid utfordringer for personvernet. Manglende transparens og urettferdighet trekkes gjennomgående frem som problematiske forhold ved KI. Artikkelserien skal derfor sette søkelys på manglende transparens og urettferdighet ved bruk av KI som beslutningsstøtte. I første omgang vil jeg trekke frem noen elementer ved utviklingsmetoden av KI som gjør det utfordrende å overholde åpenhets- og rettferdighetsprinsippet.[4]

Retten til åpen og rettferdig behandling av personopplysninger

Prinsippene om åpenhet og rettferdighet fremgår av det som gjerne kalles for personvernets grunnlov: personvernforordningens grunnleggende prinsipper i art. 5. Prinsippene legger premissene for hva som er lovlig behandling av personopplysninger.

Kravet om åpenhet er viktig for at den registrerte skal forstå hva som skjer med sine opplysninger. Åpenhetskravet er todelt. For det første forutsetter åpenhet at behandlingsansvarlig gir informasjon om behandlingen av personopplysninger (innholdskrav).[5] For det andre må informasjonen være forståelig for den registrerte (formkrav).[6] Åpenhet er essensielt for å skape tillit til behandlingsprosessen og er en forutsetning for at den registrerte kan vurdere om behandlingen tilfredsstiller personvernforordningens krav.

Ordet «rettferdig» i personvernforordningen art. 5 (1) a) tilsier at behandlingen må være rimelig og ligge innenfor de moralske og etiske normene som følger av lover og regler, men også innenfor samfunnets rettferdighetsoppfatning. Utover dette er rettferdighet et vidt begrep med et bredt anvendelsesområde. Rettferdighet innebærer blant annet krav til lovlighet, åpenhet, fravær av uønsket forskjellsbehandling og at det tas hensyn til asymmetrisk maktbalanse. Videre spiller etikk og moral, kultur og kontekst inn på hva som oppfattes som rettferdig.

Åpenhet er essensielt for å skape tillit til behandlingsprosessen og er en forutsetning for at den registrerte kan vurdere om behandlingen tilfredsstiller personvernforordningens krav. 

Ettersom personvernforordningen er teknologinøytral, omfatter kravene i forordningen også behandling av personopplysninger ved hjelp av ny teknologi, som KI. Bruk av KI som beslutningsstøtte må altså tilfredsstille både form- og innholdskravet for åpenhet, samt alle aspektene ved rettferdighetskravet.

Hvordan utvikles KI?

For å forstå åpenhets- og rettferdighetsutfordringene KI medfører er det nødvendig med en minimumsforståelse av hvordan KI utvikles.

De siste årene har maskinlæring og dyplæring (samlet omtalt som maskinlæring) blitt de vanligste måtene å utvikle KI på. Maskinlæring skaper utfordringer for åpenhet- og rettferdighet blant annet fordi programvaren lærer fra erfaringer og kan handle uten å bli spesifikt programmert.[7] Når man utvikler maskinlæringssystemer gir man et system av algoritmer tilgang på data (input) som systemet på egenhånd analyserer og trekker ut erfaringer fra, basert på mønstre og sammenhenger i dataene.[8] Algoritmene lærer fra dataene, og forbedrer seg selv ved at parameterne i algoritmene justeres ettersom den ser flere læringseksempler. Gjennom prøving og feiling blir systemet mer og mer nøyaktig.[9] Denne prosessen kalles å trene algoritmen. Når en algoritme er tilstrekkelig trent, klarer den å prosessere ukjent informasjon og komme med et eget, og forhåpentligvis korrekt svar (output).

Historiske data brukes ofte til treningen, ettersom maskinlæring krever store mengder treningsdata. For eksempel kan programmererne gi algoritmene tilgang på de faktiske hendelsene og resultatet i alle fengslingskjennelser fra 1900 og frem til i dag. Algoritmene vil da analysere de faktiske hendelsene og se hvilke faktorer som går igjen for de utfallene der gjerningspersonen blir dømt. Dommene fra 1900-1950 kan for eksempel vise at det var større sannsynlighet for å bli dømt om man ikke brukte briller. Dommene fra 1950-2000 kan eksempelvis vise at dersom den fornærmede var ektefellen til gjerningspersonen, var det større sannsynlighet for domfellelse. I tillegg kan det vise det seg at de ektefellene som var arbeidsledige oftere ble dømt enn de som hadde en jobb. Algoritmene vil da tolke dette som at brillebruk tilsier at man ikke skal dømmes, mens en ektefellerelasjon til fornærmede og arbeidsledighet vil tale for å dømme den tiltalte.

Algoritmene lærer fra dataene, og forbedrer seg selv ved at parameterne i algoritmene justeres ettersom den ser flere læringseksempler. Gjennom prøving og feiling blir systemet mer og mer nøyaktig. 

Det er flere faktorer som kan påvirke hvor treffsikker KIen blir. Resultatene kan bli mer treffsikre jo mer data algoritmene lærer fra.[10] Treffsikkerheten avhenger også av dataenes kvalitet og hvordan dataene er bygget opp.[11] Dersom det bare hadde vært mengden data som avgjorde hvor treffsikker algoritmene blir, kunne man tenkt seg at det var nyttig å trene KIen på kinesiske fengslingskjennelser, som det jo finnes mange av. Men fordi kinesisk domspraksis og lover avviker fra våre, vil de kinesiske dataene neppe egne seg til å si noe om den norske befolkningen eller norsk domspraksis. Dersom de kinesiske kjennelsene viser at myndighetskritikere oftere fengsles, lærer algoritmen seg at det er riktig løsning. Dermed ville ikke en algoritme trent på kinesiske data oppfylt de norske kravene til rettferdighet. Store mengder data er en forutsetning for å trene algoritmen, men en godt trent algoritme vil være verdiløs om dataene den trenes på har for dårlig kvalitet eller ikke tilpasses.

Når algoritmer trenes dannes det nevralaktige nettverk. Nettverkene består av ulike inputfaktorer og sammenhengen mellom disse.[12] Fra eksempelet over kan det være sammenhengen mellom at gjerningspersonen er ektefellen til fornærmede og at vedkommende ikke bruker briller. De nevrale nettverkene er bygget opp med ett inputlag (de faktiske hendelsene i eksempelet over), flere skjulte lag (sammenhengen mellom brillebruk og relasjon til fornærmede) og ett outputlag (domsresultatet). Algoritmene er i stand til å se sammenhenger som mennesker ikke klarer å fange opp på grunn av de store datamengdene systemet klarer å prosessere.[13] Mens en dommer kanskje merker seg at ektefeller ofte blir fengslet, er det ikke sikkert de ser sammenhengen mellom at de som bruker briller fengsles sjeldnere. Jo mer data KIen får trene algoritmene på, jo flere lag med nettverk kan dannes, og jo flere lag med nettverk som dannes, jo «dypere» blir nettverkene.[14]

Den sorte boksen og algoritmeskjevhet

Algoritmene justerer selv vekten mellom parameterne i lagene.[15] Når nettverkene blir dype nok, blir modellen så komplekst sammensatt at mennesker ikke klarer å forstå hvilke sammenhenger og tilpasninger algoritmen gjør i de ulike lagene.[16] Det ville tatt mennesker uoverkommelig lang tid å regne ut matematikken bak et stort nevralt nettverk. Dette gjør det umulig selv for utviklerne av KIen å forklare hvorfor systemet løste oppgaven som den gjorde.[17] Det er kompleksiteten av modellen, som blant annet kommer av de dype nevrale nettverkene, som danner grunnlaget for «den svarte boks' problem».[18] Vektingen og justeringen algoritmen gjør i de skjulte lagene medfører at beslutningsprosessen til KIen er like ugjennomsiktig som en svart boks. Dette gjør det utfordrende å oppfylle personvernforordningens krav til åpenhet.

Algoritmene er i stand til å se sammenhenger som mennesker ikke klarer å fange opp på grunn av de store datamengdene systemet klarer å prosessere. 

Det er ikke bare hvordan de ulike faktorene vektes mot hverandre som kan medføre at algoritmene gir uønskede svar, men også hvilke faktorer som tillegges vekt. Et eksempel er en algoritme som ble trent til å klassifisere bilder av hunder og ulver. Resultatet av KIens analyse var at bildene med snø i bakgrunnen oftest ble klassifisert som ulvebilder.[19] KIen vektla altså en irrelevant faktor for å bestemme utfallet. I eksempelet over reagerte du sikkert på at det var større sannsynlighet for å bli fengslet dersom du ikke bruker briller. Hvor godt eller dårlig syn du har skal jo ikke ha noe å si for om du oppfyller straffeprosesslovens vilkår for fengsling. Ettersom det i praksis ikke er mulig å forklare hvordan KIen har løst oppgaven den har fått, vet vi heller ikke hvilke faktorer KIen har vektlagt for å avgjøre spørsmålet.

Selv om KI tar beslutninger langt raskere, og tar hensyn til langt flere faktorer og sammenhenger enn det mennesker klarer, er den ikke feilfri.[20] Feilene stammer gjerne fra at dataene som brukes for å trene KIen ikke er gode nok, eksempelvis at dataen er mangelfull eller inneholder skjevheter eller diskriminering.[21] KIen vil da lære av den diskriminerende praksisen, og kan skape eller forsterke uønsket forskjellsbehandling. Algoritmeskjevhet (på engelsk «machine bias») kan defineres som systematiske og gjentatte feilslutninger i KI-systemer som medfører uønskede utfall, eksempelvis at en gruppe mennesker prioriteres over en annen. 

Dette utfordrer retten til rettferdig behandling av personopplysninger.

Algoritmeskjevhet (på engelsk «machine bias») kan defineres som systematiske og gjentatte feilslutninger i KI-systemer som medfører uønskede utfall, eksempelvis at en gruppe mennesker prioriteres over en annen.

Oppsummering

Du vet nå at utvikling av KI krever mye data av høy kvalitet, og at måten KI lærer på i praksis ofte gjør det umulig å forklare logikken bak algoritmens slutninger. Du ser derfor også antagelig hvordan KI gir noen utfordringer når åpenhets- og rettferdighetsprinsippet skal oppfylles. Neste artikkel vil gå dypere inn i åpenhetsprinsippet og de utfordringene som oppstår i møtet mellom KI og åpenhet.

Artikkelen er publisert i Lov&Datas 3. utgave 2022 s. 4-6. 

Skrevet av Thale Cecilia Gautier Gjerdsbakk (tcgg@bull.no), advokatfullmektig med spesialisering innen personvern, teknologi og kunstig intelligens i BULL.

[1] Europaparlamentets og Rådets forordning (EU) 2016/679 av 27. april 2016 om vern av fysiske personer i forbindelse med behandling av personopplysninger og om fri utveksling av slike opplysninger samt om oppheving av direktiv 95/46/EF [personvernforordningen].

[2] Personvernforordnongens fortalepunkt 6.

[3] NOU 2020:11 Den tredje statsmakt - Domstolene i endring, s. 254.

[4] Personvernforordningen art. 5 nr. 1 (a).

[5] Personvernforordningen art. 13 og 14.

[6] Personvernforordningen art. 12 nr. 1.

[7] Bendiksen, Christian & Hansen, Eirik Norman, Når juss møter AI, Gydendal 2019, s. 19.

[8] Datatilsynet Kunstig intelligens og personvern, publisert januar 2018. Tilgjengelig på: https://www.datatilsynet.no/globalassets/global/dokumenter-pdfer-skjema-ol/rettigheter-og-plikter/rapporter/rapport-om-ki-og-personvern.pdf (lest 26.08.2022), s. 6.

[9] NOU 2020:11 s. 254.

[10] Datatilsynet (2018), s. 10.

[11] Ibid.

[12] Bendiksen og Hansen (2019), s. 19.

[13] NOU 2020:11, s. 254.

[14] Datatilsynet (2018), s. 13.

[15] Ibid., s. 11.

[16] NOU 2020:11 s. 254

[17] Datatilsynet (2018), s. 12.

[18] Ibid.

[19] Ribeiro, Singh og Guestrin, «Why Should I Trust You?" Explaining the Predictions of Any Classifier, publisert august 2016. Tilgjengelig på: https://arxiv.org/pdf/1602.04938.pdf (lest 26.08.2022), punkt 6.4.

[20] NOU 2020:11, s. 254.

[21] Ibid.