Åpne algoritmer

Artikkelen er publisert i Lov&Data 2022 nr. 4 s. 11–15 (LoD-2022-152-11).

Dette er den andre i en serie på tre artikler om kunstig intelligens og hvordan det utfordrer rettferdighets- og åpenhetsprinsippet i personvernforordningen (pvf.) art. 5 nr. 1 (a).[1] Den første artikkelen ble publisert i Lov & Datas 3. utgave 2022 og den neste publiseres i 1. utgave 2023.

Dagens teknologi gjør det mulig å samle inn, dele og sammenstille store mengder personopplysninger og andre data.[2] Denne muligheten har gitt grobunn for utviklingen av kunstig intelligens (KI) på et nytt nivå. KI har et vidt anvendelsesområde; det kan bidra til alt fra å effektivisere byråkratiske prosesser til å hjelpe leger med å forutsi faren for hjertesvikt. KI har åpenbare fordeler, og brukes stadig mer.[3] For eksempel blir KI stadig oftere benyttet til beslutningsstøtte, nettopp av effektiviseringshensyn. Med beslutningsstøtte mener jeg tilfeller der KI brukes som ledd i å fatte en beslutning, men ikke helautomatiserte avgjørelser etter pvf. art. 22 nr. 1. Det er KI brukt som beslutningsstøtte artikkelserien tar for seg.

Bruken av KI innebærer imidlertid utfordringer for personvernet. Manglende transparens (åpenhet) og urettferdighet trekkes gjennomgående frem som problematiske forhold ved KI. Denne artikkelen fokuserer på åpenhetsprinsippet i pvf. art. 5 nr. 1 (a) og problemstillinger knyttet til overholdelsen av åpenhetsprinsippet ved bruk av KI som beslutningsstøtte.[4]

Åpenhetsprinsippets formål

Et av de overordnede målene med personvernforordningen er å gi enkeltpersoner kontroll over egne opplysninger. En forutsetning for kontroll er at man vet hva som skjer med egne opplysninger – det vil si åpenhet. Det er derfor på sin plass at åpenhetsprinsippet er plassert i artikkelen som gjerne kalles for personvernets grunnlov: personvernforordningens grunnleggende prinsipper i art. 5. Etter art. 5 nr. 1 (a) skal personopplysninger «behandles på en (…) åpen måte». Åpenhet er en forutsetning for at den registrerte skal kunne vurdere om behandlingen tilfredsstiller personvernforordningens krav og er avgjørende for å skape tillit til behandlingsprosessen.

Retten til åpen behandling av personopplysninger

Åpenhetsprinsippet er utdypet med mer konkrete krav til informasjonen som skal gis til de registrerte i pvf. art. 12-15. Kravet til åpenhet er todelt. For det første forutsetter åpenhet at behandlingsansvarlige gir en bestemt type informasjon om behandlingen av personopplysninger, jf. pvf. art 13, 14 og 15 (innholdskrav).[5] For det andre må informasjonen være forståelig for den registrerte, jf. pvf. art. 12 (formkrav).[6] Det er den behandlingsansvarliges ansvar at informasjonen er forståelig og tilgjengelig for den registrerte, jf. pvf. art. 5 nr. 2.

Kravene i art. 12-15 er minimumskrav. Det grunnleggende kravet om åpenhet i art. 5 nr. 1 (a) kan nemlig innebære at behandlingsansvarliges plikt til å sikre åpenhet går lenger enn kun oppfyllelse av art. 12-15. Sett sammen med ansvarlighetsprinsippet i art. 5 nr. 2, innebærer åpenhetsprinsippet at behandlingsansvarlige må vurdere hvilke åpenhetstiltak som er nødvendige og forholdsmessige for at den registrerte skal ha mulighet til å ivareta egne rettigheter og interesser. Også Datatilsynet forstår åpenhetsprinsippet slik.[7] Eksempelvis kan åpenhetsprinsippet tilsi at behandlingsansvarlig må gi mer utdypende informasjon enn det art. 13-15 krever.

Ettersom personvernforordningen er teknologinøytral, omfatter kravene i forordningen også behandling av personopplysninger ved hjelp av ny teknologi, slik som KI. Ved bruk av KI som beslutningsstøtte må den behandlingsansvarlige altså tilfredsstille både form- og innholdskravet som åpenhetsprinsippet innebærer. I personvernforordningen fortalepunkt 58 understrekes det at teknologisk kompleksitet gjør åpenhet ekstra viktig.

Som med de fleste kravene i personvernforordningen, er det ikke mulig å lage en standardisert liste med oppfyllelseskriterier som gjelder for alle behandlingstilfeller. Det samme gjelder når åpenhetsprinsippet skal forstås ved bruk av KI som beslutningsstøtte. Likevel er det mulig å identifisere noen retningslinjer og problematiske områder man må være ekstra oppmerksom på i forsøket på å være åpen rundt bruken av KI.

Krav til forståelighet

Etter pvf. art. 12 nr. 1 skal behandlingsansvarlige sørge for at informasjonen er forståelig for den registrerte gjennom et klart og enkelt språk, slik at det blir åpenhet rundt behandlingen. Etter art. 12 nr. 2 skal behandlingsansvarlige, gjennom slik åpenhet, legge til rette for at de registrerte kan utøve de rettighetene de har etter personvernforordningen.

For å oppfylle kravene i art. 12 nr. 1 og 2 er formidlingen av informasjon fra behandlingsansvarlig til den registrerte særlig viktig. Det hjelper ikke å ha gitt informasjon, dersom de registrerte ikke har forstått innholdet. Dette samsvarer med formålet for åpenhetsprinsippet, nemlig å gi de registrerte kontroll og valgfrihet når det kommer til behandling av deres personopplysninger.

Skal den behandlingsansvarlige sikre at de registrerte forstår informasjonen, forutsetter det at behandlingsansvarlig har kunnskap om de registrerte, og kan tilpasse informasjonen etter mottakernes kunnskapsnivå. Personvernrådets forgjenger, Artikkel 29-gruppen, sin rettesnor var at den gjennomsnittlige registrerte må forstå informasjonen.[8] Ved bruk av KI kan mottakernes kunnskapsnivå generelt antas å være relativt lavt, gitt KIs tekniske kompleksitet og at det for de fleste personer er ny teknologi. Dette skaper utfordringer for muligheten til å forklare bruken av personopplysninger enkelt og forståelig. Behandlingsansvarlige må i det minste unngå å bruke for tekniske og ukjente begreper, som det er mange av når man snakker om KI.

Pvf. fortalepunkt 60 og 71 presiserer at særlige omstendigheter rundt og sammenhengen behandlingen skjer i skal tas hensyn til ved informasjon til den registrerte. For eksempel er det naturlig å stille strengere krav jo større personverninngrep behandlingen utgjør, desto skjevere maktforholdet mellom registrert og behandlingsansvarlig er og jo vanskeligere det er å forstå behandlingsmetoden. En særlig omstendighet ved bruk av KI er at teknologien er såpass ny at behandlingsmetoden er lite kjent. Behandlingsansvarlige må derfor vurdere å gi grunnleggende informasjon om KI som behandlingsverktøy for å øke forståeligheten for den registrerte.

Maskinlæring åpner for å kunne gi forklaringer av den underliggende logikken basert på avanserte matematiske og statistiske modeller. Selv om slik informasjon egner seg til å gi helt korrekt og presis informasjon, vil ikke matematiske forklaringer tilfredsstille forståelighetskravet i pvf. art. 12 nr. 1 når selv programvareutviklere kan ha problemer med å forstå disse. Behandlingsansvarlige må derfor balansere retten til presis informasjon mot muligheten til å forstå informasjonen.

Innholdskravet

Pvf. art. 13 og 14 lister opp konkret informasjon som den registrerte har krav på ved innsamling av personopplysninger. Pvf. art. 15 gir den registrerte rett til innsyn i egne opplysninger. Art. 13-15 innebærer at den registrerte blant annet har krav på å vite kategorier av personopplysninger som samles inn, formålet ved behandlingen og hvordan behandlingsansvarlige kan kontaktes.

I min forrige artikkel påpekte jeg at KI ofte er så komplekst sammensatt at mennesker ikke klarer å forstå hvilke sammenhenger og tilpasninger algoritmen gjør.[9] Ugjennomtrengeligheten gjør det umulig selv for utviklerne av KI-systemene å forklare hvorfor systemene løser oppgavene som de gjør.[10] Vektingen og justeringen algoritmen gjør i sine skjulte lag medfører at beslutningsprosessen til KIen er like ugjennomsiktig som en sort boks. Dette kalles det 'sorte boks' problem', og kan gjøre det utfordrende å oppfylle personvernforordningens krav til åpenhet.

Men er det nødvendig å kunne forklare den underliggende logikken til KIen for å tilfredsstille kravet til åpenhet?

Ved utelukkende automatiserte avgjørelser, herunder profilering, som har rettsvirkning for eller på tilsvarende måte betydelig påvirker vedkommende etter pvf. art. 22 nr. 1 og 4, stilles det krav om forklarbarhet i pvf. art. 13 nr. 2 (f), 14 nr. 2 (g) og 15 nr. 1 (h). Ordlyden i de tre artiklene er lik: Behandlingsansvarlig må gi «relevant informasjon om den underliggende logikken samt om betydningen og de forventede konsekvensene av en slik behandling for den registrerte». I tilfeller der KI benyttes som beslutningsstøtte, vil ikke de registrerte være gjenstand for en helautomatisert avgjørelse, etter art. 22 nr. 1 og 4. Dette er fordi resultatet KIen presenterer kun vil være ett av flere elementer i en vurdering som gjøres av et menneske.

Kravet til forklarbarhet i art. 13-15 gjelder «i det minste» tilfeller etter art. 22 nr. 1 og 4. Det vil si at det også kan stilles krav til forklarbarhet i andre tilfeller. Hvorvidt kravet til åpenhet også innebærer et krav om forklarbarhet, må derfor vurderes i hvert konkrete tilfelle. Vurderingen må ses sammen med behandlingsansvarliges ansvar for å vurdere hvilke åpenhetstiltak som er nødvendige og forholdsmessige for at de registrerte skal kunne ivareta egne rettigheter og interesser. Ved spørsmålet om det kan stilles krav til forklarbarhet er det spesielt interessant å se om forklarbarhet er nødvendig for å sikre en rettferdig og åpen behandling.[11]

Spørsmålet om åpenhet innebar forklarbarhet ble drøftet i de tre første prosjektene i Datatilsynets sandkasse for KI. Secure Practice, som ønsket å benytte KI for profilering av arbeidstakere i forbindelse med sikkerhetsopplæring, konkluderte med at det ikke var et forklarbarhetskrav. Likevel anbefalte sandkassen å gi informasjon om hvordan verktøyet fungerte, fordi det kunne bidra til å skape tillitt. Hverken NAV, som ønsket å bruke KI som beslutningsstøtte når saksbehandlere skal vurdere om de skal innkalle sykemeldte til et dialogmøte, eller AVT, som ønsket å bruke KI som læringsstøtte i skolen konkluderer på om det i deres tilfeller er et rettslig krav til å forklare den underliggende logikken til KIen. Likevel presenterer både AVT og NAV flere argumenter for hvorfor de likevel burde forklare modellens underliggende logikk. Argumenter som tillit til KIen, asymmetriske maktforhold, krav til ansvarlighet og ønske om etisk og ansvarlig KI er trukket frem. Uten at rapportene har noen stor rettskildemessig vekt, tyder de på at det praktiseres en relativt høy terskel for når åpenhetskravet tilsier et krav om forklarbarhet utenfor pvf. art. 22 nr. 1-tilfellene, og at det er andre hensyn og faktorer enn rettslige krav som tilsier at prosjektene burde sikre forklarbarhet. Med så lite avklarte, og tilsynelatende snevert praktiserte juridiske krav til forklarbarhet, overlates et større etisk ansvar for å ivareta de registrertes interesser og rettigheter til den behandlingsansvarlige.

Den sorte boks' problem

Betyr et snevert rettslig krav til forklarbarhet at den sorte boks' problem i de fleste tilfeller ikke er et problem for oppfyllelsen av åpenhetsprinsippet i personvernforordningen, så lenge man bruker KI kun som beslutningsstøtte? Selv om reguleringen i personvernforordningen kan tyde på dette, er det flere problematiske forhold ved den sorte boksen som tilsier at det burde kreves en viss grad av forklarbarhet også for KI benyttet til beslutningsstøtte.

Personvernforordningens metode er å la det være opp til hver enkelt behandler av personopplysninger å vurdere om bruken av KI tilfredsstiller forordningens krav. Når behandlingsansvarlige skal vurdere om åpenhetsprinsippet innebærer et krav til forklarbarhet kan det fort bli fristende å konkludere med at det ikke er et krav til å forklare KIens underliggende logikk og vekting, ettersom det kan være svært vanskelig å forklare.

I IB-saken hadde fraværet av forklaring uheldige konsekvenser. International Baccalaureate Organization (IBO) anvendte i denne saken en «modell» for å fastsette elevenes standpunktkarakterer på grunn av manglende eksamensavvikling som følge av Covid-19 pandemien. Flere elever fikk store og uventede avvik mellom antatt og endelig karakter. IBO opplyste hverken i forkant av karaktersettingen eller etter anmodning fra Datatilsynet om hvordan de ulike faktorene var vektet eller de endelige karakterene ble regnet ut.[12] I sitt varslede vedtak konkluderer Datatilsynet med at IBO ikke overholdt åpenhetsprinsippet, da logikken bak modellen og vektingen modellen foretok hverken var forklart for elevene eller offentliggjort slik at den kunne etterprøves og utfordres.[13]

Det er usikkert om manglende evne til å forklare modellen var bakgrunnen for manglende forklaring fra IBO. Saken viser uansett at det er uheldig om behandlingsansvarlig ikke må informere om den underliggende logikken og vektingen. Med uklare juridiske krav til forklarbarhet blir samfunnet i større grad avhengig av årvåkne registrerte med ressurser til å håndheve sine rettigheter for å sikre overholdelse av personvernforordningens prinsipper. Dette kommer spesielt på spissen der KI benyttes på eller går spesielt ut over en ressurssvak gruppe. Jo mer åpen behandlingsansvarlig er, desto enklere blir det for offentligheten å kontrollere KIen og overholdelsen av personvernprinsippene og de registrertes rettigheter og interesser. Da er man heller ikke så avhengig av at de registrerte reagerer på åpenbart urettferdige resultater for å avdekke eventuelle skjevheter, som i IB-saken.

Dessuten kan urettferdige resultater være skjult i den forstand at de ikke er mulig å oppdage i enkeltsaker. Man er da avhengig av å kunne se KIens underliggende logikk og vekting for å oppdage systematiske feil. La oss se på eksempelet fra forrige artikkel. Der ble KI trent på historisk data for å hjelpe dommere med å avgjøre fengslingskjennelser. KIen kom frem til at brillebruk, ektefellerelasjon og arbeidsledighet spilte inn på om man burde fengsles eller ikke. Brillebruk er en irrelevant faktor i spørsmålet om du burde fengsles eller ikke. Det er åpenbart urettferdig at manglende brillebruk skal tippe vektskålen i retning fengsling. Med mindre du får fremlagt hvilke faktorer KIen har vektlagt, ville du neppe avdekket at KIen vektla manglende brillebruk. Uten forklaring blir det vanskelig for de registrerte å avdekke og reagere på skjevheter. Manglende forklaring og åpenhet kan altså medføre at man ikke får avdekket brudd på andre prinsipper, som rettferdighet. Dersom behandlingsansvarlige må forklare KIens underliggende logikk og vekting, kan urettferdigheter avverges før de har skjedd og registrerte kan vurdere om deres egne rettigheter og interesser er ivaretatt.

Som nevnt er åpenhet avgjørende for at den registrerte skal kunne ivareta sine rettigheter. Pvf. fortalepunkt 60 fremhever at de registrerte bør informeres om det skjer profilering og konsekvensene av dette. Av Artikkel 29-gruppens veiledning om automatiserte avgjørelser og profilering fremgår det at det er «good practice» å følge informasjonskravene i pvf. art. 13 nr. 2 (f) og 14 nr. 2 (g) ved all form for profilering.[14] De fleste typer KI som brukes på personopplysninger innebærer profilering, og burde innrette seg etter veilederen og fortalen.

I lys av risikoen manglende forklaring innebærer for de registrerte, kan det stilles spørsmål ved om det er tilstrekkelig at forklaring av underliggende logikk og vekting ved bruk av KI som beslutningsstøtte god praksis, og ikke et rettslig krav. Spesielt sett i lys av åpenhet som en forutsetning for ivaretakelsen av den registrertes rettigheter og øvrige grunnleggende prinsipper i art. 5 nr. 1 (a).

Tolker man åpenhetsprinsippet i art. 5 nr. 1 (a) i lys av risikoen for de registrertes interesser og rettigheter som skissert over, mener jeg at utgangspunktet burde være en plikt til forklaring av KIens underliggende logikk og vekting. Dette fordi en forklaring av underliggende logikk ofte er nødvendig for at de registrerte skal kunne ivareta egne rettigheter og interesser. Så kan det heller gjøres unntak for tilfeller der det ikke er forholdsmessig å pålegge behandlingsansvarlig forklaringsplikt, for eksempel der behandlingen vil ha liten innvirkning på den registrerte. Hvor grundig forklaring som kreves, må også tilpasses forholdsmessig etter risikoen det enkelte behandlingstilfellet innebærer.

Oppsummering og konklusjon

Du vet nå at for å benytte KI til behandling av personopplysninger, må du være åpen om behandlingen. Dette innebærer at informasjonen må være forståelig, og at du må ta utgangspunkt i mottakergruppen når du vurderer om du oppfyller åpenhetsprinsippet. Når KI er en såpass ny og ukjent teknologi, skaper kravet generelt vanskeligheter, samtidig som det gjør åpenhet spesielt viktig.

Videre vet du at hver behandlingsansvarlig selv må vurdere for hvert konkrete tilfelle hvilke andre åpenhetstiltak enn de som følger av pvf. art. 12-15 som må iverksettes. Om behandlingsansvarlige ved bruk av KI som beslutningsstøtte må informere om underliggende logikk og vekting må derfor vurderes konkret for hvert tilfelle. Dersom terskelen for når forklarbarhet er et rettslig krav blir for høy, vil det ha uheldige konsekvenser for rettferdighetsprinsippet og registrertes adgang til å håndheve sine rettigheter. Ved spørsmål om åpenhetsprinsippet stiller krav til forklarbarhet, burde man hensynta risikoen den registrerte utsettes for ved å ikke gi forklaring. Risikoen for den registrertes rettigheter og interesser ved ikke å gi forklaring burde etter min mening tilsi at behandlingsansvarlig som utgangspunkt har plikt til å forklare KIens underliggende logikk og vekting. Eventuelle unntak må avgjøres ut ifra en forholdsmessighetsvurdering av de registrertes personvern og behandlingsansvarliges interesser.

En konsekvens av manglende forklaring av underliggende logikk og vekting er at det blir vanskelig å avdekke brudd på retten til rettferdig behandling av personopplysninger. Neste artikkel vil ta for seg rettferdighetsprinsippet og de rettferdighetsutfordringene som oppstår når KI skal brukes som beslutningsstøtte.

Skrevet av Thale Cecilia Gautier Gjerdsbakk (tcgg@bull.no), advokatfullmektig mde spesialisering innen personvern, teknologi og kunstig intelligens i BULL. 

Artikkelen er publisert i Lov&Data 2022 nr. 4 s. 11–15 (LoD-2022-152-11). Artikkelen er den andre i en serie på tre artikler. Den første artikkelen er publisert i Lov&Data nr. 151 3/2022. Den siste artikkelen utgis i nr. 153 1/2023 

[1] Europaparlamentets og Rådets forordning (EU) 2016/679 av 27. april 2016 om vern av fysiske personer i forbindelse med behandling av personopplysninger og om fri utveksling av slike opplysninger samt om oppheving av direktiv 95/46/EF [personvernforordningen/pvf.].

[2] Personvernforordnongens fortalepunkt 6.

[3] NOU 2020:11 Den tredje statsmakt – Domstolene i endring, s. 254.

[4] Personvernforordningen art. 5 nr. 1 (a).

[5] Personvernforordningen art. 13 og 14.

[6] Personvernforordningen art. 12 nr. 1.

[7] Rapport AVT, februar 2022, s. 16, Datatilsynets sak 20/03087, saksdokument 14, 07.08.2020.

[8] Artikkel 29-gruppen Guidelines on transparency under Regulation 2016/679, avsnitt 9. Personvernrådet (EDPB) revidert og tilsluttet Artikkel 29-gruppens anbefalinger 11.04.2018.

[9] NOU 2020:11 s. 254.

[10] Datatilsynet (2018), s. 12.

[11] Art. 13 nr. 2 første setning.

[12] Det fremstår derfor også noe uklart om elevene var utsatt for en helautomatisert avgjørelse. Datatilsynet nevner ikke art. 22 nr. 1 og 4 og kravene til forklarbarhet i art. 13-15, men konkluderer på bakgrunn av åpenhetsprinsippet i art. 5 nr. 1 (a). Saken er derfor egnet til å si noe om Datatilsynets praktisering og tolkning av når åpenhetsprinsippets innebærer et krav til forklarbarhet.

[13] Sak 20/03087 (IB-saken), saksdokument 14, 07.08.2020. Datatilsynet fattet aldri endelig vedtak i saken på grunn av manglende jurisdiksjon, se https://www.datatilsynet.no/aktuelt/aktuelle-nyheter-2021/lukker-ib-saken/.

[14] Artikkel 29-gruppen, Guidelines on Automated individual decision-making and Profiling for the purposes of Regulation 2016/679, s. 25. Personvernrådet (EDPB) revidert og tilsluttet Artikkel 29-gruppens anbefalinger 06.02.2018.