5. Prosessuelle prinsipper for ny teknologi

Ny teknologi gjør at spørsmålet om hvorvidt et inngrep er i tråd med menneskerettighetene både vil dreie seg om hva inngrepet går ut på og hvordan beslutningen om inngrepet har blitt fattet.

«Statlig bruk av kunstig intelligens må sikre rettferdighet, ansvarlighet, etterprøvbarhet, samt innsyn og kontroll.»
FNs generalsekretær, 2020

Når styresmaktene utøver myndighet, setter menneskerettighetene grenser for hvilke vedtak offentlige organer kan treffe, med andre ord grenser for innholdet i beslutningene. Ved utstrakt bruk av ny teknologi flyttes fokus for menneskerettighetene i større grad over på måten styresmaktene kommet frem til beslutningene, altså saksbehandlingen eller det prosessuelle. Ny teknologi skyver i større grad menneskerettighetsfokuset over på prosessene: Hvordan kommer myndighetene frem til innholdet i et vedtak, og på hvilke måter kan dette etterprøves? Dersom det foreligger et statlig inngrep fra myndighetene som bryter med menneskerettighetene, vil spørsmålet både bli hvorfor (materielt spørsmål), men også hvordan maskinene har kommet frem til at dette inngrepet skulle foretas (prosessuelt spørsmål).

Menneskerettighetskonvensjoner har få regler som omhandler prosessuelle garantier for offentlige myndigheters saksbehandling. Menneskerettighetene forutsetter imidlertid at inngrep i menneskerettighetene har et rettslig grunnlag, som hjemmel i lov, og baserer seg dermed på et legalitetsprinsipp. Under EMK har krav til saksbehandling blitt utviklet gjennom domstolpraksis.¹ EMD legger vekt på om myndighetene har tilbudt individer tilstrekkelig deltakelse (medvirkning) under saksbehandlingen og gitt dem rimelig mulighet til å ivareta sine interesser. Domstolen legger særlig vekt på hvilke prosedyrer myndighetene har for opplysning av saken, kontradiksjon og mulighet for å få overprøvd beslutninger.

Når myndighetene innfører og benytter ny teknologi, oppstår spørsmålet om hvilke krav som må stilles for å sikre de menneskerettslige kravene til saksbehandling. Det er særlig fire prinsipper som er sentrale for å verne om og sikre menneskerettighetene ved bruk av ny teknologi.

Ansvarlighet

Digitale løsninger må anvendes på ansvarlig måte.² Man snakker gjerne om algoritmisk ansvarlighet eller algoritmeintegritet. Noen styresmakter har lagt seg på en linje hvor teknologi som kunstig intelligens kun skal brukes hvor det gir verdi for borgerne og alltid på en etisk ansvarlig måte.³ EU-erklæringen om digitale rettigheter og prinsipper fra 2022 sier at «teknologi bør tjene og være til nytte for alle europeere […] med full sikkerhet og respekt for deres grunnleggende rettigheter».⁴

Staten er forpliktet til å unngå eller avslutte bruk av teknologiske løsninger som bryter med menneskerettighetene. Fra et menneskerettslig ståsted innebærer ansvarlighet at ved innføring av ny teknologi eller bruk av teknologi på nye måter, må staten sørge for å kartlegge de menneskerettslige konsekvensene av slik teknologibruk. Når statlige myndigheter beslutter å innføre ny teknologi eller å endre bruken til eksisterende teknologi som kan innebære inngrep i menneskerettighetene, innebærer legalitetsprinsippet at det må foreligge hjemmel for beslutningen. Lovprosesser er gjerne grundig opplyst, og gir statlige myndigheter god tid til å kartlegge hvilke effekter en planlagt teknologi har for menneskerettighetene. Likevel fremgår ikke plikten til å utrede forholdet til menneskerettighetene eksplisitt av dagens utredningsinstruks.

Plikten til å kartlegge og å skaffe kunnskap omfatter både tilsiktede og utilsiktede effekter for menneskerettighetene. Kartleggingsplikten vil omfatte hele tidsperioden fra teknologien besluttes benyttet til bruken har opphørt. Myndighetene plikter også å iverksette tiltak for å avbøte konsekvenser som kan være i strid med menneskerettighetene, eller å unnlate å innføre teknologiske løsninger dersom effektene for menneskerettighetene er store eller ikke kan bøtes på. Alt dette forutsetter imidlertid at det foreligger tydelige krav til utredninger som er egnet til å sikre at menneskerettighetene ivaretas når myndighetene innfører tiltak eller systemer som bygger på ny teknologi.

Ansvarlighet innebærer krav til gode konsekvensutredninger om menneskerettslige aspekter fra myndighetenes side. I tillegg fordrer det at det brede sivilsamfunn, domstoler, ombud og tilsynsmyndigheter får tilstrekkelig kunnskap og kompetanse til å fungere som den motmakten de er forutsatt å være. Ansvarlighet medfører derfor også at dimensjoneringen av «motmakten» må reflektere den makten og det misbrukspotensialet som ny teknologi innebærer.

Beskyttelse mot vilkårlighet

En forutsetning for ansvarlig bruk av ny teknologi er at det lar seg gjøre å unngå vilkårlige beslutninger. Digital teknologi gir økt treffsikkerhet i offentlig styring og forvaltning, og er derfor et godt redskap for å øke forutsigbarhet og redusere uønsket vilkårlighet. Riktige beslutninger avhenger imidlertid både av kvaliteten på de digitale analyseverktøyene og på informasjonen som verktøyene benytter. Systemer som gir beslutningsstøtte eller som selv treffer beslutninger kan ha svakheter som innebærer at offentlig myndighetsutøvelse får uønskede eller utilsiktede følger, og resulterer i vilkårlig forskjellsbehandling eller usaklig diskriminering som er vanskelig å oppdage fra utsiden av de digitale systemene.

Datakvaliteten må være inkluderende og dekkende. Dersom informasjonen som benyttes av kunstig intelligens til å analysere eller lære, er ufullstendig, ubalansert eller på andre måter utilstrekkelig, kan dette produsere beslutninger som er urettferdige eller vilkårlige.⁵

Datakvaliteten kan svikte i mange ulike ledd. For eksempel ved:

innledende beskrivelse av et problem (f.eks. sosioøkonomiske eller etniske karakteristikker)
innsamling av data (f.eks. utsatt gruppe underrepresentert i treningsdataen)
behandling av dataen
type algoritmer
skjevheter og bias
mangel på vedlikehold og jevnlig justering av algoritmene

Algoritmestyrt forvaltning kan ha uønskede effekter som innebærer at ulikhet mellom folk og grupper vokser, og at utsatte grupper rammes særlig. Grunnen til dette er at algoritmer i større grad enn andre typer data kan gi skadelige «feedback loops» som øker forskjellene fordi de skjer innenfor algoritmens automatiseringssyklus, og ikke blir gjenstand for oversyn. Jo mer avanserte analyseverktøyene blir, desto vanskeligere blir det å få innsyn og kontroll som trengs for å sikre seg mot slik vilkårlighet.

Innsyn og kontroll

En forutsetning for ansvarlig bruk av nye teknologier er at systemene som benyttes er åpne og kan forstås av mennesker. De digitale verktøyene må tilfredsstille krav til innsyn og kontroll (transparency).⁶ Det innebærer at digitale løsninger må sikre muligheter for innsikt i måten et system fungerer på, «resonnerer» og treffer beslutninger. Her kan vi skille mellom to ulike typer utfordringer. På den ene siden er algoritmer kompliserte og vanskelige å forklare i menneskelig forståelige termer. Fullt innsyn er teknologisk umulig i en del systemer.På den andre siden kan innsyn i algoritmene være begrenset på grunn av kommersielle hensyn, nasjonal sikkerhet eller personvernhensyn. For eksempel vil statlige myndigheter gjerne ikke ha full innsynsrett i beslutningsprosesser og softwaredesign som utvikles på kommersiell basis. Det er et myndighetsansvar å sørge for at teknologien som benyttes tilfredstiller krav til innsyn og kontroll. Ny personvernforordning i 2022 har gjort at Datatilsynet etablerer en oppdatert metodikk for algoritmetilsyn for å tilfredstille de nye kravene i GDPR.

Overprøvbarhet

En annen forutsetning for ansvarlig bruk av ny teknologi er at systemene som benyttes må være etterprøvbare.⁷ Etterprøvbarhet og kontradiksjonsmulighet (explainability og contestability) innebærer at teknologien må kunne ettergås for å se hvordan en beslutning har blitt fattet. Dette er nødvendig for å kunne forstå vedtak, begrunne beslutningen, og gjøre det mulig å overprøve den. Den europeiske erklæringen om digitale rettigheter fra 2022 omtaler det som å «sørge for at algoritme-systemer er basert på passende datasett som […] muliggjør menneskelig overvåkning av effektene som rammer mennesker». ⁸

Retten til få overprøvd vedtak er en grunnforutsetning for utøvelse av menneskerettighetene. Det kan gjelde alt fra enkeltvedtak i forvaltningen til dommer i rettssystemet. Retten til en forklaring av automatiserte beslutninger er berørt i fortalen til EUs personvernforordning (GDPR). Overprøvbarhet innebærer at teknologien må være av en karakter som gjør at vedtak lar seg etterprøve. Det innebærer at det må være en reell mulighet til å begrunne vedtak og for å utøve retten til kontradiksjon

OVERSIKT OVER IKKE BINDENDE MENNESKERETTSLIGE INSTRUMENTER FOR KUNSTIG INTELLIGENS

EUs ekspertpanel for kunstig intelligens (KI) kom i 2019 med en rapport som anbefalte at syv elementer må besørges for at utvikling, oppsett og bruk av KI skal skje på en tillitsvekkende måte:

menneskelig inngripen og oversikt
teknisk robusthet og sikkerhet
personvern og forsvarlig data forvaltning
innsyn og kontroll
mangfold, ikke-diskriminering og rimelighet
miljø og sosial velferd
ansvarlighet

I februar 2022 vedtok EU verdens første erklæring om digitale rettigheter og prinsipper.⁹ Den gir anvisning på prinsipper som vil være sentrale når myndighetene tar i bruk ny teknologi, og har som formål å «styrke den menneskelige dimensjonen av det digitale økosystemet». Erklæringen er ikke rettslig bindende.

Det finnes etter hvert mange etiske kodekser for kunstig intelligens.¹⁰ Felles er at de identifiserer prinsipper som en eller flere institusjoner forplikter seg til å ivareta ved utvikling eller bruk av kunstig intelligens.¹¹ Disse kodeksene forholder seg gjerne til vage begreper som rettferdighet, menneskeorienterte verdier, innsyn og kontroll, overprøvbarhet, robusthet og ansvarliggjøring.¹² Garantier for konkrete menneskerettigheter er tvert imot gjerne fraværende i slike dokumenter. Av G20-landenes prinsipper for kunstig intelligens fremgår det at «KI-aktører bør respektere rettsstatsprinsipper, menneskerettigheter og demokratiske verdier gjennom hele KI-systemets livssyklus».¹³

Fotnoter:

¹F.eks. T.P. og K.M. v. Storbritannia (28945/95), 10. mai 2001, avsn. 72.
²GDPR artikkel 5 (2), EUs erklæring om digitale rettigheter og prinsipper for det digitale tiår, 2022. FNs høynivåpanel for digitalt samarbeid, UNESCOs erklæring 2019/2021, OSCE-prinsippene fra 2019.
³Digitalstyrelsen, Danmark. Kommuner og regioner skal afprøve kunstigintelligens for at løfte kvaliteten i den offentlige service. 2019.
⁴EUs erklæring om digitale rettigheter, 2022, kap. 1.
⁵Europaparlamentets personvernforordning (GDPR) 2016, art. 5.
⁶EUs erklæring om digitale rettigheter, 2022, kap. III; EUs ekspertpanel om KI, 2019; FNs høynivåpanel for digitalt samarbeid, UNESCO-erklæring 2019/2021, OSCE-prinsippene 2019. GDPR art. 5.
⁷EUs ekspertpanel om KI, 2019 og EUs erklæring om digitale rettigheter, 2022, FNs høynivåpanel for digitalt samarbeid, UNESCO-erklæring 2019/2021, OSCE-prinsippene 2019.
⁸EUs erklæring om digitale rettigheter, 2022, kap. III.
⁹Erklæringen er ikke direkte rettslig bindende for Norge, men vil påvirke tolkningen av regler som er rettslig bindende for oss gjennom EØS-avtalen.
¹⁰En oversikt over etiske regelverk for KI ved viktige institusjoner finnes i Fjeld, J. m.fl, Principled Artificial Intelligence: Mapping Consensus in Ethical and Rights-based Approaches to Principles for AI, Berkman Klein Center Research Publication nr. 1, 14. feb. 2020.
¹¹En gjennomgang av fordeler og ulemper med KI i etiske koder og menneskerettslige rammeverk, se Business for Social Responsibility and World Economic Forum, Responsible Use of Technology, aug. 2019, s. 7 (med synspunktet at etikk og menneskerettigheter bør vær «synergetiske»).
¹²G20 Ministerial Statement on Trade and Digital Economy, (G20 prinsippene om KI), 2019.
¹³G20-prinsippene 12 (a).