Regelverket setter klare krav til åpenhet. Men det gir ikke sylskarpe grenser og en tydelig oppskrift på hvordan man skal være åpen. Det må gjøres egne vurderinger i hvert enkelt tilfelle. Nettopp derfor vier vi så god plass til eksemplene i denne rapporten, fordi vurderinger og tiltak i disse eksemplene fra virkeligheten kan ha overføringsverdi til andre som har lignende spørsmål.

Hva slags informasjon må man gi? Hvor detaljert må informasjonen være? Hvordan bør man informere? Og hvor og når bør informasjonen gis? Regelverket setter krav og gir brukeren rett til informasjon, men hvordan dette skal implementeres i praksis må vurderes fra sak til sak. Dette er ikke en komplett guide til alle sider av åpenhet ved bruk av kunstig intelligens. Men vi trekker frem noen sentrale sandkassediskusjoner vi tror kan ha nytteverdi for andre.

Tillit er et tema som går igjen i eksemplene. Hvis folk skal være villige til å ta i bruk løsninger og dele opplysninger, må de ha tillit til at løsningen fungerer etter formålet og ivaretar personvernet på en god måte.

Datatilsynets personvernundersøkelse fra 2019/2020 viste tydelige tegn til en nedkjølingseffekt i befolkningen, altså at hvis folk er usikre på hvordan opplysningene om dem blir brukt, endrer de adferd. Over halvparten av de spurte har unnlatt å bruke en tjeneste på grunn av usikkerhet knyttet til hvordan personopplysninger samles inn og blir brukt. Hele to av tre føler at de har liten kontroll og er maktesløse når det gjelder flyten av personopplysninger på internett. Det er lett å anta at denne nedkjølingseffekten ikke bare gjelder internett, men at skepsisen smitter over på andre former for digital deling av personopplysninger, som i møte med kunstig intelligente verktøy.

Om rapporten

Denne rapporten tar først for seg en gjennomgang av de mest sentrale lovkravene knyttet til åpenhet ved bruk av kunstig intelligens. Videre presenterer vi tre prosjekter fra Datatilsynets regulatoriske sandkasse, der åpenhet har vært viktige tema. Til slutt har vi sammenfattet en huskeliste for åpenhet i kunstig intelligens.

Enten du er en programmerer som sitter midt i utviklingen eller en gründer med en gryende idé, om du jobber for en stor virksomhet eller en liten oppstartsbedrift: Vi tror denne rapporten kan være nyttig for mange av dere som utvikler, benytter eller vurderer å anskaffe kunstig intelligente løsninger. Og vi håper du finner den både avklarende og inspirerende, og at den kan være med å bidra til at du lykkes med din kunstig intelligens-satsing.

Uavhengig av om behandlingen benytter kunstig intelligens eller ikke, har personvernforordningen krav til åpenhet og informasjon ved behandling av personopplysninger. Kort oppsummert stilles det krav til at:

• Det er et grunnleggende krav at personopplysninger skal behandles på en åpen måte, jf. personvernforordningen artikkel 5 nr. 1 bokstav a. Dette innebærer for eksempel at den behandlingsansvarlige må sørge for at den registrerte har tilstrekkelig informasjon for å kunne ivareta sine egne rettigheter.
• Den registrerte skal få informasjon om hvordan personopplysningene brukes, enten de er innhentet fra den registrerte selv eller fra en eller flere tredjeparter, jf. personvernforordningen artikkel 13 og 14.
• Dersom opplysningene er samlet inn fra den registrerte selv, skal slik informasjon gis før eller samtidig med at opplysningene samles inn, jf. artikkel 13. Er opplysningene innhentet fra andre kilder, må den behandlingsansvarlige gi den registrerte informasjon innen rimelig tid etter at opplysningene er samlet inn, jf. artikkel 14.
• Informasjonen skal være skrevet på en forståelig måte og på et klart og enkelt språk, jf. personvernforordningen artikkel 12. Informasjonen skal i tillegg være lett tilgjengelig for den registrerte.
• Den registrerte har rett til å få informasjon om personopplysninger som behandles om seg, og innsyn i sine egne opplysninger, jf.  personvernforordningen artikkel 15.

Utfyllende veiledning finnes i WP29s/EDPBs veiledning om åpenhet.

Krav til åpenhet knyttet til utvikling og bruk av kunstig intelligens

Bruk av kunstig intelligens deles normalt inn i tre hovedfaser:

1. utvikling av algoritmen
2. anvendelse av algoritmen
3. etterlæring og forbedring av algoritmen.

Personvernforordningens krav til informasjon er generelle og i utgangspunktet de samme for alle fasene. Men det er også krav som kun blir relevante for enkelte faser. For eksempel vil kravet om å informere om den underliggende logikken i den kunstige intelligensen som regel bare være relevant for anvendelsesfasen.

I det følgende forutsetter vi at behandlingen i alle de tre fasene har rettslig grunnlag i art. 6 – se mer om behandlingsgrunnlag. Vi vil se nærmere på informasjonsplikten i de ulike fasene.

Informasjonskrav i utviklingsfasen

Personvernforordningen artikkel 13 og 14 pålegger virksomheter en informasjonsplikt ved innsamling og bruk av personopplysninger til utvikling av algoritmer. Artikkel 13 gjelder for opplysninger som er samlet inn fra den registrerte selv, for eksempel gjennom spørreskjema eller elektronisk sporing. Artikkel 14 regulerer tilfeller der opplysningene er samlet inn fra andre kilder eller allerede har blitt samlet inn, eksempelvis fra en eller flere tredjeparter eller offentlig tilgjengelige opplysninger.

Når opplysningene er samlet inn fra den registrerte selv følger det av art. 13, at ved behandling av personopplysninger i utvikling av KI-systemer må den behandlingsansvarlige gi informasjon om:

• Hvilke typer av personopplysninger som behandles
• Hva formålet med utviklingen av algoritmen er
• Hva som skjer med opplysningene etter at utviklingen er avsluttet
• Hvor opplysningene er samlet inn fra
• I hvilken grad KI-modellen behandler personopplysninger og om det er iverksatt tiltak i form av pseudonymisering av opplysningene

I utgangspunktet vil all behandling av personopplysninger utløse rettigheter til de registrerte. De mest relevante er retten til å be om innsyn, sletting, retting og i noen tilfeller å protestere mot en behandling. Ofte blir store mengder personopplysninger brukt i utvikling og trening av kunstig intelligens. Det er derfor viktig at både utvikling og trening av løsningen blir vurdert konkret opp mot regelverket.

Ved bruk av allerede innsamlede data som har blitt benyttet til et annet formål enn utvikling av KI-systemer, for eksempel virksomhetens opplysninger om kunder eller brukere, følger stort sett de samme pliktene av art. 14.

Men det er et unntak i art. 14 nr. 5 som kan være relevant for utvikling av KI-systemer. På grunn av de store datamengdene som ofte kreves ved utvikling av KI-systemer, kan det bli svært ressurskrevende å informere alle registrerte som inngår i dataene. For eksempel i forskningsprosjekter, der det brukes registerdata fra flere hundre tusen mennesker, kan det være vanskelig å gi hver og en individuell informasjon. Det følger av art. 14 nr. 5 at det kan gjøres unntak hvis den registrerte allerede har informasjonen, det viser seg umulig å gi nevnte informasjon eller det vil innebære en uforholdsmessig stor innsats, innsamling eller utlevering er uttrykkelig fastsatt i unionsretten eller medlemsstatenes nasjonale rett, eller dersom personopplysningene må holdes konfidensielle som følge av taushetsplikt.

Vurderingen av hva som vil innebære en uforholdsmessig innsats, vil alltid bygge på skjønn og en konkret helhetsvurdering. Datatilsynet anbefaler uansett å gi et minimum av informasjon, slik at det er forutsigbart for den enkelte registrerte om opplysningene benyttes til utvikling av KI. Dette kan ivaretas ved at generell informasjon om behandlingen publiseres på et offentlig tilgjengelig område, for eksempel nettsiden til virksomheten. Informasjonen skal være tilgjengelig for de registrerte før viderebehandlingen gjøres.

Informasjonskrav i anvendelsesfasen

I anvendelsesfasen vil kravene som stilles til informasjon avhenge av om KI-modellen brukes som en beslutningsstøtte eller til å produsere helautomatiserte beslutninger.

For automatiserte avgjørelser som har rettsvirkning eller i betydelig grad påvirker en person, gjelder det særlige krav til informasjon. Hvis en behandling kan kategoriseres som en automatisert avgjørelse etter artikkel 22, stilles det ekstra krav til åpenhet, jf. art. 13 nr. 2 bokstav f. og art. 14 nr. 2 bokstav g.

• Informasjon om vedkommende blir utsatt for en automatisert avgjørelse
• Informasjon om retten til ikke å være gjenstand for en automatisert beslutning etter artikkel 22
• Meningsfull informasjon om den underliggende logikken i KI-systemet
• Betydningen av, og de forventede konsekvensene, av å bli utsatt for en automatisert avgjørelse

Selv om det ikke er et uttrykkelig krav om å gi den registrerte slik tilleggsinformasjonen når KI-systemet brukes som et beslutningsstøtteverktøy, anbefaler Datatilsynet at det også gis tilleggsinformasjon i disse tilfellene. Spesielt der «meningsfull informasjon om den underliggende logikken» kan gjøre den registrerte bedre i stand til å ivareta sine rettigheter.

En meningsfull forklaring er ikke bare avhengig av tekniske og juridiske krav, men også språklige og designmessige vurderinger. Det må også vurderes hvilken målgruppe forklaringen retter seg mot, noe som vil kunne innebære en forskjell for profesjonelle brukere (som NAV-veilederne og lærerne i de påfølgende eksemplene) og mer sporadiske brukere (forbrukere, barn, eldre).

I denne veilederen fra EU er det gitt veiledning på hva en meningsfull forklaringen om logikken kan inneholde.

Den behandlingsansvarlige må vurdere detaljnivået på forklaringen om hvordan algoritmen fungerer, og samtidig fokusere på at informasjonen skal være klar og forståelig for den registrerte, ved for eksempel å informere om:

• kategoriene av data som har blitt eller vil bli brukt i profilerings- eller beslutningsprosessen;
• hvorfor disse kategoriene anses som relevante;
• hvordan en profil som brukes i den automatiserte beslutningsprosessen er bygget opp, inkludert eventuell statistikk som brukes i analysen;
• hvorfor denne profilen er relevant for den automatiserte beslutningsprosessen; og
• hvordan den brukes til en avgjørelse som angår den registrerte.

Det kan også være nyttig å vurdere visualisering og interaktive teknikker for å hjelpe til med algoritmisk åpenhet.

For offentlige virksomheter vil det også kunne gjelde andre krav til informasjon om begrunnelsen av automatiserte beslutninger, f. eks. etter forvaltningsloven eller sektorlovgivningen.

I de tilfellene det foreligger en rett til å protestere etter art. 21, skal den registrerte gjøres uttrykkelig oppmerksom på retten til å protestere etter artikkel 21 nr. 4. Den behandlingsansvarlige har et ansvar for at denne informasjonen gis på en klar måte, atskilt fra annen informasjon, og at den er lett tilgjengelig – både fysisk og pedagogisk. Det er naturlig å inkludere det i en personvernerklæring, men det alene er sannsynligvis ikke tilstrekkelig for å oppfylle kravet. De registrerte bør i tillegg bli informert om retten til å protestere i grensesnittet der igangsettingen av behandlingen skjer. Er det for eksempel snakk om en søknadsportal, bør informasjonen være synlig på nettsiden eller appen der utfyllingen av personopplysninger starter.

Når det gjelder bruk av innhentede personopplysninger i anvendelsesfasen til etterlæring av KI, vil kravet til informasjon i hovedsak sammenfalle med kravene fra utviklingsfasen.

Aktivitetsdata er de opplysningene som skapes når en elev gjør oppgaver i et digitalt læremiddel. Det kan være opplysninger om hvilken oppgave eleven har løst, hvor lang tid eleven brukte og om eleven svarte rett eller galt.

Formålet med prosjektet er å utvikle en løsning som kan støtte lærerne med å tilpasse undervisningen til den enkelte elev. Slik at når mattelærer Magnus skal forberede klassen til eksamen, vil systemet komme med forslag basert på oppgavene elevene har løst i det siste. Kanskje blir det algebra på Alfred og trigonometri på Trine, fordi det er der den kunstige intelligensen har avdekket størst hull i kunnskapen hos de to?

I tillegg til individuell tilpassing av undervisningen, har prosjektet som formål å gi elevene økt innsikt i egen læring, samt å støtte lærerne i arbeidet med vurdering av elevene. Målet med tilpassingen er at elevene skal få best mulig utbytte av opplæringen. På et overordnet nivå ønsker AVT-prosjektet å være en pådriver for utvikling av nasjonale retningslinjer, normer og infrastruktur for bruk av kunstig intelligens i læringsarbeidet.

AVT-prosjektet bruker en åpen læringsmodell («Open Learner Model») og analyse- og anbefalingsalgoritmer for analyse av læringsprogresjon og anbefalinger for elevene. Resultatet av analysene skal vises i en nettportal (et «dashboard») som er tilpasset de ulike brukerne – for eksempel lærere, elever og foresatte. Innlogging i portalen skal foregå via Feide.

Prosjektet eies av KS - Kommunesektorens organisasjon. Universitetet i Bergen (UiB) v/Centre for the Science of Learning & Technology (SLATE) er faglig ansvarlig og Utdanningsetaten i Oslo kommune har vært hovedpartner og pådriver siden prosjektstart i 2017. I senere tid har også Bærum kommune og kommunesamarbeidet Inn-Trøndelag deltatt i mindre roller.

Brukerinvolvering for å forstå risiko og informasjonsbehov

AVT-prosjektet inviterte elever, foresatte, lærere og personvernombud fra kommunene med i prosjektet til en workshop for å diskutere personvernrisikoene knyttet til læringsanalyse. Å forstå risikoene for brukerne av systemet er viktig for å kunne gi relevant og god informasjon. Åpenhet rundt bruk av personopplysninger er ikke bare et regelverkskrav for å sette den enkelte i stand til å ha mest mulig kontroll over egne data. Åpenhet rundt bruk av data kan også være viktig for å avdekke feil og skjevheter i systemet.

Deltakerne i workshopen fikk en presentasjon av læringsanalysesystemet, etterfulgt av diskusjoner i mindre grupper. En gruppe med en kombinasjon av barn og voksne og én gruppe med kun voksne. Gruppene fikk i oppgave å identifisere risiko for personvernet til elevene ved bruk av læringsanalyse. Under har vi oppsummert diskusjonene i tre typer risikoer.

Risiko for endret adferd/nedkjølingseffekt

Når elevene arbeider med digitale læremidler kan potensielt detaljerte opplysninger fanges opp og lagres. For eksempel hvor lang tid eleven bruker på hver oppgave, når på døgnet hun gjør leksene, forbedring over tid og så videre. Det kan være utfordrende for elevene å ha oversikt over hvilke data som registreres om dem og hvordan disse dataene brukes.

Elevene som deltok i workshopen uttrykte bekymring for å bli overvåket på hvor lang tid de bruker på oppgavene. De påpekte at en slik tidtaking kan oppleves som et press om å løse oppgavene raskest mulig, på bekostning av kvalitet og læringsutbytte av oppgaveløsingen. Hvis elevene endrer atferd når de arbeider med digitale læremidler, fordi de føler seg overvåket via læringsanalysesystemet, kan det oppstå en nedkjølingseffekt. Det vil si at de tilpasser egen adferd fordi de ikke vet hvordan opplysningene deres kan bli brukt.

Et utslag av en nedkjølingseffekt som ble nevnt i diskusjonene var at elevene kanskje ikke føler seg like frie til å «prøve og feile» i oppgaveløsingen, fordi alt de gjør i de digitale læremidlene registreres og potensielt kan påvirke resultatet av profileringen som gjennomføres av læringsanalyseverktøyet.

Dersom innføring av et KI-basert læringsanalysesystem i opplæringen resulterer i en nedkjølingseffekt vil verktøyet kunne virke mot sin hensikt. I stedet for at læringsanalysesystemet bidrar til å gi den enkelte elev mer tilpasset opplæring, tilpasser den enkelte elev sin opplæring og adferd til systemet.

God informasjon om hvilken informasjon som samles inn og hvordan den brukes (inkludert hvilken informasjon som ikke samles inn og brukes) er viktig for å gi brukeren oversikt og kontroll – og kan bidra til å motvirke uintenderte konsekvenser der elevene muligens tilpasser adferden sin unødvendig. 

Risiko for ukorrekte personopplysninger i systemet

Et grunnleggende prinsipp i personvernregelverket er at personopplysningene som behandles skal være korrekte. Feil og upresise opplysninger i et læringsanalyseverktøy vil kunne få direkte betydning for profileringen av en enkelte elev. Dette vil igjen kunne påvirke både lærerens vurdering av elevens nivå og nivået på oppgavene eleven får anbefalt.

Læringsanalysesystemet henter opplysninger om elevenes aktivitetsdata fra de digitale læremidlene som den enkelte skolen benytter. En potensiell kilde til ukorrekte opplysninger, som ble diskutert blant de voksne deltagerne på workshopen, kan oppstå hvis en elev løser oppgaver på andre elever sine vegne. Risikoen for dette har nok eksistert i skolen i alle år, og det er ingen grunn til å tro at overgangen til digital oppgaveløsing har endret på det.

Konsekvensene for den enkelte elev kan imidlertid bli større dersom data fra oppgaveløsingen inngår i en algoritmebasert profilering av eleven. For eksempel ved at systemet lures til å tro at eleven er på et høyere nivå enn vedkommende egentlig er, og dermed anbefaler oppgaver som eleven ennå ikke har forutsetninger for å kunne løse. Dette vil kunne oppleves demotiverende for eleven, og forsterke opplevelsen av å ikke mestre et fag eller emne.

En lignende feilkilde kan være at noen elever bevisst svarer feil for å manipulere systemet til å få lettere eller færre oppgaver. Også dette er kjente mekanismer lenge før utdanningen ble digitalisert. Felles for begge tilfellene er at problemstillingen må adresseres både teknologisk og i det generelle holdningsskapende arbeidet.

Risiko for at teknologien påfører elevene uønsket stress

En annen risiko som kom opp i workshopen var at ved bruk av læringsanalysesystemet risikerer man at skillet mellom læringssituasjonen og testing blir mer uklart for elvene. Lærerne bruker også i dag informasjon fra elevenes oppgaveløsning og deltagelse i skoletimene som grunnlag for å vurdere elevenes kunnskapsnivå. Ved bruk av læringsanalysesystemet vil imidlertid denne vurderingen systematiseres og visualiseres på en annen måte enn i dag. Elevene uttrykte bekymring for at det ville bli en forventing om å vise frem «scoren» sin i systemet til medelever og foreldre, på samme måte som elever i dag kan oppleve et press om å dele prøveresultater.

Tiltak for å redusere denne risikoen kan være å designe systemet på en måte som vektlegger eller visualiserer «score» eller resultater på en balansert måte. God informasjon om hvilke data som blir brukt til vurdering (og hva som ikke blir brukt) kan også være et tiltak for å redusere usikkerhet og stress rundt å bli kartlagt i læringssituasjonen. 

Hvordan gi informasjon som er tilpasset brukerne?

Det kan være utfordrende å gi en lett forståelig forklaring på hvordan et system som er basert på kunstig intelligens behandler personopplysninger. For AVT-prosjektet kompliseres situasjonen ytterligere av aldersspennet på brukerne. Barn helt ned i seksårsalderen i den ene enden av skalaen og avgangselever på videregående skole i den andre enden.

Et viktig spørsmål som ble diskutert i sandkassen var hvordan AVT-prosjektet kan gi informasjon som er enkel nok for de yngste elevene samtidig som de dekker informasjonsbehovet til de eldste elevene og elevenes foresatte. Vi kan oppsummere diskusjonene i sandkassen med følgende kulepunkter:

• Bruk et språk som tar utgangspunkt i de yngste elevene – også voksne setter pris på enkel og lettfattelig informasjon.
• All lovpålagt informasjon må med, men ikke nødvendigvis på samme sted og til samme tid. Både voksne og barn kan bli motløse av lange dokumenter og nettsideartikler. En rettesnor kan være å ikke bare fokusere på hva elevene/de foresatte trenger å vite, men også vurdere når de trenger informasjonen.
• Det kan være hensiktsmessig å gi informasjonen lagvis, der det mest grunnleggende presenteres først, samtidig som leseren gis mulighet for å lese mer utdypende om de ulike emnene. Vær oppmerksom på at viktig informasjon ikke «gjemmes vekk» ved bruk av denne metoden.
• Vurder om det kan være hensiktsmessig å gi (eller gjenta) informasjon når elevene er i en setting der den aktuelle informasjonen er relevant, f.eks. ved bruk av pop up-vinduer.
• Benytt ulike virkemidler – noe fungerer på én gruppe noe på en annen gruppe. AVT-prosjektet benytter både tekst, film og bilder i sitt informasjonsmateriell, og tilbakemeldinger fra elever og foresatte viser at ulike brukergrupper reagerer ulikt på forskjellige virkemidlene.
• Vær tålmodig og ikke undervurder kompleksiteten og hvor krevende det kan være å forstå hvordan læringsanalysesystemet fungerer, samt formålet og konsekvensene ved å ta i bruk et slikt system. Dette gjelder både barn og voksne.

Forklaring av systemets underliggende logikk

Læringsanalysesystemet til AVT-prosjektet et beslutningsstøttesystem. Det vil si at systemet kommer med forslag og anbefalinger, men som ikke tar egne beslutninger på vegne av lærer eller elev. Hvis systemet hadde tatt automatiserte beslutninger ville det ha vært omfattet av personvernforordningen artikkel 22 og da er det et krav om gi relevant informasjon blant annet om systemets underliggende logikk. Om det må informeres om logikken dersom det ikke er automatiserte avgjørelser eller profilering, må vurderes fra sak til sak basert på om det er nødvendig for å sikre en rettferdig og åpen behandling.

I sandkassen tok vi ikke endelig stilling til om AVT-prosjektet er rettslig forpliktet til å gi informasjon om den underliggende logikken til læringsanalysesystemet. Vi diskuterte imidlertid problemstillingen i lys av målsettingen til sandkassen; å bidra til etisk og ansvarlig kunstig intelligens. På denne bakgrunn har vi diskutert hvordan forklaringer som gir brukerne økt forståelse av hvordan systemet fungerer kan bidra til å øke tilliten til systemet, til at systemet brukes riktig og til å avdekke eventuelle feil.

Men hvor detaljert bør man forklare systemet? Er det tilstrekkelig kun å gi en generell forklaring av hvordan systemet behandler personopplysninger for å komme til et resultat, eller bør det også følge en begrunnelse med hver anbefaling systemet kommer med? Og hvordan skal man gi de yngste elevene en meningsfull forklaring? Dette sandkasseprosjektet gir ingen endelige eller uttømmende svar på disse spørsmålene, men vi har diskutert fordeler, ulemper og ulike løsningsalternativer.

Det gjelder å tenke kreativt når det kommer til forklaringer for de yngste elevene, og forklaringene trenger ikke nødvendigvis være utformet som tekst. AVT-prosjektet laget for eksempel en informasjonsvideo som de viste frem til forskjellige interessenter. Videoen var godt likt av barna, men høstet blandet kritikk fra de voksne.

Barna opplevde at den forklarte systemet på en lettvint måte, mens de voksne synes den inneholdt for lite informasjon. Dette illustrerer for det første hvor ulike behov ulike mennesker har, og for det andre hvor vanskelig det kan være å finne passende nivå og mengde. AVT-prosjektet har også vurdert å bygge en «dummy»-versjon av læringsanalysesystemet, som lar brukerne selv eksperimentere med ulike variabler. På den måten kan man se hvordan informasjonen man gir systemet påvirker anbefalingene systemet kommer frem til. Visualisering er ofte egnet til å forklare avansert teknologi på en enkel måte. Her kan man også tenke seg ulike brukergrensesnitt for ulike målgrupper; for eksempel ett brukergrensesnitt tilpasset de yngste elevene og ett brukergrensesnitt tilpasset de eldre elevene og elevenes foresatte.

En personvernerklæring er egnet for å gi generell informasjon om behandling av personopplysninger i systemet. Vi har også diskutert om det bør gis individuelle begrunnelser på systemets anbefalinger. Altså informasjon om hvordan systemet har kommet frem til en konkret anbefaling og hvilke opplysninger anbefalingen er basert på. Individuelle begrunnelser kan være lett tilgjengelig for brukerne, men trenger ikke nødvendigvis presenteres sammen med anbefalingen. Det kan være mange fordeler ved å begrunne systemets anbefalinger. Hvis elevene og lærerne får en bredere forståelse av hvordan systemet fungerer kan dette øke tilliten deres til systemet. Begrunnelsene kan også støtte oppunder lærernes evne til å gjøre reelle vurderinger av anbefalingene, og minske risikoen for at noen benytter systemet som et automatisk beslutningssystem (altså stoler blindt på systemet istedenfor å bruke det som en støtte til å ta en beslutning). I tillegg kan begrunnelser bidra til å avdekke feil i systemet ved at informasjonen kan hjelpe brukerne å oppdage feil eller skjevheter i systemet.

Ved å ta utgangspunkt i hvilke interesser og kunnskaper den enkelte ansatte har om informasjonssikkerhet, skal opplæringen gjøres mer pedagogisk og målrettet, og dermed mer virkningsfull. Verktøyet skal i tillegg tilby virksomhetene rapporter med aggregert statistikk over ansattes kunnskaps- og interessenivå innenfor informasjonssikkerhet.

For å kunne gi persontilpasset opplæring, vil Secure Practice samle og sammenstille relevante data om de ansatte i kundens virksomhet. Profileringen plasserer hver enkelt sluttbruker i en av flere «risikokategorier», som blir utslagsgivende for hvilket opplæringstilbud han eller hun mottar i fortsettelsen. Re-kalkulering av risikoprofiler vil gjøres kontinuerlig og automatisk, slik at ansatte kan flyttes til ny kategori når de underliggende dataene tilsier dette.

Profilering av ansatte kan være utfordrende fordi maktbalansen mellom arbeidsgiver og arbeidstaker er ujevn, og profilering kan fort oppleves som inngripende for den enkeltes personvern. I tillegg til å se på dataflyt og å sørge for at arbeidsgiver ikke får tilgang til detaljert informasjon om den enkelte var åpenhet rundt bruk av data et sentralt tema i dette prosjektet.

Har arbeidstakerne krav på informasjon om logikken i algoritmen?

Verktøyet i dette sandkasseprosjektet faller utenfor artikkel 22 i personvernregelverket, siden det ikke er en automatisert beslutning som har rettsvirkninger for arbeidstakerne. Derfor følger det ingen plikt til å informere om hvordan algoritmen fungerer direkte av denne bestemmelsen.

Videre vurderte prosjektet om åpenhetsprinsippet lest i lys av fortalen likevel kunne tilsi en rettslig plikt til å informere om hvordan algoritmen fungerer. Etter personvernforordningens artikkel 5 nr. 1 bokstav a skal den behandlingsansvarlige sikre at behandling av personopplysninger gjøres på et åpent og rettferdig vis. Fortalepunkt 60 fremhever i tilknytning til åpenhetsprinsippet at den registrerte bør få informasjon når det skjer profilering og hvilke konsekvenser profileringen har.

Det europeiske personvernrådet fremhever viktigheten av å informere om konsekvensene av at personopplysninger behandles, og at det ikke skal komme som en overraskelse på de som får personopplysningene sine behandlet.

Selv om bruken av personopplysninger i dette prosjektet ikke utløser en rettslig plikt til å forklare den underliggende logikken, er det er god praksis å praktisere åpenhet på en måte som gjør brukeren i stand til å forstå hvordan opplysningene brukes.  Åpenhet om hvordan verktøyet fra Secure Practice fungerer, kan bidra til å skape tillit til KI-verktøyet.

Brukermedvirkning: Hvordan bygge tillit gjennom åpenhet?

Hvilken informasjon er det relevant å gi ansatte som skal ta i bruk verktøyet? Og når bør de få informasjonen? For å belyse disse spørsmålene ble det gjennomført to fokusgrupper: En med ansatte i en stor norsk virksomhet, og en med representanter fra en arbeidstakerorganisasjon.

Ett av spørsmålene vi diskuterte i fokusgruppene var om den ansatte bør få en forklaring på hvorfor algoritmen serverer den enkelte akkurat dette forslaget. For eksempel hvorfor en ansatt blir oppfordret til å gjennomføre en spesifikk opplæringsmodul («fordi vi ser at du ikke gjorde den forrige uke») eller ta en quiz om cybertrusler («fordi vi ser at du er ferdig med den modulen, og det kan være en god idé å sjekke hva du fikk med deg»).

Et eksempel kunne være at en ansatt fikk forslag om å gjennomføre en bestemt type opplæring, fordi de hadde blitt lurt av en phishing-øvelse. I fokusgruppene diskuterte vi om slik detaljert informasjon kunne gi brukeren en følelse av overvåking, som igjen kunne lede til mindre tillit. Argumentene gikk i motsatt retning: de fleste var enige om at det var en god idé å gi denne typen informasjon, fordi det vil hjelpe den ansatte å forstå hvordan opplysningene brukes og at denne åpenheten kan bygge tillit til løsningene.

Vi diskuterte også hvilke typer data som var relevant å ha med i en slik løsning, og hvilke data som ikke bør tas med. Systemet kan potensielt analysere alt fra oversikt over gjennomførte moduler og resultatet fra opplæringsquizer, til hvordan de ansatte behandler mistenkelig e-post, til mer inngripende informasjon fra personlighetskartlegginger.

Fokusgruppen med ansatte fra en stor norsk virksomhet var i utgangspunktet villige til å ta i bruk løsningen og dele ganske detaljerte data, forutsatt at det var et konstruktivt bidrag til å oppnå formålene om bedre informasjonssikkerhet i virksomheten. Det kom frem at de hadde høy tillit til at arbeidsgiver ivaretok personvernet deres, og at de stolte på at arbeidsgiver ikke ville bruke informasjon om dem til nye formål som kunne ha negative konsekvenser for de ansatte.

I fokusgruppen med arbeidstakerorganisasjonen var det fokus på risikoen for at svarene kunne spores tilbake til den enkelte arbeidstaker, og for at arbeidsgiver kan bruke opplysningene fra et slikt verktøy til nye formål. For eksempel at arbeidstaker kan bli straffet hvis de scorer dårlig, ved å ikke få lønnsøkning eller andre muligheter i virksomheten. De poengterte at åpenhet er en forutsetning for at arbeidstakere skal kunne stole på løsningen.

Deltakerne i fokusgruppene var enige om at det er viktig at kommunikasjonen med de ansatte er tydelig og klar. Usikkerhet rundt hvordan dataene brukes, øker faren for at de ansatte tilpasser svarene sine til det de tror er “riktig”, eller at de ikke er villige til å dele data. Dette er et interessant funn, fordi algoritmen blir mindre treffsikker hvis dataene den baserer seg på er unøyaktig og ikke representerer den reelle situasjonen brukeren er i.

Fokusgruppen med arbeidstakerorganisasjonen mente at det er viktig at det tidlig i prosessen avklares hvordan dataene skal lagres og benyttes i virksomhetens arbeide. Videre argumenterte de for kontrakten mellom Secure Practice og virksomheten bør utformes på en måte som ivaretar personvernet til de ansatte, og viktigheten av å involvere de ansatte eller tillitsvalgte fra tidlig i anskaffelsesprosessen. De mente også at en slik løsning kan oppleves ulikt av arbeidstakere avhengig av situasjonen, for eksempel om de har høy eller lav tillit til arbeidsgiver.

For å minimere risikoen for den enkelte arbeidstaker advarte arbeidstakerorganisasjonen mot å utforme spørsmål på en slik måte at svarene kunne skade arbeidstakerne, dersom de ble kjent for arbeidsgiveren. De oppfordret til å unnlate å spørre om arbeidstaker har gjort sikkerhetsbrudd, og å vinkle kommunikasjonen mot den enkelte på en positiv måte, slik at brukeren opplever å bli støttet og veiledet istedenfor å bli profilert og kritisert.

Secure Practice brukte innsikten fra brukermedvirkningen til å tilpasse måten løsningen legger opp til å gi informasjon til sluttbruker. I tillegg til smarte grep rundt åpenhet, fikk Secure Practice i sandkasseprosjektet juridiske innspill til hvordan de kan beskytte den enkelte ansatte mot at opplysninger fra løsningen kan brukes til nye formål. Det kan du lese mer om i sandkasserapporten.

I dette prosjektet så vi på vi på åpenhet rettet mot NAV-veilederne. For at beslutningsstøttesystemet skal fungere optimalt trenger de som skal ta den endelige avgjørelsen relevant informasjon om det algoritmiske forslaget. Dette prosjektet er et eksempel på viktigheten av åpenhet for andre enn bare sluttbruker.

Stoler vi på algoritmen?

Gode forklaringer av algoritmen og dens prediksjoner øker tilliten hos de som skal bruke systemet, noe som er helt sentralt for å oppnå den ønskede verdien. De flere tusen NAV-ansatte som jobber med brukerveiledning spiller derfor en avgjørende rolle.

Systemet som predikerer sykefraværslengde er et beslutningsstøttesystem, men hva skjer hvis systemet i praktisk anvendelse blir et beslutningssystem? En veileder i NAV gjennomgår mange saker i løpet av en vanlig arbeidsdag. Hvis det virker som om algoritmen gir konsekvente gode anbefalinger kan det jo være fristende å alltid følge den. Veilederen tenker kanskje at algoritmen sitter på så mye data at den vet best, og at det skal litt til for å ikke følge anbefalingen?  Hvor lett er det for en nyansatt å ikke følge anbefalingen til algoritmen?

Eller hva hvis NAV-veilederne syns at algoritmen gir merkelige anbefalinger, og ikke stoler på dem? En konsekvens av det vil kunne være at veilederne konsekvent ikke bruker verktøyet som beslutningsstøtte. Det ville også ha vært uheldig fordi hele hensikten med løsningen er å hjelpe veilederne til å ta gode valg, slik at innkallingene oftere treffer riktig. Ideelt sett vil en slik modell redusere de tilfeldige variasjonene blant NAV-veilederne og føre til mer enhetlig praksis, i tillegg til å redusere kostnader.

I sandkassen diskuterte vi risikoene for at NAV-veilederne lener seg for mye eller for lite på beslutningsstøttesystemet, og hvordan legge til rette for at systemet oppleves som en reell støtte for veilederne og blir brukt på en god og riktig måte. At NAV-e får god opplæring og instrukser i hvordan algoritmen fungerer og skal brukes, samt en meningsfull forklaring i enkelttilfeller, er viktig for å redusere risikoen for en «snikautomatisering» eller at den ikke tas med i vurderingen i det hele tatt.

Når NAV-veilederne forstår modellens oppbygning, virkemåte og oppførsel, vil det være enklere å vurdere prediksjonen på et selvstendig og trygt grunnlag. I tillegg kan forklaringen bidra til å hjelpe veilederne å avdekke diskriminering, uønsket forskjellsbehandling og feil. Her vil en forklaring knyttet til en enkelt avgjørelse være supplert med informasjon knyttet til utfallet for enkelte grupper det er naturlig å sammenlikne med.

Hvordan ser en meningsfull forklaring ut?

Et spørsmål vi har diskutert i sandkassen er hvordan en meningsfull forklaring ser ut i praksis i NAVs tilfelle. Målgruppene for åpenhet i løsningen er de sykmeldte og NAV-veiledere. Forklaringene er både globale, altså på systemnivå, og lokale utfallsforklaringer. De to ulike nivåene vil følgelig ha delvis ulike målgrupper, og det vil stilles ulike krav til hvordan de innrettes.

NAV ønsker å informere i forkant av behandlingen om at brukeren har rett til å protestere mot at det i det hele tatt skal gjøres en prediksjon basert på en profilering. De ønsker også å informere om hvordan modellen er bygget og hvilke variabler som inngår. NAV vurderer også å informere den individuelle brukeren om de viktigste faktorene som trekker den predikerte sykefraværsvarigheten opp og de viktigste faktorene som trekker den ned.

En meningsfull forklaring er ikke bare avhengig av tekniske og juridiske krav, men også språklige og designmessige vurderinger. Forklaringen må tilpasses til målgruppen den retter seg mot. For eksempel trenger NAV-veiledereforklaringer som kan anvendes i praksis i en hektisk hverdag. NAV må derfor balansere og avveie mellom dybde og forenklinger som gjør det mulig å ta forklaringen i bruk. Forklaringen må dessuten integreres med øvrig informasjon veilederne har tilgang til. Et konkret eksempel er at NAV ikke kan presentere informasjon om hvordan 100 variabler har bidratt til en prediksjon. NAV må gruppere disse sammen og gjøre et utvalg. Det kreves i tillegg ekstra årvåkenhet dersom forklaringen retter seg mot barn eller sårbare grupper. NAVs modell vil kunne inkludere flere særskilte kategorier personopplysninger om sårbare grupper (for eksempel helseopplysninger om sykmeldte eller om personer har noe annet enn norsk som morsmål) og NAV vil derfor måtte vurdere å tilpasse språk, innhold og form basert på det.

Når det gjelder NAV-veilederne er planen å forklare dem hvordan modellen virker generelt, og beskrive hvordan de skal bruke resultatet fra modellen i saksbehandlingsrutiner. I tillegg skal veilederne få forklaringer på enkeltsaksnivå og informasjonselementer modellen har lært fra som en del av informasjonsgrunnlaget for å ta den endelige avgjørelsen om brukeren kalles inn til dialogmøtet eller ikke. Prediksjonen skal inngå som ett av flere momenter som er tilgjengelig for veilederen, inkludert den informasjonen en veileder baserer en avgjørelse på i dag.

De to hovedmålgruppene for åpenhet om løsningen er altså brukere og veiledere. I tillegg er ledelsen i NAV, som behandlingsansvarlig for opplysningene i modellen, og tilsynsmyndigheter andre målgrupper som kan ha behov for og krav på en forklaring på hvordan algoritmen fungerer.

NAV ønsker å ta sin del av ansvaret når det gjelder åpenhet rundt bruken av algoritmer. Et mulig tiltak som NAV vurderer er å informere om hvordan NAV i stort ønsker å ta i bruk kunstig intelligens. NAV søker også å bidra til bred informasjon og opplyst debatt om bruken av kunstig intelligens gjennom mediebildet. Et siste tiltak er å informere og involvere brukerutvalg i forkant av og underveis i utviklingen av tjenester som baserer seg på kunstig intelligens.

Secure Practice er avhengig av brukernes (de ansatte i virksomheten) tillit til at dataene deres ikke misbrukes eller brukes av arbeidsgiver til nye formål. Om den tilliten ikke er til stede, er det fare for at det påvirker de ansattes villighet til å dele korrekte opplysninger, som igjen kan gi et unøyaktig sluttresultat.

I arbeidslivet er det i utgangspunktet et skeivt maktforhold mellom arbeidsgiver og de ansatte, noe som gjør behovet for tillitsbyggende åpenhet og kommunikasjon ekstra viktig.

AVT-prosjektet, i regi av KS, har noe av den samme problemstillingen ved seg. Der kan utfordringen bli for mye åpenhet. Foresatte skal i utgangspunktet kunne ha innsyn i innsamlede persondata om barnet. Men om det blir for enkelt for foresatte å kontrollere alt eleven gjør i skoletimene, vil elevene – særlig de med foreldre som stiller strenge krav – kunne oppleve det som å være på en evig eksamen. De trenger også rom for å prøve og feile. Her er det altså to viktige og rettmessige behov som står i konflikt med hverandre.

I en fokusgruppe for Secure Practice-prosjektet ble det tydelig at nyanseforskjeller i formuleringer kan få stor betydning for oppfattelsen av det som står der. «Du får denne oppgaven fordi du gjorde feil på phishing-øvelsen i forrige uke» er mer forklarende enn «Du får denne oppgaven som oppfølging av phishing-øvelsen i forrige uke». Likevel ville fokusgruppen helst bli servert den siste formuleringen, fordi det første alternativet kunne oppleves mer invaderende og personlig.

I dette sandkasseprosjektet ble det arrangert to fokusgrupper. De uttrykte vidt forskjellig vilje til å gi fra seg data, og vidt forskjellig nivå av tillit til at selskapene vil bruke verktøyet bare slik det er ment å brukes. Dette illustrerer jo også at man ikke skal generalisere seg blind på svar fra én fokusgruppe eller ett brukerintervju.

I NAV-prosjektet er nøkkelen å sikre at brukerne, altså NAV-veilederne i denne sammenheng, har akkurat passe tillit til systemet. De skal ikke stole blindt på det, for da blir det i praksis en automatisk beslutning. Så hvordan skal man formulere informasjonen i løsningen, slik at brukerne opplever det som et godt hjelpemiddel, men at de samtidig er skjerpet nok til å kunne ta selvstendige avgjørelser? På samme tid bør helst de registrerte, altså de sykmeldte, ha full tillit til at systemet er trygt og virker rettferdig.

Så langt om brukernes tillit til løsningen, men hva med utviklerens tillit til brukerne? Fokusgruppene fra AVT-prosjektet fikk fram at det alltid vil være noen som prøver å «game» systemet. Elever kan prøve å lure systemet for å få mindre lekser eller enklere oppgaver. Ansatte kan være villig til å gi sjefen god rating, fordi det er pes med utdypende oppfølging. Det er menneskelig å ofte ønske å gjøre det enkelt for seg selv.

Kort oppsummert kan åpenhet bidra til tillit, som igjen kan bidra til at folk tar i bruk løsninger og er villige til å dele opplysninger. Åpenhet er et regelverkskrav men det kan også legge grunnlaget for en ansvarlig bruk av kunstig intelligens som kommer både de som tilbyr og bruker løsningene til gode.

HVEM skal du være åpen for?

• Start med å identifisere hvem mottakerne/målgruppa for informasjonen er, og prøv å sette seg inn i situasjoner de trolig er i når de mottar informasjonen. Er det et verktøy for saksbehandlere i en rolig kontorsituasjon? Eller for leger i en akuttsituasjon? Skal brukene legge inn sine egne persondata? Er det i så fall i en setting der de føler seg trygge? Er det sensitiv informasjon? Kan du forutse forstyrrelser som kan påvirke situasjonen når brukerne skal motta og vurdere informasjonen?
• Fokusgrupper er ett eksempel på et verktøy for å «bli kjent med» brukerne/de registrerte. Hjelp dem med å leve seg inn i en brukersituasjon med KI-løsningen din, og test ut hvordan de reagerer på forskjellige formuleringer eller elementer ved den.
• Er det sine egne persondata brukerne skal bruke i verktøyet? I så fall må de både få informasjon om hva som registreres og hvordan det brukes, i tillegg til eventuelt en forklaring på hvordan systemet virker.
• Eller er det «profesjonelle brukere» som skal bruke løsningen til behandling av andres personopplysninger? I så fall kan kommunikasjonen splittes opp i to forskjellige budskap til to forskjellige målgrupper. Det gjør det gjerne enklere, fordi det oftest er lettere å kommunisere på en pedagogisk god måte når det er mindre å formidle og målgruppen er spisset.

HVA skal du være åpen om?

• Først og fremst bør du lage en oversikt over hva personvernforordningen krever at du informerer om i ditt tilfelle. Kartlegg om ditt prosjekt bruker helautomatiserte beslutninger, involverer særlige opplysninger (f.eks. helseopplysninger) eller av andre grunner utløser skjerpede krav, og vurder hvordan det påvirker hva du må informere om.
• Er løsningen din rettet mot bruk i offentlig sektor, finn ut hvilke særlover som gjelder (f.eks. opplæringslova om du vil tilby et verktøy til bruk i skolen). Finnes det egne åpenhetskrav i disse regelverkene, som påvirker prosjektet ditt og hva du må informere om?
• Også for rent kommersielle produkter er det relevant å sjekke hva andre deler av lovverket enn personvernforordningen stiller av informasjonskrav. Påvirker f.eks. markedsføringsloven, angrerettloven eller finansavtaleloven hva du må eller bør informere om?
• Har du oversikt over informasjonsflyten og om løsningen din deler personopplysninger med andre? Husk å informer brukerne hvis du deler personopplysninger med tredjeparter og sørg for at du gjør det lovlig.
• Har du selv nok teknisk innsikt i løsningen til å forklare hvordan algoritmen fungerer og hvilke opplysninger den bruker? Velg en løsning som legger til rette for å gi informasjonen som kreves.
• Lovens krav er en minstestandard for å sikre godt personvern. Vurder om det av forretningsmessige eller etiske hensyn er behov for å gi informasjon utover det loven krever. Hva kan bidra til tillitsbyggende kommunikasjon?

HVORDAN skal du være åpen?

• Husk at det som er innlysende for deg som utvikler eller eier av KI-løsningen, kan være gresk for de fleste brukere. Skriv enkelt. Følg Språkrådets klarspråknormer, slik at både brukere og alle de registrerte skjønner hva du mener med dine forklaringer.
• Test ut alternative formuleringer på potensielle brukere, for å finne ut hvordan de reagerer.
• Husk at for mye informasjon kan slå feil ut. Porsjoner ut infoen i overkommelige doser, trinnvis og akkurat når og der den er relevant. Men ikke misbruk dette rådet til gjemme bort viktig informasjon. Det blir slått hardt ned på innviklet informasjon, som brukerne må gjennom flere lag for å forstå eller finne ut av, jamf. det franske datatilsynets bot på 50 millioner euro til Google LLC.  
• Hvis du skal forklare hvordan algoritmen virker: Kan du få det til å minne mer om en historiefortelling enn en mattetime?
• Ta hensyn til situasjonen brukeren er i, når du utformer informasjonen brukeren skal få.
• Vil brukeren møte den samme forklaringen gjentatte ganger, kan det være lurt å bruke formuleringer som tåler slitasje.

HVOR skal du være åpen?

• I hvilken kanal skal du henvende deg til brukerne? En tørr og grå personvernerklæring fremstår muligens mer seriøs og tillitsvekkende enn fargerike sprett-opp-bokser. Samtidig vil klok bruk av sprett-opp-bokser, der du får informasjonen når den er relevant, gjerne gi en god brukeropplevelse. De forskjellige kanalene har sine styrker og svakheter, som du bør ha et bevisst forhold til.
• Sørg for å ha en personvernerklæring som er lett tilgjengelig – både innholdsmessig og at den er lett å finne.