Spesielt om regulatorisk sandkasse for ansvarlig kunstig intelligens

2022 var det andre året med operativ drift for Datatilsynets regulatoriske sandkasse. Sandkassen ble opprettet høsten 2020 og de første prosjektene startet på nyåret i 2021.

Målet med sandkassen er å stimulere til innovasjon av etisk og ansvarlig KI fra et personvern­perspektiv. Sandkassen hjelper enkeltaktører med å følge regelverket og utvikle personvernvennlig kunstig intelligens. For å skalere effekten av sandkassen deler vi de konkrete vurderingene og løsningene vi kommer frem til slik at andre virksomheter som tar i bruk kunstig intelligens kan hente inspirasjon og læring fra sandkasseprosjektene.

Sandkassen var i 2022 finansiert av et tverr-departementalt samarbeid. Det inkluderer Kommunal- og distriktsdepartementet, Arbeids- og sosialdepartementet, Helse- og omsorgsdepartementet, Kunnskapsdepartementet, Nærings- og fiskeridepartementet og Samferdselsdepartementet.

Gjennomførte aktiviteter

I 2022 har hovedaktivitetene i sandkassen vært gjennomføring og avslutning av prosjekter, samt opptak av tre nye prosjekter. Utadrettet kommunikasjon for å få søkere og for å spre læringen fra prosjektene, har også vært en prioritet.

Datatilsynet har evaluert alle sandkasseprosjektene som er gjennomført. Evalueringene av prosjektene inkluderte både de eksterne deltakerne og de som var involvert fra Datatilsynet. Tilsynet har også fullført en anskaffelsesprosess av en ekstern aktør, som skal evaluere effekten av sandkassen. Aktøren ble valgt i desember 2022 og arbeidet med evalueringen starter opp i januar 2023.

Sandkasseprosjekter

Sandkassen publiserte sluttrapporter for følgende prosjekter i 2022:

• NAV vil bruke KI til å predikere sykefraværslengden til sykmeldte personer. Formålet er å få en mer brukervennlig og effektiv oppfølging av sykmeldte. Sandkasseprosjektet utforsket hvilken informasjon saksbehandler trenger om hvordan algoritmen kommer frem til en anbefaling, for at vedkommende kan ta en god beslutning. Prosjektet avdekket også at det er uklart hjemmels­grunnlag for utvikling av kunstig intelligens i særlovgivningen. Funnet er relevant for andre sektorer innen det offentlige, der utydelig regelverk (når det gjelder bruk av personopplysninger til å utvikle kunstig intelligens) kan være en barriere for innovasjon.
• Secure Practice ønsker å utvikle en tjeneste som profilerer ansatte, for å kunne tilby tilpasset sikkerhetsopplæring. I sandkassen synliggjorde vi hvordan rollen til Secure Practice som databehandler/behandlingsansvarlig kan brukes til å begrense arbeidsgiverens tilgang til de ansattes data for å ivareta personvernet på en god måte. Vi gjennomførte også fokusgrupper, som bidro til å belyse hvilke behov den ansatte har for informasjon om hvordan opplysningene deres brukes.
• Kommunenes interesseorganisasjon (KS) ønsker å analysere elevers data fra ulike digitale læringsverktøy for å støtte lærerne i vurderingsarbeidet og for å tilpasse undervisningen bedre til elevenes individuelle nivå. KS samarbeider med Slate ved Universitetet i Bergen og Utdanningsetaten i Oslo i prosjektet, og temaet var behandlingsgrunnlag og åpenhet. Dette er et foregangsprosjekt som viser hvordan utdanningssektoren kan implementere kunstig intelligens i læringsverktøy på en personvernvennlig og ansvarlig måte.
• Finterai er en oppstartsbedrift som vil gå løs på et samfunnsproblem innen finanssektoren: hvitvasking og terrorfinansiering. De vil benytte seg av føderert læring, en desentralisert metode, som blir ansett som mer personvernvennlig. Slik skal bankene lære av hverandres data uten å faktisk dele dem. Prosjektet hadde spesielt fokus på behandlingsansvar, dataminimering og sikkerhet.
• Helse Bergen HF ønsker å bruke kunstig intelligens til å peke ut hvilke pasienter som står i fare for å komme kjapt i retur til sykehuset. Ved å bruke et slikt verktøy kan helsevesenet gi bedre oppfølging på tvers av helsetjenestene, i håp om å spare pasientene og samfunnet for unødige innleggelser. Dette prosjektet gikk i dybden på spørsmål knyttet til lovlighet, åpenhet og rettferdighet.
• Simplifai ønsker å ta i bruk maskinlæring for å identifisere og foreslå hvilke eposter og tilhørende dokumenter som regnes som arkivverdige. Målet er å hjelpe offentlig sektor med å møte arkiveringskravene i regelverket og effektivisere arkiveringsprosessen. Sandkasseprosjektet har sett på lovligheten i løsningen og innebygd personvern ved kjøp av intelligente løsninger.

Opptak av nye prosjekter

I 2022 hadde vi en opptaksrunde i mars. Det kom inn 11 søknader hvorav 8 var fra privat sektor og tre fra offentlig sektor. Det var en nedgang i antallet søknader fra tidligere runder. Vi tror nedgangen kan komme av at vi gikk mindre bredt ut med informasjon denne gangen, og at vi var spissere i presiseringen av hvilke prosjekter vi ønsker å ha med i sandkassen. Alle 11 prosjektene var imidlertid relevante, og opptakskomiteen hadde mange gode prosjekter å velge imellom.

Opptakskomiteen bestod av en intern, tverrfaglig gruppe som gjennomførte samtaler med samtlige søkere. Tilsynet fikk hjelp av en ekstern referansegruppe til å vurdere samfunnsnytten (som er ett av opptakskriteriene) til prosjektet. Denne gruppen består av representanter fra Innovasjon Norge, Norsk Regnesentral, Likestillings- og diskrimineringsombudet og Tekna. Den endelige utvelgelsen av prosjektene ble gjort av styringsgruppen som består av ledelsen i tilsynet.

Følgende prosjekter ble valgt ut og hadde oppstart sommeren 2022:

• Ruter ønsker å bruke kunstig intelligens i forsøket på å forstå kundenes behov og bevegelsesmønstre, for å kunne tilby persontilpassede tjenester innen kollektivtransport.
• Ahus vil utvikle en algoritme som skal kunne forutsi faren for hjertesvikt. Verktøyet bygger blant annet på EKG-målinger og er tenkt brukt som beslutningsstøtte i klinikken.
• Doorkeeper er et oppstartsfirma ønsker å tilby personvernvennlig intelligent videoanalyse.

Utadrettet aktivitet

Åpenhet rundt prosess og konklusjoner i sandkassen er en viktig del av sandkassemetoden for å skalere effektene av prosjektene. Derfor er det vesentlig å publisere prosjektplaner og sluttrapporter fra alle prosjektene på nettsidene våre.

Rapporter

I løpet av 2022 har vi publisert seks sluttrapporter. Vi sendte ut pressemeldinger ved lansering av rapportene, noe som ofte genererte eksterne oppslag. Det ble også skrevet blogger og artikler eller arrangert webinarer for hver rapportpublisering, der essensen av læringen i prosjektet ble dratt fram.

På tampen av 2022 publiserte vi en erfaringsrapport om åpenhet i kunstig intelligens, der et tema som gikk igjen i tre av de første prosjektene ble løftet fram. Det er den første rapporten fra sandkassen som ikke er en sluttrapport, og er et startskudd for at læringen fra sandkassen i fortsettelsen skal pakkes om og tematiseres på forskjellige måter.

Podkast og formidling gjennom kommunikasjonskanalene våre

Vi slapp fem podkast-episoder i serien SandKasten: Én for hvert av prosjektene i andre sandkasserunde, i tillegg til to episoder som er opptak av arrangementer vi holdt på CPDP-konferansen og Arendalsuka.

Sandkassen sto ellers bak ett innlegg i Personvernbloggen og sendte ut 12 nyhetsbrev. Vi har dessuten hatt to annonser med redaksjonelt innhold, én i Aftenposten/BT og én på dn.no. Den første fokuserte på sandkassemetoden, mens den andre viste fram hvor mye vi har fått til i sandkassen.

Det har også blitt laget en kommunikasjonsplan for 2023, som tar for seg et økt fokus på å få generert kunnskap fra sandkassen helt fram – i forskjellige formater om ulike tema – til de som trenger hjelpen.

Arrangementer

I løpet av året sto vi for seks arrangementer. To av dem var i anledning rapportlanseringer: Ett sammen med KS, Utdanningsetaten i Oslo og Slate/UiB i anledning AVT-rapporten. Det andre var i samarbeid med Finansforbundet i anledning lansering av Finterai-rapporten.

I mai sto sandkassen som arrangør for et panel under CPDP-konferansen i Brüssel, med tittelen «A Sand Storm or Just a Breeze? What’s the Fuss About Sandboxes?». Under Arendalsuka arrangerte vi et panel sammen med Likestillings- og diskrimineringsombudet, med tittelen «Når algoritmer saksbehandler». I april arrangerte vi et erfaringsseminar om sandkasser i samarbeid med de andre sandkassene i landet «hjemme hos» Arkivverket. Og i november holdt vi det årlige Sandkasseseminaret (digitalt), der vi trakk fram læring fra et utvalg av prosjektene.

I tillegg har vi blitt invitert, og har deltatt, på rundt 25 arrangement i både inn- og utland der vi samlet sett har nådd et publikum på rundt 3450. I de fleste tilfellene er det sandkasse som metode og konkrete læringer fra sandkassen som er temaet. For eksempel presentere vi funn fra Helse Bergen- og Ahus-prosjektet på helsekonferansene EHiN2022 og Normkonferansen 2022.

Koordineringsmøter

Vi har fortsatt å arrangere koordineringsmøter med de andre norske sandkassene. I tillegg til Arkivverket og Finanstilsynet, har Digitaliseringsdirektoratet og Helsedirektoratet kommet til i løpet av 2022. Også det europeisk nettverket for sandkasser, som vi holder i, har vokst fra ICO i Storbritannia og CNIL i Frankrike, til å inkludere Island og Sverige. Vi har også hatt møter med politiske rådgivere i EU, som vil ta med seg den norske sandkassens erfaringer inn i prosessen med AI Act, der det ligger an til å anbefale alle medlemsland å etablere egne sandkasser for kunstig intelligens. 

Annet

Vi opplever fortsatt en stor interesse for sandkassen, både nasjonalt og internasjonalt, og har opplevd at både sandkassen som tiltak i seg selv og sandkassens programleder har blitt nominert til forskjellige priser. Datatilsynet har blitt intervjuet av fire ulike doktorgradsstipendiater om sandkassen, samt av to mastergradsstudenter og ett forskningsprosjekt i 2022.

Erfaringer

Sandkassen gir Datatilsynet og deltakende virksomheter muligheten til å gå i dybden på problemstillinger det ikke finnes enkle fasitsvar og rettslige avgjørelser på. I løpet av 2022 har vi spesielt utforsket spørsmål knyttet til krav til åpenhet, lovlighet, rettferdighet, innebygd personvern og dataminimering i kunstig intelligens-løsninger. Gjennom prosjektene får vi også innsikt i tekniske og organisatoriske spørsmål som kan bidra til å senke terskelen for å få til personvernvennlig innovasjon. Eksempler på dette er innsikt i hvordan føderert læring kan bidra til personvernvennlig deling uten å faktisk dele data, og en bedre forståelse av hvordan tydelige krav til personvern i anskaffelse av kunstig intelligens kan bidra til bedre løsninger.

Evalueringene fra de gjennomførte prosjektene viser at nytteverdien for både deltakerne og Datatilsynet er stor. Deltakerne melder tilbake at de har får viktige avklaringer i prosjektene. Datatilsynet opplever at sandkassen bidrar til å bygge verdifull intern kompetanse som er viktig for at tilsynet skal kunne gi veiledning, gjøre saksbehandling og tilsynsvirksomhet på dette området på en god og kompetent måte.  Opptaksrunden i 2022 var tredje runde med prosjekter, og erfaringene fra tidligere runder gjorde at prosjektgjennomføringen ble mer effektiv og rapportskrivingen enklere fordi grunnleggende tematikk allerede var behandlet i tidligere sluttrapporter.

Datatilsynet opplever stor interesse for sandkassemetoden og tematikken både nasjonalt og internasjonalt, og har bygget betydelig kompetanse som gjør at vi ligger blant de fremste tilsynene på dette området internasjonalt. Metoden er en måte å jobbe på som fostrer læring og dialog om ny teknologi og rettslige krav som det finnes lite presedens på. Vi ser på sandkassen som et viktig verktøy som bidrar til praktisk kunnskap om hvordan regelverket skal anvendes i et økende digitalisert samfunn. Satsingen er nå under evaluering.