Prosjektet «Aktivitetsdata for vurdering og tilpassing» (AVT) er et forsknings- og utviklingsprosjekt som tar for seg bruk av digital læringsanalyse i skolen. Prosjektet skal utforske muligheter og utfordringer ved å benytte læringsanalyse og kunstig intelligens (KI) for å analysere elevers aktivitetsdata fra ulike digitale læremidler.

Gjennom deltakelse i sandkassen ønsker AVT-prosjektet å utforske de rettslige rammene, i tillegg til rammene for ansvarlighet og etikk, for bruk av læringsanalyse i skolen. Det overordnede målet er å legge til rette for tilpasset undervisning for den enkelte elev, hvor personvernet til elevene ivaretas på best mulig måte. Sandkasseprosjektet har vært inndelt i tre delmål, hvor vi har utforsket rettslig grunnlag, ivaretagelse av elevens personvern gjennom en vurdering av personvernkonsekvenser, og åpenhet.

Konklusjoner

• Rettslig grunnlag: Datatilsynet og AVT-prosjektet har ulike synspunkter på valg av rettslig grunnlag og hvorvidt det supplerende grunnlaget er tilstrekkelig. I AVT-prosjektet har de vurdert behandlingen som en «rettslig forpliktelse», og viser til at det supplerende grunnlaget i opplæringsregelverket underbygger dette. Datatilsynets innspill er at «allmennhetens interesse» synes som det mest passende grunnlaget for behandlingen, og at det supplerende rettsgrunnlaget burde vært sterkere enn det er i dag, men utelukker ikke at «rettslig forpliktelse» kan benyttes.
• Konsekvenser for elevenes personvern: Gjennom dialog med interessenter som alle representerer grupper som vil bli berørt av læringsanalysesystemet på forskjellige måter, var det tre risikoer for elevenes personvern som særlig ble løftet frem. Det gjelder risiko for endret adferd (nedkjølingseffekt), risiko for ukorrekte personopplysninger i systemet, og risiko for at teknologien påfører elevene uønsket stress. I tillegg belyste vi tre andre potensielle risikoer knyttet til henholdsvis særlige kategorier personopplysninger, behandling av opplysninger om tredjeparter og grensedragningen mot et automatisk beslutningssystem.
• Åpenhet: En utfordring for AVT-prosjektet er det store alders- og utviklingsspennet i gruppen som skal benytte læringsanalysesystemet. I sandkassa diskuterte vi hvordan de ved bruk av både språklige og visuelle virkemidler, kan gi informasjon som er enkel nok for de yngste elevene samtidig som de dekker informasjonsbehovet til de eldste elevene og elevenes foresatte. AVT-prosjektet har blant annet vurdert å bygge en «dummy» av læringsanalysesystemet, som lar brukerne selv eksperimentere med ulike variabler. Slik visualisering er ofte egnet til å forklare avansert teknologi på en enkel måte.

Veien videre

Kunnskapsdepartementet jobber for tiden med en ny opplæringslov, som vil være klar tidligst i 2023. Innenfor utdanningssektoren har man derfor nå en unik mulighet til å klargjøre skolenes handlingsrom for å bidra i utvikling av KI-verktøy til bruk i undervisningen.

Sandkasseprosjektet er avsluttet, men skolenes reise innen kunstig intelligens har nettopp begynt. AVT-prosjektet baner vei i et felt som kommer til å bli viktig i fremtiden. Deres bidrag i sandkassen har kastet lys på et fagområde som Datatilsynet ikke har hatt erfaring med tidligere. Mulighetene er enorme, og relevansen av en forsvarlig og etisk tilnærming kunne ikke vært mer tydelig. I AVT-prosjektet tar de ansvaret på alvor, og legger sannsynligvis nå grunnlaget for bedre utdanning av barna våre i tiden som kommer.

En av verdiene for grunnskoleopplæringen er at den skal «åpne dører mot verden og fremtiden». For å oppnå dette er det essensielt at barna våre får en god skolegang. Vi har litt over en halv million grunnskoleelever i Norge. Alle disse barna er unike individer, med ulike forutsetninger for å lære. For å sikre at barna har godt utbytte av opplæringen er skoleeierne (hovedsakelig kommunene) forpliktet til å vurdere elevens arbeid og progresjon underveis og tilpasse opplæringen til hver enkelt elev, så langt det lar seg gjøre (se opplæringslova § 1-3).

Det er lærernes oppgave å tilpasse undervisningen i praksis. I dag er informasjonsgrunnlaget for lærernes arbeid med vurdering og tilpassing spredt på papir, i ulike digitale verktøy og delvis prisgitt lærerens egen hukommelse. Hva om det fantes et system som kunne samle denne informasjonen på ett sted og systematisere det, for å støtte lærerne i arbeidet? Et system som analyserer progresjonen til hver enkelt elev, presenterer en oversikt over progresjonen og anbefaler for læreren hva elevene kan jobbe videre med. Det er dette som er målet til prosjektet «Aktivitetsdata for vurdering og tilpassing» (AVT).

«Aktivitetsdata for vurdering og tilpassing» er et forsknings- og utviklingsprosjekt (FOU) som tar for seg bruk av digital læringsanalyse i skolen. Prosjektet skal utforske muligheter og utfordringer ved å benytte læringsanalyse og kunstig intelligens (KI) for å analysere elevers aktivitetsdata fra ulike digitale læremidler. Aktivitetsdata er de opplysningene som skapes når en elev gjør oppgaver i et læremiddel. Det kan være svaret som en elev gir til en oppgave, og opplysninger om hvilken oppgave eleven har løst, hvor lang tid eleven brukte og om eleven svarte rett eller galt. På samme måte som skolene kjøper inn lærebøker fra ulike forlag, kjøper de digitale læremidler fra ulike leverandører. Det er digitale læremidler som er relevante for AVT-prosjektet, men vi kaller de bare «læremidler» i rapporten her.

Prosjektet bygger på forskningsfeltet kunstig intelligens i utdannelse («AI in Education»), hovedsakelig intelligente læringssystemer («intelligent tutoring systems») og læringsanalyse («learning analytics»). Spesifikt benytter AVT-prosjektet en åpen læringsmodell («Open Learner Model») og analyse- og anbefalingsalgoritmer for analyse av læringsprogresjon og anbefalinger for elevene. Resultatet av analysene skal vises i en nettportal (et «dashboard») som er tilpasset de ulike brukerne – for eksempel lærere, elever og foresatte. Innlogging i portalen skal foregå via Feide.

Formålet med prosjektet er å utforske om det vil være hensiktsmessig å utvikle en offentlig forvaltet løsning som kan støtte lærerne med å tilpasse undervisningen til den enkelte elev, og gi elevene økt innsikt i egen læring, samt å støtte lærerne i arbeidet med vurdering av elevene. Målet med tilpassingen er at elevene skal få best mulig utbytte av opplæringen. På et overordnet nivå ønsker AVT-prosjektet å være en pådriver for utvikling av nasjonale fellesløsninger, retningslinjer, normer og infrastruktur.

Første del av prosjektet (AVT1) startet i 2017. Da ble det utviklet en prototype og en løsning for å innhente aktivitetsdata fra ulike leverandører. I tillegg ble det gjort en innledende vurdering av personvernkonsekvenser (DPIA). I en slik vurdering kartlegger man konsekvensene systemet kan ha for brukernes personvern og utarbeider tiltak for å redusere konsekvensene. Andre del av prosjektet (AVT2) startet i 2020. I denne har de hentet aktivitetsdata om elever ved deltagende skoler i Oslo, fra ulike leverandører sine læremidler, for så å analysere og presentere resultat for lærere og elever.

AVT2-prosjektet eies av KS - Kommunesektorens organisasjon. Universitetet i Bergen (UiB) v/Centre for the Science of Learning & Technology (SLATE) er faglig ansvarlig og Utdanningsetaten i Oslo kommune har vært hovedpartner og pådriver siden prosjektstart i 2017. I senere tid har også Bærum kommune og kommunesamarbeidet Inn-Trøndelag deltatt i mindre roller. Alle prosjektpartnerne har vært involvert i sandkasseprosjektet.

Selve systemet er til nå kun testet med konstruerte testdata og pseudonymiserte aktivitetsdata relatert til matematikk fra en gruppe elever i Osloskolen. Disse dataene er hentet fra overgangsprøvene i regning etter 4. og 7. trinn samt et par av de deltakende leverandørene, som har klart å dele data i et tilpasset format.

Mål for sandkasseprosessen

Målene med dette sandkasseprosjektet må ses i lys av Datatilsynets overordnede mål med sandkassen, som er å stimulere til utvikling og bruk av etisk og ansvarlig kunstig intelligens, fra et personvernperspektiv. Datatilsynet har en veiledende rolle i sandkassen, der vi sammen med AVT-prosjektet ønsker å komme frem til gode personvernløsninger for læringsanalyse.

I tidligere faser av AVT-prosjektet har prosjektdeltakerne fått inntrykk av at utdanningssektoren er umoden for bruk av kunstig intelligens, både når det kommer til regulering av teknologien og bruk av den. I tillegg er det uklart hva rammene for «ansvarlig kunstig intelligens» faktisk er. Gjennom deltakelse i sandkassen ønsker AVT-prosjektet å utforske de rettslige rammene, i tillegg til rammene for ansvarlighet og etikk. Det overordnede målet er å legge til rette for tilpasset undervisning for den enkelte elev, hvor personvernet til elevene ivaretas på best mulig måte.

Sandkasseprosjektet har vært inndelt i tre delmål, hvor vi har utforsket:

1. Rettslig grunnlag. Om det rettslige grunnlaget for behandling av elevenes aktivitetsdata oppfyller kravene i personvernforordningen. Hvis ikke: hva må til for å oppfylle kravene?
2. Elevens personvern. Hvilke konsekvenser kan læringsanalysesystemet ha for elevenes personvern? Hva må de ansvarlige ta hensyn til for å ivareta personvernet til elevene?
3. Åpenhet. Hvordan man kan gi informasjon om læringsanalysesystemet til de som skal bruke det (lærere, elever og foresatte)? Hva må det informeres om, og hva bør informeres om?

Offentlige myndigheter behandler mange personopplysninger om oss borgere. For at dette skal være lov, må de ha et rettslig grunnlag – en hjemmel. Hjemmelen danner rammer for hva myndighetene (for eksempel en kommune) kan bruke opplysningene våre til, og skal beskytte innbyggerne mot inngrep i livene sine.

Det er kommunene som skal sørge for grunnskoleopplæringen i Norge (se opplæringslova § 13-1). Det betyr at de har ansvar for og myndighet til å bestemme hvordan opplæringen skal gjennomføres, innen visse rammer selvfølgelig. Det ville for eksempel blitt vanskelig å gjennomføre opplæringen på en god og effektiv måte hvis hver foresatt kunne bestemme hvilke lærebøker deres barn skulle benytte. I tillegg er kommunene «skoleeiere» for de offentlige grunnskolene. En kommunene har med andre ord myndighet til å bestemme over «sine» offentlige grunnskoler. Rettslig sett er da også kommunene behandlingsansvarlig for behandling av elevenes personopplysninger. Læringsanalysesystemet som AVT-prosjektet utvikler er noe kommunene vil kunne tilby skolene å bruke på lik linje med andre læremidler og støttesystemer som lærerne bruker for å planlegge, gjennomføre og følge opp elevenes læringsarbeid. Dersom skolen velger å ta systemet i bruk vil det ikke være valgfritt for elevene.

Krav til rettslig grunnlag

Kommunene må ha et rettslig grunnlag for å kunne pålegge elevene å benytte læringsanalysesystemet. Og fordi systemet benytter kunstig intelligens må de ha rettslig grunnlag for både anvendelsesfasen og utviklingsfasen (også kalt «etterlæring») for den kunstige intelligensen (algoritmen). Utvikling av algoritmen foregår ofte både før og etter at systemet er tatt i bruk, som en evig gjentagende prosess hvor systemet lærer av nye data som tilføres og genereres. Formålet for de to typene behandling som fasene medfører må defineres nærmere av den behandlingsansvarlige, og vi kommer tilbake til AVT-prosjektets definisjoner senere i kapitlet.

Det er naturlig å dele spørsmålet om rettslig grunnlag i to, basert på de to hovedfasene i et KI-prosjekt; utviklingsfasen og anvendelsesfasen. De to fasene benytter personopplysninger på ulike måter.

Personvernforordningen artikkel 6 oppstiller flere alternative rettslige grunnlag. Det er hovedsakelig to av dem som er aktuelle å benytte i forbindelse med læringsanalyse:

Begge de rettslige grunnlagene krever det vi kaller supplerende rettsgrunnlag. Det vil si at man også må ha en hjemmel til behandlingen i en annen lov. Kravet til supplerende rettsgrunnlag fremkommer av forordningen artikkel 6(3).

Det supplerende rettsgrunnlaget trenger ikke nødvendigvis regulere behandlingen i detalj, selv om lovgiver legger opp til at det også kan gjøres. Vi må imidlertid også vurdere rettsgrunnlaget i forhold til andre lovkrav. Blant annet må det supplerende rettsgrunnlaget være utformet på en måte som gjør behandlingen forutsigbar for den opplysningene gjelder. Sistnevnte er en del av rettssikkerhetsprinsippet om forutberegnelighet, som er sentralt i norsk rett. Det er også slik at jo mer inngripende behandlingen er, jo tydeligere bør hjemmelen være. I tillegg er prinsippet om dataminimering relevant (se forordningen artikkel 5), fordi det begrenser omfanget av personopplysninger en kan tillate seg å behandle. Prinsippet angir at en kun har lov til å behandle de personopplysningene som er nødvendige for å oppnå formålet med behandlingen. For å gjøre vurderinger og tilpasse opplæringen til en elev er det for eksempel nødvendig å behandle opplysninger om elevens læringsaktiviteter i ulike fag, men ikke nødvendig å behandle opplysninger om elevens fritidsaktiviteter eller tidspunktet eleven gjorde lekser på, selv om opplysningene kunne vært relevante for vurderingen.

Det er også verdt å merke seg at vilkårene som knytter seg til «rettslig forpliktelse» er formulert mer snevert enn vilkårene som knytter seg til «allmennhetens interesse». Hvis man baserer seg på førstnevnte, må man være rettslig forpliktet til å behandle opplysningene, og formålet skal fremkomme av det supplerende rettsgrunnlaget. Det vil si at formålet for en behandling man er rettslig forpliktet til å utføre defineres av lovgiver gjennom en demokratisk prosess. Videre har de registrerte ingen rett til å protestere på behandlingen hvis behandlingsansvarlig er rettslig forpliktet til behandlingen. Det avgrensede handlingsrommet som «rettslig forpliktelse» omfattes av, tilsier at det ikke er noen reelle alternativer til å oppnå formålet med behandlingen uten å behandle personopplysningene. En logisk følge av det er at det ikke er hensiktsmessig å gi den registrerte noen rett til å protestere.

Hvis behandlingen gjøres for å utføre en oppgave i allmennhetens interesse eller utøve offentlig myndighet som den behandlingsansvarlige er pålagt, trenger ikke formålet fremkomme av det rettslige grunnlaget (men det kan). Det holder at formålet i seg selv er nødvendig for å utføre den aktuelle oppgaven eller utøve den aktuelle myndigheten. Bokstav e gir altså behandlingsansvarlig rom til å definere formålet selv. Det vil si at kravene til det supplerende rettsgrunnlaget er noe mindre omfattende om behandlingen baseres på «allmennhetens interesse», enn om den baseres på «rettslig forpliktelse».

For behandlinger som baseres på «allmennhetens interesse» følger det også med en rett til å protestere på behandlingen, se forordningen artikkel 21. protest skal knyttes til «vedkommendes særlige situasjon», uten at det utdypes hva som ligger i dette. Etter ordlyden kan det dreie seg om individuelle forhold av tilnærmet enhver karakter. Retten til å protestere er imidlertid ikke absolutt. Hvis behandlingsansvarlig kan «påvise at det foreligger tvingende berettigede grunner for behandlingen som går foran den registrertes interesser», så kan de fortsette behandlingen (se personvernforordningen art. 21. nr. 1).

Forordningen oppstiller også andre rettslige grunnlag som ikke er aktuelle å vurdere i vårt prosjekt. Å basere behandlingen på samtykke er for eksempel ikke aktuelt. Samtykker kan trekkes tilbake når som helst, og er uansett lite egnet der maktforholdet mellom partene er skjevt. Å basere behandlingen på avtale mellom kommunen og foreldrene er heller ikke et alternativ, fordi ingen kan pålegges å inngå en avtale.

Diskusjon om rettslig grunnlag

Anvendelsesfasen

Rettslig grunnlag var det mest diskuterte temaet i dette sandkasseprosjektet, og diskusjonene har primært knyttet seg til anvendelsesfasen for læringsanalysesystemet. 

Det er ingen tvil om at kommunene har rettslig grunnlag til å behandle elevenes personopplysninger, både for å tilpasse opplæringen og gi vurdering i fagene. I 2021 ble det også inntatt en ny bestemmelse i opplæringslova (§ 15-10). Bestemmelsen angir en generell rett for skoleeier til å behandle personopplysninger, inkludert særlige kategorier personopplysninger, når det er nødvendig for å utføre oppgaver etter opplæringslova.

Det følger av opplæringslova § 1-3 at opplæringen i skolen skal tilpasses evnene og forutsetningene til den enkelte elev. Videre følger det av forskrift til opplæringslova at elevene har rett til underveisvurdering i fagene. Formålet med vurderingen er både å fremme læring og bidra til lærelyst, og å gi informasjon om kompetanse underveis og ved avslutning av opplæringen i faget (se forskrift til opplæringslova §§ 3-2 og 3-3). Grunnlaget for vurderingen er kompetansemålene i læreplanen i faget (se forskrift til opplæringslova § 3-3 andre avsnitt). Kravene til underveisvurderingen er nærmere spesifisert i forskriften § 3-10. Der fremkommer det blant annet at underveisvurderingen skal være en integrert del av opplæringen, og at den skal brukes til å fremme læring, tilpasse opplæringen og øke kompetansen i faget. Kommunen har ansvaret for at kravene i både loven og forskriften oppfylles, herunder stille til disposisjon de ressursene som er nødvendig for at kravene skal kunne oppfylles.

Diskusjonen i sandkassen har hovedsakelig omhandlet hvorvidt den rettslige forpliktelsen kommunene har til å tilpasse opplæringen og vurdere elevene, også kan omfatte behandling av elevenes personopplysninger ved hjelp av læringsanalyse og kunstig intelligens. Som vi har nevnt ovenfor må dette ses i lys av blant annet det supplerende rettsgrunnlaget, prinsippet om dataminimering og rettssikkerhetsprinsippet om forutberegnelighet. Før vi kommer til diskusjonen redegjør vi kort for hvordan arbeidet med tilpassing og vurdering gjøres i dag.

Det finnes ingen universell metode for hvordan kommunene vurderer elevenes kompetanse og gir tilpasset opplæring. Metoden kan variere både skolene imellom og mellom lærere på samme skole. AVT-prosjektet har imidlertid gitt et generelt eksempel: Læreren henter inn vurderingsinformasjon manuelt ved se på gjennomførte aktiviteter i hvert enkelt læremiddel som elevene bruker. Hvert læremiddel presenterer vurderingsdata på ulike måter. Læreren må derfor selv forsøke å se sammenhenger og danne seg et bilde av elevenes kompetanse og utvikling basert på elevenes oppgavebesvarelser og aktiviteter i undervisningen, for å skape et best mulig samlet vurderingsgrunnlag og benytte dette til å tilpasse læringsaktivitetene. Hvilke verktøy som brukes i denne prosessen er forholdsvis uregulert og spenner i praksis fra egen hukommelse, via ustrukturerte skriftlige notater, til mer strukturerte systemer som digitale læringsplattformer med ulike funksjonaliteter.

Det kan være relevant å sammenligne læringsanalysesystemet med læremidler og støttesystemer for sammenstilling av aktivitetsdata fra én stor leverandør med bred produktportefølje. Slike har ofte en liknende funksjonalitet for sammenstilling av elevenes resultater fra egen produktportefølje. Læringsanalysesystemet til AVT-prosjektet vil samle mer av den nødvendige funksjonaliteten for lærerne i ett system, som også skal bruke kunstig intelligens. Å ta i bruk et slikt sentralt læringsanalysesystem, som samler inn aktivitetsdata fra ulike læremidler og bearbeider dem ved bruk av kunstig intelligens, har flere fordeler:

• Den enkelte elev sine aktivitetsdata vil sammenstilles fra ulike læremidler og være lett tilgjengelig fra ett system.
• Presentasjonen av dataene blir mer strukturert, fordi de er på sammenlignbart format og knyttes til elementer i læreplanen. Dette skal gi bedre kvalitet til analysen som både systemet og læreren skal gjøre.
• Analysen av den enkelte elev sin læring blir mer nøyaktig ved at elevens opplysninger kan sammenlignes med aggregerte data om andre elever.
• Det genereres nye personopplysninger og en elevprofil som kan fortelle noe om hvor elevene er i sin læringsprosess og gir anbefalinger til videre arbeid. Dette ville vært vanskelig å utlede uten sammenstillingen som systemets KI bidrar til.

AVT-prosjektets vurdering er at det kontinuerlige tilpasning- og vurderingsarbeid, med eller uten bruk av digital læringsanalyse, i prinsippet er samme behandling. Den rettslige forpliktelsen til vurdering og tilpasset opplæring er gjennomgående implementert i opplæringslova og forskrift til opplæringslova. Plikten kan etterleves på ulike måter og med ulike verktøy – både trykte og digitale. Omfanget av opplysninger som behandles om den enkelte elev og hvilke metadata (kontekst) dette settes inn i vil kunne variere, og er ikke verktøyavhengig. AVT-prosjektet fremholder derfor at det ikke er noen prinsipiell forskjell i om en lærer gjør egne analyser av elevens kompetanse og tilpasningsbehov gjennom for eksempel å studere elevens resultater i ulike læremidler, elevens notatbok og muntlig deltakelse i timen, og på den annen side et læringsanalysesystem som hjelper læreren til å gjøre sine vurderinger ved å sammenfatte og bearbeide informasjonen fra noen av de samme læremidlene i et visuelt grensesnitt.

Videre er AVT-prosjektets vurdering at valg av verktøy ikke er relevant for vurderingen av om et rettsgrunnlag er tilstrekkelig eller ikke. Som støtte for dette viser de til Personvernnemndas avgjørelse i Spekter-saken, der nemnda uttaler følgende:

Som et ytterligere argument for at bruken av læringsanalyseverktøyet ligger innenfor den rettslige forpliktelsen, har AVT-prosjektet fremhevet at det er skolens ansvar å tilrettelegge undervisningen slik at den sikrer et best mulig vurderingsgrunnlag. Både når det gjelder bredden i faget og dybdekunnskap innenfor enkeltområder i faget. Videre viser AVT-prosjektet til at de spesifikke kompetansemålene i læreplanen danner rammen for hva som er nødvendig, og at nødvendighetsprinsippet i personopplysningsloven derfor må sees i lys av dette. Personopplysninger som ikke har relevans for elevenes måloppnåelse i henhold til læreplanen for faget, vil dermed være unødvendige, mens personopplysninger som har relevans for elevenes måloppnåelse vil være nødvendige.

Som grunnlag for struktureringen av personopplysninger i læringsanalysesystemet er det utviklet en domenestruktur (i prosjektet kalt fagkart), som er en digital representasjon av læreplanen og mer detaljerte faglige emner og begreper i denne. Videre har prosjektet definert hvilke metadata utover dette som skal registreres, gjennom en xAPI-profil og eksempler. AVT-prosjektet viser til at denne innrammingen sikrer at personopplysninger som benyttes er relevante og dermed nødvendige. De anfører at det er elementene i metadataene som må verifiseres i lys av nødvendighetsprinsippet, og ikke omfanget i selve datagrunnlaget. AVT-prosjektet fremholder at de har gjort en streng vurdering av disse elementene. I fagkartet er seks av de ti elementene for eksempel direkte hentet fra læreplanen, mens de siste fire bygger videre på læreplanen.

Datatilsynets synspunkt er at valg av verktøy kan være relevant for vurderingen av om behandlingen er dekket av det supplerende rettsgrunnlaget. Ulike verktøy behandler personopplysninger ulikt, og behandling med ett verktøy kan være mer inngripende enn behandling med et annet verktøy. Verktøy er mindre relevant for vurderingen om det er snakk om to tilsvarende verktøy som behandler samme mengde personopplysninger på omtrent samme vis. Bruk av læringsanalyse og kunstig intelligens vil blant annet medføre at det skapes flere nye og andre typer personopplysninger om elevene enn tidligere, og at det dermed behandles mange flere opplysninger om hver enkelt elev. Systemet vil også kunne lære, finne sammenhenger, gjøre sannsynlighetsanalyser og trekke konklusjoner langt utover det både mennesker og systemer som ikke benytter kunstig intelligens er i stand til. Etter vårt syn medfører derfor bruken av læringsanalyse ved hjelp kunstig intelligens en prinsipiell forskjell fra dagens metoder for vurdering av elevene og tilpassing av opplæringen.

Hvorvidt forskjellen mellom dagens metode og fremtidens metode med læringsanalyse er prinsipiell eller ikke, er likevel ikke avgjørende for hvilket behandlingsgrunnlag som er mest passende. Selv om forskjellen er prinsipiell utelukker altså ikke det at behandlingen kan baseres på en «rettslig forpliktelse». For å ta stilling til dette er det relevant å undersøke om, og eventuelt hvordan, behandlingen av personopplysninger påvirkes av innføringen av læringsanalyseverktøyet.

Datatilsynet støtter at personopplysninger som har relevans for elevenes måloppnåelse i henhold til læreplanen kan være nødvendige å behandle i forbindelse med vurdering av eleven og tilpassing av opplæringen. Vi deler imidlertid ikke synspunktet om at omfanget av datagrunnlaget ikke er relevant ved vurderingen av hvilke opplysninger som er nødvendige å behandle, for henholdsvis å «oppfylle en rettslig forpliktelse» eller «utføre en oppgave i allmennhetens interesse». Kravet til nødvendighet setter rammene for hva som er en lovlig behandling av personopplysninger innenfor de definerte formålene. Nødvendighetsprinsippet er en rettslig standard i EU/EØS, og må tolkes i overenstemmelse med forordningens formål. Hvis behandlingen baseres på «rettslig forpliktelse» er rammene som angis i opplæringslova fastere, ved at formålene er bestemt av lovgiver, og en må vurdere hvilke opplysninger som er nødvendige å behandle ut fra disse. Hvis behandlingen baseres på «allmennhetens interesse» må også behandlingen omfattes av opplæringslova sitt virkeområde, men en står friere til å definere formålet selv. Etter Datatilsynets oppfatning synes læringsanalysesystemet å behandle flere personopplysninger enn det som kan sies å være nødvendig for å oppfylle den rettslige forpliktelsen. Datatilsynet er altså tvilende til om kommunene kan sies å være rettslig forpliktet til å bruke læringsanalyse og kunstig intelligens for å tilpasse opplæringen og vurdere elevene. Utfra Datatilsynets begrensede forståelse virker det derfor mer passende å basere behandlingen på «allmennhetens interesse», hvor kommunene står friere til å definere formålet for behandlingen selv.

Det er viktig å påpeke at sandkasseprosjektet ikke har foretatt noen omfattende analyse av hvordan plikten til å gjøre vurderinger og tilpasse opplæringen til den enkelte elev oppfylles i dag, og i hvilken grad dagens metoder er egnet til å oppfylle plikten. AVT-prosjektet har fremhevet at kvaliteten på underveisvurderingen og tilpasningen av opplæringen sannsynligvis vil heves betydelig ved bruk av læringsanalysesystemet. De har videre anført at en stor verdi med læringsanalysesystemet er at den enkelte elev i større grad skal kunne ha tilgang til og nytte av egne personopplysninger, gjennom at de er tilgjengelig på en felles plattform som vil forvaltes av det offentlige.

Utviklingsfasen

Ved vurdering av rettslig grunnlag er det naturlig å skille mellom anvendelsesfasen, som er beskrevet ovenfor, og utviklingsfasen. Utviklingsfasen innebærer blant annet at læringsanalysesystemet bruker elevenes aktivitetsdata til å trene opp algoritmen, slik at den kan bli stadig mer treffsikker i sine prediksjoner.

AVT-prosjektet har konkludert med at formålene for de to fasene ikke er forenlige med hverandre. Det må derfor gjøres en selvstendig vurdering av rettslig grunnlag for utviklingsfasen av algoritmen, løsrevet fra hovedformålet. Det har vært enighet i sandkassen om at «allmennhetens interesse» er det best egnede rettslige grunnlaget for utviklingsfasen. Kommunene har per i dag neppe noen rettslig forpliktelse til å bidra til videreutvikling av KI-verktøy som benyttes i undervisningen.

Behandling av personopplysninger til den enkelte elev med formål om å videreutvikle algoritmen i et læringsanalyseverktøy, skjer til nytte for fellesskapet og ikke bare for den enkelte elev som får sine personopplysninger behandlet. Det er grunn til å anta at behandling for dette formålet kan fremstå mindre forutsigbart for elevene og deres foretatte, enn behandling av personopplysninger i forbindelse med bruk av læringsanalysesystemet.

Ved å basere behandlingen på «allmennhetens interesse» gis elevene en rett til å protestere. Les mer om dette lengre ned i rapporten. AVT-prosjektet vil bygge læringsanalysesystemet på en måte som ivaretar denne rettigheten, med en lett tilgjengelig funksjon for elevene som gjør det mulig å søke om at deres data ikke skal brukes til etterlæringen av systemet. Videre vil de begrense inngrepet i elevenes personvern ved å pseudonymisere personopplysningene som brukes til videreutvikling av algoritmen. De vil også se på muligheten for å anonymisere elevenes personopplysninger for bruk til dette formålet. Sistnevnte avhenger imidlertid av hvilken linje det europeiske Personvernrådet legger seg på i sine kommende retningslinjer om anonymisering.

I likhet med behandling av personopplysninger som er nødvendig for å oppfylle en rettslig forpliktelse, krever også behandling av personopplysninger som er nødvendig for å oppfylle en oppgave i allmennhetens interesse et supplerende rettsgrunnlag.

AVT-prosjektet har primært trukket frem opplæringslova § 13-3e, sammen med § 15-10, som supplerende rettsgrunnlag for behandling av personopplysninger for utviklingsfasen. Opplæringslova § 13-3e regulerer kommunenes plikt til å arbeide med kvalitetsutvikling i skolen. AVT-prosjektet argumenterer for at denne plikten innebærer at læringsanalysen skal være så nøyaktig og effektiv som mulig, noe som gjør det nødvendig å videreutvikle den anvendte algoritmen, herunder behandle elevers personopplysninger til etterlæring.

Temaet har vært lite diskutert i sandkassen, fordi mesteparten av oppmerksomheten har vært rettet mot behandlingsgrunnlag for anvendelsesfasen. Datatilsynet synes det er utfordrende å finne et tydelig supplerende rettsgrunnlag for utviklingsfasen i opplæringslova eller lovens forskrift, men utelukker ikke at grunnlaget AVT-prosjektet har basert behandlingen på kan benyttes. Dette er ikke en unik utfordring for utdanningssektoren, men noe de fleste offentlige virksomheter som ønsker å bidra til utvikling av KI-verktøy risikerer å støte på. Problemstillingen er også berørt i sluttrapporten fra NAV-prosjektet, som løp parallelt med dette prosjektet i sandkassen. Kunnskapsdepartementet jobber for tiden med en ny opplæringslov, som vil være klar tidligst i 2023. Innenfor utdanningssektoren har man derfor nå en unik mulighet til å klargjøre skolenes handlingsrom for å bidra i utvikling av KI-verktøy til bruk i undervisningen.

Retten til å protestere

Ved behandling av personopplysninger med grunnlag i «allmennhetens interesse», har de registrerte etter nærmere vilkår rett til å protestere på behandlingen (se personvernforordningen art. 21). I sandkassen har vi diskutert denne rettigheten opp mot den behandlingen som gjøres i læringsanalysesystemet. Som vi har nevnt tidligere må en protest begrunnes i den registrerte sin «særlige situasjon». Fordi vi har begrenset erfaring med bruk av kunstig intelligens i grunnskolen kan det være vanskelig å forestille seg hvilke særlige situasjoner som kan gjøre seg gjeldende.

En rett til å protestere på behandlingen i læringsanalysesystemet kan både være en fordel og en ulempe. En protest vil sette i gang en vurdering hos kommunen, som igjen kan føre til utbedringer i systemet. I tillegg er maktbalansen mellom kommune og elever skjev, og en rett til å protestere vil kunne bidra til å jevne ut denne. Ressursene som vil gå med til å behandle eventuelle protester kan dog være en ulempe, og det er vanskelig å anslå hvor mange protester som vil fremmes. Bruk av kunstig intelligens er nyskapende og ukjent for mange. Uvisshet kan skape bekymring hos både elever og foresatte, som igjen kan føre til protester mot behandlingen. Protester på slike grunnlag er ikke i seg selv nok til at behandlingsansvarlige må ta protesten til følge, men protesten må selvsagt behandles, og bevisbyrden ligger hos den behandlingsansvarlige.

Antallet protester vil sannsynligvis kunne begrenses med åpenhet (som også er et krav), for eksempel om hvilke data som brukes, hvordan dataene brukes, hvilke rettigheter elevene har og hvordan de kan anvende rettighetene sine. Når det kommer til stykket vil sannsynligvis de fleste sette pris på bedre læringstilpassing, med påfølgende høyere kunnskapsnivå for barna. Forutsatt at systemet utvikles på en ansvarlig måte.

Oppsummering rettslig grunnlag

Datatilsynet og AVT-prosjektet brukte to workshop-er til å diskutere det rettslige grunnlaget for behandling av personopplysninger i læringsanalysesystemet, og vi har ulike synspunkter på valg av rettslig grunnlag og hvorvidt det supplerende grunnlaget er tilstrekkelig. I AVT-prosjektet har de vurdert behandlingen som en «rettslig forpliktelse», og viser til at det supplerende grunnlaget i opplæringsregelverket underbygger dette. Datatilsynets innspill er at «allmennhetens interesse» synes som det mest passende grunnlaget for behandlingen, og at det supplerende rettsgrunnlaget burde vært sterkere enn det er i dag.

Her er det viktig å påpeke at de i AVT-prosjektet har betydelig mer kunnskap om utdanningssektoren, læringsanalyse og om opplæringsregelverket enn det Datatilsynet har. Prosjektet har også vært pågående siden 2017, hvor de har jobbet aktivt både med vurderingene og det konkrete systemet. AVT-prosjektet har altså et mye bredere vurderingsgrunnlag enn Datatilsynet har hatt, og har derfor hatt anledning til å gjøre mye grundigere arbeid. Datatilsynets innspill er å anse som veiledning, og utgjør ingen lovlighetsvurdering av læringsanalysesystemet. Samtidig er AVT-prosjektet bevisst på at det er sentrale spørsmål om databehandlingen i anvendelsen av systemet som de ikke har fått erfaring med enda, og som kan medføre at de på et senere tidspunkt vil endre sin vurdering av behandlingsgrunnlaget.

Vi vil også fremholde at utdanningssektoren har anledning til å ta initiativ til å få på plass et sterkere rettslig grunnlag enn den har i dag. I den nye opplæringsloven kan det for eksempel gis en tydelig hjemmel for bruk av kunstig intelligens og digital læringsanalyse, med klarere rammer for bruk. Det vil i så fall sikre sterkere demokratisk forankring for bruk av slike verktøy og høyere grad av forutberegnelighet, både for elever, foresatte, lærere, skoleeiere og andre berørte.

Mer spesifikt: hvis det er sannsynlig at en behandling av personopplysninger vil medføre høy risiko for noens rettigheter eller friheter, særlig ved bruk av ny teknologi. Men hvor er terskelen for «høy risiko»? Det er ikke alltid så lett å vite. Datatilsynet har utarbeidet veiledning om gjennomføring av slike vurderinger, og publisert en liste over hvilke behandlingsaktiviteter som alltid krever en vurdering av personvernkonsekvenser. Det er flere punkter fra listen som er relevante for AVT-prosjektet:

• Personopplysninger samlet inn via en tredjepart, i følge med minst ett annet kriterium.
• Behandling av personopplysninger med innovativ teknologi, i følge med minst ett annet kriterium.
• Behandling av personopplysninger for å evaluere læring, mestring og trivsel i skoler eller barnehager. Dette inkluderer alle utdanningsnivåer, fra barne- og ungdomsskole, videregående skoler og høyere utdanning. (Sårbare registrerte og systematisk monitorering.)
• Behandling av personopplysninger ved å systematisk monitorere effektivitet, ferdigheter, kunnskap, mental helse og utvikling. (Svært personlige opplysninger og systematisk monitorering).

I AVT-prosjektet hadde de allerede gjennomført en DPIA før prosjektet ble tatt opp i sandkassen. Ett av delmålene for sandkasseprosjektet var å jobbe videre med vurderingen, med innspill fra Datatilsynet på problemstillinger som er relatert til kunstig intelligens.

Underveis i sandkasseprosjektet så vi dessverre at tiden ikke ville strekke til for å gjennomføre alle de planlagte aktivitetene fra prosjektplanen. Vi ble derfor nødt til å nedprioritere aktivitetene under dette delmålet. Det førte til at vi kun fikk gjennomført én aktivitet knyttet til DPIA i sandkassen: en workshop med interessenter, som alle representerte grupper som vil bli berørt av læringsanalysesystemet på forskjellige måter.

Vi har også blitt oppmerksomme på potensielle personvernrisikoer gjennom diskusjoner i andre deler av sandkasseprosessen. Vi går kort igjennom disse funnene, som også kan knyttes til en vurdering av personvernkonsekvenser, under punktet «Andre identifiserte risikoer».

Workshop med interessenter

I workshop-en deltok både elever, foresatte, lærere og personvernombud fra kommunene som samarbeider med AVT-prosjektet. Arrangementet ble innledet med en felles presentasjon av læringsanalysesystemet, etterfulgt av diskusjoner i mindre grupper; én gruppe med en kombinasjon av barn og voksne og én gruppe med kun voksne. De fleste av risikoene som ble nevnt var allerede kjent for deltagerne i sandkasseprosjektet, men diskusjonene med interessentene bidro til å belyse risikoene ytterligere. Funnene følger nedenfor.

Risiko for endret adferd/nedkjølingseffekt

Hvis elevene endrer atferd når de arbeider med digitale læremidler, fordi de føler seg overvåket via læringsanalysesystemet, kan det oppstå en nedkjølingseffekt. Elevene var særlig bekymret for å bli overvåket på hvor lang tid de bruker på oppgavene. De påpekte at en slik tidtaking kan oppleves som et press om å løse oppgavene raskest mulig, på bekostning av kvalitet og læringsutbytte av oppgaveløsingen.

Et annet utslag av en nedkjølingseffekt kan være at elevene ikke føler seg like frie til å «prøve og feile» i oppgaveløsingen, fordi alt de gjør i de digitale læremidlene registreres og potensielt kan påvirke utfallet av profileringen som gjennomføres av læringsanalyseverktøyet.

Dersom innføring av et KI-basert læringsanalysesystem i opplæringen resulterer i en nedkjølingseffekt vil KI-verktøyet kunne virke mot sin hensikt. I stedet for at læringsanalysesystemet bidrar til å gi den enkelte elev mer tilpasset opplæring, tilpasser den enkelte elev sin opplæring og adferd til systemet.

Risiko for ukorrekte personopplysninger i systemet

Et grunnleggende prinsipp i personvernforordningen er at personopplysningene som behandles skal være korrekte (se personvernforordningen arikkel 5(1)(d)). Feil og upresise opplysninger i et læringsanalyseverktøy vil kunne få direkte betydning for profileringen av en enkelt elev. Dette vil igjen kunne påvirke både lærerens vurdering av elevens kompetanse og hvilke læringsressurser eleven får anbefalt.

Læringsanalysesystemet henter opplysninger om elevenes aktivitetsdata fra de digitale læremidlene som den enkelte skolen benytter. En potensiell kilde til ukorrekte opplysninger, som ble diskutert blant de voksne deltagerne på workshopen, kan oppstå hvis en elev løser oppgaver på andre elever sine vegne. Risikoen for dette har nok eksistert i skolen i alle år, og det er ingen grunn til å tro at overgangen til digital oppgaveløsing har endret på det. Konsekvensene for den enkelte elev kan imidlertid bli større dersom data fra oppgaveløsingen inngår i en KI-basert profilering av eleven. For eksempel ved at systemet lures til å tro at eleven er på et høyere nivå en vedkommende egentlig er, og dermed anbefaler oppgaver som eleven ennå ikke har forutsetninger for å kunne løse. Dette vil kunne oppleves demotiverende for eleven, og forsterke opplevelsen av å ikke mestre et fag eller emne. En lignende feilkilde kan være at noen elever bevisst svarer feil for å manipulere systemet til å få lettere eller færre oppgaver. Også dette er kjente mekanismer lenge før utdanningen ble digitalisert. Felles for begge tilfellene er at problemstillingen må adresseres både teknologisk og i det generelle holdningsskapende arbeidet.

Risiko for at teknologien påfører elevene uønsket stress

Ved bruk av læringsanalysesystemet risikerer man at skillet mellom øvings-/læringssituasjonen og testing blir mer uklart for elevene. Lærerne bruker også i dag informasjon fra elevenes oppgaveløsning og deltagelse i skoletimene som grunnlag for å vurdere elevenes kunnskapsnivå. Ved bruk av læringsanalysesystemet vil imidlertid denne vurderingen systematiseres og visualiseres på en annen måte enn i dag. Elevene uttrykte bekymring for at det ville bli en forventning om å vise frem «scoren» sin i systemet til medelever og foreldre, på samme måte som elever i dag kan oppleve et press om å dele prøveresultater.

Andre identifiserte risikoer

Særlige kategorier personopplysninger

I AVT-prosjektet legger de ikke opp til å behandle særlige kategorier (sensitive) personopplysninger gjennom læringsanalysesystemet. Slik behandling vil kreve et eget rettslig grunnlag etter artikkel 9. Vi diskuterte problemstillingen i sandkassen for å stimulere til dialog og refleksjon rundt eventuelle fremtidige behov, slik at dette kan tas hensyn til i utviklingsfasen i den grad det er mulig.

Blant annet diskuterte vi muligheten for at systemet vil kunne benyttes for å avdekke lærevansker. Ofte er det slik at hvis det finnes en mulighet for å benytte et system til andre nyttige formål enn opprinnelig planlagt, så er det bare et spørsmål om tid før det skjer. Det er heller ikke utenkelig at utdanningssektoren kan få hjemmel til å bruke kunstig intelligens til å avdekke lærevansker i fremtiden. Jo tidligere man kan avdekke lærevansker, jo tidligere kan den som har lærevansker få den oppfølgingen de trenger. Forutsetningen er selvfølgelig at kommunene har en tydelig hjemmel og at KI-systemet er utviklet på en ansvarlig måte, innenfor regelverkets rammer.

AVT-prosjektet har vært oppmerksomme på denne problemstillingen, og de vil iverksette tiltak for å utelukke at det behandles særlige kategorier av personopplysninger i systemet. Blant annet gjennom jevnlig kontroll av algoritmen og dataene som genereres. Løsningen har i dag ikke mekanismer for å blokkere mottak av fritekstsvar som mottas fra tilknyttede læremidler, men systemet skal ikke behandle data fra fritekstfelt i læringsanalysen.

Behandling av opplysninger om tredjeparter

Behandling av opplysninger om tredjeparter ble også tatt opp i sandkassen. Det vil si risikoen for at kommunene for eksempel behandler opplysninger om elevens foreldre, søsken og venner i systemet. Kommunene har ikke rettslig grunnlag for å behandle personopplysninger om andre enn eleven selv.

AVT-prosjektet har redegjort for at de vanskelig kan se for seg at løsningen kan si noe om foreldre, søsken eller andre tredjeparter. Mange av de samme tiltakene som er iverksatt for å unngå behandling av særlige kategorier av personopplysninger vil også være aktuelle her. For eksempel at de ikke behandler opplysninger fra fritekstfelt i løsningen. Det kan imidlertid være nødvendig å kontrollere dette med jevne mellomrom. Videreutvikling av systemet og integrasjon med nye tjenesteleverandører medfører risiko for at tredjeparters personopplysninger i fremtiden kan behandles gjennom løsningen. Det blir i så fall viktig å fange opp hvis, og eventuelt når, dette skjer.

Beslutningsstøtte

I AVT-prosjektet legger de til grunn at lærerne skal benytte systemet som beslutningsstøtte, og ikke som et automatisk beslutningssystem. Dette har relevans for vurderingen av om artikkel 22 i personvernforordningen kommer til anvendelse. Bestemmelsen angir en rett «til ikke å være gjenstand for en avgjørelse som utelukkende er basert på automatisert behandling». Det er flere grunner til at vi diskuterte dette i sandkassen. Blant annet fordi det kan være ønskelig å benytte systemet som et automatisk beslutningssystem i fremtiden. Det hadde imidlertid vært flere diskusjoner i AVT-prosjektet tidligere om lærerens rolle, og viktigheten av at denne ikke blir marginalisert med læringsanalysesystemet.

En annen risiko er at systemet i praksis vil benyttes som et automatisk beslutningssystem, selv om det ikke er planlagt slik. Altså at noen lærere vil godta anbefalinger fra systemet uten å foreta selvstendige vurderinger, for eksempel grunnet høy arbeidsbelastning, mangelfull kunnskap om algoritmen eller innsikt i hvordan systemet fungerer og så videre. Vi kan også tenke oss en situasjon der anbefalingene fra systemet oppleves som så gode at lærerne ikke føler at de kan overprøve systemet.

For å unngå at et beslutningsstøttesystem med tiden glir over i å bli et beslutningssystem er det først og fremst viktig å være oppmerksomme på risikoen og ha et bevisst forhold til den. Videre vil det være viktig å iverksette tiltak som sørger for at systemet faktisk brukes som beslutningsstøtte. For eksempel at skoleeier utarbeider rutiner og gjennomfører opplæring i hvordan systemet skal brukes, hvordan det fungerer og hva som ligger til grunn for anbefalingene systemet presenterer. Kunnskapsformidling er viktig for å sette lærerne i stand til å vurdere systemets anbefalinger i forhold til egne observasjoner og kjennskap til elevene. Andre aktuelle tiltak kan være å innføre rutiner for å avdekke om beslutningsstøtten faktisk er reell, eller om systemets anbefaling i praksis er helt avgjørende for lærerens beslutning. For å redusere denne risikoen har de i AVT-prosjektet designet læringsanalysesystemet slik at eleven eller læreren må ta et aktivt valg om man vil følge anbefalingen til systemet.

Tilsvarende problemstilling ble for øvrig også diskutert i NAV-prosjektet.

Se sluttrapporten fra NAV-prosjektet.

Personvernforordningen oppstiller spesifikke krav til informasjon som alle som behandler personopplysninger må følge (se artiklene 12, 13 og 14). Kravene omfatter blant annet at den registrerte skal ha informasjon om at det behandles personopplysninger, hvordan personopplysningene behandles og hvem som er behandlingsansvarlig. Informasjonen må være lett tilgjengelig og formidles på en tydelig måte ved bruk av et klart og enkelt språk. Dette gjelder særlig informasjon som skal gis til barn.

De spesifikke kravene til informasjon som følger av personvernforordningen kan betegnes som minimumskrav. I noen tilfeller er det nødvendig å gi mer informasjon for å ivareta det grunnleggende prinsippet om åpenhet, noe som var tema i diskusjonene med AVT-prosjektet.

Informasjon tilpasset brukerne

Det kan være utfordrende å gi en forståelig forklaring på hvordan et system som er basert på kunstig intelligens behandler personopplysninger. For AVT-prosjektet kompliseres situasjonen ytterligere av aldersspennet på brukerne. Potensielt kan dette systemet brukes av barn helt ned i seksårsalderen i den ene enden av skalaen og avgangselever på videregående skole i den andre enden. Spesielt for de yngste elevene, som ikke har evne til å forstå hvordan deres personvern kan påvirkes eller evne til å ivareta egne interesser, må også de foresatte få informasjon for å kunne ivareta sine barns interesser.

Som behandlingsansvarlige er det kommunene som har ansvaret for å etterleve informasjonsplikten. Norge er inndelt i 356 kommuner, som alle har ulike forutsetninger for å ta i bruk et læringsanalysesystem. Av den grunn ønsker de i AVT-prosjektet å bidra med en informasjonspakke, som også forklarer litt om læringsanalyse generelt. I den forbindelse har de utarbeidet utkast til både skriftlig og grafisk materiell som kommunene kan benytte i sitt informasjonsarbeid. I sandkassen har vi vurdert informasjonsmaterialet og diskutert løsninger for å tilpasse informasjonen til de ulike brukergruppene.

For å oppfylle informasjonskravet er det viktig å ta utgangspunkt i mottakergruppen. Det er ikke alltid man på forhånd vet hvem mottakerne av informasjonen er, for eksempel fordi den behandlingsansvarlige ikke vet hvem som vil ta i bruk en tjeneste. Fordelen for AVT-prosjektet er at gruppen som skal benytte læringsanalysesystemet er klart definert på forhånd. Utfordringen er det store alders- og utviklingsspennet i denne gruppen. Et viktig spørsmål som ble diskutert i sandkassen var hvordan AVT-prosjektet kan gi informasjon som er enkel nok for de yngste elevene samtidig som de dekker informasjonsbehovet til de eldste elevene og elevenes foresatte.

Vi kan oppsummere diskusjonene i sandkassen med følgende kulepunkter:

• Bruk et språk som tar utgangspunkt i de yngste elevene – også voksne setter pris på enkel og lettfattelig informasjon.
• All lovpålagt informasjon må med, men ikke nødvendigvis på samme sted og til samme tid. Både voksne og barn kan bli motløse av lange dokumenter og nettsideartikler. En rettesnor kan være å ikke bare fokusere på hva elevene/de foresatte trenger å vite, men også vurdere når de trenger informasjonen.
• Det kan være hensiktsmessig å gi informasjonen lagvis, der det mest grunnleggende presenteres først, samtidig som leseren gis mulighet for å lese mer utdypende om de ulike emnene. Vær oppmerksom på at viktig informasjon ikke «gjemmes vekk» ved bruk av denne metoden.
• Vurder om det kan være hensiktsmessig å gi (eller gjenta) informasjon når elevene er i en setting der den aktuelle informasjonen er relevant, f.eks. ved bruk av pop up-vinduer.
• Benytt ulike virkemidler – noe fungerer på én gruppe noe på en annen gruppe. AVT-prosjektet har benyttet både tekst, film og bilder i sitt informasjonsmateriell, og tilbakemeldinger fra de registrerte viser at ulike brukergrupper reagerer ulikt på forskjellige virkemidlene.
• Vær tålmodig og ikke undervurder kompleksiteten og hvor krevende det kan være å forstå hvordan læringsanalysesystemet fungerer, samt formålet og konsekvensene ved å ta i bruk et slikt system. Dette gjelder både barn og voksne.

AVT-prosjektet vil fortsette arbeidet med problemstillingene knyttet til informasjonsplikten og -behovene etter avslutning av sandkasseprosjektet.

Forklaring av systemets underliggende logikk

For automatiske beslutningssystemer som omfattes av forordningen artikkel 22, følger det uttrykkelig av personvernforordningen at den behandlingsansvarlige alltid skal gi relevant informasjon blant annet om systemets underliggende logikk.

Se personvernforordningen art. 13(2)(f) og art. 14(2)(g). 

Om det må informeres om logikken dersom det ikke er automatiserte avgjørelser eller profilering, må vurderes fra sak til sak basert på om det er nødvendig for å sikre en rettferdig og åpen behandling.

Som nevnt tidligere i rapporten er læringsanalysesystemet til AVT-prosjektet et beslutningsstøttesystem, og ikke et automatisk beslutningssystem som omfattes av personvernforordningen artikkel 22. I sandkassen har vi ikke tatt endelig stilling til om AVT-prosjektet er rettslig forpliktet til å gi informasjon om den underliggende logikken til læringsanalysesystemet. Vi har imidlertid diskutert problemstillingen i lys av målsettingen til sandkassen, om å bidra til etisk og ansvarlig kunstig intelligens. På denne bakgrunn har vi diskutert hvordan forklaringer som gir brukerne økt forståelse av hvordan systemet fungerer kan bidra til å øke tilliten til systemet, til at systemet brukes riktig og til å avdekke eventuelle feil.

Men hvor detaljert bør man forklare systemet? Er det tilstrekkelig kun å gi en generell forklaring av hvordan systemet behandler personopplysninger for å komme til et resultat, eller bør det også følge en begrunnelse med hver anbefaling systemet kommer med? Og hvordan skal man gi de yngste elevene en meningsfull forklaring? Dette sandkasseprosjektet gir ingen endelige eller uttømmende svar på disse spørsmålene, men vi har diskutert fordeler, ulemper og ulike løsningsalternativer.

Det gjelder å tenke kreativt når det kommer til forklaringer for de yngste elevene, og forklaringene trenger ikke nødvendigvis være utformet som tekst. AVT-prosjektet laget for eksempel en informasjonsvideo som de viste frem til forskjellige interessenter. Videoen var godt likt av barna, men høstet blandet kritikk fra de voksne. Barna opplevde at den forklarte systemet på en lettvint måte, mens de voksne synes den inneholdt for lite informasjon. Dette illustrerer for det første hvor ulike behov ulike mennesker har, og for det andre hvor vanskelig det kan være å finne passende nivå og mengde. AVT-prosjektet har også vurdert å bygge en «dummy» av læringsanalysesystemet, som lar brukerne selv eksperimentere med ulike variabler. På den måten kan man se hvordan informasjonen man gir systemet påvirker anbefalingene systemet kommer frem til. Visualisering er ofte egnet til å forklare avansert teknologi på en enkel måte. Her kan man også tenke seg ulike brukergrensesnitt for ulike målgrupper; for eksempel ett brukergrensesnitt tilpasset de yngste elevene og ett brukergrensesnitt tilpasset de eldre elevene og elevenes foresatte.

En personvernerklæring er egnet for å gi generell informasjon om behandling av personopplysninger i systemet. Som vi nevnte ovenfor har vi imidlertid også diskutert om det bør gis individuelle begrunnelser på systemets anbefalinger. Altså informasjon om hvordan systemet har kommet frem til en konkret anbefaling og hvilke opplysninger anbefalingen er basert på. Individuelle begrunnelser kan være lett tilgjengelig for brukerne, men trenger ikke nødvendigvis presenteres sammen med anbefalingen. Det kan være mange fordeler ved å begrunne systemets anbefalinger. Hvis elevene og lærerne får en bredere forståelse av hvordan systemet fungerer kan dette øke tilliten deres til systemet. Begrunnelsene kan også støtte oppunder lærernes evne til å gjøre reelle vurderinger av anbefalingene, og minske risikoen for at noen benytter systemet som et automatisk beslutningssystem. Endelig kan begrunnelser bidra til å avdekke feil i systemet.

Den mest omfattende debatten har vært om rettslig grunnlag, hvor deltagerne har forskjellige synspunkter. Datatilsynet har ikke konkludert om hva som vil være det mest passende rettslige grunnlaget for de som tar i bruk læringsanalysesystemet. Det er hverken vårt mandat for sandkassen eller noe mål i seg selv. Det viktigste har vært å utforske utfordringer og muligheter i regelverket, og belyse hvilke hensyn som er aktuelle å ta når en skal vurdere bruk av kunstig intelligens i grunnskolen. De mange gode diskusjonene har bidratt til kompetanseheving for alle deltagere i sandkasseprosjektet. At rettslig grunnlag har vært så omdiskutert, også i prosjektene med NAV og Secure Practice, er et funn i seg selv. Vurdering av rettslig grunnlag kan være vanskelig, spesielt ved bruk av kunstig intelligens.

Kunnskapsdepartementet jobber for tiden med en ny opplæringslov, som vil være klar tidligst i 2023. Innenfor utdanningssektoren har man derfor nå en unik mulighet til å klargjøre skolenes handlingsrom for å bidra i utvikling av KI-verktøy til bruk i undervisningen.

Videre har vi demonstrert nyttigheten av å involvere forskjellige interessenter i vurderinger av risikoer og konsekvenser for elevenes personvern. Elevene bidro med scenarier som kunne vært vanskelig å forestille seg for oss voksne. Foresatte, personvernombud og andre bidro med å belyse informasjonsbehovet som oppstår ved bruk av kunstig intelligens. Iboende i dette har vi funnet flere utfordringer. Blant annet i sonderingen av hvordan informasjon kan tilpasses brukergruppene. Behovene er svært ulike, også innad i gruppene. Yngre barn har andre behov enn eldre barn, og lærere har andre behov enn foresatte. Diskusjonene om åpenhet berørte også ressurser. Det koster å utarbeide informasjon, og ressursene er ikke ubegrenset. Det blir AVT-prosjektets oppgave fremover å finne en gylden middelvei mellom det som er rettslig påkrevd og interessentenes informasjonsbehov.

Sandkasseprosjektet er avsluttet, men skolenes reise innen kunstig intelligens har nettopp begynt. AVT-prosjektet baner vei i et felt som kommer til å bli viktig i fremtiden. Deres bidrag i sandkassen har kastet lys på et fagområde som Datatilsynet ikke har hatt erfaring med tidligere. Mulighetene er enorme, og relevansen av en forsvarlig og etisk tilnærming kunne ikke vært mer tydelig. I AVT-prosjektet tar de ansvaret på alvor, og legger sannsynligvis nå grunnlaget for bedre utdanning av barna våre i tiden som kommer.