Konsekvenser for elevenes personvern

Mer spesifikt: hvis det er sannsynlig at en behandling av personopplysninger vil medføre høy risiko for noens rettigheter eller friheter, særlig ved bruk av ny teknologi. Men hvor er terskelen for «høy risiko»? Det er ikke alltid så lett å vite. Datatilsynet har utarbeidet veiledning om gjennomføring av slike vurderinger, og publisert en liste over hvilke behandlingsaktiviteter som alltid krever en vurdering av personvernkonsekvenser. Det er flere punkter fra listen som er relevante for AVT-prosjektet:

• Personopplysninger samlet inn via en tredjepart, i følge med minst ett annet kriterium.
• Behandling av personopplysninger med innovativ teknologi, i følge med minst ett annet kriterium.
• Behandling av personopplysninger for å evaluere læring, mestring og trivsel i skoler eller barnehager. Dette inkluderer alle utdanningsnivåer, fra barne- og ungdomsskole, videregående skoler og høyere utdanning. (Sårbare registrerte og systematisk monitorering.)
• Behandling av personopplysninger ved å systematisk monitorere effektivitet, ferdigheter, kunnskap, mental helse og utvikling. (Svært personlige opplysninger og systematisk monitorering).

I AVT-prosjektet hadde de allerede gjennomført en DPIA før prosjektet ble tatt opp i sandkassen. Ett av delmålene for sandkasseprosjektet var å jobbe videre med vurderingen, med innspill fra Datatilsynet på problemstillinger som er relatert til kunstig intelligens.

Underveis i sandkasseprosjektet så vi dessverre at tiden ikke ville strekke til for å gjennomføre alle de planlagte aktivitetene fra prosjektplanen. Vi ble derfor nødt til å nedprioritere aktivitetene under dette delmålet. Det førte til at vi kun fikk gjennomført én aktivitet knyttet til DPIA i sandkassen: en workshop med interessenter, som alle representerte grupper som vil bli berørt av læringsanalysesystemet på forskjellige måter.

Vi har også blitt oppmerksomme på potensielle personvernrisikoer gjennom diskusjoner i andre deler av sandkasseprosessen. Vi går kort igjennom disse funnene, som også kan knyttes til en vurdering av personvernkonsekvenser, under punktet «Andre identifiserte risikoer».

Workshop med interessenter

I workshop-en deltok både elever, foresatte, lærere og personvernombud fra kommunene som samarbeider med AVT-prosjektet. Arrangementet ble innledet med en felles presentasjon av læringsanalysesystemet, etterfulgt av diskusjoner i mindre grupper; én gruppe med en kombinasjon av barn og voksne og én gruppe med kun voksne. De fleste av risikoene som ble nevnt var allerede kjent for deltagerne i sandkasseprosjektet, men diskusjonene med interessentene bidro til å belyse risikoene ytterligere. Funnene følger nedenfor.

Risiko for endret adferd/nedkjølingseffekt

Hvis elevene endrer atferd når de arbeider med digitale læremidler, fordi de føler seg overvåket via læringsanalysesystemet, kan det oppstå en nedkjølingseffekt. Elevene var særlig bekymret for å bli overvåket på hvor lang tid de bruker på oppgavene. De påpekte at en slik tidtaking kan oppleves som et press om å løse oppgavene raskest mulig, på bekostning av kvalitet og læringsutbytte av oppgaveløsingen.

Et annet utslag av en nedkjølingseffekt kan være at elevene ikke føler seg like frie til å «prøve og feile» i oppgaveløsingen, fordi alt de gjør i de digitale læremidlene registreres og potensielt kan påvirke utfallet av profileringen som gjennomføres av læringsanalyseverktøyet.

Dersom innføring av et KI-basert læringsanalysesystem i opplæringen resulterer i en nedkjølingseffekt vil KI-verktøyet kunne virke mot sin hensikt. I stedet for at læringsanalysesystemet bidrar til å gi den enkelte elev mer tilpasset opplæring, tilpasser den enkelte elev sin opplæring og adferd til systemet.

Risiko for ukorrekte personopplysninger i systemet

Et grunnleggende prinsipp i personvernforordningen er at personopplysningene som behandles skal være korrekte (se personvernforordningen arikkel 5(1)(d)). Feil og upresise opplysninger i et læringsanalyseverktøy vil kunne få direkte betydning for profileringen av en enkelt elev. Dette vil igjen kunne påvirke både lærerens vurdering av elevens kompetanse og hvilke læringsressurser eleven får anbefalt.

Læringsanalysesystemet henter opplysninger om elevenes aktivitetsdata fra de digitale læremidlene som den enkelte skolen benytter. En potensiell kilde til ukorrekte opplysninger, som ble diskutert blant de voksne deltagerne på workshopen, kan oppstå hvis en elev løser oppgaver på andre elever sine vegne. Risikoen for dette har nok eksistert i skolen i alle år, og det er ingen grunn til å tro at overgangen til digital oppgaveløsing har endret på det. Konsekvensene for den enkelte elev kan imidlertid bli større dersom data fra oppgaveløsingen inngår i en KI-basert profilering av eleven. For eksempel ved at systemet lures til å tro at eleven er på et høyere nivå en vedkommende egentlig er, og dermed anbefaler oppgaver som eleven ennå ikke har forutsetninger for å kunne løse. Dette vil kunne oppleves demotiverende for eleven, og forsterke opplevelsen av å ikke mestre et fag eller emne. En lignende feilkilde kan være at noen elever bevisst svarer feil for å manipulere systemet til å få lettere eller færre oppgaver. Også dette er kjente mekanismer lenge før utdanningen ble digitalisert. Felles for begge tilfellene er at problemstillingen må adresseres både teknologisk og i det generelle holdningsskapende arbeidet.

Risiko for at teknologien påfører elevene uønsket stress

Ved bruk av læringsanalysesystemet risikerer man at skillet mellom øvings-/læringssituasjonen og testing blir mer uklart for elevene. Lærerne bruker også i dag informasjon fra elevenes oppgaveløsning og deltagelse i skoletimene som grunnlag for å vurdere elevenes kunnskapsnivå. Ved bruk av læringsanalysesystemet vil imidlertid denne vurderingen systematiseres og visualiseres på en annen måte enn i dag. Elevene uttrykte bekymring for at det ville bli en forventning om å vise frem «scoren» sin i systemet til medelever og foreldre, på samme måte som elever i dag kan oppleve et press om å dele prøveresultater.

Andre identifiserte risikoer

Særlige kategorier personopplysninger

I AVT-prosjektet legger de ikke opp til å behandle særlige kategorier (sensitive) personopplysninger gjennom læringsanalysesystemet. Slik behandling vil kreve et eget rettslig grunnlag etter artikkel 9. Vi diskuterte problemstillingen i sandkassen for å stimulere til dialog og refleksjon rundt eventuelle fremtidige behov, slik at dette kan tas hensyn til i utviklingsfasen i den grad det er mulig.

Blant annet diskuterte vi muligheten for at systemet vil kunne benyttes for å avdekke lærevansker. Ofte er det slik at hvis det finnes en mulighet for å benytte et system til andre nyttige formål enn opprinnelig planlagt, så er det bare et spørsmål om tid før det skjer. Det er heller ikke utenkelig at utdanningssektoren kan få hjemmel til å bruke kunstig intelligens til å avdekke lærevansker i fremtiden. Jo tidligere man kan avdekke lærevansker, jo tidligere kan den som har lærevansker få den oppfølgingen de trenger. Forutsetningen er selvfølgelig at kommunene har en tydelig hjemmel og at KI-systemet er utviklet på en ansvarlig måte, innenfor regelverkets rammer.

AVT-prosjektet har vært oppmerksomme på denne problemstillingen, og de vil iverksette tiltak for å utelukke at det behandles særlige kategorier av personopplysninger i systemet. Blant annet gjennom jevnlig kontroll av algoritmen og dataene som genereres. Løsningen har i dag ikke mekanismer for å blokkere mottak av fritekstsvar som mottas fra tilknyttede læremidler, men systemet skal ikke behandle data fra fritekstfelt i læringsanalysen.

Behandling av opplysninger om tredjeparter

Behandling av opplysninger om tredjeparter ble også tatt opp i sandkassen. Det vil si risikoen for at kommunene for eksempel behandler opplysninger om elevens foreldre, søsken og venner i systemet. Kommunene har ikke rettslig grunnlag for å behandle personopplysninger om andre enn eleven selv.

AVT-prosjektet har redegjort for at de vanskelig kan se for seg at løsningen kan si noe om foreldre, søsken eller andre tredjeparter. Mange av de samme tiltakene som er iverksatt for å unngå behandling av særlige kategorier av personopplysninger vil også være aktuelle her. For eksempel at de ikke behandler opplysninger fra fritekstfelt i løsningen. Det kan imidlertid være nødvendig å kontrollere dette med jevne mellomrom. Videreutvikling av systemet og integrasjon med nye tjenesteleverandører medfører risiko for at tredjeparters personopplysninger i fremtiden kan behandles gjennom løsningen. Det blir i så fall viktig å fange opp hvis, og eventuelt når, dette skjer.

Beslutningsstøtte

I AVT-prosjektet legger de til grunn at lærerne skal benytte systemet som beslutningsstøtte, og ikke som et automatisk beslutningssystem. Dette har relevans for vurderingen av om artikkel 22 i personvernforordningen kommer til anvendelse. Bestemmelsen angir en rett «til ikke å være gjenstand for en avgjørelse som utelukkende er basert på automatisert behandling». Det er flere grunner til at vi diskuterte dette i sandkassen. Blant annet fordi det kan være ønskelig å benytte systemet som et automatisk beslutningssystem i fremtiden. Det hadde imidlertid vært flere diskusjoner i AVT-prosjektet tidligere om lærerens rolle, og viktigheten av at denne ikke blir marginalisert med læringsanalysesystemet.

En annen risiko er at systemet i praksis vil benyttes som et automatisk beslutningssystem, selv om det ikke er planlagt slik. Altså at noen lærere vil godta anbefalinger fra systemet uten å foreta selvstendige vurderinger, for eksempel grunnet høy arbeidsbelastning, mangelfull kunnskap om algoritmen eller innsikt i hvordan systemet fungerer og så videre. Vi kan også tenke oss en situasjon der anbefalingene fra systemet oppleves som så gode at lærerne ikke føler at de kan overprøve systemet.

For å unngå at et beslutningsstøttesystem med tiden glir over i å bli et beslutningssystem er det først og fremst viktig å være oppmerksomme på risikoen og ha et bevisst forhold til den. Videre vil det være viktig å iverksette tiltak som sørger for at systemet faktisk brukes som beslutningsstøtte. For eksempel at skoleeier utarbeider rutiner og gjennomfører opplæring i hvordan systemet skal brukes, hvordan det fungerer og hva som ligger til grunn for anbefalingene systemet presenterer. Kunnskapsformidling er viktig for å sette lærerne i stand til å vurdere systemets anbefalinger i forhold til egne observasjoner og kjennskap til elevene. Andre aktuelle tiltak kan være å innføre rutiner for å avdekke om beslutningsstøtten faktisk er reell, eller om systemets anbefaling i praksis er helt avgjørende for lærerens beslutning. For å redusere denne risikoen har de i AVT-prosjektet designet læringsanalysesystemet slik at eleven eller læreren må ta et aktivt valg om man vil følge anbefalingen til systemet.

Tilsvarende problemstilling ble for øvrig også diskutert i NAV-prosjektet.

Se sluttrapporten fra NAV-prosjektet.