Politihøgskolen (PHS) ønsker å bruke chatlogger fra straffesaker, der rettsvesenet har konkludert med at grooming har skjedd, til å trene et KI-verktøy i å identifisere grooming-samtaler. Målet er at den skal kunne peke ut sosiale arenaer på nett det er verdt å følge ekstra med på, og – ikke minst – den skal kunne flagge pågående enkeltsamtaler, slik at politiet kan stoppe groomingen og forhindre overgrep.

I dag er dette et forskingsprosjekt på konseptstadiet. I dette sandkasseprosjektet har vi derfor først og fremst sett på om det er mulig, i forskingsøyemed, å utvikle PrevBOT innenfor gjeldende lover og etiske retningslinjer.

Oppsummering av resultatene

• Juridisk: I sandkasseprosjektet har vi først tatt opp noen generelle – men prinsipielle – problemstillinger knyttet til politiets bruk av personopplysninger til utvikling av kunstig intelligens. Vurderingen har imidlertid fokusert på hvorvidt det i forbindelse med PrevBOT-prosjektet kan behandles personopplysninger. Dette er vurderinger som kan være relevante for andre prosjekter og andre deler av politiet.
• Etisk: PrevBOT er et godt eksempel på et prosjekt med et så hederlig formål, at det er fare for å hellige midler på veien. Politihøgskolen ønsker at PrevBOT ikke bare skal være et lovlig verktøy, men at det også skal leve opp til kravene for ansvarlig KI. Sandkasseprosjektet har gjort en første steg-analyse, og vurderer at det er etisk forsvarlig å starte forskingen, basert på straffesaksdata. Vi peker også på sentrale etiske dilemmaer ved og viktige verdier for utviklingen.
• Teknisk: Politihøgskolen ønsker å bygge PrevBOT på Tsetlin-maskin (TM). TM er en forholdsvis fersk metode for maskinlæring, men styrken ligger i kategorisering og forklarbarhet. Det er forventet at TM er bedre på forklarbarhet enn nevrale nettverk, altså at man lettere får svar på hvorfor verktøyet konkluderer som det gjør. God forklarbarhet vil være viktig for transparens og tillit til et verktøy, som potensielt kan oppleves innvaderende i personlige samtaler. Om de teknologiske funksjonene PHS ønsker å sette sammen i PrevBOT – og som hver for seg har vist seg mulige i nevrale nettverk – virkelig lar seg overføre til og kombinere i en Tsetlin-maskin, er det store spørsmålet i forskingsprosjektet. I sandkasseprosjektet har vi ikke fått se hvordan en Tsetlin-maskin virker i praksis, men vi har gjort en teoretisk vurdering, og har på generelt grunnlag håp om at den kan bidra til mer bærekraftige KI-verktøy med god forklarbarhet om noen år.

Veien videre

Sandkasseprosjektet har vurdert og skissert hvordan PHS lovlig kan forske på et slikt KI-verktøy. Grønt lys for PrevBOT-forsking kan riktignok være lite verdt, om verktøyet som forskes på og utvikles ikke vil være lovlig i bruk. I bruk vil et slikt verktøy ikke komme unna å behandle (sensitive) personopplysninger. Og – alt etter hvordan man innretter det – vil bruken kunne oppleves temmelig inngripende i personvernet til både offer og overgripere, og tilfeldige personer som får sin chat analysert av PrevBOT mens man er på nettet.

Det vil nok være smart å være tidlig ute med en plan for vurderinger av lovligheten ved et slikt verktøy i bruk. Det kan definitivt være tema for et nytt sandkasseprosjekt.

PrevBOT-prosjektet er fortsatt i en tidlig fase, og veien videre avhenger av mange valg som må tas. Sett fra et personvernperspektiv er det spesielt interessant om de holder fast på at det er et verktøy som skal forebygge i form av å avskjære forsøk på grooming. PrevBOT-prosjektet er nå tydelige på at det er det de ønsker. Samtidig er det krefter som på veien fra idé til bruksklart KI-verktøy kan prøve å påvirke, for at verktøyet også skal kunne samle bevis mot og jakte på overgripere. Datatilsynet anbefaler prosjektet tidlig å identifisere bruk av PrevBOT de vurderer som uetisk og uønsket, og i utviklingsfasen jobbe for å stenge dører for nettopp slik bruk.

Ønske om frihet og ønske om trygghet blir gjerne framstilt som motstridende mål. PrevBOT-prosjektet er riktignok et godt eksempel på at frihet, trygghet og personvern er gjensidig avhengig av hverandre, og at det handler om å finne balansen. De mindreårige har krav på autonomi og et privatliv, men uten et visst nivå av trygghet på nettet, vil de ikke kunne utøve sin autonomi og sine friheter. Når verktøyet etter hvert skal designes mer i detalj, blir det viktig for prosjektet å søke etter dette balansepunktet.

Sandkasseprosjektet ser at PrevBOT på flere måter kan bidra til å gjøre internettet og hverdagen tryggere for sårbare grupper. PrevBOT kan ende opp med å ikke bare bli ett verktøy, men danne grunnlaget for flere forskjellige tiltak, som til sammen gir effektivt vern mot nettbasert grooming.

Les mer om veien videre i siste kapittel.