Etikk: Første steg-analyse

Legitimitet

Er det legitimt at PHS utvikler teknologier som PrevBOT? Er det i det hele tatt legitimt at politimyndigheter er pådrivere i utviklingen av ny teknologi?

Politiet har blitt kritisert for å ikke henge med i den digitale transformasjonen. Høsten 2023 kom Riksrevisjonen med betydelig kritikk i en rapport, som slo fast at politiet har foreldede IT-systemer, at det er intern misnøye med digitale tjenester og verktøy, og at Justis- og beredskapsdepartementet og Politidirektoratet har manglet kunnskap om teknologi og om hvordan teknologi kan brukes for å utvikle framtidens politi- og påtaletjenester.

Lang tids forsømmelse rettferdiggjør ikke dermed uhemmet utvikling på feltet. Nettopp mangel på erfaring og kunnskap kan tilsi at politiet nå bør være ekstra oppmerksomme i sine forsøk på å utvikle (eller forske på) ny og avansert teknologi. Samtidig slår Riksrevisjonen fast at politiets manglende prioritering av digitalisering og teknologi har ført til mindre trygghet og dårligere bekjempelse av kriminalitet. Å ikke gjøre noe, kan derfor være et etisk like problematisk alternativ.

Kanskje finnes det et punkt for balansert iver (se figur under) etter å utnytte mulighetene ny teknologi byr på?

For PrevBOT-prosjektet spesifikt, er det snakk om alvorlig kriminalitet, som det er rimelig at politiet forsøker å bekjempe. Utfra omfanget av anmeldelser som kommer inn og antatte mørketall er problemet så stort, og av en slik karakter, at politiet mener man ikke kan etterforske seg ut av det. Forebygging eller en form for avverging er derfor nødvendig. Kriminalitetsforebygging skal uansett også være politiets hovedstrategi.

Det er ikke dermed sagt at et slikt system kun bør være politiets. Det kan også tenkes at hele eller deler av en ferdig utviklet PrevBOT-teknologi med fordel kan benyttes av andre aktører, at automatiserte varsler kan sendes og/eller samtaler kan brytes, uten at politiet er involvert. Altså at nettets aktører, kommersielle som offentlige, bruker PrevBOT-teknologi som en form for moderering av det som skjer på plattformene.

Det vil like fullt være legitimt at PHS står ansvarlig for utviklingen av et slikt verktøy. Med åpenhet rundt resultatene er det argumenter for at det er nettopp en institusjon koblet til politimyndighetene som står for denne forskingen.

Rettmessig grunn

Finnes det rettmessige grunner for å utvikle et slikt system? Beskyttelsesbehovet er åpenbart. Som pekt på i det innledende kapittelet, kan hver enkelt overgriper ramme både to- og tresifrede antall offer. Konsekvensene av seksuelle overgrep er et folkehelseproblem. Så det er åpenbart rettmessige grunner til å gjøre noe med problemet. Men er det gode grunner til å gjøre det på den måten PrevBOT er tenkt, ved å gripe inn i private samtaler (riktignok på åpne fora)?

Krenker det barnas autonomi om politiet følger med på og griper inn i samtaler ved mistanke om forsøk på grooming? Ja. Det reduserer de unges mulighet og evne til selv å vurdere og selv bestemme seg for hvordan de skal takle situasjonen. Det kan likevel være rettmessige grunner for å gjøre det. Det er tross alt mindreårige det er snakk om, som også har rett på beskyttelse.

Gruppen PrevBOT er ment å beskytte, mindreårige på nett, er slett ingen homogen gruppe. Det er stor variasjon i hvor godt foreldre passer på og veileder barna om nettvett. Det er også stor variasjon i alder på de som skal beskyttes. Mange av de mindreårige, som befinner seg på plattformer der grooming forekommer, er nesten myndige, mens noen er helt ned i 10-årsalderen. Det er stor variasjon i seksuell utvikling, nysgjerrighet og erfaring. Det er også en viss variasjon i kunnskap om, og erfaring med, å håndtere forsøk på manipulasjon. Så i sum er det altså et visst spenn i sårbarhet. De mest sårbare kan kjennetegnes av dårlig oppfølging hjemme, lav digital kompetanse og høy grad av risikosøken.

FNs barnekonvensjon slår fast at barn har rett på beskyttelse. Artikkel 34 handler eksplisitt om barnas rett til å beskyttes mot seksuell utnyttelse. Mens konvensjonens artikkel 16 handler om retten til, og vern om, et privatliv. Artikkel 12 handler om respekt for barnas synspunkter, og anerkjenner barnas rett til å være aktive deltakere i beslutningsprosesser som påvirker dem. Barna har altså rett på en slags autonomi, men denne friheten virker – både i ord og praksis – å være underordnet kravet til beskyttelse.

Les gjerne: «Barnet – et menneske uten krav på fulle menneskerettigheter?» av Paul M. Opdal

For at PrevBOT ikke skal oppleves som et vilkårlig inngrep i privatlivet, er det viktig at boten kan gi reell beskyttelse. Det er ikke nok å peke på omfanget av den seksuelle utnyttelsen som skal bekjempes. Her må vi analysere selve situasjonen der boten (eller botens operatør) skal gripe inn i barnets nettaktivitet, og måle graden av trussel på den ene siden opp mot graden av sårbarhet på den andre. Graden av sårbarhet vil, som nevnt, variere. Men for mange unge vil sårbarheten, i form av lite erfaring med å gjenkjenne forsøk på manipulering, gjerne i kombinasjon med seksuell nysgjerrighet og/eller usikkerhet, være stor. Trusselen, i form av fare for å bli forsøkt groomet og konsekvensene av eventuelle overgrep, er også stor. Ingen av partene i disse samtalene er spesielt godt skikket til å tenke langsiktig (på hhv konsekvenser for andre og konsekvenser for en selv). At en overgriper kan møte et offer i et et chatrom, som er mer eller mindre ukontrollert, er åpenbart et problem. Et verktøy som avskjærer slike møter, vil gi en reell beskyttelse.

Seksuelle overgrep generelt, og grooming spesielt, er et problem av slikt omfang og kompleksitet, at ett tiltak alene neppe får bukt med det. Men PrevBOT kan utvilsomt være et nyttig redskap, og grunnene til å utvikle det synes rettmessige.

Sinnelag

Et tredje aspekt i første steg-analysen dreier seg om intensjonen for utviklingen av en PrevBOT. Dette beror i praksis på en vurdering av sinnelaget. Kan vi anta at ideen bygger på, og utviklingen vil skje, med respekt for integriteten/menneskeverdet til de partene teknologien er rettet mot? Er vi trygge på at intensjonen med PrevBOT er å ville kriminaliteten til livs, ikke personene og gruppene som sådan? Dette er det politiet og Politihøgskolen selv som  må kjenne på og vurdere.

Vi kan både mistenke og forstå, at det er fristende for politiet å la boten også samle beviser for å starte etterforsking, basert på flaggende samtaler. Det er også med i tidlige skisser av PrevBOTen. En slik versjon kan også være forenlig med et godt sinnelag og et ærlig formål om å bekjempe kriminaliteten. Det er riktignok mer åpenbart at det potensielle sinnelagsproblemet ivaretas med en rent forebyggende PrevBOT, som nøyer seg med å avdekke og avskjære.

Proporsjonalitet

Prinsippet om proporsjonalitet innebærer at politiet ikke skal «ta i bruk noe sterkere middel før mildere midler har vært forgjeves forsøkt» (politiinstruksen § 3-1). Og gevinsten ved å avverge overgrep må veies opp mot ulempene utviklingen og bruken av en PrevBOT innebærer.

Sandkasseprosjektet har ikke undersøkt om det finnes andre, mildere midler, som politiet bør prøve før PrevBOT. Om boten i denne sammenheng vil være et særlig sterkt middel, kommer an på hvordan de designer den. En bevissamlende PrevBOT er nok et kraftigere middel, enn en rent forebyggende bot. Dette tilsier at en bevissamlende bot først (eventuelt) kan forsvares om en rent forebyggende bot er forgjeves forsøkt.

Vi må også vurdere om bruken av et PrevBOT-verktøy vil være proporsjonalt med problemet som skal bekjempes. Er det fare for å skyte spurv med kanoner? Seksuell utnyttelse og overgrep mot barn er ingen «spurv». Det er alvorlig kriminalitet og et folkehelseproblem. Vi må likevel forvente at verktøyet er treffsikkert, og at bruken ikke rammer svært mange mennesker som verken står i fare for å bli ofre eller overgripere. Er det behov for en slik «masseovervåking» for å avverge kriminaliteten man vil til livs? Eller sagt på en annen måte: kan PrevBOTen utformes slik at den minimerer inngrepet i personvernet til «massen»?

Kan man sørge for at flaggede samtaler, som etter planen skal bli lagret for å gjøre modellen stadig bedre og språklig oppdatert, ikke blir lagret lenger enn strengt nødvendig? I situasjonene der politiet har intervenert med en advarsel, vil det kanskje være dokumentasjonskrav knyttet til de elektroniske sporene som ga grunnlaget. Men unødvendig store mengder persondata som lagres unødvendig lenge, er ikke bra for personvernet. Oppdateringer kan for eksempel skje relativt hyppig, både for å unngå et stort lager av logger, men også for å sikre at PrevBOT fungerer best mulig. Prosjektet kan også vurdere om det kun er de loggene der en botoperatør har grepet inn, som skal lagres, i stedet for alle som blir flagget. Det vil gi en menneskelig kvalitetssikring, som både reduserer støy i etterlæringsmaterialet og styrker personvernet.

Det er viktig at proporsjonalitet ligger langt framme i bevisstheten gjennom hele forskings- og utviklingsløpet. Som del av en først steg-analyse, vurderer vi at prosjektet er i tråd med prinsippet.

Rimelig håp om å lykkes

Å ta et første steg, kan best forsvares om det er et rimelig håp om å lykkes. Teknologisk er det såpass godt bevist at maskiner kan gjenkjenne spesielle samtaletrekk og gjøre sinnsstemningsanalyse, at vi trygt kan si at det er rimelig håp om å lykkes med å lage en bot som kan oppdage og flagge groomingforsøk. Men for å sikre oss at det ikke blir et første steg på et skråplan, må vi gjøre oss opp en mening om en teknisk fungerende PrevBOT vil ha rimelig håp om å lykkes i praksis med å forhindre CSEA.

Rent teknisk er det for eksempel viktig, at systemet er hurtig nok til å kunne avverge før samtalen tas over i lukkede fora. Det handler både om botens evne til å oppdage og flagge mistenkelige samtaler tidlig nok, men også om politiets nettpatruljer har kapasitet til å følge opp all flagging fra PrevBOTen, og gripe inn raskt nok der det trengs. Om det er det siste det står på, vil kanskje veien være kort til å gjøre PrevBOTen, som er planlagt som en beslutningsstøtte for ekte, levende nettpatruljer, om til et helautomatisk verktøy. Det vil i så fall bety strammere krav både juridisk og etisk, der deler av vurderingen vil gå på om behandlingen verktøyet gjør har rettsvirkning for eller på tilsvarende måte i betydelig grad påvirker den enkelte.

Så kan man diskutere om en automatisk pop-up-advarsel er såpass inngripende? Ikke i seg selv, kanskje. Men om du i en advarsel med politiet som avsender blir «stemplet» som potensiell overgriper eller potensielt offer, vil det nok oppleves inngripende for mange, selv om det ikke skal få rettslige konsekvenser. Så ordlyden i advarslene, og om det er det potensielle offeret, den potensielle overgriperen eller begge, som advares, vil kreve omtanke.

PrevBOTs mulighet for å lykkes er slett ikke bare et teknisk eller organisatorisk spørsmål. Minst like avgjørende for om det vil virke etter intensjonen: Vil potensielle overgripere la seg stoppe av en advarsel som spretter opp på skjermen? Dersom politiet er åpne om hvordan verktøyet fungerer, som vel er en forutsetning om PrevBOT skal kunne kalles ansvarlig KI (jf. prinsippet om transparens), vil de godt informerte vite at å gi blanke i advarselen ikke vil påvirke faren for å bli tatt. Kan det tenkes at de farligste overgriperne vil være kaldblodige nok til å trosse advarsler og chatte videre?

Hvordan vil så det potensielle offeret oppleve en advarsel om at hen muligens blir forsøkt groomet? Som nevnt er de potensielle ofrene slett ingen ensartet gruppe. Effekten av en advarsel vil nok avhenge av situasjonen. Forsøk på grooming kan forekomme på chat- eller spillplattformer ment for generell sosialisering. Dette er steder de unge kanskje opplever som en trygg hjemmebane, der de er mindre på vakt og kan bli overrumplet av smiger og grooming-forsøk. Der vil kanskje en advarsel kunne være en vekker med god effekt.

I den andre ytterkanten finnes mindreårige som allerede har trosset advarsler, og har «sneket» seg inn på pornografiske nettsider med 18-årsgrenser. Dersom du blir forsøkt groomet i en slik kontekst, når du selv lyver på alderen, når du selv er ute etter å pushe (seksuelle) grenser: Vil du bry deg om en advarsel om at du blir forsøkt groomet?

Professor Elisabeth Staksrud ved Institutt for medier og kommunikasjon ved UiO har fulgt med på barns nettbruk siden 90-tallet. Hennes forsking viser, at de som utsettes for seksuelle overgrep etter å ha møtt personer på internett, som regel har en anelse om at de møter en voksen som er ute etter noe seksuelt. En advarsel om nettopp den faren vil altså ikke bringe noe nytt til torgs. Det betyr ikke nødvendigvis at den ikke vil ha effekt. En advarsel med politiet som avsender, kan få alvoret til å synke inn. Det er like fullt ikke opplagt at slike advarsler vil ha like god effekt på alle. Og kanskje minst på de mest sårbare?

De potensielle overgriperne er nok også en lite homogen gruppe, både i alder og «aggresjon». Noen er serieovergripere med en bevisst plan og metode for å lokke til seg offer. Andre glir kanskje mer ubevisst forbi sine normale, moralske skrupler, og har «plutselig» gjort ting digitalt hen neppe ville gjort i det analoge liv. For disse potensielle overgriperne, vil kanskje en advarsel fra politiet være effektiv.

Les gjerne: Dette er de norske nettovergriperne (aftenposten.no)

PrevBOT vil neppe oppnå 100 % effekt i å avverge overgrep på de plattformene den skal operere, selv der boten har detektert grooming og forsøket har blitt prøvd stoppet på et vis. Men det er rimelig å tro at den vil kunne stoppe en del. Usikkerheten knyttet til de chattendes reaksjoner på advarsler og politiets inngripen tilsier, at det vil være viktig med videre forsking på hvordan verktøyet virker i praksis, straks det tas i bruk.

I sandkasseprosjektet har vi også diskutert bruken av ordene «offer» og «overgriper». Det er ikke sikkert de involverte ser på seg selv som mulige ofre og potensielle overgripere, og slike uttrykk kan virke fremmedgjørende. Ordbruken i politiets avskjæringsforsøk kan derfor være avgjørende for om PrevBOT har rimelig håp om å lykkes.

Én ting er om de chattende reagerer på advarslene. En annen ting er om de i det hele tatt tror at de er ekte. Hvordan skal unge, som på skolen lærer å være kritiske nettbrukere, stole på at det faktisk er politiet som griper inn? Hva om det er advarselen i seg selv de blir kritiske til? Dette har forhåpentligvis politiets nettpatruljer erfaring med å håndtere. Det er uansett et mulig utfall, som er viktig å ta med i utviklingen av prosjektet.

Dersom det er godt kjent blant unge at PrevBOT eksisterer, vil det selvsagt hjelpe på problemstillingen over. Og nettopp det – at det er allment kjent at boten og politiet følger med på nett – kan ha en effekt i seg selv.

Det kan riktignok lede til kriminalitetsforflytning, altså at groomingen flytter over på arenaer der PrevBOT ikke har tilgang. Om problemet så flytter seg til nettets mørkeste kroker, vil det uansett bety at både offer og overgripere i betydelig større grad må oppsøke situasjonene bevisst. Nå plukkes nye ofre til en viss grad opp på «åpen gate». Om problemet forflytter seg vil «gatene» i det minste være trygge for flertallet. Og problemet blir redusert, om ikke helt eliminert.

Vissheten om at PrevBOT følger med kan, på den andre siden, gi en falsk trygghet. Om de stoler blindt på at «storebror» griper inn mot alt som er mistenkelig, kan det gjøre dem mer sårbare for forsøk PrevBOTen ikke klarer å fange opp? Her er det relevant at de aller fleste overgrep begås av jevnaldrende. Samtidig er det planlagt at PrevBOTen skal detektere stor aldersforskjell mellom de chattende, uten at det er spesifisert hva som skal kvalifisere til «stor aldersforskjell». Forsking viser at dømte groomere stort sett er menn mellom 25 og 45. Vil en samtale mellom en mann i midten av 20-årene og en jente på 15-16 bli definert som stor aldersforskjell? Og vil den være like lett å avsløre for PrevBOTen, som om mannen var 40? Jo større avstand PrevBOT krever for å gripe inn, jo færre saker vil den oppdage. Og jo flere jevnaldrende-forsøk som går under PrevBOT-radaren, jo falskere trygghet er det for de som tenker at PrevBOT gjør «rommet» sikkert.

For å oppsummere PrevBOT-prosjektets sjanse for å lage et effektivt verktøy, er det altså en rekke momenter som påvirker om det vil kunne lykkes. Av de mange mulige utfallene, er det riktignok mye som kan løses i designet av verktøyet og bruken av det. PrevBOT vil neppe oppdage eller kunne avverge alle grooming-forsøk, men den vil forhåpentligvis stoppe en del. Så håpet om å lykkes er rimelig nok til å forsvare et første steg ut i PrevBOT-forskingen.

«Siste utvei»

Hvis det kun finnes én måte å avverge denne typen kriminalitet på, en siste utvei, kan det være at kravet til proporsjonalitet kan justeres. I denne sammenhengen er det nok ikke relevant. PrevBOT er verken den eneste eller den siste utveien i kampen mot denne type kriminalitet.

Som nevnt under punktet om proporsjonalitet er politiet mer eller mindre forpliktet til å prøve en rent forebyggende variant av PrevBOT, før de eventuelt utvikler et verktøy som også samler bevis og legger til rette for etterforsking.

Det er heller ikke sikkert en bevissamlende bot vil være den aller siste utveien. Om det skulle bli aktuelt å gå videre på det sporet, vil det kreve en kartlegging og sammenligning med andre metoder.

Hensynet til tredjepart

Det siste punktet i denne første steg-analysen, handler om hensynet til «uskyldige» brukere og andre som ikke nødvendigvis får eller burde få nærkontakt med en PrevBOT i aksjon.

På den positive siden er det nok mange som vil ønske et slikt verktøy velkomment. Foreldre vil sette pris på at noe blir gjort. Politikerne vil være takknemlige for tiltak som kan gjøre samfunnet tryggere. Om et fysisk rom var kriminalitetsbelastet i like stor grad som nettet, ville vi forventet at politiet sendte uniformerte patruljer dit eller tok tak i problemet på et eller annet vis.

Men dette «et eller annet vis» er ikke nødvendigvis en PrevBOT. På den negative siden kan et slikt verktøy føre til nedkjølingseffekt. Bare vissheten om at politiet har et slikt verktøy som følger med, lagrer og eventuelt griper inn i vår aktivitet, når vi lever våre liv i åpne, digitale rom, kan føre til at vi i mindre grad føler oss fri og ønsker å bruke disse arenaene. En slik nedkjølingseffekt vil kunne bli forsterket om PrevBOT i praksis viser seg å gripe inn i harmløs hengivenhet mellom kjærester eller samtykkekompetente nettbrukere.

Derfor vil det være avgjørende hvor PrevBOTen brukes, og hvordan den stilles inn. Hvor effektiv skal den være? Hvor sikker skal den være på, at det som pågår er grooming med (høy) risiko for å ende i seksuell utnyttelse? Skal den nøye seg med å advare mot og skremme bort de mest opplagte serieovergriperne? Eller skal den ha lavere terskel for å gripe inn i digitale forsøk på å utfordre hverandre seksuelt, med fare for å gi en rekke «falskt positive» flagginger?

En nedkjølingseffekt kan riktignok også komme ved fravær av en PrevBOT. Om ingenting blir gjort, og nettet fortsetter å oppleves som et stadig mer lovfritt og farlig rom, er det grunn til å tro at mange vil skygge unna i større grad. Foreldre vil kanskje sette strengere grenser for barnas nettbruk? Det er kanskje ikke noe galt i det i seg selv, men det er en fare for at det er de mest sårbare som da vil bli igjen på nettet.

Å ikke ta opp kampen mot kriminaliteten på nett, framstår med andre ord også som negativt for følelsen av frihet og muligheten til å ha et privatliv på nettet.

Alt i alt konkluderer sandkasseprosjektet med at kriteriene i første steg-analysen er oppfylt, og at det er etisk riktig å sette i gang forsking på PrevBOT.