Hvordan sikre at algoritmen gir et rettferdig resultat?

Disse prinsippene er hentet fra «Etiske retningslinjer for forsvarlig kunstig intelligens», som er utarbeidet av en ekspertgruppe oppnevnt av EU-kommisjonen. De samme prinsippene er også gjenspeilet i regjeringens Nasjonale strategi for kunstig intelligens fra 2020.

Et godt utgangspunkt for å ivareta disse prinsippene er å gjennomføre en personvernkonsekvensvurdering. En vurdering av personvernkonsekvenser er en prosess som skal beskrive behandlingen av personopplysninger, og vurdere om den er nødvendig og proporsjonal. Den skal også bidra til å håndtere de risikoene behandlingen medfører for enkeltpersoners rettigheter og friheter ved å vurdere dem og fastlegge risikoreduserende tiltak.

Vurdering av personvernkonsekvenser (DPIA)

Dersom det er sannsynlig at en type behandling av personopplysninger vil medføre høy risiko for personers rettigheter og friheter, skal den behandlingsansvarlige vurdere hvilke konsekvenser den planlagte behandlingen vil ha for personvernet. Datatilsynet har laget en liste over behandlingsaktiviteter som alltid utløser behovet for å gjennomføre en personvernkonsekvensvurdering (DPIA). Listen er tilgjengelig på Datatilsynets nettsted. Her står det blant annet at behandling av personopplysninger med innovativ teknologi, som kunstig intelligens, samt behandling av særskilte kategorier av personopplysninger (som helseopplysninger) for algoritmetrening, krever at en DPIA gjennomføres.

I sin DPIA identifiserte Helse Bergen HF flere ulike risikomomenter. Særlig to av dem pekte på en risiko for at rettferdigheten ikke blir godt nok ivaretatt i løsningen:

1. Falske negative og falske positive resultater.

   Risiko for at algoritmen predikerer såkalte falske negative og falske positive resultater. Det betyr enten at en person som burde hatt ekstra oppfølging ikke får det, eller at en person som ikke hadde trengt ekstra oppfølging blir tilbudt det. I det første tilfellet vil pasienten bli tilbudt en oppfølging som er i henhold til dagens praksis, noe som ikke kan sies å være forbundet med høy risiko. Det andre tilfellet representerer ingen risiko for pasienten, men er uønsket ut ifra et ressursperspektiv på sykehuset.

2. Demografisk skjevhet.

   Risiko for at algoritmen er diskriminerende mot enkelte grupperinger i samfunnet. Dersom algoritmen prioriterer visse grupperinger, vil andre grupper oppleve å bli tilsidesatt eller å bli utsatt for usaklig forskjellsbehandling.

I det videre vil eksempler fra DPIA-diskusjonen benyttes for å illustrere hvordan rettferdighet og innebygd personvern er ivaretatt i algoritmen.

Innebygd personvern

Det Europeiske personvernrådet (EDPB) presiserer i sin veileder at innebygd personvern er et av flere momenter som inngår i rettferdighetsprinsippet, i tillegg til respekt for den registrertes rettigheter og friheter, herunder ikke-diskriminering, den registrertes forventninger og behandlingens bredere etiske problemstillinger. Innebygd personvern har vært et gjennomgående tema i dette sandkasseprosjektet, både i diskusjoner knyttet til diskriminering og skjevheter i algoritmen, og i diskusjoner knyttet til hvordan pasientenes rettigheter og friheter etter personvernregelverket skal ivaretas.

Les mer om innebygd personvern i EDPBs veileder (eng).

Innebygget personvern er en plikt etter personvernforordningen artikkel 25 om å sørge for et effektivt personvern i utviklingen av løsninger eller tekniske systemer, gjennom å iverksette tekniske og organisatoriske tiltak. Datatilsynet presiserer på sine nettsider at kravet til innebygd personvern må være innfridd før behandlingen av personopplysninger finner sted, og at mekanismer som ivaretar innebygd personvern skal vedlikeholdes kontinuerlig så lenge behandlingen pågår.

Helse Bergen HF har selv utviklet algoritmen som benyttes for prediksjon av risiko for reinnleggelse. De har derfor hatt god mulighet til å planlegge nødvendige tiltak for å ivareta kravene til innebygd personvern fra start, som for eksempel knyttet til dataminimering, pseudonymisering og datasikkerhet. Nedenfor presenterer vi noen eksempler på aktuelle tiltak i dette prosjektet.

Datakvalitet og kravet til dataminimering

I Nasjonal strategi for KI fremheves særlig skjevhet i datagrunnlaget som et hinder for inkludering og likebehandling. Dette forklares med at «datasett som brukes til å trene opp KI-systemer kan inneholde historiske skjevheter, være ufullstendige eller uriktige». Dårlig datakvalitet og feil vil forplante seg i algoritmen og kan føre til uriktige og diskriminerende resultater.

Et tiltak for å unngå utvalgsskjevhet («bias») er å sørge for at datagrunnlaget er tilstrekkelig og relevant for algoritmens forhåndsdefinerte formål. Prinsippet om dataminimering angir at det kun er lov til å behandle personopplysninger som er nødvendige for å oppnå formålet med en behandlingsaktivitet. Dataminimeringsprinsippet setter begrensninger for å benytte store mengder av personopplysninger i utviklingen av en algoritme dersom formålet kan oppnås med et mindre datagrunnlag.

I Helse Bergen HFs algoritme er formålet å avdekke risikoen for at en pasient blir reinnlagt i fremtiden. Som nevnt innledningsvis, har Helse Bergen HF tatt sikte på kun å bruke historiske data som viser seg å ha en statistisk sammenheng med risikoen for reinnleggelse. Datagrunnlaget består av tidligere innleggelseshistorikk fra et stort antall pasienter.

Prosjektet avdekket tidlig at få, men viktige parametere gir algoritmen like stor treffsikkerhet som ved bruk av mange parametre med liten relevans for reinnleggelser. Datavariablene som benyttes i dag er blant annet tidligere innleggelser, antall liggedøgn, kjønn, alder, indikatorer på hastegrad og antall hoved- og bidiagnoser. Opplysninger om pasientens diagnoser er kun opplistet som antall og ikke spesifisert med diagnose. I tillegg, har Helse Bergen HF besluttet at algoritmen kun skal benyttes på de pasientgruppene der risikoen for hyppige innleggelser er til stede, med fokus på de pasientene som nylig har opplevd en sykehusinnleggelse.

Algoritmen vil kontinuerlig trenes opp på nye opplysninger fra pasientjournalsystemet DIPS. For å sikre at Forløpsdatabasen er oppdatert på tidspunktet algoritmen foretar prediksjoner, må algoritmen kjøres hyppig. På denne måten vil eventuelle endringer i DIPS inngå i beslutningsgrunnlaget.

Algoritmens treffsikkerhet

Det vil alltid foreligge en risiko for at algoritmen predikerer såkalte falske negative og falske positive resultater. Dette er en egenskap som man ser ved de aller fleste algoritmer som tar i bruk KI. Det betyr enten at en person som burde hatt ekstra oppfølging ikke får det, eller at en person som ikke hadde trengt ekstra oppfølging blir tilbudt det. I det første tilfellet vil pasienten bli tilbudt en oppfølging som er i henhold til dagens praksis, noe som ikke kan sies å være forbundet med høy risiko. Det andre tilfellet representerer ingen risiko for pasienten, men er uønsket ut ifra optimal ressursbruk på sykehuset.

Ved at datagrunnlaget endres over tid, er det en risiko for at treffsikkerheten også endrer seg. For å avdekke en reduksjon i treffsikkerhet eller at det oppstår skjevheter i datagrunnlaget samt prediksjonene, planlegger Helse Bergen HF å gjennomføre rutinemessige kvalitetskontroller. På sikt vil Helse Bergen HF kunne trekke ut historiske data om hvilke pasienter som ble reinnlagt og dokumentere i hvilken grad algoritmen klarte å fange opp disse pasientene.

Riktig bruk av algoritmen i praksis

Algoritmen som er utviklet av Helse Bergen HF er ment som et beslutningsstøtteverktøy og skal suppleres med helsepersonellets egne faglige vurderinger. Det vil imidlertid alltid være en risiko for at resultatet blir lagt ukritisk til grunn og i praksis fungere som et helautomatisk system. En beslutning uten reell menneskelig innblanding vil i praksis rammes av forbudet mot helautomatiske beslutninger i personvernforordningen artikkel 22.

For å sikre menneskelig innblanding i beslutningen, planlegger Helse Bergen HF å utarbeide felles retningslinjer etter involvering av brukerutvalg. Spørsmål som må avklares, er hvordan resultatet skal tolkes og hvor stor vekt som skal tillegges anbefalingen. Økt bevissthet om algoritmens treffsikkerhet blant helsepersonell vil gjøre det lettere å oppdage eventuelle feil og skjevheter som oppstår, og deretter utføre nødvendige justeringer.