Målet med dette sandkasseprosjektet har vært å utforske begrepene «rettferdighet» og «algoritmeskjevhet» i et konkret helseprosjekt, EKG AI. Ahus er i gang med å utvikle en algoritme for å predikere sannsynligheten for hjertesvikt hos pasienter. På sikt skal den brukes som et beslutningsstøtteverktøy for helsepersonell for en forbedret og mer effektiv behandling og oppfølging av pasienter. Vi har i sandkasseprosjektet diskutert mulighetene for at det eksisterer skjevheter i EKG AI, og konkretisert forslag til tiltak for å forhindre diskriminering.

Oppsummering av resultatene:

1. Hva er rettferdighet? Begrepet «rettferdighet» har ingen legaldefinisjon i personvernforordningen, men er ifølge artikkel 5 et sentralt personvernprinsipp. Rettferdighetsprinsippet står sentralt i andre lovverk, og vi har derfor sett til likestillings- og diskrimineringsloven (ldl.) for å klargjøre hva som ligger i prinsippet. I dette prosjektet har vi vurdert EKG AIs grad av rettferdighet ut i fra krav til ikke-diskriminering og åpenhet, den registrertes forventninger, og etiske betraktninger om hva samfunnet anser som rettferdig.
2. Hvordan avdekke algoritmeskjevhet? For å sikre at algoritmen er rettferdig må det undersøkes om EKG AI-algoritmen gir mindre treffsikre prediksjoner for noen pasientgrupper. I dette prosjektet valgte vi å se nærmere på diskrimineringsgrunnlagene «kjønn» og «etnisitet». Når man skal kontrollere algoritmen for diskriminering, vil det som regel være behov for behandling av nye personopplysninger, herunder særlige kategorier av personopplysninger. I den forbindelse må man vurdere kravene til behandlingens lovlighet og dataminimeringsprinsippets krav til en forholdsmessig og nødvendig behandling av personopplysninger.
3. Hvilke tiltak kan redusere algoritmeskjevhet? Arbeidet i sandkasseprosjektet har synliggjort en potensiell risiko for at EKG AI-algoritmen kan diskriminere enkelte pasientgrupper. Skjevheter kan reduseres gjennom tekniske eller organisatoriske tiltak. Aktuelle tiltak for EKG AI er å sikre et representativt datagrunnlag og sørge for god informasjon til, og opplæring av, helsepersonell slik at prediksjonene brukes riktig i praksis. I tillegg, vil Ahus etablere en mekanisme som skal overvåke treffsikkerheten til algoritmen og som sørger for at algoritmen etterlæres ved behov.

Veien videre

Ahus ønsker å prøve ut algoritmen i klinisk drift i starten av 2024. Klinisk beslutningsstøtteverktøy basert på kunstig intelligens (KI) anses som medisinsk utstyr og må gjennomgå samsvarsvurdering for å kunne tas i bruk i klinisk virksomhet. Samsvarsvurderingen går ut på å vurdere om utstyret oppfyller de krav som gjelder for den spesifikke typen utstyr. Når vurderingen er gjennomført vil produsenten kunne gi utstyret CE-merking som symbol på etterlevelse.

Arbeidet i sandkasseprosjektet har synliggjort en potensiell risiko for at EKG AI kan diskriminere enkelte pasientgrupper. Ahus vil se på muligheten for å gjennomføre en klinisk studie, for å undersøke om algoritmen har dårligere treffsikkerhet og prediksjoner for pasienter med ulike etniske bakgrunner (i denne rapporten brukt om genetiske opphav). Resultatene fra studien vil vise om det må iverksettes korrigerende tiltak i etterlæringsfasen til algoritmen.

I løpet av prosjektperioden har vi sett at det ikke finnes en felles og omforent metode for å avdekke algoritmeskjevhet. Dersom vi hadde hatt mer tid i prosjektet ville vi ha utviklet en egen metode, basert på erfaringer fra prosjektperioden. I tillegg ville det ha være interessant å gå enda dypere ned i de etiske kravene knyttet til bruk av kunstig intelligens i helsesektoren.