Helse Bergen HF ønsker å benytte kunstig intelligens (KI) for å etablere et automatisert varslingssystem for pasienter med høy sannsynlighet for reinnleggelse. Varslingssystemet skal hjelpe behandlere med å identifisere pasienter som trenger ekstra oppfølging for å unngå å bli lagt inn på sykehus igjen etter kort tid. Målet med sandkasseprosjektet var å avklare lovligheten ved slik bruk av kunstig intelligens, og å utforske hvordan pasientenes rettigheter kan ivaretas.

Oppsummering av funn

• Lovlighet: Helse Bergen HF har rettslig grunnlag etter personvernforordningen og supplerende rettsgrunnlag i helselovgivningen for å utvikle og bruke kunstig intelligens som beslutningsstøtte, som ledd i helsehjelp til pasienter.
• Åpenhet: Det bør gis generell informasjon om at pasientopplysninger brukes til utvikling av KI-verktøy. I bruksfasen bør det lages et journalnotat som presenterer resultatet på en forståelig måte for både kliniker og pasient.
• Rettferdighet: Skjevheter i enhver algoritme sitt datagrunnlag kan føre til diskriminering og hindre likebehandling av pasienter. For å unngå dette, skal det gjennomføres rutinemessige kvalitetskontroller av algoritmen. Varslingssystemet er et beslutningsstøttesystem, og for å sikre menneskelig kontroll av beslutningsprosessen, må det utarbeides felles retningslinjer for hvordan helsepersonell skal tolke og bruke resultater fra kunstig intelligente verktøy som anvendes i pasientbehandling.

Veien videre

Denne sluttrapporten bidrar til å belyse aktuelle personvernhensyn og risiko ved bruk av KI i klinisk pasientbehandling. Prosjektet har begrenset seg til kunstig intelligens brukt som klinisk beslutningsstøtte. Fullt autonome KI-systemer uten menneskelig innblanding vil kreve videre utredning.

Prosjektet har konkludert med at de samme kvalitetskravene må stilles til KI som til annet utstyr, programmer eller prosedyrer som gir beslutningsstøtte i klinikken, når det gjelder dokumentasjon av effekt og nytteverdi. Ved å oppfylle personvernforordningens krav til informasjon, samtykke og innsyn i egne helsedata, legger man grunnlaget for å utvikle og benytte nye verktøy i klinikken som baserer seg på KI.

Tilsvarende forhold er også dokumentert andre steder i Norge og verden. På tross av denne kjente kunnskapen, er det lite som er gjort for å forebygge reinnleggelser. 

Les mer om storbrukere av somatiske spesialisthelsetjenester i denne rapporten fra Helse Bergen (pdf)

En studie har vist at det kan være mulig, basert på rutinedata, å forutsi og identifisere hvilken gruppe pasienter som har høyest risiko for hyppige reinnleggelser. Det viser seg at en slik modell treffer godt på gruppenivå, men i lavere grad på individnivå.

Studien publisert i Lancet i 2018 finnes på pubmed.gov (ekstern lenke)

Helse Bergen HF ønsker i dette prosjektet å undersøke om det likevel er mulig på individnivå å forutsi hvilke konkrete pasienter som med stor sannsynlighet vil bli reinnlagt. Det kan gi et godt grunnlag for å sette i verk forebyggende tiltak, og forhåpentligvis gi færre belastende sykehusopphold og en bedre ressursbruk i helsetjenesten.

For å kunne predikere hvilke pasienter som med stor sannsynlighet vil bli reinnlagt, ønsker Helse Bergen HF å teste ut en totrinnsmodell.

I trinn 1 ønsker Helse Bergen HF å etablere et automatisert varslingssystem for pasienter med høy sannsynlighet for reinnleggelse. Prediksjonen skal gjøres automatisk og utføres ved hjelp av kunstig intelligens, som baserer seg på tidligere innleggelseshistorikk som fremkommer i standardiserte datavariabler fra foretakets elektroniske pasientjournal. Resultatet er tilgjengelig idet pasienten ankommer akuttmottak.

I trinn 2 er målet at personell i sykehus og eventuelt kommunehelsetjeneste, basert på den automatiske predisjonen og eget skjønn, skal skåre pasienten ut fra funksjonsnivå/skrøpelighet og iverksette forebyggende tiltak for de enkeltpasientene som trenger dette.

Helse Bergen HF ønsker å utvikle en enkel og brukervennlig løsning for identifikasjon av risikopasienter basert på prediksjonen i trinn 1 og skrøpelighetsskåren i trinn 2. Resultatet av predikasjonen skal integreres i og sammenstilles med eksisterende journal-/fagsystem.

Totrinnsmodellen som testes ut vil relativt enkelt kunne deles og gjenbrukes i andre sykehus. Det skyldes at alle sykehus i Norge har velstrukturerte tabelldata tilgjengelig for hver pasient gjennom data som hentes fra sykehusenes elektroniske pasientjournaler og rapporteres videre til Norsk pasientregister (NPR). Disse dataene inneholder informasjon om tidligere sykehusopphold med datavariabler knyttet til kjønn, alder, dato for innleggelser, hoved- og bidiagnoser m.m.

Den kliniske skåringen gjør at pasienten kan fanges opp på et så tidlig tidspunkt som mulig og tilbys et mer tilpasset behandlingsløp med innsats og oppfølging fra for eksempel et pasientsentrert helsetjenesteteam (PSHT). Slike team, hvor pasientene får et koordinert og helhetlig tjenestetilbud gitt av et tverrfaglig team fra kommune og sykehus, har vært testet ut i andre helseforetak med gode resultater. Det har blant annet redusert dødeligheten for eldre og multisyke pasienter, samtidig som det har redusert antallet øyeblikkelig-hjelp-innleggelser og liggedøgn i sykehuset.

Les også artikkelen "Flere pasienter lever bedre med nytt tilbud" på forskning.no 

Prosjektets nytteverdi er koblet opp mot to hovedpunkter:

1. Pasienten vil kunne bli tatt bedre vare på og kan unngå reinnleggelser og få redusert antall liggedøgn på sykehus.
2. Helseforetaket vil kunne redusere antallet liggedøgn for storbrukere og i større grad kunne anvende ressursene til bedre persontilpasset oppfølging av denne pasientgruppen i samarbeid med kommunehelsetjenesten. Dette vil også vil kunne avhjelpe oppfølgingen i kommunen og dermed bidra til en mer hensiktsmessig bruk av samfunnets ressurser.

(Figur som skisserer Forløpsdatabasen, finner du på denne siden.)

Personlige helseopplysninger for alle pasienter i Helse Bergen HF hentes ut fra journalsystemet (DIPS), og lagres som et strukturert datasett i samme format som datavariabler som inngår i Norsk pasientregister (NPR). Disse variablene er godt dokumentert og beskrevet, og har samme betydning på tvers av helseforetakene i Norge. Det gir muligheter for at andre helseforetak kan gjenbruke samme algoritme på en enkel måte, siden alle helseforetak er pliktig til å levere data til NPR i dette formatet gjennom NPR-meldingen.

Fra Forløpsdatabasen vil algoritmen ha tilgang til et stort antall episoder, der en episode regnes som et avdelingsopphold, eller hele sykehusoppholdet hvis det bare er ett avdelingsopphold. Hver episode har assosierte datavariabler, for eksempel tidspunkt for innleggelse og utskriving, kjønn, alder, hoveddiagnose, indikatorer på hastegrad (elektiv eller øyeblikkelig hjelp) og omsorgsnivå (overnatting/ikke overnatting). Algoritmen teller antall tidligere hoveddiagnoser, liggetid på sykehuset, samt tidligere reinnleggelser i forkant avhver enkelt episode. Ved hjelp av slik informasjon lærer algoritmen hvilke pasienter som har høy risiko for reinnleggelse.

Når en pasient legges inn på sykehuset, ønsker Helse Bergen HF å gjøre en prediksjon på denne pasientens risiko for reinnleggelse. Hvis risikoen anses som høy, vil legen få beskjed om dette via et journalnotat som legges inn i DIPS. Ettersom tiden går, vil mønstre bak risikoen for reinnleggelse kunne endre seg. Derfor blir det viktig å kunne trene algoritmen på ny («etterlæring») med jevne mellomrom, slik at den oppdateres på det nye pasientgrunnlaget.

Den ferdigutviklede algoritmemodellen gir en skåring av pasientens sannsynlighet for reinnleggelse i fremtiden. En software-robot klipper ut informasjon generert av algoritmen og limer dette inn i DIPS som et journalnotat. Legen vil kun forholde seg til opplysningene som fremkommer i DIPS, og vil på denne måten hente ut en prediksjon for den enkelte pasient.

Behandlingsrettet helseregister (Forløpsdatabasen)

Avgjørende for at Helse Bergen HF skal kunne benytte seg av helseopplysninger fra et stort antall pasienters journal er opprettelsen av et internt behandlingsrettet helseregister (omtales som forløpsdatabasen). Slike registre skal ha hjemmel i lov, jf. pasientjournalloven § 6 første ledd, og må oppfylle kravene til utforming og organisering oppstilt i pasientjournalloven § 7.

Figuren over viser dataflyten i prosjektet:

• A. Alle data lagres i et behandlingsrettet helseregister (Forløpsdatabasen).
• B. Algoritmen for kunstig intelligens (KI) trenes med data fra helseregisteret.
• C. En oppdatert KI-modell gjør en prediksjon av risiko for reinnleggelse for pasienter som er innlagt på sykehuset.
• D. Prediksjonen av risiko for reinnleggelse dokumenteres i DIPS, blir tilgjengelig for behandlende lege i EPJ (elektronisk pasientjournal), og kan brukes som beslutningsstøtte i pasientbehandling. Pasienter som antas å ha høy risiko for reinnleggelse kan tilbys et persontilpasset behandlingsopplegg. Algoritmen vil regelmessig kvalitetssikres og monitoreres for å følge med i ytelse og nytteverdi.

Helse Bergen HF har laget flere prototyper for kategorisering av pasientgrupper for reinnleggelser. Basert på NPR-data fra 2018-2020 har prosjektet avdekket flere personspesifikke variabler som viser statistisk sammenheng med risiko for reinnleggelse. Ved å anvende maskinlæring der disse variablene inngår, viser foreløpige resultater at man kan oppnå en treffsikkerhet («accuracy») på 0.75 om hvorvidt en pasient som kommer inn i klinikken vil oppleve en reinnleggelse innen 30 dager. Dette tallet tar hensyn til både sensitivitet og spesifisitet og forteller at i omtrent ¾ av alle tilfeller vil man klare å identifisere enkeltpasienter som vil oppleve eller som ikke vil oppleve en reinnleggelse innen 30 dager etter utskriving.

Helse Bergen HF vil i løpet av høsten 2022 diskutere modellens resultater med leger som arbeider til daglig i Mottaksklinikken ved Haukeland universitetssykehus. Videre vil man jobbe med både klinkere og pasienter med tanke på hvordan resultatene bør formidles via journalnotater i DIPS på en brukervennlig måte.  I tillegg vil det arbeides med å se på muligheten for  å teste ut PSHT i et pilotprosjekt men noen få kommuner.

Helse Bergen HF anså det som nødvendig å avklare problemstillinger knyttet til personvern før de igangsetter uttesting av modellen i klinisk praksis.

Prosjektets mål med sandkassedeltakelse var å:

• klarlegge Helse Bergen HFs muligheter for å benytte KI der det er lovlig og ansvarlig
• korte ned veien fra idé til implementert KI på andre områder i Helse Bergen HF spesielt og i helsesektoren generelt

Prosjektet kan med andre ord ha nytte og overføringsverdi for andre prosjekter i Helse Bergen HF og for andre helseforetak og virksomheter i offentlig sektor.

I den regulatoriske sandkassen er siktemålet å finne frem til gode, personvernvennlige løsninger for utvikling og bruk av kunstig intelligens. I dette prosjektet har vi diskutert lovligheten av å bruke taushetsbelagte helseopplysninger til utvikling av algoritmer og hvorvidt det er tillatt å bruke slike verktøy i klinisk behandling. Videre har pasientens rettigheter opptatt en stor del av agendaen. Her har vi særlig diskutert hvordan innsynsretten og retten til å bli glemt kan ivaretas i praksis samt hvilken informasjon pasienten må ha om algoritmen for å kunne medvirke i gjennomføring av helsehjelpen.

Disse diskusjonene samles og oppsummeres under sluttrapportens tre hovedproblemstillinger, som beskrives i det følgende. De tre hovedproblemstillingene er:

1. Er utvikling og bruk av KI i helsehjelp lovlig?
2. Hvordan bør informasjonen være tilpasset pasientene?
3. Hvordan sikre at algoritmen gir et rettferdig resultat?

I andre del diskuterer vi problemstillinger knyttet til åpenhet og hvordan resultatene fra algoritmen skal forklares.

Siste del er en vurdering av Helse Bergen HFs tilnærming til kravet om at en slik modell skal være rettferdig og hvordan kravene til innebygd personvern i løsningen kan bidra til å oppnå dette.

Generelle krav til rettslig grunnlag

Personvernforordningen (GDPR) krever at all behandling av personopplysninger har hjemmel i ett av de seks rettslige grunnlagene oppstilt i artikkel 6 nr. 1 bokstav a til f.

Artikkel 9 nr. 1 oppstiller et generelt forbud mot å behandle særlige kategorier av personopplysninger. Dette gjelder blant annet helseopplysninger, fordi denne type av personopplysninger anses særlig sensitive i sin natur. Artikkel 9 nr. 2 oppstiller en rekke unntak fra forbudet. Unntakene oppstilt i bestemmelsen er uttømmende.

Generelt om supplerende rettsgrunnlag og legalitetsprinsippet

Både personvernforordningen artikkel 6 nr. 3 og artikkel 9 nr. 2 krever i noen tilfeller et supplerende rettsgrunnlag i nasjonal lovgivning. Dette innebærer at den dataansvarlige må kunne påvise et rettslig grunnlag for den aktuelle behandlingen av personopplysninger både i personvernforordningen og i nasjonal rett.

Et spørsmål er også hvor klart det supplerende rettsgrunnlaget må være. Artikkel 6 nr. 3 kan gi en viss veiledning når lovgiver skal utforme et slikt rettsgrunnlag. Bestemmelsen presiserer blant annet at det ikke stilles krav til en spesifikk lovbestemmelse for hver enkelt behandling så lenge formålet med behandlingen er fastsatt i nasjonal lov, eller formålet er nødvendig for å utøve offentlig myndighet. Som vi skal se nærmere på i det følgende vil både bokstav c og e være relevante rettsgrunnlag for utviklingen og bruken av algoritmen til Helse Bergen.

Forarbeidene til personopplysningsloven presiserer at behandling på grunnlag av artikkel 6 nr. 1 bokstav c må ha et supplerende rettsgrunnlag, der formålet er fastsatt i rettsgrunnlaget. Det er imidlertid tilstrekkelig at det supplerende rettsgrunnlaget pålegger dataansvarlig en rettslig forpliktelse som det krever behandling av personopplysninger for å oppfylle.

Se Prop. 56 LS (2017-2018) punkt 6.3.2 på regjeringen.no (pdf)

For artikkel 6 nr. 1 bokstav e er det tilstrekkelig at det er nødvendig for dataansvarlig å behandle personopplysninger for å utøve myndigheten som følger av det supplerende rettsgrunnlaget. Det supplerende rettsgrunnlaget trenger altså ikke å uttrykkelig regulere selve behandlingen av personopplysninger.

Finnes det et rettslig grunnlag for å bruke personopplysninger til å utvikle og bruke KI i klinikk?

For den videre fremstillingen er det naturlig å dele spørsmålet om rettslig grunnlag inn i algoritmemodellens to hovedfaser, (1) beslutningsstøtteverktøyets utviklings- og etterlæringsfase og (2) anvendelsesfasen der algoritmemodellen brukes i klinikk.

(1) Rettslig grunnlag for utviklings- og etterlæringsfasen

Utviklingen av algoritmen er basert på historiske helseopplysninger fra nærmere 200 000 pasienter ved Helse Bergen HF i tidsrommet 2018 til 2021. Dette innebærer at helseopplysninger som er samlet inn om én pasient benyttes til formål om å gi helsehjelp til andre, utover denne ene pasienten. Etterlæringsfasen innebærer å kontinuerlig tilføre algoritmen nye helseopplysninger slik at algoritmen til enhver tid er oppdatert og utvikler seg i takt med endringer som oppstår. Behandlingen av helseopplysninger i utviklings- og etterlæringsfasen krever et rettslig grunnlag i personvernforordningen og nasjonal rett.

Personvernforordningen artikkel 6 nr. 1 bokstav e oppstiller krav om at behandlingen er «nødvendig» for å utføre en «oppgave i allmennhetens interesse» eller «utøve offentlig myndighet som den behandlingsansvarlige er pålagt». Formålet med utviklingen av algoritmen er å redusere antall reinnleggelser, forbedre oppfølging av pasienter og effektivisere ressursbruk i helsesektoren.

Artikkel 9 nr. 2 bokstav h kan gjøre seg gjeldende der behandlingen av personopplysninger er «nødvendig» i forbindelse med «forebyggende medisin» eller i forbindelse med «yting av helse- eller sosialtjenester, behandling eller forvaltning av helse- eller sosialtjenester og -systemer». For behandling av helseopplysninger vil også artikkel 9 nr. 2 bokstav i kunne benyttes når det er «nødvendig av allmenne folkehelsehensyn». Begrepet «allmenne folkehensyn» er ikke nærmere definert, men det eksemplifiseres blant annet med at det omfatter å «sikre høye kvalitets- og sikkerhetsstandarder for helsetjenester og legemidler eller medisinsk utstyr». Bokstav i kan være naturlig å bruke eksempelvis ved intern kvalitetssikring av modellen i produksjon (etterlæringsfasen). 

Artikkel 6 nr. 3 og artikkel 9 nr. 2 bokstav h og i oppstiller krav om at behandlingen av helseopplysninger i tillegg må ha supplerende rettsgrunnlag i nasjonal rett.

Supplerende rettsgrunnlag i helselovgivningen

Utgangspunktet for all behandling av helseopplysninger i helsetjenesten er at helsepersonell er underlagt taushetsplikt, jf. helsepersonelloven § 21 og pasientjournalloven § 15. Taushetsplikten skal sikre pasienters grunnleggende rett til privatliv og ivareta tilliten til helsetjenestene. Alle unntak fra taushetsplikten krever at pasienten samtykker, eller at unntaket har hjemmel i lov.

Et typisk og praktisk unntak fra taushetsplikten er at opplysninger kan deles med annet helsepersonell når det er «nødvendig» for å yte «forsvarlig helsehjelp», jf. helsepersonelloven §§ 25 og 45. Tilsvarende kreves det hjemmel i lov for å benytte helseopplysninger om en pasient til utvikling av en algoritme som skal brukes i helsehjelpen til andre pasienter. Som følge av at det ikke er særlig praktisk å innhente samtykke fra hver enkelt pasient for å oppheve taushetsplikten, må en slik sekundærbruk av helsedata omfattes av et lovfestet unntak fra taushetsplikten.

Helsepersonelloven § 29, som trådte i kraft sommeren 2021, oppstiller en dispensasjon fra taushetsplikten for tilgjengeliggjøring av opplysninger fra pasientjournaler og andre behandlingsrettede helseregistre. 
På særskilte vilkår, og etter søknad, kan bestemmelsen benyttes som et rettslig grunnlag for utvikling og etterlæring av beslutningsstøtteverktøy med kunstig intelligens, jf. første ledd bokstav a:

I forarbeidene uttaler Helse- og omsorgsdepartementet at:

«Det skal gjøres en konkret vurdering der samfunnsnytten skal veies opp mot personvernulempene for den enkelte. Hensynene bak taushetsplikten og pasientens rett til vern mot spredning av opplysninger skal veie tungt.»

Se Prop. 63 L (2019-2020), kapittel 16.1 på side 129 (pdf)

For å sikre at datagrunnlaget til enhver tid er representativt, må modellen kontinuerlig tilføres nye helseopplysninger. En slik etterlæring av algoritmen kan ha hjemmel i helsepersonelloven § 29, jf. ordlyden «utvikling».

Ved behandling av helseopplysninger for internkontroll og kvalitetssikring, er det naturlig å benytte helsepersonelloven § 26 som hjemmelsgrunnlag og unntak fra taushetsplikten. Kvalitetsforbedring forstås i denne sammenhengen som en kontroll av om algoritmen er forsvarlig når den anvendes i klinikk.

Innføring av helsepersonelloven § 29 sommeren 2021 kan ses på som et signal om at myndighetene ønsker å tilrettelegge for økt bruk av kunstig intelligens i klinisk helsetjeneste. Det er Helsedirektoratet som er aktuell myndighet for behandling av søknader om dispensasjon.

(2) Rettslig grunnlag for anvendelsesfasen

I denne fasen brukes beslutningsverktøyet som en del av det kliniske helsetilbudet. I begrepet «klinisk» ligger at formålet med utviklingen av verktøyet skal være ytelse av helsehjelp og praktisk medisin. Algoritmen vil analysere den enkeltes pasientdata og gi en skåring av pasientens sannsynlighet for reinnleggelse i fremtiden. Deretter vil en software-robot klippe ut skåringen som er generert av algoritmen og lime dette inn i pasientjournalsystemet DIPS, slik at det blir tilgjengelig for behandlende lege.

Ved bruk av den enkelte pasients helseopplysninger, vil algoritmen gi en prediksjon for hvilken risiko pasienten har for å bli reinnlagt i fremtiden. Helseforetak har en plikt til å yte forsvarlige helse- og omsorgstjenester og må i den forbindelse behandle opplysninger som anses nødvendige og relevante for ytelsen av disse tjenestene. For denne behandlingen av personopplysninger er det aktuelt å se nærmere på artikkel 6. nr. 1 bokstav c, som krever at:

«Behandlingen er nødvendig for å oppfylle en rettslig forpliktelse som påhviler den behandlingsansvarlige.»

Som følge av at beslutningsstøttesystemet behandler helseopplysninger om pasienten, må et av unntakene i artikkel 9 nr. 2 komme til anvendelse for at behandlingen skal være lovlig. Bokstav h oppstiller en adgang til å behandle helseopplysninger dersom behandlingen er «nødvendig» i forbindelse med «forebyggende medisin» eller i forbindelse med «yting av helse- eller sosialtjenester».

Supplerende rettsgrunnlag i norsk rett finner vi blant annet i spesialisthelsetjenesteloven § 2-2, jf. § 2-1, som pålegger spesialisthelsetjenesten å yte forsvarlige helsetjenester til borgerne:

«Helsetjenester som tilbys eller ytes i henhold til denne loven skal være forsvarlige. Spesialisthelsetjenesten skal tilrettelegge sine tjenester slik at personell som utfører tjenestene, blir i stand til å overholde sine lovpålagte plikter, og slik at den enkelte pasient eller bruker gis et helhetlig og koordinert tjenestetilbud.»

Forsvarlighetsplikten er en rettslig standard i helselovgivningen. En rettslig standard er dynamisk og vil utvikle seg i takt med samfunnsutviklingen og nye standarder for helsehjelp. Dette skaper mindre forutsigbarhet for pasienten. Tilgang til og behandling av personopplysninger er likevel en forutsetning for, og en naturlig del av, plikten til å yte forsvarlig helsehjelp. Ifølge forarbeidene til helsepersonelloven, der kravet til forsvarlighet er omtalt, skal innholdet i forsvarlighetsplikten vurderes ut ifra legitime forventninger, helsepersonellets kvalifikasjoner, arbeidets karakter og situasjonen for øvrig.

Se Ot.prp.nr.13 (1998-99) punkt 4.2.5.3 på regjeringen.no

Helsepersonellets forsvarlighetsplikt gjelder uavhengig av pasientens frivillighet og mulighet til å ivareta egen autonomi. Forsvarlighetskravet kan forstås som en plikt til å utvikle og tilby helsetjenester basert på ny kunnskap og teknologi, også ved bruk av kunstig intelligens der det er forventet nytteverdi.

I helsepersonelloven § 39 oppstilles det videre en dokumentasjonsplikt for den som yter helsehjelp. Denne plikten innebærer en individuell plikt til å nedtegne opplysninger om pasienten og helsehjelpen som er relevante og nødvendige, se også pasientjournalloven § 40 og forskrift om pasientjournal. Dokumentasjonsplikten er begrunnet i forsvarlighetsplikten.

Dersom det skal behandles ytterligere opplysninger enn det som anses nødvendig og relevant for ytelse av helse- og omsorgstjenester og helsepersonellets dokumentasjonsplikt i det konkrete tilfelle, må det foreligge et eget rettslig grunnlag.

Videre oppstiller pasientjournalloven § 19 en plikt for helsevirksomheten til å:

«sørge for at relevante og nødvendige helseopplysninger er tilgjengelige for helsepersonell og annet samarbeidende personell når dette er nødvendig for å yte, administrere eller kvalitetssikre helsehjelp til den enkelte.»

Bestemmelsen kan benyttes som rettsgrunnlag så langt behandlingen av opplysningene som behandles er nødvendige og relevante for tjenesteytelsen.

Retten og plikten til å dele pasientopplysninger med samarbeidende personell fremgår også av helsepersonelloven §§ 25 og 45.

Som en oppsummering, finnes det flere lovbestemmelser i helselovgivningen som gir adgang til å benytte personopplysninger i pasientbehandling, (se særlig spesialisthelsetjenesten § 2-2 og pasientjournalloven § 19). En grunnleggende forutsetning for at helsepersonell skal være i stand til å yte forsvarlig helsehjelp, (jf. spesialisthelsetjenesten § 2-2), er tilgang til relevante og nødvendige pasientopplysninger.

Forbudet mot automatiserte beslutninger vs. beslutningsstøttesystem

Artikkel 22 i personvernforordningen oppstiller et forbud mot beslutninger som kun er basert på automatisert behandling. For at et slikt forbud skal gjøre seg gjeldende, må det være tale om en beslutning uten menneskelig innblanding, i tillegg til at beslutningen må ha en rettsvirkning eller en betydelig påvirkning på den enkelte pasient. Krav om menneskelig innblanding betyr at beslutningsprosessen må ha innslag av en reell og faktisk vurdering utført av et menneske.

Algoritmemodellen i prosjektet til Helse Bergen HF er begrenset til et beslutningsstøtteverktøy, og det skal bare benyttes som en veiledning for helsepersonell i vurderingen av oppfølging av pasient. I forarbeidene til helsepersonelloven presiseres det at begrepet «beslutningsstøtteverktøy» skal forstås vidt, og det omfatter alle typer kunnskapsbaserte hjelpemidler og støttesystemer som kan gi råd og støtte og veilede helsepersonell ved ytelse av helsehjelp. Det omfatter også utvikling og bruk av systemer som bygger på kunstig fintelling og systemer som bygger på maskinlæring. Anbefalingen fra algoritmen vil på denne måten kun være en av mange faktorer som er avgjørende for hvilke tiltak som iverksettes.

Det må likevel understrekes at det ved bruk av algoritmen i klinisk behandling, skjer en profilering av pasienten, jf. art.  4 nr. 4. Profilering defineres som enhver form for automatisert behandling av personopplysninger som innebærer å bruke personopplysninger for å vurdere visse personlige aspekter knyttet til en fysisk person, særlig for å analysere eller forutsi aspekter ved en fysisk persons arbeidsprestasjoner, økonomiske situasjon, helse, personlige preferanser, interesser, pålitelighet, atferd, plassering eller bevegelser. Selv om ikke profilering alene utløser forbudet i artikkel 22, kan profilering, og særlig profilering som omfatter helseopplysninger, indikere at det foreligger en høy risiko ved behandlingen. 

Selv om algoritmen brukes som et beslutningsstøttesystem eksisterer det en risiko for at helsepersonell legger algoritmeresutaltet til grunn uten en selvstendig vurdering. Bruk av KI-verktøyet blir på denne måten i praksis helautomatisert. Tiltak for å redusere risikoen for at dette skjer, er å sørge for tilstrekkelig informasjon og opplæring av helsepersonell før verktøyet tas i bruk, presentasjon av sannsynligheter fremfor kategoriske utfall, åpenhet om verktøyets treffsikkerhet, og innføring av rutiner og kontrollmekanismer for å avdekke feil i modellen.

Informasjon til pasienten er også en grunnleggende forutsetning for god helsehjelp, og i mange tilfeller vil kravene i personvernlovgivningen og helselovgivningen sammenfalle og utfylle hverandre, men det er også noen forskjeller som vil vil belyse. Ved bruk av et klinisk beslutningsstøttesystem, vil behandler ha en sentral oppgave når det gjelder å formidle relevant informasjon til pasienten.

Informasjonskrav i utviklingsfasen

Personvernforordningens artikkel 13 og 14 pålegger den behandlingsansvarlige en informasjonsplikt ved innsamling og bruk av personopplysninger til utvikling av algoritmer. Artikkel 13 gjelder for opplysninger som er samlet inn fra den registrerte selv, mens artikkel 14 regulerer tilfeller der opplysningene er samlet inn fra andre kilder, eksempelvis fra en tredjepart eller offentlig tilgjengelige opplysninger.

I dette prosjektet vil personopplysningene være samlet inn fra andre kilder enn den registrerte. Opplysningene hentes fra journalsystemet og er opplysninger som sykehuset har generert gjennom diagnoser, registrering av opphold m.m. Det vil derfor være artikkel 14 i personvernforordningen som angir hvilken informasjon pasientene skal motta. 

Opplysninger som brukes er personspesifikk innleggelseshistorikk fra nærmere 400 000 pasienter hvor det trekkes ut følgende data til trening:

• kjønn
• alder
• antall liggedøgn
• tidligere reinnleggelser
• hoved- og bidiagnoser
• liggetid på sykehuset

Det kan være svært ressurskrevende å gi informasjon om dette individuelt.

I artikkel 14 nr. 5 bokstav a til c er det gitt noen unntak fra hovedregelen. Dersom den registrerte allerede har informasjonen, det viser seg umulig å gi nevnte informasjon eller det vil innebære en uforholdsmessig stor innsats, kan det gjøres unntak.  Det samme gjelder dersom innsamling eller utlevering er uttrykkelig fastsatt i unionsretten eller medlemsstatenes nasjonale rett som den behandlingsansvarlige er underlagt, og som inneholder egnede tiltak for å verne den registrertes berettigede interesser.

Det er grunn til å nevne at hpl § 29 oppstiller blant annet søknadsplikt til helsedirektoratet, krav til dataminimering og taushetsplikt som er egnede tiltak.

I dette prosjektet vil bokstav b og c kunne få anvendelse under utviklingsfasen.

Det skal imidlertid alltid være forutsigbart for den enkelte at opplysningene benyttes til utvikling av KI, jf. artikkel 12 nr. 1 og det generelle prinsippet om åpenhet i artikkel 5 nr. 1 bokstav a. Dette kan ivaretas ved at generell informasjon om behandlingen publiseres på et offentlig tilgjengelig område, for eksempel nettsiden til virksomheten/dataansvarlig. Dette er spesielt viktig for å bygge tillit når ny teknologi som for eksempel kunstig intelligens tas i bruk. Ved anvendelse av algoritmen, i tråd med åpenhetsprinsippet, vil Helse Bergen HF presentere datagrunnlaget, resultat og eventuell usikkerhet knyttet til den enkelte pasient i et journalnotat som legges i pasientens journal, og som pasienten kan se på helsenorge.no

Hvilken informasjon skal gis i utviklingsfasen?

Det kan gis generell informasjon om bruk av innsamlede journalopplysninger til utvikling av KI. Det er da viktig at denne informasjonen blir tilgjengelig for de registrerte før viderebehandlingen gjøres.

Når det behandles personopplysninger i utvikling av KI-systemer, er det særlig viktig å gi informasjon om:

• hvilke typer av personopplysninger som behandles
• hva formålet med utviklingen av algoritmen er
• hva som skjer med opplysningene etter at utviklingen er avsluttet
• hvor opplysningene er samlet inn fra
• i hvilken grad KI-modellen behandler personopplysninger og om det er iverksatt tiltak i form av pseudonymisering av opplysningene

Opplysninger om å motsette seg bruk til utvikling?

Kunstig intelligens er en ny teknologi, og det kan av ulike årsaker være grunner til at pasienter ikke ønsker at egne helsedata skal bli brukt til å utvikle KI-verktøy. Det bør gis generell informasjon om at pasienter har rett til å motsette seg at egne helseopplysninger benyttes inn i et KI-verktøy. Også dette kan det opplyses om for eksempel på virksomhetens/dataansvarligs nettside.

Retten til å motsette seg at egne helseopplysninger benyttes inn i et KI-verktøy følger av pasientjournalloven § 7, jf. § 17, og pasient- og brukerrettighetsloven § 5-3.

Retten til å protestere etter personvernforordningen artikkel 21 gjelder ikke for behandlingsrettede helseregistre med rettslig grunnlag i artikkel 6 nr. 1 bokstav c.

Informasjonskrav i anvendelsesfasen

I anvendelsesfasen vil kravene som stilles til informasjon avhenge av om KI-modellen brukes som en beslutningsstøtte eller i helautomatiserte beslutninger.

For automatiserte avgjørelser som har rettsvirkning eller i betydelig grad påvirker en person, gjelder det særlige krav til informasjon. Hvis en behandling kan kategoriseres som en automatisert avgjørelse etter artikkel 22, stilles det ekstra krav til åpenhet, jf. artikkel 13 nr. 2 bokstav f. og artikkel 14 nr. 2 bokstav g:

• informasjon om at vedkommende blir utsatt for en automatisert avgjørelse
• informasjon om retten til ikke å være gjenstand for en automatisert beslutning etter artikkel 22
• meningsfull informasjon om den underliggende logikken i KI-systemet
• betydningen, og de forventede konsekvensene, av å bli utsatt for en automatisert avgjørelse

Selv om det ikke er et uttrykkelig krav om å gi den registrerte slik tilleggsinformasjonen når KI-systemet brukes som et beslutningsstøtteverktøy, anbefaler Datatilsynet at det også gis tilleggsinformasjon i disse tilfellene, spesielt når det foretas en profilering som bruker helseopplysninger. Det støttes av artikkel 14 nr. 2 bokstav g sammenholdt med artikkel 12 nr. 1 og fortalepunkt 60. Det er også i tråd med retningslinjer fra Det europeiske personvernrådet (EDPB), se side 25 hvor det også er det gitt veiledning om hva en meningsfull forklaring om logikken kan inneholde.

En meningsfull forklaring er ikke bare avhengig av tekniske og juridiske krav, men også språklige og designmessige vurderinger. Det må vurderes hvilken målgruppe forklaringen retter seg mot, i dette tilfellet både helsepersonell og pasienter.

I mange tilfeller er ikke en kompleks matematisk forklaring om hvordan algoritmen eller maskinlæringen fungerer veien å gå. Dataansvarlig kan heller fokusere på at informasjonen skal være klar og forståelig for den registrerte, ved for eksempel å informere om:

• kategoriene av data som har blitt eller vil bli brukt i profilerings- eller beslutningsprosessen
• hvorfor disse kategoriene anses som relevante
• hvordan en profil som brukes i den automatiserte beslutningsprosessen er bygget opp, inkludert eventuell statistikk som brukes i analysen
• hvordan den brukes til en avgjørelse som angår den registrerte

Slik informasjon vil generelt være mer relevant for den registrerte og bidrar til større åpenhet i behandlingen. Det kan også være nyttig å vurdere visualisering og interaktive teknikker for å hjelpe til med åpenhet om hvordan algoritmen fungerer.

Denne informasjonen vil også være nyttig for helsepersonellet for å bygge tillit til løsningen og sikre en reell vurdering av resultatet.

For offentlige virksomheter vil det også kunne gjelde andre krav til informasjon om begrunnelsen av automatiserte beslutninger, for eksempel krav til begrunnelse etter forvaltningsloven eller lovgivningen som gjelder for den enkelte sektor.

Informasjon i etterlæringsfasen

Når det gjelder bruk av innhentede personopplysninger i anvendelsesfasen til etterlæring av KI, vil kravet til informasjon sammenfalle med kravet til informasjon ved første gangs innhenting til utvikling av KI og for anvendelsesfasen.

I denne løsningen er det skissert en periodisk etterlæring, og kravene vil da være som for utviklingsfasen.

Hvilke informasjonskrav finnes i helselovgivningen?

Helsepersonell har lovpålagt plikt til å gi pasientene informasjon, og pasienter har rett til å motta informasjon som kan ivareta kravet til åpenhet.

Det følger av pasient- og brukerrettighetsloven § 4-1 at et samtykke til helsehjelp bare er gyldig dersom pasienten ha fått nødvendig informasjon om sin helsetilstand og innholdet i helsehjelpen. Det samme kan utledes av helsepersonelloven § 4 om krav til forsvarlig og omsorgsfull helsehjelp.

Videre følger det av pasient- og brukerrettighetsloven § 3-2 at pasienten skal ha den informasjon som er nødvendig for å få innsikt i sin helsetilstand og innholdet i helsehjelpen. Pasienten skal også informeres om mulige risikoer og bivirkninger.

Disse pliktene innebærer at det skal gis informasjon så langt det er nødvendig for at pasienten skal ha innsikt i innholdet i helsehjelpen.

Vår vurdering er at beslutningsstøtteverktøyet som Helse Bergen HF har utviklet ikke representerer høy risiko for den registrertes rettigheter og friheter og skal behandles på samme måte som andre tekniske og medisinske hjelpemidler (blodtrykksmåler, røntgen, blodprøve, osv.) når det gjelder hvilken informasjon som skal meddeles. Informasjon vil bli gitt og vurdert av helsepersonell, som også fatter den endelige beslutningen.

Forslag til journalnotat

En meningsfull forklaring er ikke bare avhengig av tekniske og juridiske krav, men også språklige og designmessige vurderinger. Det må vurderes hvilken målgruppe forklaringen retter seg mot, noe som vil kunne innebære en forskjell i hvilken forklaring som gis til henholdsvis helsepersonell og pasienter. Hvis forklaringene fremstår som standardiserte så vil det kunne svekke betydningen av dem i en beslutningsprosess. Samfunnsmessige forhold som tillit til virksomheten, skårens betydning og tilliten til KI-systemer generelt vil også kunne påvirke opplevelsen av en meningsfull forklaring.

Informasjon fra helsepersonell til pasienter må derfor tilpasses, noe som også kan være aktuelt for journalnotater for å formidle informasjon på en forståelig måte. Her er eksempler på hvordan journalnotater kan utformes:

Disse prinsippene er hentet fra «Etiske retningslinjer for forsvarlig kunstig intelligens», som er utarbeidet av en ekspertgruppe oppnevnt av EU-kommisjonen. De samme prinsippene er også gjenspeilet i regjeringens Nasjonale strategi for kunstig intelligens fra 2020.

Et godt utgangspunkt for å ivareta disse prinsippene er å gjennomføre en personvernkonsekvensvurdering. En vurdering av personvernkonsekvenser er en prosess som skal beskrive behandlingen av personopplysninger, og vurdere om den er nødvendig og proporsjonal. Den skal også bidra til å håndtere de risikoene behandlingen medfører for enkeltpersoners rettigheter og friheter ved å vurdere dem og fastlegge risikoreduserende tiltak.

Vurdering av personvernkonsekvenser (DPIA)

Dersom det er sannsynlig at en type behandling av personopplysninger vil medføre høy risiko for personers rettigheter og friheter, skal den behandlingsansvarlige vurdere hvilke konsekvenser den planlagte behandlingen vil ha for personvernet. Datatilsynet har laget en liste over behandlingsaktiviteter som alltid utløser behovet for å gjennomføre en personvernkonsekvensvurdering (DPIA). Listen er tilgjengelig på Datatilsynets nettsted. Her står det blant annet at behandling av personopplysninger med innovativ teknologi, som kunstig intelligens, samt behandling av særskilte kategorier av personopplysninger (som helseopplysninger) for algoritmetrening, krever at en DPIA gjennomføres.

I sin DPIA identifiserte Helse Bergen HF flere ulike risikomomenter. Særlig to av dem pekte på en risiko for at rettferdigheten ikke blir godt nok ivaretatt i løsningen:

1. Falske negative og falske positive resultater.

   Risiko for at algoritmen predikerer såkalte falske negative og falske positive resultater. Det betyr enten at en person som burde hatt ekstra oppfølging ikke får det, eller at en person som ikke hadde trengt ekstra oppfølging blir tilbudt det. I det første tilfellet vil pasienten bli tilbudt en oppfølging som er i henhold til dagens praksis, noe som ikke kan sies å være forbundet med høy risiko. Det andre tilfellet representerer ingen risiko for pasienten, men er uønsket ut ifra et ressursperspektiv på sykehuset.

2. Demografisk skjevhet.

   Risiko for at algoritmen er diskriminerende mot enkelte grupperinger i samfunnet. Dersom algoritmen prioriterer visse grupperinger, vil andre grupper oppleve å bli tilsidesatt eller å bli utsatt for usaklig forskjellsbehandling.

I det videre vil eksempler fra DPIA-diskusjonen benyttes for å illustrere hvordan rettferdighet og innebygd personvern er ivaretatt i algoritmen.

Innebygd personvern

Det Europeiske personvernrådet (EDPB) presiserer i sin veileder at innebygd personvern er et av flere momenter som inngår i rettferdighetsprinsippet, i tillegg til respekt for den registrertes rettigheter og friheter, herunder ikke-diskriminering, den registrertes forventninger og behandlingens bredere etiske problemstillinger. Innebygd personvern har vært et gjennomgående tema i dette sandkasseprosjektet, både i diskusjoner knyttet til diskriminering og skjevheter i algoritmen, og i diskusjoner knyttet til hvordan pasientenes rettigheter og friheter etter personvernregelverket skal ivaretas.

Les mer om innebygd personvern i EDPBs veileder (eng).

Innebygget personvern er en plikt etter personvernforordningen artikkel 25 om å sørge for et effektivt personvern i utviklingen av løsninger eller tekniske systemer, gjennom å iverksette tekniske og organisatoriske tiltak. Datatilsynet presiserer på sine nettsider at kravet til innebygd personvern må være innfridd før behandlingen av personopplysninger finner sted, og at mekanismer som ivaretar innebygd personvern skal vedlikeholdes kontinuerlig så lenge behandlingen pågår.

Helse Bergen HF har selv utviklet algoritmen som benyttes for prediksjon av risiko for reinnleggelse. De har derfor hatt god mulighet til å planlegge nødvendige tiltak for å ivareta kravene til innebygd personvern fra start, som for eksempel knyttet til dataminimering, pseudonymisering og datasikkerhet. Nedenfor presenterer vi noen eksempler på aktuelle tiltak i dette prosjektet.

Datakvalitet og kravet til dataminimering

I Nasjonal strategi for KI fremheves særlig skjevhet i datagrunnlaget som et hinder for inkludering og likebehandling. Dette forklares med at «datasett som brukes til å trene opp KI-systemer kan inneholde historiske skjevheter, være ufullstendige eller uriktige». Dårlig datakvalitet og feil vil forplante seg i algoritmen og kan føre til uriktige og diskriminerende resultater.

Et tiltak for å unngå utvalgsskjevhet («bias») er å sørge for at datagrunnlaget er tilstrekkelig og relevant for algoritmens forhåndsdefinerte formål. Prinsippet om dataminimering angir at det kun er lov til å behandle personopplysninger som er nødvendige for å oppnå formålet med en behandlingsaktivitet. Dataminimeringsprinsippet setter begrensninger for å benytte store mengder av personopplysninger i utviklingen av en algoritme dersom formålet kan oppnås med et mindre datagrunnlag.

I Helse Bergen HFs algoritme er formålet å avdekke risikoen for at en pasient blir reinnlagt i fremtiden. Som nevnt innledningsvis, har Helse Bergen HF tatt sikte på kun å bruke historiske data som viser seg å ha en statistisk sammenheng med risikoen for reinnleggelse. Datagrunnlaget består av tidligere innleggelseshistorikk fra et stort antall pasienter.

Prosjektet avdekket tidlig at få, men viktige parametere gir algoritmen like stor treffsikkerhet som ved bruk av mange parametre med liten relevans for reinnleggelser. Datavariablene som benyttes i dag er blant annet tidligere innleggelser, antall liggedøgn, kjønn, alder, indikatorer på hastegrad og antall hoved- og bidiagnoser. Opplysninger om pasientens diagnoser er kun opplistet som antall og ikke spesifisert med diagnose. I tillegg, har Helse Bergen HF besluttet at algoritmen kun skal benyttes på de pasientgruppene der risikoen for hyppige innleggelser er til stede, med fokus på de pasientene som nylig har opplevd en sykehusinnleggelse.

Algoritmen vil kontinuerlig trenes opp på nye opplysninger fra pasientjournalsystemet DIPS. For å sikre at Forløpsdatabasen er oppdatert på tidspunktet algoritmen foretar prediksjoner, må algoritmen kjøres hyppig. På denne måten vil eventuelle endringer i DIPS inngå i beslutningsgrunnlaget.

Algoritmens treffsikkerhet

Det vil alltid foreligge en risiko for at algoritmen predikerer såkalte falske negative og falske positive resultater. Dette er en egenskap som man ser ved de aller fleste algoritmer som tar i bruk KI. Det betyr enten at en person som burde hatt ekstra oppfølging ikke får det, eller at en person som ikke hadde trengt ekstra oppfølging blir tilbudt det. I det første tilfellet vil pasienten bli tilbudt en oppfølging som er i henhold til dagens praksis, noe som ikke kan sies å være forbundet med høy risiko. Det andre tilfellet representerer ingen risiko for pasienten, men er uønsket ut ifra optimal ressursbruk på sykehuset.

Ved at datagrunnlaget endres over tid, er det en risiko for at treffsikkerheten også endrer seg. For å avdekke en reduksjon i treffsikkerhet eller at det oppstår skjevheter i datagrunnlaget samt prediksjonene, planlegger Helse Bergen HF å gjennomføre rutinemessige kvalitetskontroller. På sikt vil Helse Bergen HF kunne trekke ut historiske data om hvilke pasienter som ble reinnlagt og dokumentere i hvilken grad algoritmen klarte å fange opp disse pasientene.

Riktig bruk av algoritmen i praksis

Algoritmen som er utviklet av Helse Bergen HF er ment som et beslutningsstøtteverktøy og skal suppleres med helsepersonellets egne faglige vurderinger. Det vil imidlertid alltid være en risiko for at resultatet blir lagt ukritisk til grunn og i praksis fungere som et helautomatisk system. En beslutning uten reell menneskelig innblanding vil i praksis rammes av forbudet mot helautomatiske beslutninger i personvernforordningen artikkel 22.

For å sikre menneskelig innblanding i beslutningen, planlegger Helse Bergen HF å utarbeide felles retningslinjer etter involvering av brukerutvalg. Spørsmål som må avklares, er hvordan resultatet skal tolkes og hvor stor vekt som skal tillegges anbefalingen. Økt bevissthet om algoritmens treffsikkerhet blant helsepersonell vil gjøre det lettere å oppdage eventuelle feil og skjevheter som oppstår, og deretter utføre nødvendige justeringer.

Vi har fokusert på KI brukt som klinisk beslutningsstøtte, og er av den oppfatning at fullt autonome KI-systemer uten menneskelig innblanding vil kreve videre utredning.

En av hovedkonklusjonene er at KI som beslutningsstøtte i klinikken i dette tilfellet ikke stiller seg vesentlig annerledes enn dagens bruk av eksisterende prosedyrer eller medisinsk teknisk utstyr (MTU). Det må imidlertid stilles samme kvalitetskrav til KI-systemene som andre prosedyrer eller MTU. Såfremt man i tillegg sørger for å oppfylle kravene til personvern, informasjon, samtykke, innsyn i egne helsedata og rett til å medvirke til egen behandling, åpner dette opp for nye verktøy i klinikken som baserer seg på KI og som ivaretar personvernet til pasientene på en god måte. Dette kan være algoritmer som implementeres via tredjepartsløsninger, eller ved hjelp av sykehusets egne ressurser.

Potensialet ved bruk av KI i helsetjenesten er stort, og dette prosjektet har kun belyst en enkelt applikasjon der KI kan være til nytte. Bruk av KI kan være nyttig innenfor klinisk beslutningsstøtte, ressursplanlegging, rapportering eller forebygging av uønskede hendelser. Systemer med KI kan være mer eller mindre usynlige algoritmer for overvåking av sykehusdriften, der helsepersonell eller ulike enheter får tilgang til informasjon av interesse ved behov, som kan brukes aktivt inn i en forbedret pasientbehandling. Dette kan bidra til en ytterligere forbedret helsetjeneste, med potensielt mindre press på de ansatte ved at KI hjelper til med beslutningstøtte og strukturering av komplekse datavariabler.