Sikkerhetsutfordringer

Bruk av føderert læring innebærer både styrker og utfordringer når det kommer til informasjonssikkerhet og personopplysningssikkerhet. At føderert læring legger til rette for at man ikke trenger å dele eller aggregere data, inkludert persondata for trening på tvers av aktørene, er en av de viktigste styrkene til denne teknologien.

Samtidig kreves det da at man deler resultatene av treningen, det vil si selve maskinlæringsmodellene som inneholder parametersettene, på tvers av aktørene for å skape en felles modell. Både delmodellene og den felles modellen kan hypotetisk utsettes for angrep hvor opprinnelig data – inkludert persondata – muligens kan rekonstrueres. Dette kalles "modellinverteringsangrep" (model inversion attacks).

Løsningsarkitektur

Uavhengig av egenskapene til føderert læring, har spesifikke valg av løsningsarkitektur og løsningsdesign naturlig påvirkning på sårbarhetsflaten. Det er ikke gjort konkrete vurderinger av løsningsvalg for Finterai, kun en beskrivelse av overordnede problemstillinger som ble diskutert i prosjektet.

Maskinlæring forutsetter ofte store datamengder, som regel i kombinasjon med spesialisert programvare og maskinvare, som ofte realiseres gjennom bruk av skytjenester. Bruken av skytjenester på generell basis er ikke vurdert i prosjektet. Bruken av en relativt ny metode og teknologi som føderert læring, skaper både utfordringer og muligheter. Utfordringer nettopp fordi metoden er ny og alle potensielle sårbarheter både i algoritmer, metoder, verktøy og tjenester muligens ikke er kartlagt godt nok ennå. Muligheter fordi føderert læring egner seg for å redusere klassiske sikkerhetsutfordringer, spesielt knyttet til å redusere behovet for overføring, deling og aggregering av store datamengder. Der hvor skytjenester knyttet til kunstig intelligens ofte har som metode å laste opp og aggregere data for sentralisert behandling, gir føderert læring muligheten til å desentralisere og lokalisere databehandlingen.

Trusselaktører

Finterai er et oppstartselskap med begrensede ressurser for å håndtere cybersikkerhetstrusler fra eksterne ondsinnede aktører, til tross for at løsningen og dets verktøy er realisert i en moderne skyløsning. Skyløsninger har mange potensielle sikkerhetsfunksjoner, men det kreves kompetanse og ressurser for den operative driften av dette, i tillegg til driften av kjerneløsningen. Et viktig tiltak vi diskuterte i sandkassen for å redusere generelle cybersikkerhetstrusler er å minimere mengden verdier man trenger å beskytte.

I Finterais tilfelle gjøres dette ved at man ikke laster opp og aggregerer data. Hver deltagende bank behandler egne data i sine egne instanser av systemene og beskytter dette med sine egne krav, ressurser og kapabiliteter. I stedet lastes kun ferdig trente delmodellpakker opp til den sentrale delen av løsningen for sentralisert styring, samordning og kontroll.

Delmodellpakker beskyttes av kryptering (konfidensialitet) og signering (integritet) under overføring og lagring. Den praktiske gjennomførbarheten og effektiviteten av kryptering avhenger av tiltak og arkitektur som Finterai velger å sette inn. Under selve treningen vil modellpakkene dekrypteres. Her har igjen aktørene muligheten til å benytte sine egne krav, ressurser og kapabiliteter for å legge seg på ønsket og egnet sikkerhetsnivå. Eventuelle konkrete metoder og verktøy for dette er ikke vurdert.

Interne trusselaktører er som regel i form av "utro tjenere" som kan ha privilegert tilgang til interne behandlingssystemer. I dette tilfellet har Finterais løsning de samme utfordringene som andre informasjonssystemer, med krav til tilgangsstyring og autorisasjon av brukere. Føderert lærings desentrale natur begrenser muligheten for en utro tjener hos en aktør til kun å få tilgang egne datasett og ikke andre kunders datasett. Utro tjenere hos Finterai selv har i utgangspunktet ikke tilgang til kunders datasett.

Datatilsynets veileder «Programvareutvikling med innebygd personvern» inneholder generelle retningslinjer for risikovurdering av informasjonssikkerheten som en del av løsningsdesignet.

Tilgjengelighet

Løsningens tilgjengelighet ivaretas delvis ved at løsningens konsept i utgangspunktet er desentral. Man er i utgangspunktet ikke avhengig av den sentrale tjenesten for å gjennomføre lokal modelltrening. Det samme gjelder i en produksjonsfase hvor bankene bruker løsningen for dens primære formål, nemlig å identifisere potensielle hvitvaskingstransaksjoner. Alle disse aktivitetene skjer med Finterais verktøy, men kjøres på den enkelte kundes egen plattform/infrastruktur.

Videreutvikling, etterlæring og utveksling av læring forutsetter tilgang til de sentrale tjenestene. Disse sentrale tjenestene er i begrenset grad viktig for den operative driften og den operative tilgjengeligheten fordi de de ikke er en del av den primære tjenesteproduksjonen.

Angrep på maskinlæringsmodeller

Alle maskinlæringsmodeller som er trent med et datasett, også de som ikke benytter føderert læring, kan utsettes for angrep. Et mål for et slikt angrep kan være å rekonstruere data som er benyttet for treningen, inkludert persondata. Ifølge akademisk litteratur om føderert læring og sikkerhetsutfordringer, er modellinvertering vurdert som en spesielt relevant risiko, fordi man systematisk deler maskinlæringsmodeller mellom flere aktører. Føderert læring kan særlig være sårbar for angrep som truer robustheten til modellen, eller personvernet til de som har personopplysninger lagret hos bankene.

Les forskningsartikkelen "Privacy considerations in machine learning" (engelsk)

Angrep på modellen kan skje i to faser: enten i treningsfasen eller driftsfasen.

• Treningsfasen: angrep på dette stadiet kan lære, påvirke eller korrumpere modellen. Angriperen kan også forsøke å påvirke integriteten til data som brukes til å trene modellen. En angriper kan også lettere rekonstruere lokale data hos ulike deltakere i denne fasen.
• Driftsfasen: angrep på dette stadiet tar ikke sikte på å endre på selve modellen, men forsøker å endre prediksjonene/analysene til modellen, eller forsøker å samle informasjon om vektingen i modellen. Hvis en angriper får informasjon om vektingen i modellen, er det en hypotetisk mulighet for at dette kan brukes for å rekonstruere (helt eller delvis) de lokale dataene (som kan inneholde personopplysninger) som modellen er basert på.

Forskningslitteratur beskriver flere tiltak for å forebygge slike angrep. De viktigste tiltakene er å benytte modeller og algoritmer som antas å være robuste mot angrep. Andre potensielle tiltak er bruk av metoder som Differential Privacy, homomorfisk kryptering eller Secure Multiparty Computation. Konkrete tiltak er ikke vurdert spesifikt som en del av dette sandkasseprosjektet. Ulempene med enkelte av de eksisterende sikkerhetstiltakene er at de tilføyer støy i modellen, i liten grad er testet i praksis og kan dermed redusere nøyaktigheten, eller belaste systemet med høye beregningskostnader.

Les forskningsartikkelen "A Survey on Differentially Private Machine Learning" (engelsk)

Anvendelse av modellinvertering krever er del forutsetninger. Først (spesielt for eksterne aktører) trengs det tilgang til trente modellpakker som i utgangspunktet er beskyttet gjennom blant annet kryptering og tilgangskontroll. Deretter krever selve prosessen for å gjennomføre modellinverteringsangrep både høy og spesialisert kompetanse. De dataene som rekonstrueres, kan bestå av bare deler av opprinnelige datasett og være av varierende kvalitet.

I tillegg avhenger denne typen angrep i stor grad av om algoritmene som benyttes er sårbare for slike angrep. Det utvalget av algoritmer som Finterai foreløpig ser for seg å bruke i det fødererte læringssystemet, ansees som svært lite sårbare for modellinvertering, da de matematiske grunnprinsippene bak modellene antas å ikke tillate slike angrep. Algoritmene som benyttes vil ikke være åpent tilgjengelig for eksterne aktører. Interne aktører (typisk deltakende banker) som systematisk får tilgang til hverandres ukrypterte treningsmodeller, vil også være aktører som i utgangspunktet har kontraktsfestede forpliktelser ovenfor hverandre.

Det er i sum betydelige hindre og kostnader knyttet til denne type angrep for eksterne trusselaktører, også i kontekst av Finterais løsning. Finterais egen påstand er at deres fødererte læringssystem ikke er mer sårbart for personopplysningsangrep enn det maskinlæringsmodeller generelt er. Føderert læring er likevel en ung teknologi, og det kan være flere sårbarheter som ikke enda er avdekket, og det er derfor begrenset kunnskap som gjør presis risikovurdering krevende.