Bias er definert som ‘tilbøyelighet’ eller ‘forutinntatthet’ mot et spesifikt utfall, og er noe vi møter på overalt, både blant mennesker og i datakilder. Datadrevne algoritmer påvirkes av eksisterende bias i både datagrunnlaget og blant menneskelige utviklere. Dersom dette ikke tas hensyn til, kan vi ende opp med algoritmer som diskriminerer grupper basert på for eksempel kjønn, etnisitet, hudfarge eller legning.
Maskinlæringsalgoritmer er effektive, datadrevne metoder som i flere situasjoner kan oppnå høyere ytelse enn både analytiske tilnærminger og menneskelige eksperter. For å oppnå dette, utnytter algoritmene store mengder data samlet inn fra omverdenen. Dette kan lede til noen problemer:
1. Mange datadrevne algoritmer vil speile og opprettholde bias som allerede eksisterer i samfunnet og reflekteres i data.
2. Algoritmens beslutningsgrunnlag og virkemåte er ikke nødvendigvis transparent for hverken utvikler eller brukere, og kan dessuten endres hver gang nye data kommer inn. Beslutningsprosessen er altså vanskelig eller umulig å gjennomskue, det som på engelsk kalles en «black box».
Når bias videreformidles av effektive, datadrevne algoritmer, kan dette få store konsekvenser. Algoritmene er ofte tenkt brukt i stor skala, og kan ta avgjørelser uten bruk av skjønn. En algoritme som speiler skadelig bias kan dermed ende med å påvirke mange avgjørelser uten at menneskelige brukere og operatører er oppmerksomme på den skjeve praksisen. Bias kan dermed føre til store etiske utfordringer i en rekke anvendelser som for eksempel i jobbsøkings- og evalueringsmotorer, beslutningsverktøy for helsesektoren, kredittvurderingsalgoritmer, oversettelsesprogrammer, ansiktsgjenkjenning og til og med ulykkeshåndtering i selvkjørende biler. I interaktive medier har det blitt observert at bias bidrar til polariserte synspunkt og nettbaserte "bobler" der disse synspunktene blir forsterket av algoritmene som foreslår nytt innhold til brukere.
Det finnes mange eksempler på hvordan algoritmeutvikling basert på data med høy bias kan gi svært urettferdige resultater: rasisme i amerikanske helsetjenesters algoritmer, rasisme i Googles bildeannotering, sexisme i Amazons ansettelsesverktøy, sexisme i Googles oversettelsesverktøy og definansiering av LHBT-vennlig innhold på YouTube.
Bias er definert som ‘tilbøyelighet’ eller ‘forutinntatthet’ mot et spesifikt utfall, og er noe vi møter på overalt, både blant mennesker og i datakilder.
I situasjoner der algoritmer ender opp med å diskriminere, er det ofte uklart hvem som har ansvaret for algoritmens beslutninger. Til tross for at det finnes mange retningslinjer for utvikling og anvendelse av rettferdige algoritmer, blir de sjelden fulgt grunnet mangel på utdanning og insentiv.
Ved å bruke riktige metoder kan bias i algoritmer lettere kontrolleres enn bias i datagrunnlaget algoritmene er basert på. Datagrunnlaget er skapt av mennesker og prosessene dataen er samlet inn fra, som begge kan være vanskelige å endre. I SINTEF benytter og videreutvikler vi disse metodene for å bane vei for pålitelige og rettferdige datadrevne algoritmer. Følgende punkter er spesielt viktige:
1. Gode data: Data må være representative og balanserte på tvers av ulike bakgrunner, for eksempel kjønn og etnisitet. Her må også kombinasjoner av bakgrunner være representert; en jevn fordeling av kvinner og menn er ikke nødvendigvis representativt dersom dataen har en stor skjevfordeling i mennenes og kvinnenes etnisitet.
2. Modelldesign: Sensitiv informasjon og faktorer som kan avsløre dette må ekskluderes. Prediktive mål må ha et gjennomtenkt design. Bias kan korrigeres med riktig bruk av overføringslæring (transfer learning).
3. Algoritmisk design: Algoritmer bør være så tolkbare og transparente som mulig. Læringsprosesser kan veiledes med mål om rettferdighet.
4. Rettferdig evaluering: Modellens rettferdighet må evalueres på tvers av ulike grupper og umdergrupper, og vektlegges fremfor for modellens nøyaktighet.
5. Utdanning: Det er behov for økt forståelse av bias i maskinlæring, retningslinjer for rettferdig design, samt forskrifter for rettferdig AI.