Se for deg en verden der kunstig intelligente algoritmer tar beslutninger som påvirker hverdagen din. Tenk deg at de er fordomsfulle.
Dette er den verden vi allerede lever i, sier dataforsker, Harvard PhD og forfatter Cathy O'Neil. (Les del en av diskusjonen vår med Dr. O'Neil her). Vi satte oss ned med den nominerte National Book Award for å finne ut hva vi kan gjøre med fordommer i tiden med big data. CT: Er AI fordommer?
CO: Hver algoritme som ikke eksplisitt er gjort rettferdig, bør antas å være forutinntatt. For som mennesker er vi fordomsfulle. Hvis vi erkjenner det, og vi lager disse algoritmene med våre verdier og våre data, bør vi ikke anta at noe magisk har skjedd for å gjøre ting rettferdig. Det er ingen magi der.
CT: Hvor får algoritmer dataene sine?
CO: Det avhenger av algoritmen. Noen ganger er sosiale medier, for ting som politisk markedsmålretting eller reklame eller fortjeneste-høyskoler og rovviltutlån - men mye av dataene blir ikke samlet på sosiale medier, eller til og med online.
Datainnsamling blir stadig mer bundet til det virkelige livet, som å skaffe deg jobb, jobbe på jobben din, gå på college eller gå i fengsel. Disse tingene er ikke ting vi kan omgå med personvernloven. Det er spørsmål om makt, der menneskene som er målrettet etter algoritmene ikke har makt, og menneskene som samler inn informasjonen og bygger og distribuerer algoritmene har all makt. Du har ingen personvernrettigheter hvis du er en kriminell tiltalte, du ikke har noen personvernrettigheter på jobben din, og du har ikke mye i veien for personvernrettigheter hvis du søker om en jobb fordi hvis du ikke svarer på spørsmålene som din fremtidige arbeidsgiver har stilt deg, vil du sannsynligvis ikke få jobben.
Vi bør tenke mindre på personvern og mer om makt når det gjelder algoritmer og skaden [de kan forårsake].
CT: Hva kan vi gjøre for å gjøre det bedre?
CO: Vi kan erkjenne at disse algoritmene ikke er i seg selv perfekte, og teste dem for deres mangler. Vi bør ha pågående tilsyn og monitorer - spesielt for viktige avgjørelser som ansettelser, straffedømmelse eller vurdering av mennesker på jobben deres - for å sikre at algoritmene fungerer slik de vil, ikke på en slags diskriminerende eller urettferdig måte.
Ailsa Johnson / © Culture Trip
CT: Hva er de beste og verste tilfellene for den datadrevne fremtiden?
CO: Det verste tilfellet er hva vi har nå - at vi alle blindt forventer at algoritmer skal være perfekte, selv om vi nå burde vite bedre. Og vi forplanter fortidens urettferdigheter og urettferdigheter. Og vi fortsetter å ignorere feilene i disse algoritmene.
Det beste tilfellet er at vi erkjenner at disse algoritmene ikke i seg selv er bedre enn mennesker. Vi bestemmer hva vi vil ha som mennesker, hva vi streber etter. Hvordan vi ønsker at samfunnet skal se ut, og vi lærer de verdiene. Hvis vi gjør det med hell, kan disse algoritmene være bedre enn mennesker.
CT: Hvilken rolle kan hverdagslige mennesker spille?
CO: Den viktigste rollen som et individ kan spille er å ikke implisitt stole på noen algoritme. Å ha en enorm mengde skepsis. Hvis du blir evaluert på en algoritme, spør "Hvordan vet jeg at det er rettferdig, hvordan vet jeg at det er nyttig, hvordan vet jeg at det er nøyaktig? Hva er feilfrekvensen? For hvem feiler denne algoritmen? Svikter det kvinner eller minoriteter? ' Still den typen spørsmål.
Den andre tingen, utover skepsis, er at hvis du tror en algoritme er urettferdig overfor deg eller andre mennesker, er det å organisere med de andre menneskene. Et nylig eksempel er lærere. De statistiske modellene om verdiskapende lærere er forferdelige, nesten tilfeldige tallgeneratorer. Men de ble brukt til å bestemme hva lærere skulle få arbeidstid og hva lærere skulle få sparken, over hele USA.
Mitt forslag er at de skal få deres fagforening til å skyve tilbake. Og dette skjedde noen steder. Men det er overraskende hvor liten motstand det var på grunn av scoringssystemets matematiske natur.
CT: Hvordan kom du inn på 'big data'?
CO: Jeg jobbet på Wall Street og var vitne til finanskrisen fra innsiden. Jeg ble avsky over måten matematikk ble brukt til å enten dra nytte av mennesker eller lure folk. Jeg så den typen skade som kan komme av matematiske løgner, det jeg kaller 'våpningen av matematikk'.
Jeg bestemte meg for å komme meg vekk fra det, så jeg begynte i Occupy Wall Street og begynte å jobbe som dataforsker. Jeg innså sakte at vi så feilaktig og misvisende hypen rundt misvisende dataalgoritmer som skjedde utenfor Wall Street også, og at det kom til å føre til mye skade. Forskjellen var at mens mennesker over hele verden la merke til finanskrisen, trodde jeg ikke at folk ville legge merke til feilene i disse big data-algoritmene, fordi de vanligvis skjer på individnivå.
Les en del av diskusjonen vår med Dr. O'Neil her. Dr Cathy O'Neils bok, The Weapons of Math Destruction: How Big Data Øker ulikheten og truer demokratiet, er tilgjengelig nå.
