Kako ugraditi etiku u AI - II dio

Preporuke temeljene na istraživanju za održavanje čovječanstva u AI

iStock by Getty Images Zasluga: AndreyPopov

Ovo je drugi dio dvodijelne serije o tome kako ugraditi etiku u AI. Prvi dio usredotočio sam se na njegovanje etičke kulture u vašoj tvrtki i timu, kao i na transparentnost unutar vaše tvrtke i izvana. U ovom ćemo se članku usredotočiti na mehanizme za uklanjanje izuzeća iz vaših podataka i algoritama. Od svih intervencija ili akcija koje možemo poduzeti, ovdje napredak ima najveću promjenu. Novi pristupi identificiranju i rješavanju pristranosti podataka i algoritama i dalje se pojavljuju što znači da kupci moraju biti u toku s ovom novom tehnologijom.

Ukloni izuzeće

Postoji mnogo načina za pristranost ulaska u AI sustav. Da bismo ih popravili, potrebno ih je prepoznati u prvom redu.

Shvatite uključene faktore

Identificirajte čimbenike koji su vidljivi i promjenjivi u vašem algoritmu.

Aplikacije za digitalno pozajmljivanje uzimaju u količini alternativnih podataka s nečijeg mobilnog uređaja, kao što su svakodnevni uzorci lokacije, aktivnost na društvenim medijima, interpunkcija tekstualnih poruka ili koliko njihovih kontakata ima prezimena za odobravanje ili odbijanje kredita ili naplaćivanje veće kamatne stope. Na primjer, pušači i korisnici interneta u noćnim satima loše otplaćuju kredite. Ti se podaci obično prikupljaju bez svjesnosti korisnika jer je dopuštenje zakopano u uvjetima usluge (TOS).

I inženjerima i krajnjim korisnicima nije neugodno zbog "crne kutije". Oni žele razumjeti ulaze koji su ušli u izradu preporuka. Međutim, gotovo je nemoguće objasniti kako je AI došao do preporuke. U gornjem primjeru zajma, važno je zapamtiti da korelacija nije jednaka uzročno-posljedičnoj vezi i kritički razmišljati o vezama koje se uspostavljaju kada se donose značajne odluke, npr. Odobrenje zajma za stan.

Koji su faktori koji, kad se manipulira, značajno mijenjaju ishod preporuke AI? Razumijevanjem čimbenika koji se koriste i uključivanjem / isključivanjem kreatori i korisnici mogu vidjeti kako svaki faktor utječe na AI i koji rezultiraju pristrasnim odlukama.

Ovaj vodič Christopha Molnara za objašnjavanje modela crnih kutija jedan je pokušaj iskopavanja dublje. Još jednu metodu pokazali su Google istraživači u 2015. Oni su obrnuto napravili algoritam za prepoznavanje slike temeljen na dubokom učenju, tako da bi umjesto da na fotografijama uočava predmete, generirao ili modificirao kako bi otkrio značajke koje program koristi za prepoznavanje vage ili neki drugi predmet.

Microsoftov inkluzivni tim za dizajn dodao je svojim dizajnerskim alatima i obradio niz smjernica za prepoznavanje isključenja u AI. Preostale preporuke u ovom odjeljku nadahnute su svojim Medium postom o ovih pet vrsta pristranosti.

Sprječavanje pristranosti skupa podataka

Prepoznajte tko ili što isključuje ili pretjerano prikazuje u vašem skupu podataka, zašto su isključeni i kako ih ublažiti.

Pretražite Google na "3 bijela tinejdžera", a zatim na "3 crna tinejdžera" i vidjet ćete uglavnom fotografije sa bijelim tinejdžerima i uglavnom šalice za crne tinejdžere. To je rezultat nedostatka fotografija dionica crnih tinejdžera u skupu podataka, ali lako je vidjeti kako će AI sustav izvoditi pristrane zaključke o vjerojatnosti uhićenja crnaca i bijelog tinejdžera ako je obučen upravo na ovom skupu podataka.

Pristranost skupa podataka rezultira u prekomjernoj ili nedovoljnoj zastupljenosti grupe. Na primjer, vaš skup podataka može biti jako važan prema najnaprednijim korisnicima, pod reprezentacijom ostatka vaše populacije korisnika. Rezultat toga bi mogao biti stvaranje proizvoda ili usluge koju vaši korisnici vole, a ostalim korisnicima nikada ne pružajte priliku da napreduju i napreduju. Pa kako to izgleda i kako to popraviti?

  • Što: Većinu vašeg skupa podataka predstavlja jedna grupa korisnika.
    Način: Koristite metode poput učenja osjetljivog na troškove, promjene u metodama uzorkovanja i otkrivanje anomalije za rješavanje neuravnoteženih klasa u strojnom učenju.
  • Što: Statistički obrasci koji se odnose na većinu mogu biti nevažeći unutar manjinske grupe.
    Kako: Stvorite različite algoritme za različite skupine, a ne za jednu veličinu.
  • Što: Kategorije ili oznake previše pojednostavljuju podatkovne točke i mogu biti krive za neki postotak podataka.
    Kako: procijenite koristeći korektnu korektnost za put. Ovo je oblik donošenja odluka za strojeve u kojima je prosudba o nekome označena kao pravedna ako bi se ista presuda dogodila da je ta osoba bila u drugoj demografskoj skupini na nepošten način (npr. Ako je žena muškarac, ili su bijelci bili crni), kako je objasnio Parmy Olson.
  • Što: utvrdite tko se isključuje i utjecaj na vaše korisnike kao i krajnji rezultat. Kontekst i kultura su važni, ali možda ih je nemoguće „vidjeti“ u podacima.
    Kako: prepoznati nepoznate osobe, kao što su predložili istraživači iz Stanforda i Microsoftovog istraživanja.

Spriječite pristranost udruženja

Utvrdite predstavljaju li vaši podaci o obuci stereotipe (npr. Spol, etnik) i uredite ih kako biste ih izbjegli.

U skupu podataka s fotografijama koji se koriste za treniranje AI sustava za prepoznavanje slike istraživači su otkrili da je skup podataka imao više žena nego muškaraca na fotografijama povezanim s kuhanjem, kupovinom i pranjem dok su fotografije koje sadrže vožnju, snimanje i treniranje imale više muškaraca nego žena.

Pristranost asocijacije je kada se podaci korišteni za treniranje modela uvećavaju i uvećavaju stereotip koji nije ograničen na slike. Na primjer, u rodno neutralnim jezicima kao što je turski, Google Translate pokazuje rodnu pristranost uparivanjem "on" s riječima poput "marljiv", "liječnik", "predsjednik" i "ona" s riječima poput "lijen", "medicinska sestra, "I" dadilja. "Slične pristranosti pronađene su i u pretraživanju Google vijesti.

Nažalost, aplikacije strojnog učenja pomoću ovih pristrasnih skupova podataka pojačaće takve pristranosti. U primjeru fotografije, skup podataka imao je 33% više žena nego muškaraca na fotografijama koje uključuju kuhanje, ali algoritam je tu predrasudu pojačao na 68%! To je rezultat korištenja diskriminirajućih modela (za razliku od generativnih modela), koji povećavaju točnost algoritama pojačavanjem generalizacija (pristranosti) u podacima. Laura Douglas lijepo objašnjava ovaj postupak ako želite naučiti više.

Rezultat povećanja pristranosti znači da jednostavno ostavljanje skupova podataka takvim kakav jest jer predstavlja "stvarnost" (npr. 91% medicinskih sestara u SAD-u su žene) nije pravi pristup, jer AI iskrivljuje već neuravnoteženu perspektivu. To ljudima čini teže shvatiti da je danas mnogo muškaraca medicinskih sestara u radnoj snazi ​​i oni teže zarađuju veće plaće od žena, na primjer.

Istraživači su pronašli načine za ispravljanje nepravednih pristranosti uz istovremeno održavanje točnosti smanjenjem pojačanja spolnih pristranosti pomoću ograničenja na razini korpusa i debizirajućim ugrađivanjem riječi. Ako se vaš AI sustav vremenom usvoji, potrebno je redovito provjeravati rezultate vašeg sustava kako bi se osiguralo da se pristranost ponovno ne uvuče u vaš skup podataka. Bavljenje pristranosti nije jednokratno rješenje; zahtijeva stalnu budnost.

Rezultat pojačanja pristranosti znači da jednostavno ostavljanje skupova podataka takvim kakav jest jer predstavlja "stvarnost" ... nije pravi pristup, jer AI iskrivljuje već neuravnoteženu perspektivu.

Sprječavanje pristranosti potvrde

Utvrdite da li pristranost u sustavu stvara samoispunjavajuće proročanstvo i sprečava slobodu izbora.

Sistem Compas AI koji neki sudski sustavi koriste za predviđanje opasnosti od ponovnog krivičnog djela osuđenika pokazao je sistemsku osnovnost u odnosu na ljude u boji koji rezultiraju uskraćivanjem uvjetne ili duže zatvorske kazne.

Potvrda pristranosti potvrđuje pretpostavke o grupi ili pojedincu. Ovo rezultira odjekom odjeka predstavljanjem informacija ili opcija sličnih onome što je pojedinac odabrao od njih ili za njih prethodno. U gornjem primjeru, članak ProPublica pokazao je da je algoritam koji koristi Compas AI vjerojatnije pogrešno kategorizirao crne optuženike kao velike rizike ponovnog postupanja i veću vjerojatnost da pogrešno kategoriziraju bijele optuženike kao niske rizike. Drugo istraživanje pokazalo je da su nekvalificirani radnici Amazonske mehaničke turkinje koji koriste samo šest faktora za predviđanje recidivizma bili jednako točni kao i Compas pomoću 157 faktora (67% prema 65% točnosti, respektivno).

Čak i kada utrka nije bio jedan od korištenih faktora, obojica je vjerojatnije da će netočno predvidjeti da će se crni okrivljenici ponovno pojaviti, a bijeli optuženici neće. To je zato što su određene podatkovne točke (npr. Vrijeme u zatvoru) posrednik u utrci stvarajući bijeg petlje povratnih veza koji nesrazmjerno utječu na one koji su već socijalno ugroženi.

Compasov sustav samo je jedan od primjera, ali dio populacije suočen je sa sličnom pristranosti u mnogim ovdje raspravljenim sustavima, uključujući prediktivno policiranje, aplikacije za pozajmljivanje, usluge vožnje uz pomoć vozača i pomoćnici AI. Čovjek može samo zamisliti kako bi bilo pretjerano suočiti se s pristranosti i isključenošću na više frontova svaki dan. Kao i kod drugih vrsta pristranosti, morate testirati svoje rezultate da biste vidjeli kako se pristranosti događaju, identificirali faktore pristranosti i zatim ih uklonili kako biste prekinuli ove zaostale povratne veze.

Sprječite pristranost automatizacije

Otkrijte kada vaše vrijednosti prepisuju korisničke vrijednosti i pružite načine kako da ih korisnici ponište.

Očekivalo se da je AI natjecanje ljepote nepristrano u svojim ocjenama ljepote, ali gotovo svi pobjednici bili su bijeli.

Automatizirana pristranost nameće većinske vrijednosti manjini, što šteti raznolikosti i slobodi izbora. Tada se izvršavaju vrijednosti tvorca AI sustava. U gornjem primjeru, AI natjecanje ljepote koje je prvenstveno bijela lica označilo kao najljepše na temelju podataka o treningu. Europski standardi ljepote oslikavaju kvalitetu fotografija neeuropljana danas, što rezultira da fotografije tamnoputih ljudi izlaze neotkrivene, a AI sustavi ih teško prepoznaju. To zauzvrat rezultira vrijeđanjem naljepnica (npr., "Incident s gorilom" na Google Photos-u) i obavijestima (npr., "Pametnim" kamerama koje pitaju Azijce da li treptaju). Još gore, policijski sustavi prepoznavanja lica nerazmjerno utječu na Afroamerikance.

Da biste se započeli baviti ovom pristranosti, potrebno je započeti ispitivanjem rezultata za predrasude temeljene na vrijednostima (npr. Podacima o obuci nedostaje raznolikost da bi se predstavili svi korisnici ili šira populacija, subjektivne oznake predstavljaju vrijednosti autora).

U ranijem primjeru pozajmljivanja aplikacija koje donose odluke na temelju toga je li netko pušač ili ne, mora se postaviti pitanje predstavlja li to vrijednosti kreativaca ili većine stanovništva (npr. Pušenje je loše, dakle pušači su loši). Vratite se na analizu društvenih sustava kako biste od korisnika dobili povratne informacije kako biste utvrdili prepisuju li se njihove vrijednosti ili kulturološka razmatranja. Da li bi vaši korisnici dali iste procjene ili preporuke kao AI? Ako ne, izmijenite podatke o treningu, naljepnice i algoritme da biste predstavili raznolikost vrijednosti.

Ublažavanje pristranosti interakcije

Shvatite kako vaš sustav uči iz interakcija u stvarnom vremenu i stavite čekove kako bi ublažili zlonamjerne namjere.

Inspirobot koristi AI i sadržaj koji struga s interneta za generiranje „inspirativnih“ citata, ali rezultati se kreću od zabavno neobičnih do okrutnih i nihilističkih.

Pristranost interakcije događa se kada ljudi komuniciraju ili namjerno pokušavaju utjecati na AI sustave i stvoriti pristrane rezultate. Inspirobotov kreator izvještava da su citati robota odraz onoga što pronalazi na webu, a njegovi pokušaji da umanji nihilove tendencije robota samo su ih pogoršali.

Možda nećete moći izbjeći ljude koji pokušavaju namjerno naštetiti vašem AI sustavu, ali uvijek biste trebali voditi "mortem" da biste utvrdili načine na koje bi se vaš AI sustav mogao zloupotrijebiti i nanijeti štetu. Nakon što utvrdite potencijal zloupotrebe, trebali biste staviti provjere da to spriječite tamo gdje je to moguće i popraviti ga kada ne možete. Redovito pregledavajte podatke koje vaš sustav koristi za učenje i uklanjanje pristranih podataka.

Možda nećete moći izbjeći ljude koji pokušavaju namjerno naštetiti vašem AI sustavu, ali uvijek biste trebali voditi "mortem" da biste utvrdili načine na koje bi se vaš AI sustav mogao zloupotrijebiti i nanijeti štetu.

Kamo ići odavde

Pristranost u AI odraz je pristranosti u našem širem društvu. Ugradnja etike u AI popravlja simptome mnogo većeg problema. Moramo odlučiti kao društvo da cijenimo jednakost i jednakost za sve, a zatim to ostvariti u stvarnom životu, a ne samo u našim AI sustavima. AI može biti Veliki demokratizer ili povećati socijalnu nepravdu, a na vama je da odlučite na kojoj strani tog spektra želite da se nalazite.

Hvala Justin Tauber, Liz Balsam, Molly Mahar, Ayori Selassie i Raymon Sutedjo-The na svim vašim povratnim informacijama!

Pratite nas na @SalesforceUX.

Želite raditi s nama? Kontaktirajte uxcareers@salesforce.com