Amazonski bilješki tajnog AI regrutnog motora koji je pokazao pristranosti prema ženama

Znanstvenici iz AI Research u Amazonu otkrili su pristranosti prema ženama na svom motoru za učenje mašinskog zapošljavanja

11. listopada 2018. Roberto Iriondo

Zasluge: The Verge | „Misija naše generacije je izgraditi fer AI.“ ~ Omar U. Florez

Istaknuti profesor Stuart Evans spomenuo je tijekom predavanja na Sveučilištu Carnegie Mellon kako pristranosti algoritama strojnog učenja mogu negativno utjecati na naše društvo, bilo da se one nesvjesno dodaju kroz nadzirano učenje ili propuštaju revizije s drugim vrstama strojnog učenja. U ovom slučaju je Amazonov istraživački tim iz 2014. godine izgradio motor koji se temelji na strojnom učenju i koji se pobrinuo za pregled životopisa podnositelja zahtjeva s ciljem inteligentne automatizacije potrage za vrhunskim talentom.

Citirajući znanstvenika iz AI istraživanja: "Svi su htjeli ovaj Sveti Gral", rekao je jedan od ljudi. "Doslovno su željeli da to bude motor, gdje ću vam dati 100 životopisa, ispljunut će prvih pet, a mi ćemo ih unajmiti." Međutim, do 2015. godine Amazon je shvatio da njegov novi sustav nije ocjenjivao kandidate za poslove programera softvera i druga tehnička radna mjesta na rodno neutralan način.

Amazonov model strojnog učenja bio je osposobljen za veterinarstvo podvrgavajući analizu određenih parametara u životopisima koji su dostavljeni tvrtki tijekom deset godina. Zbog pristranosti koje je imao model strojnog učenja, većina idealnih kandidata stvorena je kao muškarci, što je odraz muške dominacije u tehnološkoj industriji - dakle, podaci hranjeni na modelu nisu bili nepristrani prema rodnoj ravnopravnosti, nego au contraire.

Amazonov istraživački tim navodi da su izmijenili središnje algoritme i učinili model strojnog učenja neutralanim prema tim rodnim predrasudama, no to nije garancija da motor neće koristiti druge načine sortiranja kandidata (tj. Dominantne muške ključne riječi u životopisu podnositelja zahtjeva) koji bi mogli dokazati diskriminatorno.

Poslodavci dugo sanjaju da iskoriste tehnologiju da bi proširili proces zapošljavanja i smanjili oslanjanje na subjektivna mišljenja ljudskih regrutova. Ipak, ML znanstvenici poput Nihar Shah, čija se istraživanja bave područjima teorije statističkog učenja i teorije igara, s fokusom na učenje od ljudi iz Odjela za strojno učenje na Sveučilištu Carnegie Mellon, kažu kako treba još puno posla.

"Kako osigurati da je algoritam fer, kako osigurati da je algoritam stvarno razumljiv i objašnjiv - to je još prilično daleko", spomenuo je profesor Shah.

Zasluge: Han Huang | Razvojni programer za vizualizaciju podataka | Reuters Graphics

Ključne ključne riječi u životopisima bile su ključne nakon izmjene algoritama na modelima strojnog učenja iz Amazonova stroja za zapošljavanje. Istraživačka skupina stvorila je 500 modela koji su se fokusirali na određene funkcije i lokacije posla. Učili su svakog da prepozna više od 50 000 parametara koji su se pokazali na životopisima podnositelja zahtjeva. Algoritmi su na kraju naučili dodijeliti nizak postotak značaja vještinama koje su bile zajedničke svim prijaviteljima, tj. Programskim jezicima, korištenim platformama itd.

Završne napomene:

Za naše je društvo važno usmjeriti se prema strojnom učenju, ali s posebnom pažnjom na pristranosti - koja se ponekad nesvjesno dodaju ovim programima. Srećom Amazonov istraživački tim AI uspio je prepoznati takve pristranosti i djelovati na njemu. Ipak, retorički gledano - što ako na kraju te pristranosti nisu prepoznate, nakon čega se doda takav pristrani mehanizam odlučivanja o ML-u prema općenitom svakodnevnom zapošljavanju talenata u tvrtki?

Učinak, zajedno s posljedicama, bio bi grozan.

Uvijek sam otvoren za povratne informacije, molim vas podijelite u komentarima ako vidite nešto što bi moglo trebati ponovo pregledati. Hvala na čitanju!

ODGOVORNOST: Stajališta izražena u ovom članku su stava autora (a) i ne predstavljaju stavove Sveučilišta Carnegie Mellon, niti drugih kompanija (izravno ili indirektno) povezanih s autorima. Ovi tekstovi nisu konačni proizvodi, već su odraz trenutnog razmišljanja, a ujedno su i katalizator za raspravu i poboljšanje.

Možete me pronaći na: mojoj osobnoj web stranici, Medium, Instagramu, Twitteru, Facebooku, LinkedInu ili preko moje tvrtke za dizajn web stranica.

Reference: