Uvjeravanje algoritama s AI udarcem

Provjera činjenica može smanjiti širenje nepouzdanih vijesti. Može i protivno.

(ovaj se post izvorno pojavio na civilservant.io)

Čitatelji r / worldnews na redditu često izvještavaju modele volontera o tabloidima i traže od njih da zabrane tabloide za svoje senzacionalizirane članke. Te ukrašene priče privlače oči ljudi, privlače kontroverze i primjećuju ih redditov algoritam za rangiranje, koji ih širi još više.

Zabrana vijesti na tabloidima mogla bi okončati ovu povratnu petlju, ali moderatori zajednice protive se prekrivenim zabranama. Da bi riješili ovu zagonetku, moderatori su trebali odgovoriti na pitanje u središtu rasprava o takozvanim "lažnim vijestima": kako možemo sačuvati slobodu suradnika istovremeno utječući na međusobno ponašanje ljudi i algoritme za dobro zajednice?

Ove su zime moderatori radili s tvrtkom CivilServant kako bi testirali ideju: kakvi su učinci poticanja provjere činjenica na odgovor na nepouzdane vijesti? Željeli smo vidjeti kako će r / worldnews zajednica reagirati. Također smo primijetili učinak na Redditovo rangiranje. Ako algoritmi reddita provjeru činjenica tumače kao popularnost, nepouzdani članci mogli bi se još više proširiti.

Vijesti Tabloida predstavljaju otprilike 2,3% svih priloga ovoj 15 milijuna pretplatničkih zajednica koja raspravlja o vijestima izvan SAD-a. U časopisu r / worldnews, 70 moderatora pregledava otprilike 450 članaka dnevno i dopušta 68% tih članaka. Budući da je zadani subreddit, većina čitatelja reddita dobiva vijesti iz svijeta putem ove zajednice. Dok doseg zajednice ometa Facebook, r / worldnews je možda najveća pojedinačna skupina za raspravljanje o vijestima u svijetu bilo gdje na internetu koji govori engleski jezik. Čak i mali učinci u ovoj zajednici mogu značajno promijeniti način na koji milijuni ljudi imaju smisla za potencijalno nepouzdane informacije o svijetu.

U našoj studiji od 27. studenog do 20. siječnja testirali smo A / B poruke koje potiču zajednicu da provjeri činjenice i glasa o vijestima tabloida. Evo što smo pronašli:

Učinak poticanja provjere činjenica na ponašanje u zajednici

U okviru rasprava o tabloidnim prijavama na r / worldnews, poticanje provjere činjenica povećava učestalost komentara s vezama u prosjeku 2x, a poticanje provjere činjenica + glasovanja ima sličan učinak.

Učinak poticanja provjere činjenica na algoritme Reddita

Promatrajući više od 24 sata, također smo ustanovili da su u prosjeku ljepljivi komentari koji potiču provjeru činjenica uzrokovali 2x smanjenje reddit ocjene podnesaka tabloida, što je statistički značajan učinak koji je vjerovatno utjecao na rangiranje u subredditu. Kada smo također potaknuli čitatelje da glasaju, taj je efekt nestao.

AI Nudges: Uvjeravanje algoritama uz očuvanje slobode

Naša pitanja o vijestima o tabloidima dodala su algoritamsku dimenziju klasičnom pitanju upravljanja: kako ljudi snagom mogu raditi na općem dobru istovremeno minimizirajući ograničenja slobode pojedinca?

možemo uvjeriti algoritme da se ponašaju drugačije uvjeravajući ljude da se drugačije ponašaju.

Preko interneta ljudi uče živjeti sa AI sustavima koje ne mogu kontrolirati. Na primjer, Uberovi vozači podešavaju vožnju kako bi optimizirali svoje prihode. Naše kolektivno ponašanje već utječe na AI sustave cijelo vrijeme, ali zasad javnosti nema podataka o tome kakav je zapravo utjecaj. Ovi neprozirni ishodi mogu predstavljati problem kada algoritmi obavljaju ključne uloge u društvu, poput zdravlja, sigurnosti i poštenja. Da bi riješili taj problem, neki istraživači dizajniraju sustave „društvo u krugu“ [4]. Drugi razvijaju metode za reviziju algoritama [5] [6]. Ipak, ni jedan pristup ne nudi način upravljanja svakodnevnim ponašanjem sustava čijim kodom ne možemo upravljati. Naše istraživanje s r / worldnews nudi treći smjer; možemo uvjeriti algoritme da se ponašaju drugačije uvjeravajući ljude da se drugačije ponašaju.

Neki se mogu pitati predstavlja li ovaj eksperiment manipulaciju glasom, što je protivno pravilima Reddita. Naše ljepljive bilješke ne krše nijedna pravila reddita radi osobne koristi (također nismo stvorili lažne račune, rekli ljudima kako da glasaju ili ne organiziraju blok za glasovanje). Ali pokazali smo da je poticanje ljudi na provjeru činjenica sustavno utjecalo na algoritme Reddita.

Ideja „AI potezanja“ omogućava nam razmišljanje o prosocijalnim naporima kako bi se utjecalo na ljudsko i strojno ponašanje uz očuvanje slobode pojedinca. Richard Thaler i Cass Sunstein prvi su predložili „potezanja“ kao načine na koje institucije mogu provoditi svoju moć uz očuvanje slobode pojedinca [7]. U usporedbi sa zabranom vijesti o tabloidima, AI poticanje poticanja provjere činjenica najlakša je akcija koju moderatori mogu poduzeti. Nije onemogućena nijedna osoba da dijeli vijesti, komentare ili glasa, ali AI potezanje i dalje usporava širenje nepouzdanih vijesti.

Kao što Sunstein i Thaler ističu, nije uvijek očito hoće li ove intervencije laganim dodirom imati željeni ishod. Zato bismo trebali sustavno testirati njihove učinke, posebno jer neprovjereni sustavi mogu imati neočekivane ishode.

Upravljanje i etika AI Nudgesa

Gadovi vlada i socijalni eksperimenti internetskih platformi često privlače slične kritike. Mislim da ljudi s pravom očekuju odgovornost od onih koji vrše moć. Radeći s moderatorima volontera uspio sam raditi s većom razinom transparentnosti i odgovornosti nego što je to uobičajeno u društvenom računarstvu. Sve studije CivilServant dizajnirane su s i timovima za moderiranje, a svi se rezultati najprije objavljuju zajednici u podreddit-u, u kome se raspravlja. Naši dizajni studija su javno navedeni na Open Science Framework-u prije nego što započnemo, a sav je naš kod otvorenog koda. Podaci o cjelovitim analizama su također javni, tako da svatko može provjeriti naše zaključke. Jedino čega se zadržavamo jesu stvarni podaci jer poštujemo privatnost svih koji su uključeni.

Općenito, nadam se da AI poteškoće, pogotovo kada ih vode same zajednice, nude uzbudljiv smjer javnosti za upravljanje ulogom algoritama u društvu, istovremeno čuvajući slobodu pojedinca.

Kako je studija radila

Za ovaj test, moderatori su započeli s popisom izvora vijesti koji često primaju žalbe. Od 27. studenog do 20. siječnja nasumično smo dodijelili svaku novu tabloidnu vezu jednom od tri uvjeta: (a) nema ljepljivog komentara, (b) ljepljivom komentaru koji potiče skepticizam, (c) ljepljivom komentaru koji potiče skepticizam + glasanje (detaljnije ovdje ).

Ovu smo poruku objavili na vrhu vijesti o tabloidnim vijestima

Drugo potiče ljude da provjere članak i razmotre da odustanu od veze ako ne mogu pronaći potkrepljujuće dokaze za njegove tvrdnje:

Ova druga poruka ohrabrila je ljude da razmotre odustajanje

Mogu li utjecati na provjeru činjenica Kako Algoritmi Reddita vide nepouzdane vijesti?

Iako smo bili uvjereni da će r / worldnews čitatelji pomoći ako nas pitaju moderatori, također smo se zapitali: ako povećamo komentare vijesti o tabloidima, možemo li slučajno izazvati algoritme reddita za promociju tih veza tabloida?

Ako bi provjera činjenica povećala popularnost nepouzdanih izvora vijesti, zajednica će možda morati preispitati gdje uložiti svoj trud. Zbog toga su moderatori testirali drugi ljepljivi komentar, onaj koji potiče čitatelje da razmotre prijedlog zakona.

Kako bi testirao učinak ljepljivih komentara na algoritme reddita, softver CivilServant prikupljao je podatke o broju postova svake četiri minute. Platforma ne objavljuje što točno ulazi u ocjenu niti točno kako funkcionira njena rang-lista (pitao sam). Međutim, uspjeli smo pouzdano predvidjeti rangiranje podreddit HOT stranice na temelju njegove dobi i ocjene (detaljnije ovdje). U osnovi, ako je provjera činjenica imala veliki utjecaj na ocjenu članka, vjerojatno je utjecala na rangiranje članka na naslovnoj stranici subreddit. To sam testirao na dva načina: usporedbom rezultata nakon 24 sata i modeliranjem promjena u rezultatima tijekom vremena.

Koristila sam negativan binomni model kako bih testirala učinak na rezultate nakon 24 sata. Kako su algoritmi reddita stajali tijekom našeg eksperimenta, ohrabrujući provjera činjenica uzrokovala je prijave tabloida da dobiju 49,1% (2,04 puta niže) ocjene podnesaka bez ljepljivog komentara, nakon 24 sata, u prosjeku r / worldnews. Učinak je statistički značajan. U ovom modelu nisam uspio pronaći učinak iz ljepljivih komentara koji su ohrabrili čitatelje da razmotre prijedlog zakona.

Također sam testirao učinak provjere činjenica na brzinu rasta ocjene posta tijekom vremena. Da biste postavili ovo pitanje, odgovaram slučajnom modelu linearne regresije na zapisu transformiranom u zapisnik svaka četiri minute. Otkrio sam da ohrabrujuća provjera činjenica uzrokuje niži rast bodova. Ovdje sam utvrdio da ohrabrujuće glasovanje u prosjeku zapravo ima mali pozitivan učinak na stopu rasta bodova. Budući da smo pokrenuli eksperiment tijekom promjene algoritama reddit početkom prosinca 2016., također sam otkrio da se učinak ovih ljepljivih komentara na algoritme reddita možda promijenio nakon što je reddit prilagodio svoje algoritme (pojedinosti).

Tko je pomogao da se vijestima provjere činjenice?

Od 930 komentara koji nisu uključeni u bot s vezama koje su moderatori dopustili da ostanu, 737 korisničkih računa pridonijelo je vezama za daljnje dokaze. Od toga je 133 računa napisalo više komentara s vezama. Mnogi su ljudi provjerili vlastite priloge, a podnositelji prijave poslali su 81 komentar za dodatne informacije.

Što ne možemo znati iz ove studije?

Ovaj test gleda na rezultate u raspravi, a ne na pojedinačnim računima, tako da ne možemo znati jesu li pojedinačni ljudi uvjereni da su skeptičniji ili su ljepljivi komentari natjerali već skeptične ljude da istražuju i dijele. Također nemam nikakvih dokaza o učinku provjere činjenica na čitatelje, mada druga istraživanja sugeriraju da provjera činjenica utječe na vjerovanja čitatelja [2] [3].

Ova studija ne može nam puno reći zašto vidimo tako veliku promjenu algoritamskih učinaka kad izmjenu poruke potičemo čitatelje da razmotre prijedlog zakona. Ova razlika može biti primjer onoga što psiholozi nazivaju „reaktancija“, otpor prijedlozima vlasti. Ili ako se podnosioci vijesti brinu da bi njihove veze mogle biti dopuštene, mogu zatražiti pomoć, što uravnotežuje ponašanje čitatelja.

Hoće li ovo raditi s drugim vrstama veza, u drugim podredovima ili na drugim web mjestima? Ova studija ograničena je na određenu zajednicu i popis mjesta. Iako sumnjam da bi mnogim velikim mrežnim zajednicama čitatelja pomoglo da provjere činjenice ako to zatraže moderatori, naša su otkrića o algoritmu reddit mnogo lošija.

Mogli bismo odgovoriti na ova pitanja ako bi više subreddita odlučilo pokušati slične eksperimente. Ako vas zanima, obratite mi se na reddit kako bismo razgovarali o pokretanju sličnog eksperimenta i prijavite se za ažuriranja e-pošte.

Saznajte više o ovom eksperimentu

Moj doktorat uključuje potporu zajednicama da testiraju učinke svojih praksi moderiranja. Dizajnirao sam ovaj eksperiment zajedno s moderatorima r / worldnews, a odobrio ga je MIT-ov odbor za uporabu ljudi kao eksperimentalnih subjekata. Ako imate bilo kakvih pitanja ili nedoumica, obratite se natematias-u na redditmail.

Ovaj eksperiment je, kao i sva moja dosadašnja istraživanja o redditu, proveden neovisno o platformi reddit, koja nije imala nikakvu ulogu u planiranju ili dizajniranju eksperimenta. Eksperiment još nije pregledan. Svi rezultati usluge CivilServant šalju se javno natrag u uključene zajednice čim su rezultati spremni, a akademske publikacije dolaze kasnije.

Potpuni detalji eksperimenta objavljeni su unaprijed u planu pre analize na osf.io/hmq5m/. Ako vas zanima statistika, objavio sam sve detalje analize.

Reference

[1] Salganik, M. J., i Watts, D. J. (2008). Vodeće stado zalutalo: Eksperimentalna studija neostvarivih proročanstava na umjetnom kulturnom tržištu. Socijalna psihologija tromjesečno, 71 (4), 338–355.

[2] Stephan Lewandowsky, Ullrich K. H. Ecker, Colleen M. Seifert, Norbert Schwarz i John Cook. Dezinformacija i njezino ispravljanje kontinuirano utječu i uspješno gube. Psihološka znanost u javnom interesu, 13 (3): 106–131, prosinac 2012.

[3] Thomas Wood i Ethan Porter. Neizbježni efekt povratne vatre: postojano činjenično pridržavanje masovnih stavova. SSRN Scholarly Paper ID 2819073, Social Science Research Network, Rochester, NY, kolovoz 2016.

[4] Rahwan, Iyad (2016) Društvo u krugu: Programiranje algoritamskog društvenog ugovora. Srednji

[5] Christian Sandvig, Kevin Hamilton, Karrie Karahalios i Cedric Langbort. 2014. algoritmi za reviziju: istraživačke metode za otkrivanje diskriminacije na internetskim platformama. Podaci i diskriminacija: Pretvaranje kritičnih briga u produktivni upit, Godišnji sastanak Međunarodne udruge za komunikacije, 2014.

[6] Diakopoulos, N., i Koliska, M. (2016). Algoritamska transparentnost u medijima. Digitalno novinarstvo, 1–20.

[7] Thaler, R. H. i Sunstein, C. R. (2003). Libertarijanski paternalizam. Američki ekonomski pregled, 93 (2), 175–179.