Neuronski pristupi naprednoj analizi osjećaja

Ruidan He, Wenya Wang i Daniel Dahlmeier (Strojno učenje Singapur)

Analiza osjećaja prerasla je u jedno od najaktivnijih istraživačkih područja u obradi prirodnog jezika zbog sve veće količine podataka koji se očituju u digitalnim oblicima. Ima širok spektar primjena u različitim poslovnim i društvenim domenima, pomažući i tvrtkama i pojedincima da bolje razumiju mišljenje s mišljenjem za odlučivanje. U posljednje vrijeme sve su popularniji zadaci poput analize raspoloženja na temelju aspekta (ABSA). ABSA se temelji na ideji da se mišljenje sastoji od osjećaja i cilja. Mišljenje bez utvrđivanja cilja koristi se ograničeno. Dakle, njegov je cilj otkriti osjećaje entiteta i / ili njihovih aspekata. Na primjer, u recenziji restorana "Moram reći da imaju jedno od najbržih rokova isporuke u gradu", aspektni izraz je "rok isporuke" o kojem se izražava pozitivno mišljenje. Obično je prvi korak ABSA-e ekstrakcija aspekata koja ima za cilj izvući aspekte aspekta iz ulaznog teksta. U ovom postu sažmemo naš nedavni istraživački rad o problemu izgradnje učinkovitih neuronskih modela za vađenje aspekta pod nadziranim i nenadziranim postavkama. Taj je posao obavljen pod nazivom SAP Industry Ph.D. programa u suradnji s Nacionalnim sveučilištem Singapura i Nanyang tehnološkim sveučilištem.

Ekstrakcija aspekta riješena je kao problem s označavanjem niza

U ovoj kategoriji zadatak uključuje izdvajanje izričito pojavljenih aspekata riječi i riječi mišljenja unutar svake rečenice. Uzimajući gore spomenuti primjer, s obzirom na recenzijsku rečenicu „Moram reći da imaju jedno od najbržih rokova isporuke u gradu“, naš zadatak je identificirati rokove isporuke kao aspektni pojam i najbrže kao izraz mišljenja. Ovo je znanje korisno za dobivanje strukturiranog sažetka mišljenja koji pruža jasan prikaz glavnih tema / aspekata i njihove povezane distribucije mišljenja iz velike količine teksta. Slika 1 prikazuje primjer strukturiranog sažetka mišljenja o dva digitalna fotoaparata.

Slika 1: Usporedba mišljenja o vizualizaciji dvaju digitalnih fotoaparata

Budući da se ciljevi koje vadimo mogu sastojati od više riječi, primjenjujemo BIO shemu označavanja, tj. Svaka riječ u rečenici je označena jednom od pet oznaka: "BA" (početak aspekta), "IA" (unutar aspekt "," BO "(početak mišljenja)," IO "(unutar mišljenja) i" O "(drugi). Na ovaj je način zadatak formuliran kao problem s označavanjem nadzirenog niza.

Pristupamo problemu usredotočujući se na sintaktičke ovisnosti između riječi unutar svake rečenice. Razlog usredotočenosti na ovisnosti je taj što postoje određene sintaktičke veze između riječi i stavova koje bi trebale pomoći da se međusobno identificiraju. Na primjer, kao što je prikazano na slici 2, riblji hamburger i ukusi su temeljni pojmovi istine, popraćeni najboljima i svježima kao što je njihovo mišljenje. S obzirom na ukus kao aspekt, svježe se može izvući kao izraz mišljenja izravnim odnosom. A s obzirom na hamburg kao aspekt, ukus se može izvući kao drugi aspekt kroz indirektni odnos. Na temelju ovog opažanja gradimo rekurzivnu neuronsku mrežu temeljenu na stablu ovisnosti koja je u stanju izračunati visoku razinu reprezentacije za svaku riječ koja uključuje inherentne odnose ovisnosti s drugima. Uz to, razmotrit ćemo i sekvencijalne kontekstne interakcije kroz grafički model koji se naziva Uslovno slučajno polje (CRF). Kombinacijom oba modela u zajedničkoj strukturi koja se osposobljava do kraja, dobivamo obećavajuće rezultate u usporedbi s postojećim metodama. Ovaj je rad objavljen u EMNLP'16 kao rekurzivna neuronska uvjetna slučajna polja za analizu raspoloženja koja se temelje na aspektima.

Slika 2: Primjer ovisnosti za analizu osjećaja

Usredotočujući se na isti zadatak, objavili smo još jedan rad s vezanim višeslojnim pažnjama za koekstraciju riječi iz stava i mišljenja u AAAI17. Ovaj rad unapređuje prethodnu metodu zamjenom unaprijed obrađenih odnosa ovisnosti s automatskim mehanizmom pozornosti. Jedno ograničenje s prethodnom metodom je to što su unaprijed stvoreni odnosi ovisnosti skloni pogreškama, posebno pri raščlanjivanju neformalnih tekstova. Pogrešna sintaktička struktura može naštetiti procesu učenja. Stoga predlažemo model pozornosti s ciljem da se automatski nauče interakcije tih riječi. Slika 3 prikazuje arhitekturu modela. Povezane pažnje odnose se na aspekt i pažnju. Oni su povezani (interaktivni) u procesu učenja kako bi se omogućila povezanost između aspekata riječi i riječi mišljenja. Koristimo pažnje za odabir najrelevantnijih riječi unutar svake rečenice koje se tiču ​​aspekta vađenja i vađenja mišljenja. Ovom modelu nisu potrebna nikakva jezična sredstva, a ipak može postići veće rezultate od modela temeljenog na ovisnosti.

Slika 3: Ilustracija modela spojene pažnje

Ekstrakcija aspekta rješava se kao problem modeliranja tema

Nadzirani aspekt izvlačenja zahtijeva podatke na razini riječi na svrhu obuke, što je u stvarnosti teško dobiti. Suprotno ovome, naš nedavni članak ACL Nenadzirani neuronski model pažnje za vađenje aspekta pristupa problemu u nenadziranom okruženju pomoću tematskog modeliranja. U ovom slučaju, s obzirom na neobrađene tekstove bez oznake, cilj je (1) izdvojiti skup aspekata (tema) predstavljenih popisima rangiranih riječi, pri čemu se gornje riječi u svakom aspektu smatraju aspektima; (2) mapiranje svake rečenice u korpusu s jednim od otkrivenih aspekata. Na slici 4 prikazan je tijek rada na visokoj razini.

Slika 4: Radni tijek na visokoj razini

U kontekstu razumijevanja recenzija proizvoda, izlazni aspekti i rečenice relevantne za aspekt mogu se upotrijebiti za konstruiranje strukturiranog sažetka pregleda. Na slici 5. prikazan je primjer sažetka koji korisnicima pomaže da brzo shvate ključne informacije iz velikog broja pregleda.

Slika 5: Primjer sažetka pregleda restorana

Jedan je glavni izazov ovog zadatka taj što zaključeni aspekti imaju tendenciju neusklađenosti - aspekti se često sastoje od nepovezanih ili slabo povezanih izraza. Za razliku od konvencionalnih modela tema poput varijanti Latent Dirichlet Allocation (LDA) koji djeluju na diskretne tipove riječi, predložili smo jednostavnu, ali učinkovitu neurološku arhitekturu koja značajno poboljšava koherentnost izvedenih aspekata.

Kao što je prikazano na slici 6, u našem modelu ekstrakcije aspekta temeljenog na pažnji (ABAE) predstavljamo riječi s ugrađenima, a cilj je naučiti skup umetanja aspekta, pri čemu se svaki aspekt može interpretirati najbližim riječima u prostoru ugradnje. Model uzima recenzorsku rečenicu kao ulaz, preslikavajući svaku riječ na unaprijed obučeno umetanje riječi. Prvo filtriramo umetanja riječi pomoću mehanizma pažnje, tako da ponderiramo ne-aspektne riječi i predstavimo rečenicu kao ponderirani zbroj filtriranih umetanja riječi. Zatim pokušamo približiti ugradnju rečenica kao linearnu kombinaciju ugradnje aspekta. Proces treninga analogan je autoenkoderima, gdje koristimo smanjenje dimenzija kako bismo izvukli uobičajene faktore među ugrađenim rečenicama i rekonstruirali rečenicu kao ponderirani zbroj ugrađenih aspekata. Mehanizam pozornosti de-naglašava riječi koje nisu dio nijednog aspekta, omogućavajući modelu da se usredotoči samo na aspektne riječi.

Slika 6: Ilustracija ABAE modela

Vrijedno je napomenuti da se model neuronske pažnje osposobljava u nenadziranom okruženju, gdje je cilj samo minimizirati pogrešku u obnovi. Iznenađujuće, otkrili smo da mehanizam pažnje naučen u ovom stanju i dalje djeluje vrlo dobro i da se može usredotočiti na riječi informativnog aspekta. U našim smo eksperimentima model ocijenili pomoću dva kriterija: (1) je li u stanju naći smislene i semantički koherentne aspekte; (2) Je li u stanju precizno preslikati ulaznu rečenicu na jedan od otkrivenih aspekata. Prema našim eksperimentalnim rezultatima, naš model može značajno i dosljedno nadmašiti modele s prethodnim temama u raznim evaluacijskim zadacima.

Iako smo se u ovom radu usredotočili na izdvajanje aspekata, specifičan zadatak analize analize osjećaja, zaista smo razmotrili opći problem modeliranja tema koji ima za cilj izvući glavne teme iz neoznačenih tekstova. Stoga se naš model potencijalno može primijeniti na slične zadatke s različitim vrstama teksta.

Vađenje aspekta glavni je korak prema analizi finozrnih osjećaja, a u literaturi su formulirani kao različiti zadaci poput označavanja sekvenci ili modeliranja tema. U ovom smo postu na blogu ukratko predstavili tri naša nedavna djela u ovom području, pristupajući problemu u različitim postavkama. Detaljno objašnjenje modela i eksperimentalni rezultati potražite u našim radovima. Želimo da naši radovi potaknu buduća istraživanja o izvlačenju aspekata i pomognu ljudima iz industrije u izgradnji učinkovitih sustava za naprednu analizu osjećaja.