Najbolje istraživanje dubokog učenja za 2019. godinu do sada

Tek smo završili s prvim tromjesečjem 2019. godine, a istraživačka strana tehnologije dubokog učenja napreduje u vrlo dobrom isječku. Ja rutinski pratim napore istraživača AI kako bih se utvrdio gdje se ta tehnologija vodi. Ova predviđanja omogućuju mi ​​da bolje optimiziram vrijeme za osiguravanje da znam ono što ne znam. Kao rezultat toga, pokušavam konzumirati barem jedan istraživački rad tjedno u polju s stotinama ili možda tisućama radova.

U ovom ću vam članku pomoći uštedjeti neko vrijeme tako što ću aktualni skup istraživačkih napora do sada objavljen 2019. spustiti u upravljivi kratki popis koji slijedi. Filtrirao sam svoje izbore kako bih uključio radove koji imaju i pridruženi GitHub repo. Uživati!

Brzo učenje grafičkog predstavljanja pomoću PyTorch Geometric

Ovo istraživanje uvodi PyTorch Geometric, knjižnicu za dubinsko učenje o nepravilno strukturiranim ulaznim podacima kao što su grafovi, oblaci točaka i mnogostrukosti, izgrađeni na PyTorchu. Osim općih struktura grafičkih podataka i metoda obrade, sadrži niz nedavno objavljenih metoda iz domena relacijskog učenja i 3D obrade podataka. PyTorch Geometric postiže visoku propusnost podataka povećanjem ubrzanog GPU-a, osiguravanjem namjenskih CUDA jezgara i uvođenjem efikasnog mini-batch rukovanja za unose primjere različitih veličina. Kod je dostupan na GitHub-u.

[Vezani članak: najutjecajniji istraživački radovi o podacima o znanosti za 2018. godinu]

Bodovanje maski R-CNN

U zadatku segmentacije instanci povjerenje klasifikacije instanci koristi se kao ocjena kvalitete maske u većini okvira segmentacije instanci. Ovaj rad proučava ovaj problem i predlaže Mask Scoring R-CNN koji sadrži mrežni blok za učenje kvalitete predviđenih maski instanci. Strategija bodovanja maske kalibrira neusklađenost između kvalitete maske i ocjene maske i poboljšava performanse segmentacije instanci davanjem prioriteta preciznijim predviđanjima maski tijekom procjene AP COCO. Kod je dostupan na GitHub-u.

Generacija slika visoke vjernosti s manje etiketa

Duboki generativni modeli postaju temelj modernog strojnog učenja. Nedavni rad na uslovno generativnim protivničkim mrežama (GAN) pokazao je da je učenje složenih, dimenzionalnih distribucija prirodnih slika nadomak. Iako su najnoviji modeli u stanju stvoriti visoke vjernosti, raznolike prirodne slike pri visokoj rezoluciji, oni se oslanjaju na ogromnu količinu podataka s oznakom. Ovaj rad pokazuje kako se od nedavnog rada na samokontroliranom učenju može iskoristiti nadmoćnost vrhunskog stanja (SOTA) na sintezi ImageNet-a bez nadzora, kao iu uvjetnom okruženju. Kod je dostupan na GitHub-u.

GCNv2: Predviđanje efikasne korespondencije za SLAM u stvarnom vremenu

Ovaj rad predstavlja mrežu temeljenu na dubokom učenju (GCNv2) za generiranje ključnih točaka i deskriptora. GCNv2 je izgrađen na prethodnoj metodi, GCN, mreži obučenoj za 3D projektivnu geometriju. GCNv2 dizajniran je s binarnim deskriptorskim vektorom kao svojstvom ORB tako da on može lako zamijeniti ORB u sustavima kao što su ORB-SLAM. Kod je dostupan na GitHub-u.

[Vezani članak: Duboko učenje za klasifikaciju teksta]

ALiPy: Aktivno učenje na Pythonu

Nadzirane metode strojnog učenja obično zahtijevaju veliki niz označenih primjera za obuku modela. Međutim, u mnogim stvarnim aplikacijama ima obilje neobilježenih podataka, ali ograničeni označeni podaci; a nabava naljepnica je skupa. Aktivno učenje (AL) smanjuje troškove označavanja tako što iterativno odabire najvrjednije podatke kako bi upitali svoje oznake iz komentara. U ovom se članku predstavlja Pyihon pretinac ALiPy za aktivno učenje. Kod je dostupan na GitHub-u.

DeepFashion2: Svestrana mjerila za otkrivanje, procjenu poza, segmentaciju i ponovno prepoznavanje slika odjeće

Razumijevanje modnih slika napredovali su referentnim vrijednostima s bogatim napomenama kao što je DeepFashion, čije naljepnice uključuju kategorije odjeće, orijentire i parove slika potrošačko-komercijalnih slika. Međutim, DeepFashion ima zanemariva pitanja, poput pojedinačnog komada odjeće po slici, rijetkih orijentira (samo 4 ~ 8) i bez maski po pikselu, što bi stvorilo značajan jaz od scenarija iz stvarnog svijeta. Ovaj rad popunjava jaz, predstavljajući DeepFashion2 za rješavanje ovih problema. To je svestrano mjerilo četiriju zadataka, uključujući otkrivanje odjeće, procjenu poza, segmentaciju i pronalaženje. Kod je dostupan na GitHub-u.

Izazov za više agencija StarCraft

U posljednjih nekoliko godina, dubinsko učenje ojačavanja s više agencija postalo je visoko aktivno područje istraživanja. Naročito je izazovna klasa problema na ovom području djelomično promatrano, kooperativno, multiagencijsko učenje, u kojem timovi agenata moraju naučiti koordinirati svoje ponašanje, uslovljavajući ih samo na svojim privatnim promatranjima. Ovo je atraktivno istraživačko područje jer su takvi problemi relevantni za veliki broj sustava u stvarnom svijetu i također su podložniji evaluaciji od problema općenitog zbroja. Standardizirana okruženja kao što su ALE i MuJoCo omogućili su RL-u s jednim agentom da pređe dalje od domena igračaka, poput mrežnih svjetova. Međutim, ne postoji uporediva referentna vrijednost za suradnju multi-agent RL. Kao rezultat, većina radova na ovom polju koristi jednokratne probleme s igračkama, što otežava mjerenje stvarnog napretka. Ovaj rad predlaže StarCraft Multi-Agent Challenge (SMAC) kao referentni problem za ispunjavanje ove praznine. Kod je dostupan na GitHub-u.

Odustajanje je poseban slučaj stohastičkog pravila delte: brže i preciznije duboko učenje

Višeslojne neuronske mreže dovele su do izvanrednih performansi na mnogim vrstama zadataka u obradi teksta, govora i slike. Za nelinearnu procjenu parametara u hijerarhijskim modelima poznato je da su podložne prekomjernom postavljanju i pogrešnom određivanju. Jedan pristup tim procjenama i s tim povezani problemi (lokalni minimi, kolinearnost, otkrivanje značajki itd.) Naziva se odustajanje. Dropout algoritam uklanja skrivene jedinice prema Bernoullijevoj slučajnoj varijabli s vjerojatnošću p prije svakog ažuriranja, stvarajući slučajne “šokove” u mreži koji su prosječni tijekom ažuriranja. Ovaj rad pokazuje da je Dropout poseban slučaj općenitijeg modela objavljenog prvotno 1990. godine pod nazivom Stohastičko pravilo Delta, ili SDR. Kod je dostupan na GitHub-u.

Lingvo: modularni i skalabilan okvir za modeliranje slijeda u slijedeće

Lingvo je Tensorflow okvir koji nudi cjelovito rješenje za suradničko istraživanje dubokog učenja, s posebnim naglaskom na modele odsjeka do slijeda. Lingvo modeli sastoje se od modularnih građevnih blokova koji su fleksibilni i lako proširivi, a konfiguracijske eksperimente su centralizirane i vrlo prilagodljive. Distribuirana obuka i kvantizirani zaključak podržani su izravno u okviru, a sadrže postojeću implementaciju velikog broja alata, pomoćnih funkcija i najnovijih istraživačkih ideja. Lingvo su u suradnji s više desetaka istraživača koristili u više od 20 radova u posljednje dvije godine. Ovaj dokument prikazuje temeljni dizajn Lingva i služi kao uvod u različite dijelove okvira, a također nudi primjere naprednih značajki koje prikazuju mogućnosti okvira. Kod je dostupan na GitHub-u.

Prilagodljive metode gradijenta s dinamičkom vezom stope učenja

Predložene su metode prilagodljive optimizacije kao što su AdaGrad, RMSProp i Adam kako bi se postigao brzi proces treninga s elementno-skalirajućim terminom skaliranja stope učenja. Iako prevladavaju, opaža se da generaliziraju loše u usporedbi sa SGD-om ili se čak i ne uspijevaju približiti zbog nestabilnih i ekstremnih stopa učenja. Ovaj rad pokazuje da ekstremne stope učenja mogu dovesti do loših performansi. Navedene su nove inačice Adama i AMSGrada, nazvane AdaBound odnosno AMSBound, koje koriste dinamičke granice stope učenja kako bi se postigao postupan i gladak prijelaz s adaptivnih metoda na SGD i dao teoretski dokaz konvergencije. Daljnji eksperimenti provedeni su na raznim popularnim zadacima i modelima. Rezultati eksperimenta pokazuju da nove varijante mogu ukloniti generalizacijski jaz između adaptivnih metoda i SGD-a i istovremeno održavati veću brzinu učenja. Kod je dostupan na GitHub-u.

Bilješka urednika: Želite li saznati više o osobnom dubokom učenju? Posjetite ODSC Istok 2019. ovog travnja, 30. svibnja i 3. svibnja u Bostonu, i potražite savjet izravno od stručnjaka!

Pročitajte više znanstvenih članaka o podacima na OpenDataScience.com, uključujući udžbenike i vodiče od početnika do naprednih nivoa! Pretplatite se na naš tjedni bilten ovdje i primajte najnovije vijesti svakog četvrtka.