PAPIRI 101 - Kako se AI naučio vidjeti u mraku?

Pozdrav, ja sam Nishank i dobrodošli na PAPERS 101, seriju u kojoj ćemo razgovarati o novim i uzbudljivim istraživanjima koja se događaju u području strojnoga učenja i umjetne inteligencije!

Želio bih se zahvaliti Dvojeminutnim radovima i Károly Zsolnai-Fehér koji su me upoznali sa ovim radom preko njihovog YouTube kanala.

Prije nego započnemo, ne zaboravite se pretplatiti na naš newsletter da nikad ne biste propustili priču iz clickbaita!

Što je dovraga?

U doba fotoaparata za pametne telefone neophodna je fotografija slabog osvjetljenja. Svi vodeći telefoni podržavaju fotografiranje pri slabom svjetlu, ali kao što ste primijetili, rezultati nisu tako dobri.

To je zato što se uglavnom koriste tradicionalne tehnike denoiziranja i uklanjanja debla koje su učinkovite za uklanjanje neke buke, ali jadno padaju u ekstremnim uvjetima poput mraka, što je veliki izazov.

Ovaj je rad rješenje tog izazova.

Computer Vision je polje u umjetnoj inteligenciji koje se okreće oko dobivanja vizualnog ulaza ili bilo smisla primljenog unosa, bilo manipulacije datog ulaza na neki način da bi se dobio željeni izlaz. Papir koji nas ovdje zanima djeluje na slučaju druge uporabe.

U svom radu „Učenje da vidimo u mraku“, istraživači Chen Chen (UIUC), Qifeng Chen (Intel Labs), Jia Xu (Intel Labs) i Vladlen Koltun (Intel Labs) predložili su model koji se može vidjeti u ekstremno slaboj rasvjeti uvjeti koji su gotovo usporedivi s tamom koristeći nove cjevovode za obradu slike pomoću Convolutional Neural Network.

Rezultati su zapanjujući!

Ako fotografirate pomoću fotoaparata bez fotografije slabog osvjetljenja (slabi ISO), izgledat će ovako:

Ako istu fotografiju kliknete fotoaparatom pri slabom svjetlu, poput vodećih pametnih telefona, rezultat bi bio sličan onome što je prikazano u nastavku. Primijetite kako je zrnasta slika zbog filtera za skaliranje poput BM3D i niže ISO.

Skaliranje + BM3D Označavanje

Sada, što u potpunosti savijena mreža radi, jest snimiti prvu sliku i obraditi je da bi dobila sliku ispod (da! Ne šalim se.)

Slika nakon obrade putem CNN-a

Čekaj, što!

Model ovdje koristi cjelovitu osposobljenu potpuno-konvolucijsku mrežu koja koristi skup skupih noćnih slika kratkog izlaganja, s odgovarajućim referentnim slikama s dugim izlaganjem. Zbog toga je dobivanje rezultata iz ekstremnih scenarija poput noćne fotografije vrlo jednostavno i učinkovito u usporedbi s tradicionalnim tehnikama denoiziranja i uklanjanja debla.

Kako se trenira CNN?

CNN je obučen na dva niza slika.

  1. Slabo osvijetljen (gotovo mračan) prizor ili slika s kratkim izlaganjem kao ulaz.
  2. Odgovarajuća normalna scena osvjetljenja ili slika dugog izlaganja istog prizora kao meta.

Neuralna mreža obučena je na skupu podataka koji sadrži 5094 sirove slike kratkog izlaganja i njihove odgovarajuće slike dugog izlaganja.

Ako želite osposobiti mrežu, prvo morate kliknuti fotografiju u normalnim uvjetima osvjetljenja, a koja će se koristiti kao ciljna varijabla da biste dobili pogrešku u mreži.

Zatim ćete morati kliknuti fotografiju s niskom izloženošću istog prizora tako da izgleda tamno. To će nam se dati kao ulaz u mrežu tijekom treninga.

Par ovih dviju fotografija stvorit će (ulaz, izlaz) par za mrežu na kojoj će se osposobljavati za upotrebu na testnim slikama pri slabom svjetlu.

FCN cjevovod

Obuka je provedena pomoću gubitaka L1 i Adamovog alata za optimizaciju, koji su dali izvanredne rezultate i učinili model do sada najučinkovitijim!

Koliko je to dobro?

Ovaj model sramoti tradicionalne metode deblokiranja i označavanja. Ovdje je usporedba s tradicionalnim označavanjem BM3D -

Slika pomoću tradicionalnog skaliranjaSlika pomoću skaliranja + BM3D označavanjeSlika nakon obrade putem CNN-a

Razliku možete odmah primijetiti.

Ako usporedimo performanse CNN-a s vodećim mobilnim kamerama koristeći različite parametre poput izloženosti i osvjetljenja, rezultati će vas možda iznenaditi!

Razmislimo o scenariju, gdje je 8 svijeća upaljeno u mračnoj sobi, a promjene na manekenki opažene od strane različitih kamera kako se broj svijeća prepolovi svaki put.

8 svijeća4 svijeće

Opazite kako se kvaliteta fotografije smanjuje na iPhoneu X i Google Pixel 2 u usporedbi sa Sony a7S. To je zato što, s jedne strane, Sony kamera ima bolji ISO od obje mobilne kamere, mobilne kamere koriste tradicionalne tehnike razvlačenja i označavanja kako bi iz neobrađenih podataka dobili fotografiju pri slabom svjetlu.

2 svijeće1 svijeća

Sada je fotografija gotovo mračna u obje kamere pametnih telefona i uvjerljivo je da nisu uspjeli u ekstremnim uvjetima poput tame.

Međutim, fotografija na Sonyjevoj kameri još je uvijek jasna jer je, kao što ste primijetili, pametno promijenila vrijeme ekspozicije s 0,8 sekundi na 1,6 sekundi, omogućujući ulazak više svjetla, a time i bolju fotografiju.

Za fotoaparate pametnih telefona ovo je nepraktično, jer će dati zamagljenu sliku pa se to može učiniti samo na skupim, vrhunskim fotoaparatima s boljim reflektirajućim objektivom i visoko učinkovitim senzorom.

No, pogledajmo što se događa ako smanjimo vrijeme ekspozicije na 1/30 sekunde, tj. Koliko dobro rade kamere pri izuzetno slabom svjetlu i slabom vremenu ekspozicije.

1 svijeća - mala izloženost

Kao što vidite u ovoj fazi sve su kamere propale i promatramo totalni mrak. To je zbog dva različita razloga -

  1. U mobilnim se kamerama to dogodilo jer koriste tradicionalne tehnike razvlačenja i denoiziranja poput BM3D označavanja koji propadaju kada je količina svjetlosti vrlo manja i s tim nema nikakve veze.
  2. U Sonyjevoj kameri to se dogodilo zbog manjeg vremena ekspozicije, pa je u kameru bilo dozvoljeno manje svjetlosti, otuda i tamne slike.

Ali drži se. Možemo li nešto učiniti da dobijemo bolju sliku u 1/30 sekunde vremena izlaganja i uvjetima ekstremno slabog svjetla (<0,1 lux)?

Budite spremni začuditi se jer je ovaj rad učinio upravo ono što mi želimo!

Ako se neobrađeni podaci senzora s gornje slike (one s najmračnijim fotografijama) s 1 svijećom i niskom izloženošću, ubacuju u potpuno-konvolucijsku mrežu, dobit ćemo izlaz koji izgleda ovako!

Što! Šalite li me!

Iznenađeni? I ja sam bila!

Nadam se da će se ova tehnologija uskoro implementirati u fotoaparate pametnih telefona i da ćete početi uživati ​​u izuzetno slaboj fotografiji svjetla koju strojno učenje može ponuditi!

A to je snaga strojnog učenja i neuronskih mreža.

Aplikacije poput ovih motiviraju sve više i više ljudi da studiraju strojno učenje i neuronske mreže. To je točno razlog zbog kojeg sam započeo clickbait i razlog zašto su PAPERI 101 nastali!

Slobodno objavite u komentarima ono što mislite o ovom radu.

Također, u komentarima su dobrodošli prijedlozi i uvažavanja o PAPERS 101 i klik-baitu.

Eto, to je to za ovaj tjedan i do sljedećeg puta!

Adios!