Tim naučnika s MIT-a razvio je tehnologiju koja omogućava da se vide i objekti koje ne vidimo jer se, recimo, nalaze iza uglova ulica, zgrada ili su zaklonjeni neprovidnim preprekama. Tehnologija, koja će doneti nove tačke gledišta zove se Objects as Radiance-Field Cameras (objekti kao kamere s poljem zračenja), skraćeno ORCa.
ORCa tehnologija je zasnovana na korišćenju refleksije sa sjajnih vidljivih objekata iz okruženja. Razvili su je naučnici s MIT-a u saradnji s Univerzitetom Rajs iz Hjustona. Rezultate istraživanja tim naučnika je objavio u studiji ORCa: Glossy Objects as Radiance-Field Cameras. Istraživanje su delimično podržale organizacija Intelligence Advanced Research Projects Activity (zadužena za obaveštajna istraživanja u SAD) i Nacionalna naučna fondacija (National Science Foundation).
Kao senzori se mogu koristiti različiti svetli objekti u okruženju, počev od stubova uličnih lampi i saobraćajne signalizacije, svetlih delova na zgradama, pa do retrovizora parkiranih automobila ili naočara koje nose slučajni prolaznici
Koautori ovog rada su postdiplomci Kushagra Tiwary i Tzofi Klinghoffer, zatim Nikhil Behari i profesor Ramesh Raskar, dok su saradnici sa Univerziteta Rajs postdiplomac Akshat Dave i profesor Ashok Veeraraghavan. Studija će biti zvanično predstavljena na Konferenciji o kompjuterskom vidu i prepoznavanju uzoraka koja će se održati od 20. do 22. juna u Vankuveru.
ORCa i refleksija
Princip rada ove tehnologije zasniva se na korišćenju okolnih vidljivih sjajnih predmeta kao reflektujućih površina kako bi se dobile informacije o drugim predmetima koji se ne nalaze u vidnom polju posmatrača. Refleksije na sjajnim objektima sadrže vredne i skrivene informacije o okruženju. Na taj način se reflektujuće svetle površine pretvaraju u senzore (virtuelne kamere). Kako kaže Kushagra Tiwary, bilo koja svetla površina se može pretvoriti u senzor.
Kao senzori se mogu koristiti različiti svetli objekti u okruženju, počev od stubova uličnih lampi i saobraćajne signalizacije, svetlih delova na zgradama, pa do retrovizora parkiranih automobila ili naočara koje nose slučajni prolaznici. Na tim objektima dobijaju se izobličene refleksije. Tehnologija ih analizira i dolazi do informacija o udaljenosti, obliku i karakteristikama (dimenzije, boja, tekstura) nevidljivih objekata.
Taj zadatak predstavlja veliki izazov jer refleksija zavisi od geometrije objekta, svojstava materijala, 3D okruženja i pravca posmatranja. Pored toga, sjajni objekat ima i svoju specifičnu boju i teksturu, koja se meša sa refleksijama. Takođe, refleksije su dvodimenzionalne projekcije trodimenzionalnog sveta, što otežava procenu dubine u reflektovanim scenama. Istraživači s MIT-a su pronašli način da prevaziđu te izazove.
Tri koraka ORCa
ORCa funkcioniše u tri koraka. Prvo, fotografiše se objekat s mnogo tačaka, snimajući višestruke refleksije na sjajnom objektu. Dok se kamera približava tom objektu, dobija se veliki broj slika, od kojih je svaka snimljena iz malo drugačijeg ugla. U drugom koraku softver zasnovan na veštačkoj inteligenciji i mašinskom učenju mapira refleksije (razbija refleksiju na površini tog objekta na pojedinačne piksele), što mu omogućava da proceni dubinu u sceni. Analizirajući kako se ti pikseli menjaju jedan u odnosu na drugi između različitih slika softver je u stanju da odredi ne samo oblik objekta, nego i njegovu boju i teksturu.
U trećem koraku, sistem modelira 3D okruženje s tačke gledišta objekta. Modeliranje reflektovane scene poznato je kao definisanje polja 5D zračenja. S obzirom na to da je scena predstavljena kao 5D polje zračenja a ne kao 2D slika, korisnik može da vidi skrivene karakteristike koje bi inače bile blokirane uglovima ili neprovidnim preprekama. Na osnovu toga sistem je u stanju da odredi pravac i intenzitet svetlosnih zraka koji padaju ili se emituju sa svake tačke na toj sceni i da utvrdi koliko je svaka od tačaka udaljena od reflektujuće površine, kao i jedna od druge.
Modeliranje reflektovane scene poznato je kao definisanje polja 5D zračenja. Ako je scena predstavljena kao 5D polje zračenja a ne kao 2D slika, korisnik može da vidi karakteristike koje bi inače bile blokirane uglovima ili neprovidnim preprekama
Kada ORCa uhvati ovo 5D polje zračenja, korisnik može da stavi virtuelnu kameru bilo gde u sceni i sintetizuje ono što bi ta kamera videla. Korisnik takođe može da ubaci virtuelne objekte u okruženje ili da promeni izgled objekta. Ono što ORCa tehnologiji daje prednost u odnosu na neke slične koje su se do sada pojavile jeste to što je većina njih zahtevala reflektujuće površine s poznatom geometrijom i teksturom, dok ORCa to ne zahteva.
Moguća primena
Eksperimenti koje je tim naučnika s MIT-a i Univerziteta Rajs izveo pokazali su dobru preciznost ORCa tehnologije u pogledu definisanja boje, geometrije, teksture, kao i udaljenosti direktno nevidljivih objekata. U predstojećim aktivnostima svakako će se raditi na povećanju preciznosti, što će znatno proširiti moguće oblasti primene ove tehnologije. Za sada najlogičnija, kako su istakli kreatori tehnologije, jeste primena u autonomnim vozilima. Ona bi mogla da im omogući da „vide“ ono što realno ne vide.
Tehnologija bi bila idealna za primenu u sistemima za sprečavanje sudara ili drugih nesreća u saobraćaju. Na primer, sjajna površina drugog vozila parkiranog u blizini predstojeće raskrsnice mogla bi da pruži informacije o saobraćaju koji se odvija u poprečnoj ulici. Takođe, dok automobil putuje uskom gradskom ulicom odrazi bočnih retrovizora parkiranih automobila mogu pomoći vozaču da vidi stvari koje bi inače bile skrivene od njegovog pogleda, poput deteta koje se na trotoaru igra iza parkiranog automobila.
Princip rada ove tehnologije zasniva se na korišćenju okolnih vidljivih sjajnih predmeta kao reflektujućih površina kako bi se dobile informacije o drugim predmetima koji se ne nalaze u vidnom polju posmatrača
Tehnologija bi mogla da se primeni kod bespilotnih letelica. Sigurnost letelice bila bi mnogo veća, navođenje pri kretanju kudikamo jednostavnije, a definisanje ciljeva preciznije. Osim kontrole pri kretanju, analizirajući refleksije na sjajnim objektima koji se nalaze na zemlji, dron bi mogao da dobije preciznije informacije o okruženju nad kojim leti.
