Noční vidění je oblast, kde mají kamery často problémy s rozlišením, avšak nová metoda zvaná HADAR, což je zkratka pro heat assisted detection and ranging, umožňuje strojům rozpoznávat detaily i ve tmě.

Testy ukazují, že technologie HADAR dokáže sklízet informace o textu, vzdálenosti a materiálech s přesností srovnatelnou se stereo kamerami během dne.

Tato forma nočního vidění by mohla změnit způsob, jakým se automatizované automobily, drony a robotické asistenty pohybují po světě.

Výzkumníci z Purdue University a Michigan State University (MSU) navrhli HADAR pro situace, kde by miliony strojů mohly jednoho dne sdílet stejné silnice a vzdušný prostor.

Projekt vedl Zubin Jacob, profesor elektrotechniky a informačních technologií na Purdue University v Indianě. Jeho výzkum se zaměřuje na využívání světla a termálního záření k vytváření nových senzorů a zobrazovacích metod pro autonomní systémy.

Moderní roboti spoléhají na strojové vnímání, což znamená počítačové snímání prostředí, které ovlivňuje jejich rozhodovací procesy.

Abychom lépe porozuměli světu, mnoho prototypů kombinuje kamery s sonarovými, radarovými a laserovými dalekohledy, které vysílají energii a sledují, co se vrací.

Mezi těmito technologiemi je LiDAR, metoda měření vzdálenosti založená na laseru pro 3D mapování, obzvláště důležitý pro navigaci.

Nicméně, když mnoho vozidel a robotů používá aktivní senzory, jejich signály mohou narušovat jeden druhého a musí dodržovat přísná pravidla ohledně bezpečnosti očí, což ztěžuje jejich rozšiřování.

Pasivní termální kamery mají velmi odlišný přístup, zaznamenávají termální záření, což je neviditelná tepelná energie, kterou vyzařuje každý objekt nad absolutní nulou.

Studie infračerveného zobrazování ukazují, že tyto kamery fungují ve tmě a mlze, ale jejich obrázky postrádají kontrast a detaily.

Jedním z hlavních omezení je efekt ghostingu, což znamená ztrátu textury obrazu v termálních snímcích. Vědci si všimli, že objekty a jejich okolí stále vyzařují a rozptylují termální záření.

Pozdější výzkum ukázal, že tepelný rozmazání není pouze důsledkem čoček, ale také ztrátou textury způsobenou fyzikálními vlastnostmi.

Byly navrženy modely, které ukazují, jak tepelně založené obrázky omývají geometrické rysy a představily nové algoritmy, které obnovují ostřejší termální scény.

U HADAR je ghosting eliminován shromážděním mnoha vlnových délek termálního infračerveného světla, které jsou zpracovávány pomocí algoritmů citlivých na fyzikální vlastnosti, namísto jednoduchých filtrů kamery.

Na základě těchto informací systém odhaduje teplotu a emisivitu každého objektu, tedy jak efektivně povrch vyzařuje tepelné záření, spolu s jemnocitnou texturou.

Výzkumníci nazývají toto trio teploty, emisivity a textury TeX, což počítačům dává bohatší pohled než samotná jasnost.

Vědci ohlásili, že systém dokáže jasně extrahovat texturu z komplexního tepelného signálu.

V prvních venkovních testech tým namířil HADAR na drsnou noční scenérii s trávou, vodou, kmeny stromů a betonovými strukturami.

Namísto jasných skvrn, které produkují standardní termální kamery, nový systém odhalil texturu kůry, vlnky na vodě, hrany kanálů a jemné vzory na zemi.

„Tma nese stejné množství informací jako jasné denní světlo,“ uvedl Jacob. Argumentuje, že budoucí strojové vnímání bude srovnávat noc a den jako stejně informativní, což odstraní předsudky, které nás lidé mají ve vidění.

Po výpočtu TeX pro každý pixel, HADAR odhaduje, jak daleko je každá oblast, a vytváří trojrozměrnou mapu pro navigaci.

Tato mapa se vytváří pouze na základě tepla, bez vysílání světla nebo zvuku do prostředí, takže stroje mohou sledovat stejnou oblast bez narušení.

V jedné demonstraci výzkumníci uspořádali tmavě zbarvené auto, lidského řidiče a kartonový výřez Alberta Einsteina na noční dráze.

Tradiční kamery a LiDAR měly potíže odlišit člověka od kartonu, ale HADAR oddělil typy materiálů, kůže a textilií.

Pro automatizovaná vozidla je robustní vnímání při špatném počasí a v noci životně důležité, protože i malé chyby mohou rychle vést k vážným nehodám.

Stávající systémy radarů, LiDAR a kamer dobře fungují v mnoha případech, ale každá z nich může selhávat při oslnění, silném dešti nebo za podmínek s nízkým kontrastem.

Jelikož je HADAR pasivní, nepřidává signály do přeplněných ulic či oblohy, což snižuje riziko rušení, jak rostou flotily automatizovaných strojů.

Dokáže také rozlišovat vlastnosti, jako jsou teplota a emisivita, takže může rozlišit chodce od sochy, i když v viditelném světle vypadají podobně.

Tato schopnost číst teplo, texturu a vzdálenost bez dodatečného světla by mohla pomoci farmářům monitorovat zdraví plodin v noci nebo detekovat zvířata v vegetaci.

Nemocnice a hasiči by mohli jednou používat nástroje HADAR k vyhledávání vzorců teploty, které signalizují infekci, skryté osoby nebo smouldering hotspots v zakouřeném prostředí.

V současnosti je kamera HADAR objemná a pomalá, protože algoritmy potřebují mnoho infračervených barev a značné zpracování signálu.

Bao poznamenal, že aktuální senzor potřebuje přibližně jednu sekundu na obrázek, zatímco autonomní automobily potřebují přibližně 30 až 60 snímků za sekundu.

Inženýři musí zvednout frekvenci snímků, tedy počet obrázků zachycených za sekundu kamerou, a zmenšit optiku tak, aby systém zapadal do automobilů a robotů.

Také pracují na rychlejších datových linkách a efektivnějším počítačovém hardwaru, aby mohli zpracovávat přicházející tepelné údaje v reálném čase.

HADAR je raný prototyp, ale ukazuje, že termální signály nesou strukturu, která umožňuje strojům číst noc tak jasně jako den.

Pokud výzkumníci překonají inženýrské výzvy, mohly by budoucí roboty a vozidla vnímat tmu ne jako překážku, ale jako další zdroj užitečných informací.

Tato studie byla publikována v časopise Nature.