Bezpečně projíždí ulicemi města a jinými méně rušnými prostředími, rozpoznává chodce, další vozidla i potencionální překážky. Představte si takové autonomní vozidlo, které funguje prostřednictvím umělé inteligence. Umělé neuronové sítě jsou trénovány tak, aby „viděly“ okolí vozu a napodobovaly tak systém lidského zrakového vnímání.
Na rozdíl od lidí, auta používající umělé neuronové sítě nemají žádné vzpomínky a nedokážou si propojit žádné podněty z minulosti. Neustále jsou tak ve stavu, že dané prostředí vidí poprvé, i když už konkrétní ulicí několikrát projížděly. To je problematické zejména při nepříznivých povětrnostních podmínkách, kdy se vůz nemůže bezpečně na své senzory spolehnout.
Výzkumníci z Cornellovy univerzity zaměřené na počítačovou vědu, informatiku a strojírenství vypracovali tři souběžné výzkumné práce s cílem překonat toto omezení tím, že vozu poskytnou schopnost vytvářet „vzpomínky“ na předchozí zkušenosti a používat je při budoucí navigaci.
Doktorand Yurong You je hlavním autorem knihy „HINDSIGHT is 20/20: Leveraging Past Traversals to Aid 3D Perception“, kterou prezentoval v dubnu na Mezinárodní konferenci o reprezentacích učení. Takzvaná reprezentace učení v tomto případě zahrnuje hluboké učení, tedy konkrétně druh strojového učení.
„Hlavní otázkou je, zda se můžeme poučit z opakovaných průjezdů jedním místem,“ řekl hlavní autor Kilian Weinberger, profesor počítačových věd Cornellovy univerzity. „Auto si při prvním skenu z dálky může například splést podivně tvarovaný strom s chodcem, ale jakmile pak bude dostatečně blízko, typ objektu si upřesní. Když pak pojede podruhé kolem stejného stromu, dokonce i v mlze nebo sněhu, je možné, že jej rozpozná,“ upřesnil Weinberger.
„Ve skutečnosti totiž i my jen zřídkakdy jedeme danou trasu trasu úplně poprvé,“ řekla spoluautorka Katie Luo, doktorandka ve výzkumné skupině. „Buď my sami, nebo někdo jiný tudy v nedávné době už jel. Přirozeně tak již získané zkušenosti následně při dalším průjezdu využíváme,“ sdělila Luo.
Výzkumná skupina, vedená doktorandem Carlosem Diazem-Ruizem, tedy sestavila soubor dat tak, že čtyřicetkrát za osmnáct měsíců opakovaně projela autem, které bylo vybavené senzory LiDAR (Light Detection and Ranging), po patnáctikilometrové trase na Ithace. Jednotlivé jízdy zachycovaly různá prostředí, ať už dálnice, město nebo univerzitní kampus, a také různé povětrnostní podmínky jako slunečno, deštivo, sněžení a mimo to i různé denní doby. Výsledný soubor dat, který skupina označuje jako Ithaca365, má více než 600 tisíc scén.
„Záměrně se soustředíme na jednu z klíčových výzev v samořídících autech, a to špatné povětrnostní podmínky,“ řekl Diaz-Ruiz, spoluautor článku Ithaca365. „Pokud je například ulice pokryta sněhem, i my se spoléháme na to, co jsme viděli minule, ale bez vzpomínek je naše neuronová síť silně znevýhodněna,“ dodal.
HINDSIGHT je tedy přístup, který využívá neuronové sítě k výpočtu deskriptorů, konkrétně informací o objektech, když kolem nich projíždí auto. Tyto popisy, které skupina nazvala SQuaSH (Spatial-Quantized Sparse History), pak komprimuje a uloží je na virtuální mapu, podobnou paměti, která je uložená v lidském mozku.
Až příště samořídící auto projede stejné místo, může v databázi SQuaSH zapátrat a vzpomenout si, co se minule dozvědělo. Databáze je průběžně aktualizována a sdílena napříč vozidly. Mimo jiné i tím se informace dostupné pro rozpoznávání jednotlivých objektů obměňují.
Tato data pak mohou být přidána do jakéhokoli detektoru 3D objektů fungujícího na bázi senzorů LiDAR. Následně pak detektor i znázornění SQuaSH může probíhat bez jakéhokoli dalšího dohledu nebo bez zapojení člověka, které je velmi časově náročné.
Zatímco HINDSIGHT stále předpokládá, že umělá neuronová síť je již vytrénovaná k detekci objektů a rozšiřuje ji o schopnost vytvářet vzpomínky, publikace MODEST (Mobile Object Detection with Ephemerality and Self-Training) jde ještě dále. Zde autoři nechali auto, aby se celý proces vnímání naučilo od nuly. Původně nebyla umělá neuronová síť ve vozidle vystavena žádným předmětům, a už vůbec ne ulicím města. Prostřednictvím několika průjezdů stejné trasy se vůz naučí, které části daného prostředí jsou pevně stojící a které jsou pohyblivé objekty. Pomalu se tedy učí, co z toho jsou ostatní účastníci provozu a co naopak mohou bezpečně ignorovat. Algoritmus pak dokáže tyto objekty spolehlivě detekovat, dokonce i na silnicích, které auto původně opakovaně neprojíždělo.
Výzkumníci doufají, že oba tyto přístupy by mohly účinně snížit náklady na vývoj autonomních vozidel. Ta totiž v i současné době spoléhají na data získaná lidmi. Mimo to by se autonomní vozidla mohla výrazně zefektivnit, jelikož by se naučila bezpečně navigovat hlavně v místech, kde se budou nejčastěji pohybovat.
