okrem toho, že je to chrumkavá téma, ktorá ľudí tak nejak prirodzene zaujíma, je tu silný aspekt bezpečnosti. Na cestách celosvetovo každoročne zomierajú desaťtisíce ľudí a väčšina smrteľných nehôd má jednoduchú príčinu – človek. Niekedy je to opitý človek, niekedy je to človek, čo precenil svoje schopnosti, niekedy je to nepozorný človek a niekedy je to proste obyčajná chyba v rozhodovaní sa vodiča, ktorá nakoniec stojí niekoho život.
stroj je pozornejší
Mnohé autority a technologickí vizionári si od automatizovaných vozidiel sľubujú najmä zvýšenie bezpečnosti – systémy takéhoto auta majú „oči“ všade a nonstop môžu sledovať 360-stupňové okolie vozidla. Navyše, takéto systémy disponujú „zmyslami“, ktoré človek nemá – či už je to laserový radar (lidar), termokamera, klasické radary, ultrazvukové senzory alebo dátové pripojenie ku komplexným systémom, ktoré vozidlu môžu poskytovať v reálnom čase dôležité informácie o širšom okolí. Takisto softvér, ktorý dáta zo všetkých týchto senzorov spracováva, sa nikdy nebude rozptyľovať mobilom v ruke alebo nedostane mikrospánok. Teda, nemal by. V posledných rokoch nám do tohto celého navyše rýchlo vstupujú nové aplikácie počítačového videnia (budeme ich zjednodušene, ale pomerne nepresne volať „umelá inteligencia“).
Jednoducho – automatizované vozidlo určite dokáže spracovať omnoho viac informácií a omnoho rýchlejšie ako vodič. To je tá jednoduchá úloha. Tá zložitejšia je tieto informácie správne interpretovať a na základe tejto interpretácie na vzniknutú situáciu správne zareagovať.
v hre je aj chyba systému
Celé toto úsilie vynakladáme najmä preto, aby sme eliminovali chybu človeka za volantom. Ale čo ak chybu urobí automatizovaný systém?
Vo vedeckom časopise IEEE Open Journal of Vehicular Technology, ktorý podľa vedeckej databázy Scopus môžeme s čistým svedomím zaradiť medzi štvrtinu najlepších na svete (vo vedeckej komunite to voláme Q1), priniesol tento rok zaujímavú a komplexnú štúdiu týkajúcu sa rizík a kybernetickej bezpečnosti automatizovaných vozidiel. Je verejne prístupná, pre laického čitateľa však môže byť čítanie tejto štúdie zbytočne zdĺhavé a náročné. Článok s názvom „Cybersecurity of Autonomous Vehicles: A Systematic Literature Review of Adversarial Attacks and Defense Models“ môžete nájsť tu.
Poďme si jednoduchším jazykom povedať zopár najzaujímavejších zistení z tejto štúdie výskumníkov z University of Michigan-Dearborn. V posledných rokoch ste určite v médiách mohli postrehnúť niekoľko prípadov, keď automatizované vozidlo spôsobilo smrteľnú nehodu. Či už nehoda, kde Autopilot Tesly zabil človeka na Floride v roku 2016, alebo smrteľná nehoda automatizovaného vozidla Uberu v Tempe, Arizona v roku 2018. Každá takáto nehoda sa podrobne skúma a autority aj výskumníkov zaujímajú dôvody, prečo a ako sa automatizovaný systém rozhodol tak, ako sa rozhodol.
protivné útoky
Posledné roky napríklad ukazujú, že najmä systémy založené na strojovom učení a umelej inteligencie, ktoré majú nahrádzať niektoré schopnosti vodiča-človeka, sú veľmi náchylné na tzv. „adversarial attacks“. Nenašiel som žiaden ustálený preklad tohoto slovného spojenia do slovenčiny, ale budem tomu hovoriť „protivné útoky“. Táto forma útokov je totižto naozaj vo svojej podstate protivná – útočník sa snaží donútiť správne natrénovaný systém rozhodnúť sa nesprávne tým, že presvedčí senzor, že vidí niečo iné, než v skutočnosti vidí. Povieme si k tomu viac.
„Systémy založené na umelej inteligencii sa niekedy môžu ocitnúť v zmätočnej situácii aj úplne neúmyselne, zhodou okolností.“
Než sa k tomu dostaneme, pripomenieme si jeden základný faktor súčasných systémov založených na umelej inteligencii. Väčšina týchto systémov pracuje tak, že počas vývoja ich niekto niečo naučil, ideálne na veľkom množstve kvalitných dát. Následne sú vypustené do sveta, kde sa na niečo pozrú a snažia sa prísť na to, čo im to pripomína z toho, čo videli v trénovacej fáze. Ak teda nastane na ceste situácia, na ktorú bolo vozidlo veľmi dobre pripravené, pravdepodobne aj veľmi dobre zareaguje. Ak však uvidí situáciu, ktorú nepozná alebo nevie správne zaradiť, aj jeho reakcia bude pravdepodobne nesprávna. Útočník o tomto vie a chápe, že ak dostatočne zmätie senzory a systém, ktorý tieto dáta vyhodnocuje, aj samotné rozhodovanie vozidla o ďalších krokoch bude nezmyselné a nesprávne. Samozrejme, úloha vývojárov týchto systémov je pripraviť ich aj na tieto útoky a zabezpečiť, aby nedošlo k absolútnemu zlyhaniu. Ale to je vždy hra na mačku a myš, tak ako s bezpečnosťou kdekoľvek.
ďalšie spôsoby, ako oklamať autonómne auto
Mimochodom, hovoríme tu o útočníkovi, teda o niekom, kto chce úmyselne systému uškodiť. Ale systémy založené na umelej inteligencii sa niekedy môžu ocitnúť v zmätočnej situácii aj úplne neúmyselne, zhodou okolností. Jednoduchým príkladom môže byť dopravná značka s informáciou o maximálnej povolenej rýchlosti. Najhlúpejší spôsob je dokresliť alebo pozmeniť značku vhodnou nálepkou a to, čo človek zatiaľ stále rozozná správne, už automatizovaný systém správne rozoznať nemusí. Ale dá sa to aj inak – stačí vhodne nasvietiť značku, prípadne cez ňu vrhnúť vhodný tieň alebo vniesť správne odrazy a automatizovaný systém je stratený. Lenže on spravidla nie je stratený tak, že by pochopil, že toto je zle. Spravidla je zmätený tak, že si zo značky prečíta iné číslo a podľa toho sa zariadi. V roku 2020 sa na blogu spoločnosti McAfee objavila ukážka, ako presvedčiť Teslu, že sa nepozerá na značku obmedzujúcu rýchlosť na 35 mph (56 km/h), ale na 85 mph (137 km/h) a Tesla začala sebavedome zrýchľovať. Systémy určené na rozpoznávanie rýchlostných značiek je vo všeobecnosti veľmi jednoduché zmiasť – falošnými značkami, obrazovkou zobrazujúcou nezmysly umiestnenou na vozidle pred automatizovaným vozidlom či inými obrázkami, ktoré nie sú značkou, ale značku automatizovanému systému nápadne pripomínajú. V roku 2019 sa výskumníkom v Tencent Keen Security Labs podarilo zapnúť na diaľku stierače na Tesle takým spôsobom, že na vozidlo idúce pred Teslou umiestnili obrazovku, na ktorej zobrazili šum. Ten však stačil senzorom na to, aby mali pocit, že vidia dážď. Takisto môže nastať problém, ak sa na bilborde pri ceste objaví obrázok značky STOP, šikovne zakomponovaný v reklame.
neviem, čo mám robiť, radšej zabrzdím
Nie je to zďaleka len o kamerách. Ak viete do lidaru vozidla správne zablikať laserom tej istej vlnovej dĺžky, ako používa vozidlo, môžete lidar presvedčiť o tom, že vidí niečo, čo na ceste neexistuje. Alebo spôsobiť, že tento lidar neuvidí vôbec nič. Vozidlo sa v takomto prípade napríklad zľakne, že je pred ním veľká prekážka a radšej aktivuje núdzové brzdy.
Mimochodom, toto je pri automatizovaných vozidlách problém sám o sebe. Dáta americkej NHTSA (autorita, ktorá je zodpovedná za dopravu na diaľniciach) ukazujú, že automatizovaným vozidlám dvakrát častejšie niekto skončí v kufri oproti iným vozidlám, lebo ich štandardné správanie je také, že „neviem, čo mám urobiť, radšej dám plné brzdy“. Nálada ľudí v San Franciscu, ktorí väčšinou technológie vítajú, sa voči týmto vozidlám v posledných rokoch mení. Vytáča ich, že veľmi často tieto vozidlá zastavia, pokojne aj na úplne hlúpom mieste a blokujú dopravu – vrátane záchranných zložiek. Prípadne zastavia uprostred priechodu pre chodcov alebo uprostred križovatky. Ukazuje sa, že vonkajší svet veľkomesta je stále príliš komplexný na AI modely. Tieto udalosti veľmi pekne spísala profesorka Mary Cummings z Duke University v článku publikovanom v časopise IEEE Spectrum.
„Takže by sme sa mali pripraviť na to, že aj s nástupom plne automatizovaných vozidiel budú občas ľudia na cestách zomierať.“
Takisto pre útočníka dnes nie je žiaden problém kompletne oslepiť kameru či zahltiť dátovú linku, pomocou ktorej vozidlo komunikuje so svojím širším okolím. Takéto útoky, ktoré voláme Denial of Service (DoS), sú pomerne známe a bežné. Omnoho zákernejšie sú však útoky, keď nechcete senzor alebo zariadenie iba odstaviť, ale chcete ho donútiť správať sa inak, než by sa mal. Napríklad tak, že útočník podvrhne komunikáciu vozidla s inými vozidlami a presvedčí vozidlo, že má reagovať na nejakú situáciu, ktorá je v skutočnosti buď úplne iná, alebo opäť vôbec neexistuje.
trochu optimizmu
Štúdia publikovaná v tomto roku, z ktorej v tomto článku vychádzam, pripomína, že súčasné dostupné automatizované vozidlá ešte nie sú odolné a celkovo pripravené na množstvo dnes už známych útokov. Nie sú ešte pripravené na to, ako vhodne zareagovať, ak sa ocitnú v absolútne zmätočnej situácii. Aby sme však neboli úplne pesimistickí, v posledných dvoch-troch rokoch sa naozaj omnoho viac ako kedykoľvek predtým hovorí aj o kybernetickej bezpečnosti automatizovaných vozidiel a výrobcovia týchto pokročilých systémov chápu, že zabezpečenie technológií a odolnosť proti cieleným útokom či náhodnému zlyhaniu musí byť absolútnou prioritou. Pribúdajú technické štandardy a legislatívne úpravy, ktoré majú docieliť práve vyššiu bezpečnosť systémov automatizovanej jazdy na našich cestách. Zaväzujú výrobcov týchto systémov systematicky monitorovať a validovať správnosť fungovania ich systémov založených na umelej inteligencii vo vozidlách v prevádzke na cestách.
Treba však myslieť na to, že ak hovoríme o kybernetickej bezpečnosti (a celkovo o akejkoľvek bezpečnosti), môžeme hovoriť iba o identifikácii rizík a o opatreniach, ktorými tieto riziká minimalizujeme alebo minimalizujeme ich dopad na celkový systém. Nikdy nedosiahneme systém, ktorý bude stopercentne bezpečný, a nebude existovať riziko, že sa rozhodne nesprávne – či už vplyvom náhody alebo cieleného útoku.
momentálne je v kurze alibizmus
Zatiaľ sa k tomu ešte vozidlá a ich výrobcovia môžu stavať viac menej alibisticky – na trhu nie je bežne dostupné žiadne vozidlo, ktoré nepredpokladá prítomnosť vodiča. Stále vás vaše auto, nech by bolo vybavené čímkoľvek, môže v určitom bode požiadať o prevzatie riadenia a stále všade (aspoň v Európe) musíte stále byť vy ako vodič v strehu a byť pripravený kedykoľvek zasiahnuť. S budúcim nástupom plne automatizovaných vozidiel však bude situácia iná. Všetky systémy v aute (a ich výrobcovia) budú naozaj plne zodpovedné za to, aby na ceste nikomu neublížili.
Takže by sme sa mali pripraviť na to, že aj s nástupom plne automatizovaných vozidiel budú občas ľudia na cestách zomierať. Ak ich však nebudú ročne celosvetovo desaťtisíce, ale iba napr. stovky alebo desiatky, bude to neuveriteľný úspech a budeme si môcť povedať, že to úsilie stálo za to.
Od tohto nás ešte pár rokov delí, aj keď už minimálne 10 rokov sa hovorí o tom, že do 5 rokov to tu určite máme. Kým však príde ten deň, že z nás sa v našich autách stanú pasažieri a nie vodiči, stavajte sa k týmto technológiám triezvo. Vyvíjajú sa veľmi rýchlo, zlepšujú sa z roka na rok, ich vývoju sa venujú desaťtisíce ľudí po celom svete naplno. Ale napriek tomu ešte nie sú dnes v stave, aby sme im mohli bezhranične dôverovať, že nás v aute nezabijú. Navyše, celá téma cielených útokov na automatizované vozidlá je ešte veľmi nová a čerstvá a bude predstavovať omnoho väčšiu výzvu pre výrobcov a regulátorov, než „len“ uriadiť auto z bodu A do bodu B. Treba si byť vedomý všetkých možných rizík a zbytočne ich nepodceňovať.
Mimochodom, koho táto téma zaujíma podrobnejšie, s kolegom z FIIT STU a ďalšími kolegami z Právnickej fakulty UK sme k tejto téme tento rok vydali knihu, kde sa problematikou nielen technických, ale aj právnych aspektov kybernetickej bezpečnosti automatizovaných vozidiel zaoberáme podrobnejšie, okrem iného aj s prihliadnutím na slovenskú legislatívu.
marek Galinski je odborným asistentom na Fakulte informatiky a informačných technológií Slovenskej technickej univerzity v Bratislave, kde v súčasnosti pôsobí ako vedúci Automotive Innovation Lab @ FIIT STU. Laboratórium je zamerané na bezdrôtovú komunikáciu najmä pre aplikácie prepojenej a automatizovanej mobility. Viac informácií o laboratóriu nájdete tu: https://ail.sk/
Ak si predplatíte digitálne predplatné alebo tlačený .týždeň na ďalší rok, pomôžete nám prežiť a robiť to, čo vieme. Vopred ďakujeme.