Hakerzy mogą łatwo oszukać systemy sztucznej inteligencji

| Bezpieczenstwo IT

W ubiegłym tygodniu podczas International Conference on Machine Learning (ICML) grupa naukowców pokazała żółwia wydrukowanego techniką 3D. Dla ludzi żółw wyglądał niemal jak żywy. Jednak algorytmy sztucznej inteligencji rozpoznały w obiekcie... strzelbę. W innym przypadku kij baseballowy wykonany techniką druku 3D został przez SI uznany za... filiżankę espresso.

Na naszych oczach sztuczna inteligencja, systemy maszynowego uczenia się, czynią tak wielkie postępy, że coraz częściej podnoszą się głosy zaniepokojenia, ostrzegające nas przed zbytnim rozwijaniem inteligencji maszyn. Jednak, jak się okazuje, systemy SI są zdumiewająco podatne na ataki. A w ostatnim czasie eksperci coraz częściej prezentują nam przykłady takich ataków. My, którzy pracujemy nad maszynowym uczeniem się nie jesteśmy przyzwyczajeni, by myśleć o bezpieczeństwie naszych systemów, mówi jeden z twórców żółwia 3D i badań nad atakiem na AI, Anish Athalye z MIT.

Specjaliści zajmujący się sztuczną inteligencją mówią, że przeprowadzenie takich ataków jest bardzo użyteczne z naukowego punku widzenia. Pozwalają one bowiem analizować sposób działania sieci neuronowych, które obecnie nie są dobrze rozumiane. Ataki to wspaniałe szkło powiększające, przez które możemy lepiej zrozumieć to, co nazywamy maszynowym uczeniem, mówi Dawn Song z Uniwersytetu Kalifornijskiego w Berkeley.

W ubiegłym roku Song i jej koledzy umieścili na standardowym znaku drogowym „STOP” kilka naklejek, które spowodowały, że system SI uznał znak za... ograniczenie prędkości do 45 mil na godzinę. Nietrudno wyobrazić sobie konsekwencje takiego ataku na samochód autonomiczny.

Ataki można podzielić na takie, w których napastnik ma wiedzę o algorytmach wykorzystywanych przez system i na takie, w których algorytmów tych nie zna. W pierwszym przypadku może obliczyć, w jaki sposób należy zmienić dane wejściowe do systemu wykorzystującego dane algorytmy, by otrzymać pożądane dane wyjściowe. W ten sposób można np. manipulować obrazem tak, by dla człowieka nie wyglądal on na zmanipulowany, ale by sztuczna inteligencja źle go rozpoznała.

Bardziej wymagające są ataki, gdy nie znamy algorytmów. Wówczas napastnik zna tylko danej wejściowe i wyjściowe. Przeprowadzenie takiego ataku jest trudne, ale nie niemożliwe. Podczas ostatniego ICML Athalye i jego zespół zaprezentowali tego typu atak przeciwko usłudze Google Cloud Vision. W sposób niewidoczny dla człowieka zmienili oni zdjęcie przedstawiające dwóch narciarzy tak, że system Google'a uznał je za zdjęcie psa.

Jednym ze sposobów na uchronienie się przed tego typu atakami jest stworzenie formuły, pozwalającej algorytmom SI zweryfikować, czy dobrze rozpoznały dany obiekt. Jeśli możesz przeprowadzić weryfikację, oznacza to koniec zabawy dla napastników, mówi Pushmeet Kohli z DeepMind. Podczas ICML zaprezentowano nawet dwa takie algorytmy weryfikujące. Problem w tym, że obecnie nie da się ich skalować na duże sieci neuronowe współczesnych SI. Co prawda Kohli twierdzi, że w przyszłości się to uda, jednak Song uważa, że w świecie praktycznych zastosowań będą one miały poważne ograniczenia. Nie istnieje matematyczna definicja tego, kim jest pieszy. Czy możemy więc udowodnić, że autonomiczny samochód w żadnym przypadku nie uderzy w pieszego? Nie możemy, stwierdza uczona.

Autor:

Źródło: Science

sztuczna inteligencja atak haker