Wydaje się, że sztuczne mózgi również potrzebują snu

Stany przypominające sen znoszą w sztucznych analogach mózgów niestabilność, będącą skutkiem okresów nieprzerywanego uczenia - donoszą naukowcy z amerykańskiego Los Alamos National Laboratory.

Badamy pulsujące [impulsowe] sieci neuronowe [ang. spiking neural networks], które są systemami uczącymi się w dużej mierze podobnie do żywych mózgów. Jesteśmy zafascynowani perspektywą trenowania neuromorficznego procesora w sposób analogiczny do tego, jak ludzie i inne systemy biologiczne uczą się na podstawie danych ze środowiska w dzieciństwie - opowiada Yijing Watkins.

Watkins i jej zespół odkryli, że symulacje sieciowe stają się niestabilne po okresach nienadzorowanego uczenia. Gdy uciekano się do stanów będących analogami fal doświadczanych przez żywe mózgi w czasie snu, udawało się przywrócić sieci stabilność. Było tak, jakbyśmy zapewniali sieciom neuronowym odpowiednik dobrego nocnego odpoczynku.

Do odkrycia doszło, gdy Amerykanie próbowali opracować sieci neuronowe najbardziej przybliżające się do tego, jak ludzie i inne systemy biologiczne uczą się widzieć. Początkowo grupa zmagała się ze stabilizacją symulatora sieci neuronowych podczas nienadzorowanego treningu słownictwa, który polega m.in. na klasyfikowaniu obiektów bez wcześniejszych przykładów, do których można by je porównywać.

Kwestia tego, jak zapobiec niestabilności układów uczących się, pojawia się dopiero wtedy, gdy próbuje się wykorzystać realistyczne biologicznie procesory neuromorficzne albo zrozumieć kwestie stricte biologiczne - opowiada Garrett Kenyon.

Naukowcy opisują swoją decyzję o wystawieniu sieci neuronowych na oddziaływanie sztucznego analogu snu jako rozwiązanie będące ostatnią deską ratunku. Próbując uzyskać stabilizację, eksperymentowali z różnymi rodzajami szumu. Najlepsze rezultaty dało wykorzystanie szumu gaussowskiego. Zespół podejrzewa, że szum ten naśladuje sygnał wejściowy docierający do neuronów w czasie snu wolnofalowego (SWS, od angielskiego slow wave sleep). Wyniki sugerują, że SWS może po części odpowiadać za upewnienie się, że neurony kory zachowają stabilność i nie będą podlegać halucynacjom.

Kolejnym celem badaczy jest implementacja algorytmu w neuromorficznym chipie Intela Loihi. Mają nadzieję, że gdy pozwoli mu się od czasu do czasu "przespać", będzie stabilnie przetwarzać w czasie rzeczywistym informacje z kamery - krzemowej siatkówki.
Czternastego czerwca Watkins zaprezentuje wyniki swojego zespołu na warsztatach Women in Computer Vision Workshop w Seattle.

pulsujące sieci neuronowe sen wolnofalowy fale szum gaussowski Yijing Watkins