Systemy sztucznej inteligencji uczą się szybciej, gdy mają zróżnicowaną budowę
Zróżnicowanie komórek mózgowych może prowadzić do szybszego uczenia się, odkryli naukowcy z Imperial College London (ICL). Spostrzeżenie to może zwiększyć wydajność systemów sztucznej inteligencji. Uczeni zauważyli, że gdy w symulowanych sieciach neuronowych indywidualnie dobierali właściwości elektryczne poszczególnych komórek, sieci takie uczyły się szybciej, niż sieci złożone z komórek o identycznych parametrach.
Okazało się również, że gdy mamy zróżnicowane komórki, sieć neuronowa potrzebuje ich mniej, a całość zużywa mniej energii niż sieć o identycznych komórkach.
Zdaniem autorów badań, może to wyjaśniać, dlaczego mózgi tak efektywnie potrafią się uczyć. Mózg musi być wydajny energetycznie, a jednocześnie zdolnym do rozwiązywania złożonych zadań. Nasza praca sugeruje, że zróżnicowanie neuronów – zarówno w mózgach jak i w systemach sztucznej inteligencji – pozwala spełnić oba warunki, mówi główny autor badań, doktorant Nicolas Perez z Wydziału Inżynierii Elektrycznej i elektronicznej.
Odkrycie powinno też zachęcić twórców sieci neuronowych do budowania ich tak, by były bardziej podobne do mózgu. Nasze mózgi składają się z neuronów. Pozornie są one identyczne, ale przy bliższym przyjrzeniu się, widoczne są liczne różnice. Z kolei każda komórka sztucznych sieci neuronowych jest identyczna, różnią się one tylko połączeniami. Pomimo dużych postępów w rozwoju systemów sztucznej inteligencji, bardzo daleko im do mózgów. Dlatego też uczeni z ICL zastanawiali się, czy przyczyną nie jest brak zróżnicowania komórek sztucznych sieci neuronowych.
Rozpoczęli więc badania, w ramach których emulowali różne właściwości komórek składających się na siec sztucznej inteligencji. Zauważyli, że zróżnicowanie komórek spowodowało zwiększenie szybkości uczenia się i spadek zapotrzebowania na energię. Ewolucja dała nam niesamowicie funkcjonujący mózg. Dopiero zaczynamy rozumieć, jak on działa, stwierdził doktor Dan Goodman.
W ramach badań uczeni manipulowali „stałą czasową”, czyli tym, jak szybko każda komórka sztucznej sieci neuronowej decyduje, co ma zrobić w zależności od tego, co robią połączone z nią komórki. Niektóre z tak manipulowanych komórek podejmowały decyzję bardzo szybko, natychmiast po tym, jak działania podjęły komórki z nimi połączone. Inne zaś odczekały chwilę i podejmowały decyzję na podstawie tego, co przez pewien czas robiły komórki z nimi połączone.
Po zróżnicowaniu „stałej czasowej” swoich komórek, naukowcy przeprowadzili zestaw testów dla uczenia maszynowego się, takich jak rozpoznawanie gestów, pogrupowanie ubrań czy ręcznie napisanych cyfr oraz zidentyfikowanie wypowiadanych komend oraz cyfr.
Eksperymenty pokazały, że połączenie komórek o różnej „stałej czasowej” powoduje, że cała sieć lepiej rozwiązuje złożone zadania. Okazało się przy okazji, że najlepiej sprawuje się sieć o takiej konfiguracji, której zróżnicowanie jest najbliższe zróżnicowaniu komórek w mózgu. To z kolei sugeruje, że nasz mózg ewoluował w kierunku osiągnięcia najlepszego poziomu zróżnicowania dla optymalnego uczenia się.
Komentarze (0)