Największy na świecie procesor jest szybszy niż procesy fizyczne. Zrewolucjonizuje sztuczną inteligencję?

Cerebras Systems, twórca niezwykłego olbrzymiego procesora dla sztucznej inteligencji, poinformował, że jest on szybszy niż procesy fizyczne, które symuluje. W symulacji, składającej się z 500 milionów zmiennych CS-1 zmierzył się z superkomputerem Joule, 69. najpotężniejszą maszyną na świecie. I wykonał swoje zadanie 200-krotnie szybciej niż ona.

O powstaniu niezwykłego procesora oraz wyzwaniach inżynieryjnych z nim związanych informowaliśmy na początku bieżącego roku. Wówczas jego twórcy obiecywali, że do końca roku przekonamy się o jego wydajności. I słowa dotrzymali.

CS-1 symulował proces spalania w elektrowniach węglowych. I przeprowadził symulację tego procesu szybciej, niż zachodzi sam proces. Firma Cerebras i jej partnerzy z US National Energy Technology Center (NETL) mówią, że CS-1 jest znacznie szybszy od jakiegokolwiek superkomputera bazującego na tradycyjnych układach CPU czy GPU.

Jak wyjaśnia dyrektor Cerebras, Andrew Feldman, prognozowanie pogody, projektowanie skrzydeł samolotu, przewidywanie rozkładu temperatur w reaktorze jądrowym i wiele innych złożonych problemów jest rozwiązywanych poprzez badanie ruchu cieczy w przestrzeni i czasie. W czasie takiej symulacji dzieli się przestrzeń na sześciany, modeluje ruch cieczy w każdym z sześcianów i określa interakcje pomiędzy sześcianami. W symulacji może być milion lub więcej sześcianów i 500 000 zmiennych.
Przeprowadzenie odpowiednich obliczeń wymaga olbrzymiej mocy, wielu rdzeni, olbrzymiej ilości pamięci umieszczonej jak najbliżej rdzeni obliczeniowych, wydajnych połączeń pomiędzy rdzeniami oraz pomiędzy rdzeniami a układami pamięci. Wymaga też długotrwałego trenowania odpowiednich modeli sieci neuronowych.

Układ CS-1 na pojedynczym kawałku krzemu mieści 400 000 rdzeni, 18 gigabajtów pamięci oraz łącza umożliwiające przesyłanie pomiędzy rdzeniami danych z prędkością 100 Pb/s, a przesył pomiędzy rdzeniami a układami pamięci odbywa się z prędkością 9 PB/s.

Specjaliści z NETL postanowili porównać możliwości superkomputera Joule z możliwościami CS-1. Joule korzysta z 84 000 rdzeni CPU i do pracy potrzebuje 450 KW. Cerebras używa zaledwie 20 KW. Joule przeprowadził odpowiednie obliczenia w ciągu 2,1 milisekundy. CS-1 zajęły one 6 mikrosekund, był więc ponad 200-krotnie szybszy.

Jak mówi Feldman, olbrzymia wydajność CS-1 niesie ze sobą dwa wnioski. Po pierwsze obecnie nie istnieje żaden superkomputer zdolny do pokonania CS-1 w rozwiązywaniu tego typu problemów. Wynika to z faktu, że takie symulacje nie skalują się dobrze. Dokładanie kolejnych rdzeni do współczesnych superkomputerów nie tylko nie pomoże, ale może nawet spowalniać tak wyspecjalizowane obliczenia. Dowiodło tego chociażby porównanie CS-1 i Joule'a. Superkomputer pracował najbardziej wydajnie, gdy używał 16 384 z 84 000 dostępnych rdzeni. Problemy takie wynikają z połączeń pomiędzy rdzeniami i pomiędzy rdzeniami a układami pamięci.

Jeśli chcemy na przykład symulować układ składający się z zestawu 370x370x370 sześcianów to CS-1 mapuje warstwy na sąsiadujące ze sobą rdzenie. Komunikacja między rdzeniami odbywa się błyskawicznie, więc szybko wymieniają one dane dotyczące sąsiadujących sześcianów, a obliczenia dla każdej z warstw są przechowywane w znajdujących się na tym samym krzemie układach pamięci, więc rdzenie również mają do niej bezpośredni dostęp.

Dodatkowo, jako że CS-1 jest w stanie przeprowadzić symulacje procesów fizycznych szybciej niż te procesy się odbywają, może zostać też wykorzystany do kontrolowania pracy złożonych systemów obliczeniowych.

Feldman poinformował, że wśród klientów korzystających z SC-1 są m.in. GlaxoSmithKline, Argonne National Laboratory, Lawrence Livermore National Laboratory, Pittsburgh Supercomputing Centre oraz niewymienione z nazwy firmy i instytucje z branż wojskowej, wywiadowczej oraz przemysłu ciężkiego.

Co więcej Cerebras ma już gotowego następcę CS-1. Został on wykonany w technologii 7nm (CS-1 zbudowano w technologi 16nm), korzysta z 40 GB pamięci (CS-1 z 20 GB) i 850 000 rdzeni (CS-1 ma 400 000 rdzeni).

Cerebras Systems CS-1 procesor proces fizyczny sztuczna inteligencja