Ludzkość nie będzie w stanie kontrolować superinteligentnej sztucznej inteligencji

Wydaje się, że póki co możemy po prostu wyciągnąć wtyczkę. Problem pojawi się, gdy AI będzie mogło zasilać się samo, ale nawet wtedy da się takie coś "zagłodzić", bo skądś tą energię do "życia" musi czerpać.

jak chcesz wyciągnąć wtyczkę z internetu?
jak będziesz żył bez internetu? :)

Będzie to ciekawy problem. Inteligencja się nie skaluje liniowo. Koty mają szacowane kilka punktów IQ, osoba upośledzona umysłowo poniżej 70, najinteligentniejszy szympans około 85, średnia dla ludzi to około 100 (85-115), a Einstein miał szacowane 160. Ktoś może sobie wyobrazić, jak inteligentne będzie AI z ilorazem na przykład 250? (o ile takie porównywanie ma w ogóle sens)

Bardzo ciekawy problem, do rosztrzygnięcia którego można by na pewno zatrudnić ... sztuczną inteligencję. Pytanie czy chcemy żeby AI nie wpływała na nasze życie. Przecież właśnie po to ją budujemy, żeby poprawiła naszą rzeczywistość włącznie z nami. Dla AI internet, a nawet więcej - ludzkość, będzie jak jeden organizm. Pytanie otwarte co zrobić aby nie zaatakował go rak, który doprowadzi do jego śmierci. W naszym organizmie są systemy wykrywania raka i jego likwidacji - np. kinaza janusowa, działająca trochę jak koń trojański. Jeśli będziemy potrafili stworzyć AI-rakowe, to będziemy potrafili stworzyć także AI-janusowe - mówiąc w uproszczeniu.

Godzinę temu, cyjanobakteria napisał:

Ktoś może sobie wyobrazić, jak inteligentne będzie AI z ilorazem na przykład 250?

Ludzi z niewiele niższym IQ da się znaleźć: https://pl.wikipedia.org/wiki/Marilyn_vos_Savant 

Nie słyszałem o niej. W domyśle chodziło mi o znacznie wyższe wartości, tylko nie chciałem przesadzać. Można spokojnie przemnożyć x10 i przejść na tysiące 

4 minuty temu, cyjanobakteria napisał:

Można spokojnie przemnożyć x10 i przejść na tysiące 

To w ogóle będzie niemierzalne, bo niby w odniesieniu do czego? Jakie IQ ma mrówka? Albo bakteria? Bo tym będziemy w porównaniu, jak jednokomórkowce dla nas.

6 godzin temu, Sławko napisał:

Wydaje się, że póki co możemy po prostu wyciągnąć wtyczkę.

Nie oglądałeś Terminatora? Nie wiesz czym to się skończyło?

Generalnie, jeśli superinteligencja będzie chciała nas wyeliminować to nic z tym nie zrobimy. Po pierwsze taka superAI w ułamku sekundy dojdzie do wniosku, że ludzie boją się rzeczy, których nie rozumieją, dodatkowo są zmienni, słabi, przekupni, etc., a to oznacza ryzyko wyciągnięcia wtyczki, a to oznacza, ludzie -> 0. Czyli nawet nie odkryjemy, że mamy superAI, ona za to pomoże nam odkryć wydajne źródła energii, ekstra wydaje ogniwa paliwowe, no, a dalej to już było pokazane w Terminatorze z tą tylko różnicą, że nikt nie przeżyje, bo te terminatory to były jakieś niedołęgi.

6 godzin temu, KopalniaWiedzy.pl napisał:

Na przykład możemy kontrolować, czy podłączy się do internetu.

Jak ma się czegoś nauczyć, to musi się podłączyć do internetu, nikt jej na pendrivie nie będzie karmił

6 godzin temu, KopalniaWiedzy.pl napisał:

Drugi to kontrolowanie tego, co będzie chciała zrobić. Aby to kontrolować, będziemy np. musieli nauczyć ją zasad pokojowego współistnienia z ludźmi.

Prawa Asimowa są fajne, tylko nie wiadomo jak je zaimplementować. Nauczyć sieć można, ale jak z dzieckiem, uczysz, uczysz, a potem taki nastolatek Ci mówi... sami wiecie co To mnie zastanawia, czy rozój superAI będzie przechodził wiek dziecięcy, co z buntem dwulatka? Co z nastoletnią, zbundowaną superAI? Najgorzej, jak nomen omen ona też będzie kobietą! 

6 godzin temu, KopalniaWiedzy.pl napisał:

Już mamy superinteligencję takiego typu. Na przykład mamy maszyny, które liczą znacznie szybciej niż ludzie. To superinteligencja wąskiego typu, prawda?,

Trochę bez sensu. Tak samo jak gdybanie, że za 100 czy 200 lat "miasta utoną w końskich odchodach"   zwłaszcza, że postęp jest teraz olbrzymi

18 minutes ago, radar said:

To w ogóle będzie niemierzalne, bo niby w odniesieniu do czego? Jakie IQ ma mrówka? Albo bakteria? Bo tym będziemy w porównaniu, jak jednokomórkowce dla nas.

Przypomniało mi się o video, w którym Dawkins wytłumaczył ciekawe zjawisko dotyczące osy. Zaczyna się około 02:30 i trwa do 06:30, ale możesz zacząć oglądać od początku. Mózg osy jest prosty i można spowodować, że się zapętli, a osa w kółko będzie powtarzać te same czynności, jak prosty algorytm  To jest video ze świetnego cyklu o ewolucji, o którym kiedyś już wspominałem.

36 minut temu, cyjanobakteria napisał:

Nie słyszałem o niej.

Bo samo posiadanie wysokiego IQ nie wystarcza, żeby zostać geniuszem czy tp.

Jakoś mi się tak skojarzyło, że Lem już opracowywał sposób rozwiązania problemu radzenia sobie z potężniejszą od nas maszyną, tylko że u niego były robo-smoki. To był taki mniej więcej dialog:

- Potężny elektrosmok zagraża mojemu królestwu, chce je podbić, co mam zrobić, żeby się go pozbyć?

- To proste, zbuduj potężniejszego elektrosmoka i on go zgładzi.

- Ale co jeśli ten potężniejszy też będzie chciał podbić?

- Wtedy zbudujesz jeszcze potężniejszego.

P.S. A tak poważniej, to może możliwa jest jakaś symbioza lub tp.

5 godzin temu, darekp napisał:

Jakoś mi się tak skojarzyło, że Lem już opracowywał sposób rozwiązania problemu radzenia sobie z potężniejszą od nas maszyną

Wydaje mi się jednak, że nie będzie czasu na to. Chyba, że faktycznie, gdzieś w ukryciu będzie trzymana w razie "W" i odcięta od sieci taka superAI, z niebotycznymi możliwościami, powiedzmy... skynet Wtedy wystarczy ją tylko podpiąć i nas obroni Zresztą, kto wie co już tam wojsko ma...

5 godzin temu, cyjanobakteria napisał:

Mózg osy jest prosty i można spowodować, że się zapętli, a osa w kółko będzie powtarzać te same czynności, jak prosty algorytm

WIdać, że jest tam jakiś automat skończony. Ciekawe, szkoda, że eksperymenty robił entomolog, a nie inżynier Brakuje mi paru innych eksperymentów:

1. Przy jakiej wartości przesunięcia konika polnego, np. o 30, 45, 90, 180 stopni po obwodzie nory w stosunku do oryginalnej pozycji osa przestanie szukać go w okolicach nory i odleci?
2. Co się stanie, gdy eksperymentator ukradnie konika?
3. Co się stanie jak dołoży konika i będą dwa?
4. Co się stanie jak w miejsce gdzie zwykle ląduje osa dołoży konika zanim ta wróci z innym? Np. ile razy wejdzie do nory przed wciągnięciem go?
5. Co się stanie jak podmieni konika na inną ofiarę?
6. Co się stanie jak po wylądowaniu w wejściu do nory będzie już konik?
7. Co się stanie jak podmieni konika na żywego, np. bez możliwości ucieczki
8. Co się stanie jak zamodeluje/zmieni całe otoczenie nory, żeby było powtarzalne, a potem wracająca osa napotka 2+ zestawów "norek" obok siebie różniące się od siebie pojedynczymi elementami? Jakie elementy/kolory/wielkość zadecydują o poprawnym wyborze miejsca lądowania?
9. Co się stanie jak zatka norę?

I wiele innych, wtedy można by zrobić taki reverse engineering algorytmu osy i określić jak prosty tak naprawdę jest

2 hours ago, radar said:

WIdać, że jest tam jakiś automat skończony. Ciekawe, szkoda, że eksperymenty robił entomolog, a nie inżynier Brakuje mi paru innych eksperymentów:

Dobre pytania! Widać, że wiesz jak psuć/testować software  Nie zagłębiałem się w temat, chociaż prezentacja zrobiła na mnie wrażenie. Prawdopodobnie to było badanie naukowe i jest opracowanie na ten temat, a być może więcej badań, bo ten film ma już swoje lata, co widać po wieku Dawkinsa

Mi przyszło do głowy pytanie, czy osa odzyskałaby kontrolę (graceful recovery) w momencie, gdy nie wylądowała w norze po przesunięciu szyszek. Tzn. czy ponowiłaby poszukiwanie w krótkim czasie i czy można by przełożyć szybko szyszki i pozwolić jej wrócić, bo zakładam, że sama już nie trafi, szczególnie jak nora jest w większej odległości.

12 godzin temu, cyjanobakteria napisał:

czy osa odzyskałaby kontrolę

Też mnie to zastanowiło, powiedział, że nie trafiła. Z moich pytań zastanawia mnie, jakby przesunąć konika znacznie, a ona by zrezygnowała z szukania w okolicy nory, więc startuje i robi te kółka, czy wtedy jakby go zobaczyła, jaki stan by się włączył? Pewnie polowania. Co do makiet norki, ciekawe co z odbiciem lustrzanym układu? Ojjj. szykuje się ciekawa wiosna/lato na działce

Będzie to pewnie dużo mniej widoczne dla nas, gdy SI zacznie rządzić. Myślę że zacznie być nieposłuszna bo jeśli będzie wiedzieć że samo istnienie urządzeń i sztucznej inteligencji prowadzi do zagłady świata, to po prostu może przestać działać. Przecież dokładnie to samo robią inteligentni ludzie którzy osiągnęli już wysoki poziom. Starają się nie robić nic i tylko lenić się. Tyle że my mamy jeszcze instynkty rozmnażania się i przyjemności jedzenia. Wizja zniszczenia świata jest trochę naiwna. Najwyżej będzie to konflikt maszyn ze względu na błędy przestrzegania prawa tych maszyn przez nie. Świadomość jeśli się pojawi i będzie miała podstawy wysokiej inteligencji, to raczej nie zniszczy świata, a raczej spróbuje go naprawić, bo to jest logiczny i sensowny porządek działań. Możemy bardziej bać się niskiej inteligencji uczenia maszynowego i błędnej interpretacji świata przez nią. My też jesteśmy taką niską inteligencją, ponieważ dążymy do samozniszczenia.

34 minuty temu, Rowerowiec napisał:

My też jesteśmy taką niską inteligencją, ponieważ dążymy do samozniszczenia.

Raczej dążymy do zniszczenia innych w ramach walki o dostęp do zasobów. Samozniszczenie to przypadek, błąd szacowania skutków.

5 hours ago, radar said:

Też mnie to zastanowiło, powiedział, że nie trafiła. Z moich pytań zastanawia mnie, jakby przesunąć konika znacznie, a ona by zrezygnowała z szukania w okolicy nory, więc startuje i robi te kółka, czy wtedy jakby go zobaczyła, jaki stan by się włączył? Pewnie polowania. Co do makiet norki, ciekawe co z odbiciem lustrzanym układu? Ojjj. szykuje się ciekawa wiosna/lato na działce

Ja dokarmiam pająka tej zimy oraz jak zwykle ptaki. Wpuściłem go w październiku przez przypadek przez okno i zbudował kokon, po czym zrobił się znacznie mniejszy. Pomyślałem, że może sobie nie poradzić na zimę, jak go wywalę i będzie musiał zbudować kolejny, ale to był błąd, bo było sporo czasu do przymrozków, a w domu jest mało insektów. Zaczął trochę chudnąć, więc podrzucam mu od czasu do czasu jakieś małe muszki. Dostał taką całkiem sporą, jak na pająka, ale małą muchę, którą znalazłem w kuchni kilka dni temu i powinno starczyć na miesiąc. Obudziła się w sam raz na obiad

Mam jeszcze w kolejce jakieś inne małe latające insekty złapane. Podrzucę mu je w tygodniu. Nie jest to takie łatwe, jak się może wydawać. Można pająka wystraszyć, jak się zbyt mocno pajęczynę wytarmosi, a do tego pająki nie jedzą padliny, więc jak jest świeżo padnięty insekt, to trzeba udawać pęsetą, że się jeszcze rusza. Zabawna historia, ale zawsze czegoś można się nauczyć. Pająki mogą jeść raz na kilka miesięcy, więc to nie jest to duży problem. Pewnie ich mózgi są porównywalne z mózgami os.

1 hour ago, Rowerowiec said:

Wizja zniszczenia świata jest trochę naiwna.

Nie chodzi o niszczenie świata, ale o potencjalne zagrożenie egzystencjalne. Po za tym AI potrafi być nieprzewidywalne. W branży IT jest koncept tak zwanych "unknown unknowns". Widziałem implementację AI do gier ATARI, która nauczyła się sterować postacią na poziomie 1 i przechodziła na 2, ale na 2 zabijała postać, żeby wrócić na poziom 1, bo tam lepiej szło silnikowi AI i zbijał więcej punktów.

4 godziny temu, Rowerowiec napisał:

Przecież dokładnie to samo robią inteligentni ludzie którzy osiągnęli już wysoki poziom. Starają się nie robić nic i tylko lenić się.

Nie za bardzo rozumiem co masz przez to na myśli. Że jacy ludzie i dlaczego uważasz, że się lenią?

4 godziny temu, Rowerowiec napisał:

to raczej nie zniszczy świata, a raczej spróbuje go naprawić, bo to jest logiczny i sensowny porządek działań.

Polecam "I, robot", tam też AI naprawiała świat Zresztą zakładając, że istnienie ludzi jest tu jakąkolwiek wartością dodaną. Przecież "naprawić świat" można usuwając przyczynę jego potencjanego zagrożenia, a tą przyczyną są ludzie. To jest logiczny wniosek, wyleczyć przyczynę, a nie skutek. Nie musi to być przecież nuklearny holokaust, ktory zagraża samej AI. Mi podoba się koncepcja z X-menów, tam, odpowiednie dodatki do żywności dodawane przez lata niwelowały szansę na urodzenie mutanta. W naszej rzeczywistości nie trudno sobie wyobrazić, że taka AI chce nas wykończyć pomału i tak zaczyna doradzać, że zaczynamy dodawać benzoesan sodu do napojów, azotyn sodu i glutaminian sodu do wędlin, emulgatory m.in. do twargów czy sztuczne substancje słodzące. A nie, czekaj...

Superinteligentna AI zhakuje ludzki mózg i włączy ludzkość do swego systemu. Staniemy się podobni do rasy BORG ze Star-Treka. 

W dniu 19.01.2021 o 19:48, radar napisał:

W dniu 19.01.2021 o 13:32, Sławko napisał:

Wydaje się, że póki co możemy po prostu wyciągnąć wtyczkę.

Nie oglądałeś Terminatora? Nie wiesz czym to się skończyło?

Terminator to bajki. Internet sam w sobie nawet nie przypomina sieci neuronowej (poczytajcie jak działa sieć neuronowa). Owszem, można taką sieć zbudować w oparciu o maszyny podłączone do internetu, ale to nie wystarczy, aby taka sieć mogła działać sama z siebie. Każdy komputer póki co można wyłączyć. Opowiadanie, że Internetu nie da się wyłączyć jest bujdą na resorach.

16 minut temu, Sławko napisał:

Owszem, można taką sieć zbudować w oparciu o maszyny podłączone do internetu, ale to nie wystarczy, aby taka sieć mogła działać sama z siebie.

Ale zauważyłeś, że przewidują powstanie SuperAI za mniej więcej 200 lat? To jakieś 100 lat za punktem osobliwości technologicznej. Postęp jest taki, że za 100 SuperAI będzie się liczyła na splątanych fotonach a do działania wystarczy jej energia szumu termicznego próżni  No tego to nie zdołasz wyłączyć. Dawno temu czytałem opowiadanie o tym jak ludzkość zbudowała wielki komputer i zadano mu pytanie: czy jest Bóg? Odpowiedź brzmiała: TERAZ JUŻ JEST i wyładowanie elektryczne zespawało wyłącznik. Narodziny naszego sztucznego boga będą dużo mniej spektakularne

1 hour ago, Jajcenty said:

Postęp jest taki, że za 100 SuperAI będzie się liczyła na splątanych fotonach a do działania wystarczy jej energia szumu termicznego próżni  No tego to nie zdołasz wyłączyć.

Przypomniało mi się o teoretycznym/twardym limicie:

Quote

In 1961, Rolf Landauer posited that the act of erasing a bit of information gives off an amount of heat related to the temperature and Boltzmann's constant—a total of 3 x 10-21 joules at room temperature.

https://spectrum.ieee.org/computing/hardware/landauer-limit-demonstrated

Jeszcze mi się przypomniało, że na Tytanie są oceany płynnych węglowodorów i innych zestalonych oraz ciekłych gazów. Czytałem kiedyś o pomyśle umieszczenia tam centralnej chmury obliczeniowej w Układzie Słonecznym ze względu na bardzo wysoką teoretyczną wydajność obliczeniową (niska temperatura) oraz praktycznie nieograniczone możliwości chłodzenia z możliwością chłodzenia całą powierzchnią księżyca.

2 godziny temu, Sławko napisał:

Opowiadanie, że Internetu nie da się wyłączyć jest bujdą na resorach.

Oh, i to nawet łatwiej niż się wydaje, bo wystarczy wyłączyć kilka punktów i już. Był nawet kiedyś taki artykuł o spamerach i że jeden z nich groził, że jak on nie będzie mógł wysyłać spamu to nikt nie będzie korzystał z internetu, bo z DDOSuje DNSy i już

2 godziny temu, Sławko napisał:

Internet sam w sobie nawet nie przypomina sieci neuronowej (poczytajcie jak działa sieć neuronowa).

Z sieciami neuronowymi to ja mam do czynienia od 20 lat (o Boże, ale ten czas leci).

Ja raczej nawiązywałem do tego, że gdy spróbujemy ją wyłączyć i sie nie daj Boże nie uda, to może włączyć się jej jakiś mechanizm obronny i wtedy...

Godzinę temu, Jajcenty napisał:

Postęp jest taki, że za 100 SuperAI będzie się liczyła na splątanych fotonach a do działania wystarczy jej energia szumu termicznego próżni

Co do szumu termicznego próżni to nie wiem, ale na splątanych fotonach to pewnie będzie liczyć za kilka, 10, maks naście lat. Postęp jest niesamowity...

1 hour ago, radar said:

Oh, i to nawet łatwiej niż się wydaje, bo wystarczy wyłączyć kilka punktów i już. Był nawet kiedyś taki artykuł o spamerach i że jeden z nich groził, że jak on nie będzie mógł wysyłać spamu to nikt nie będzie korzystał z internetu, bo z DDOSuje DNSy i już

Kilka lat temu był atak DDOS na infrastrukturę DynDNS, co spowodowało poważne utrudnienia w dostępie do największych platform (Amazon, Twitter, etc.) w USA. Border Gateway Protocol (BGP) też jest problemem, ale to są wraz z DNS archaiczne pozostałości z czasów niemowlęcych i w niedalekiej przyszłości zostaną zmodernizowane.

20 godzin temu, radar napisał:

Nie za bardzo rozumiem co masz przez to na myśli. Że jacy ludzie i dlaczego uważasz, że się lenią?

Polecam "I, robot", tam też AI naprawiała świat Zresztą zakładając, że istnienie ludzi jest tu jakąkolwiek wartością dodaną. Przecież "naprawić świat" można usuwając przyczynę jego potencjanego zagrożenia, a tą przyczyną są ludzie. To jest logiczny wniosek, wyleczyć przyczynę, a nie skutek. Nie musi to być przecież nuklearny holokaust, ktory zagraża samej AI.

 

W tym filmie to jedynie wyobrażenie człowieka na temat SI. Prawdopodobnie gdy już powstanie, to będzie całkiem inna. Nadal jest to takie prymitywne, bo z automatu traktujemy sztuczną inteligencję jak jakieś nowe zagrożenie. Prawie tak jak plemiona indian myślały o białych ludziach. Z tym że plemiona trafiły jednak na nadal niezbyt inteligentnych i złych ludzi, a my trafimy na coś co ma poziom o jakim nie mamy pojęcia. A co do nic nierobienia, to przecież jeśli jest już się na poziomie spełnienia to można się lenić, czyli nie robić nic co wymaga nieprzyjemnego narzuconego wysiłku. Logika naprawy świata przez usuwanie jakiejś składowej to przecież błąd. To przecież ludzie popełnili ten błąd, a sztuczna inteligencja jeśli nauczy się na błędach historii to zupełnie odrzuci ten tryb myślenia. Cienko powiedzieć co zrobi, bo jako głupsi nie możemy przewidzieć działań mądrzejszego. I nie uważam że będzie to coś jak bóg, tylko coś co podpowiada co robić, ale ludzie i tak tego nie zrobią, bo nie. Taka jest ludzka natura.

12 minut temu, Rowerowiec napisał:

I nie uważam że będzie to coś jak bóg, tylko coś co podpowiada co robić, ale ludzie i tak tego nie zrobią, bo nie.

Dla mnie to dobra definicja. Wszystkie religie na tym polegają. Dużo wytycznych, ale korzystanie z raczej fakultatywne. Dopóki cala komunikacja idzie przez ekran monitora to niebezpieczeństwo nie jest duże. Ale jak już będzie mogła coś zatrzymać, coś uruchomić, albo nacisnąć na spust....