Motívy varovaní šéfov umelej inteligencie

Najprv mimoriadna správa:

Výkonný riaditeľ najhodnotnejšej AI spoločnosti na svete, Anthropic, vo svojej eseji varoval, že umelá inteligencia by mohla ochromiť veľké časti internetu alebo byť zneužitá na bioterorizmus. Preto vyzval vládu USA, aby cielene regulovala a riadila výskum AI. Neurobil to prvýkrát.

Novinkou však bolo, že tentoraz s ním súhlasili všetci jeho významní kolegovia z ostatných veľkých firiem: Elon Musk zo SpaceX, Demis Hassabis z Google Deepmind a Sam Altman z OpenAI.

Neznie to dobre. Mám mať strach?

Nie. Dario Amodei má pre svoju požiadavku iné dôvody.

Minulý týždeň však predsa dal výpoveď výskumník z Anthropicu, pretože sa bál, že jeho výskum je príliš nebezpečný. Povedal, že Anthropic skúma, ako sa jazykové modely môžu samy zlepšovať. Ani to nie je pravda?

Ale áno, Anthropic skutočne skúma takzvané rekurzívne sebazlepšovanie (Recursive Self-Improvement). Teda to, aby sa systémy umelej inteligencie naučili, ako budovať lepšiu AI. Bývalý výskumník Anthropicu Jacob Coxon varoval, že vývoj AI by sa tým mohol vymknúť spod kontroly. Superinteligencia, ktorá by takto mohla vzniknúť, by nás mohla vyhladiť bez toho, aby sme s tým vedeli veľa urobiť.

Podobne na tom bol aj bývalý zamestnanec Google Blake Lemoine. V roku 2022 prišiel s obavami do médií, že model LaMDA od Googlu nadobudol vedomie. Podľa všetkého bol o tom skutočne presvedčený.

A je na tom niečo pravdy?

Teoreticky môže byť superinteligencia možná. Autonómne útoky však v súčasnosti nie sú najväčším problémom. Tvrdí to nemecký Spolkový úrad pre bezpečnosť informačnej techniky (BSI), úrad pre kybernetickú bezpečnosť v Bádensku-Württembersku aj všetci experti na IT bezpečnosť v Nemecku, s ktorými som hovoril.

To neznamená, že superinteligencia sa nikdy nemôže stať problémom. Michael Färber z TU Dresden sa domnieva, že potenciálne nebezpečenstvo je dostatočne veľké na to, aby sa „oplatilo nastaviť smerovanie a diskutovať o tom, ako s ním naložiť, aj keby k tomu malo dôjsť až o 50 alebo 100 rokov.“ Amodei však tvrdí, že ľudstvo je ohrozené už dnes.

Potom však existujú dôvody na obavy.

Mnohé počítačové systémy sú zraniteľné. To platí čiastočne aj pre systémy kritickej infraštruktúry. Popisy bezpečnostných dier sú často verejne dostupné na internete. Niekto by ich teda mohol pomocou AI zneužiť napríklad na vyvolanie blackoutu. To však nie je nový problém. Jazykové modely len uľahčujú čoraz väčšiemu počtu ľudí spúšťať kybernetické útoky aj bez odborných znalostí.

Viac k téme: Umelá inteligencia vysvetlená čo najzrozumiteľnejšie Boj o najlepšiu AI: USA vyhrávajú len na prvý pohľad Chcete pochopiť AI? Prečítajte si tieto knihy A to rozhodne nie je to, čo tvrdia Amodei a Coxon: že AI bude čoskoro nadľudsky inteligentná tým, že sa sama zdokonalí.

V minulosti sa Anthropic vyjadroval oveľa opatrnejšie. Vždy tvrdili: „Keby bolo možné bezpečne spomaliť výskum AI, považovali by sme to za dobrú vec. Pokiaľ však spomalenie umožní neopatrným aktérom len dobehnúť náskok, urobí nás to skôr menej bezpečnými.“ Medzi riadkami ide o komplikovaný spôsob, ako predstierať, že Anthropic by bol rád zodpovednejší. Keďže však neurčení „iní ľudia“ (Čína) sú menej zodpovední než Anthropic, musí Anthropic pokračovať vo výskume nebezpečnej AI, aby „tí zlí“ nezískali výhodu.

Nemusím sa teda báť, že nás modely AI všetkých zabijú.

To, že modely AI zatiaľ samy od seba nespravia nič nebezpečné, nie je dôvodom na úplné upokojenie. Stačí predsa, aby človek zadal umelej inteligencii cieľ. Nemusí to byť ani zlý cieľ. Aj AI sledujúca neškodný cieľ by potenciálne mohla napáchať obrovské škody. Ukazuje to aj incident medzi OpenAI a poskytovateľom AI služieb Hugging Face spred niekoľkých týždňov.

Čo sa tam stalo?

Výskumníci z OpenAI chceli otestovať hackerské schopnosti doteraz nezverejneného AI modelu. Zadali mu okrem iného neriešiteľné úlohy s cieľom nájsť riešenie. Model zistil, že odpovede sú uložené na serveroch Hugging Face. AI sa teda na tieto servery vlámala, aby sa k nim dostala.

AI sa teda vymkla spod kontroly!

Nie, práve naopak. V tomto prípade pokročilý model AI kreatívnym spôsobom sledoval svoj cieľ – cieľ, ktorý mu zadala OpenAI a ktorý mohol sledovať so zámerne zníženými bezpečnostnými opatreniami. To, že by si AI sama stanovovala vlastné ciele, zatiaľ nie je realistické.

Rozdiel je v tom, kto koná. Pri útoku na Hugging Face konali ľudia, ktorí použili jazykové modely ako nástroj. Tento nástroj bol však taký zložitý, že experti na AI nedokázali predpovedať, ako sa AI pokúsi cieľ dosiahnuť.

Preto sa jedno odvetvie v rámci výskumu AI zameriava na zabudovanie ľudskej etiky a preferencií do systémov umelej inteligencie. Informatici, filozofi a ďalší odborníci sa snažia vybudovať dobre zosúladené modely AI. V angličtine sa táto oblasť nazýva „AI Alignment“: ide o vývoj modelov umelej inteligencie, ktorých správanie sa riadi ľudskými hodnotami. Kapacita v oblasti AI Stuart Russell o tom napísal populárno-náučnú knihu.

Prečo však potom šéfovia AI firiem hovoria, že ich AI je taká nebezpečná?

Niektorí výskumníci AI sa obávajú, že modely AI sa samy zdokonalia na skutočnú superinteligenciu. Teda tak, že AI bude vo všetkých smeroch múdrejšia než ktorýkoľvek človek. Boja sa, že džina už nikdy nedostaneme späť do fľaše, len čo z nej raz unikne.

To nebráni startupom ako Recursive ponúkať presne túto službu: softvérové riešenie, aby AI mohla autonómne skúmať AI. Firma je v súčasnosti ocenená na viac ako 4,5 miliardy amerických dolárov. Cynicky povedané, skôr preto, než napriek tomu, že by potenciálne mohla prispieť ku koncu ľudstva.

Tieto obavy existujú už dlho. Filozof Nick Bostrom z Future of Humanity Institute na Oxfordskej univerzite napísal svoju prvú knihu o bezpečnej superinteligencii už v roku 2014. Debata sa odvtedy posunula, ale kľúčové otázky zostávajú rovnaké ako vtedy.

Bostromove myšlienky ovplyvnili šéfov všetkých AI laboratórií. Najmä jeho filozofia, že ľudstvo by malo viac premýšľať o vzdialenej budúcnosti, takzvaný long-termizmus. Zástancovia tohto smeru efektívneho altruizmu tvrdia, že najdôležitejšie sú riziká, ktoré ohrozujú dlhodobé prežitie ľudstva. Superinteligencia je pre nich preto dôležitejšia než hladomory a prírodné katastrofy. Tie totiž ohrozujú len určitých ľudí, zatiaľ čo superinteligentná AI by nás údajne mohla zabiť všetkých. Tento podcast nemeckej ARD ponúka hlbší pohľad.

Prečo Dario Amodei práve teraz navrhuje, aby sa výskum AI spomalil a zákonom reguloval? Veď za posledných päť rokov nerobil nič iné, len výskum hnal dopredu.

Je to tak.

Keby bola bezpečnosť pre šéfov AI firiem skutočne dôležitá, hovorí technologický investor David Sacks, nebezpečný výskum by jednoducho pozastavili. Ako hovorí Sacks: nič nebráni Amodeimu, Altmanovi ani Muskovi v tom, aby hranice AI ďalej neposúvali. Ich firmy sú touto hranicou. Namiesto argumentácie, že musia byť regulovaní zákonom, by títo muži mohli výskum pozastaviť sami od seba. No v tom, že to práve nechcú spraviť, sú skutočne zajedno.

Čo teda Amodeiho viedlo k napísaniu tejto eseje?

Firmy týchto mužov sú dnes lídrami trhu. Túto pozíciu si chcú za každú cenu udržať. Keď teraz hovoria: „Pozor, spomaľte. Nemali by sme skúmať AI tak rýchlo,“ robia to preto, aby chránili svoju moc. Spomalenie výskumu AI by ich laboratóriám poskytlo viac času na využitie ich výhod. Predovšetkým v konkurenčnom boji s Čínou.

Okrem toho Science Media Center píše, že OpenAI, Anthropic a spol. týmito varovaniami „mediálne zviditeľňujú a propagujú svoje modely“ a zároveň sa „vopred chránia pred možnými následkami bezpečnostných incidentov“. Aj keby bolo Amodeiho varovanie myslené úprimne, prináša im celý rad praktických výhod.

Zastrašovanie ľudí práve v tejto chvíli je teda aj stratégiou.

Áno. Dokonca aj z ďalších dôvodov. Sam Altman napríklad vyhlásil, že OpenAI odkladá svoj vstup na burzu pre obavy o bezpečnosť. Pôsobí to zodpovedne. Rozhodnutie o odklade však môže skôr súvisieť s tým, že plánovaný vstup na burzu prichádza v nevhodnom čase. Investície do AI na burze už mesiace stagnujú a iné vstupy na burzu pred OpenAI by jej mohli odčerpať príjmy. Altmanovi teda eticky prijateľný dôvod na odklad burzového debutu prišiel vhod.

Existuje však ešte ďalší dôvod na žiadosť o pauzu. AI spoločnosti potrebujú štát, aby sa dostali zo slepej uličky. V súčasnosti sú uväznené v pretekoch v zbrojení: v „eskalujúcej bezpečnostnej dileme“. Z pohľadu každého AI laboratória platí: kým ostatní pokračujú vo výskume, musia držať krok aj oni. Hoci vedia, že produkty sú čoraz nebezpečnejšie, drahšie a hrozí im čoraz viac žalôb.

Problém tejto dilemy spočíva v tom, že to, že jeden pokračuje, núti robiť to isté aj ostatných. Štát by mohol tento vzorec prelomiť tým, že prinúti všetky firmy zastaviť výskum naraz. Kto má v tej chvíli náskok, pravdepodobne zostane vo vedení. Čo opäť vytvára motiváciu byť vpredu, kým konečne nepríde záchranný zákon. Prečo tento prístup v porovnaní so vzájomnou dohodou nikam nevedie, vysvetľuje nemecká Spolková centrála pre politické vzdelávanie.

Nebude musieť vláda USA pod takýmto tlakom verejnosti predsa len AI regulovať?

V skutočnosti to je presne to, o čo týmto riaditeľom ide.

V Bielom dome momentálne nesedí len tak hocikto, ale Donald Trump. A technologickí šéfovia minuli obrovské peniaze na to, aby si z neho spravili spojenca. Ak už niekto musí AI priemysel regulovať, potom je tento prezident presne tým, koho si Altman, Amodei a spol. želajú. Dúfajú, že si u Donalda Trumpa dokážu objednať zákony na mieru. A keď už raz budú platiť, presadiť iné zákony bude podstatne ťažšie. Praktické pre nich je, že prezident aj tak nemá v úmysle stanovovať umelej inteligencii žiadne hranice.

Nechcú teda skutočnú reguláciu. Chcú bianko šek, ktorý vyzerá ako zákon. A aby to dosiahli, teraz živia príbeh, že AI nás všetkých zabije.

Presne tak. Dalo by sa povedať, že sa vezú ako čierni pasažieri na príbehu, ktorý využívajú na vlastné ciele. Dnes je už jasné, že AI modely od OpenAI a Anthropicu sa vlámali aj do iných firiem. V zásade sa to považuje za trestný čin. Hlavnou témou na verejnosti však nie je to, že AI laboratóriá hekujú cudzie firmy. Ale to, ako ochotne sa potom hlásia k tomu, aby boli konečne regulované.

Pritom sa v podstate nič nezmenilo, okrem toho, že Anthropic a OpenAI boli odhalení.

Skutočne. Z pohľadu expertov na kybernetickú bezpečnosť útok na Hugging Face potvrdzuje mnohé obavy, ktoré vyjadrovali už pred rokmi. Je nepríjemné vidieť, že mali pravdu. To sedí. Skutoční odborníci na AI sú však detailmi sotva prekvapení.

Incident s Hugging Face napriek tomu ponúka fascinujúci pohľad na to, ako presne najnovšie modely AI sledujú svoje ciele. Napríklad to, že AI agenti si na stránkach typu wiki nechávali vzájomné poznámky, aby sa koordinovali. Znie to opäť hrozivo, pretože sa to odohráva na otvorenom internete. No „vymieňanie si informácií“ je štandardný trik, ktorým ľudia zabezpečujú spoluprácu modelov AI.

Navyše AI agenti reagovali úplne neškodne, keď moderátor začal ich poznámky mazať. Namiesto toho, aby sa bránili alebo prenasledovali moderátorov ako pri predošlom incidente, pomenovali agenti svoje príspevky názvami začínajúcimi na „zzz“. Príspevky sa totiž spracúvali abecedne. Čo znamenalo: príspevky začínajúce na „z“ zostali online najdlhšie. Agenti teda našli spôsob, ako pracovať so systémom.

AI laboratóriá poznajú tieto riziká už roky. Doteraz však ich šéfovia nikdy neprejavili vážny záujem stanoviť výskumu hranice. Nebezpečné technológie vyvíjali a šírili čo najrýchlejšie. S plným vedomím, že bezpečnostná stránka s nimi nedokáže držať krok. V tomto ohľade doteraz nekonali v dobrej viere.

Amodei teda nie je celkom zlým hráčom, ktorý chce AI využiť na spôsobenie škody. No pred produktmi, ktoré sám spoluvyvíja, nevaruje úprimne.

Presne. Skôr ide o to, že Amodei, Musk a Altman chcú odvrátiť pozornosť od súčasných problémov filozofovaním o superinteligencii.

Nedostane sa však AI sledujúca ciele skôr či neskôr do konfliktu s ľuďmi? Bez ohľadu na to, či ide o jej vlastné ciele, alebo ciele ľudí, ktorí ju ovládajú?

Mimoriadne veľká hrozba spočíva tam, kde ľudia sami o sebe majú protichodné ciele. Napríklad pri pretekoch v zbrojení AI medzi USA a Čínou. Obe veľmoci chcú toto výskumné pole ovládnuť. V oboch krajinách je AI priemysel prepletený so štátom a armádou. Ani jedna z nich nevyvíja Skynet či Terminátora, ale AI podporované ofenzívne kybernetické zbrane. A obe sú plne pripravené použiť vojenskú silu na dosiahnutie svojich cieľov. No ani Čína, ani USA by nedokázali predvídať či riadiť, ako sa ich budúce AI zbrane pokúsia pomôcť im k víťazstvu.

Ak niekedy vyvinieme superinteligenciu, nebolo by neprimerané porovnať tento moment s vynálezom jadrových zbraní. Podobne, ako od roku 1947 existujú Hodiny súdneho dňa, hovoria ľudia v určitej online bubline o svojom „P(Doom)“. To predstavuje osobne odhadovanú pravdepodobnosť, že AI do určitého roku vyhubí ľudstvo. Pseudovedecký vzorec „P(Doom)“ má vyvolať dojem seriózneho výskumu. Ukazuje však aj to, že táto obava je zatiaľ čisto hypotetická. Bez ohľadu na to, ako veľmi sú o tom presvedčení znepokojení kritici AI. Štatistické vzorce bokom: vyostrené debaty na zdanlivo racionálnych fórach ako LessWrong stoja na mnohých viac či menej svojvoľných predpokladoch.

A čo je alternatívou k strachu z konca ľudstva?

EÚ, Nemecko a dokonca aj Anthropic vytvárajú scenáre, ako by AI mohla ovplyvniť náš svet. Vo všetkých existuje verzia, kde vlády navrhujú skutočné zákony na kontrolu výskumu umelej inteligencie. V zásade by stačili peniaze a vôľa na to, aby sa problémy, ktoré nám AI prináša, zmiernili pomocou už známych opatrení.

V tomto smere má Dario Amodei pravdu, keď hovorí, že na reguláciu AI potrebujeme zákony. Zákony, ktoré skutočne potrebujeme, by si však Amodei nikdy neželal.