AI 2040 – Plán A

AI 2040

Plán A

Thomas Larsen, Romeo Dean, Brendan Halstead, Eli Lifland, Ryan Greenblatt, Daniel Kokotajlo

Firmy vyvíjející umělou inteligenci mezi sebou závodí o to, kdo první vytvoří AI, která bude ve všech ohledech chytřejší než lidé. V AI 2027 jsme předpověděli, že to povede buď k vyhynutí, nebo k nevratné koncentraci moci.1

Plán A je naší pozitivní vizí toho, co by se místo toho mělo stát.

V tomto scénáři lidstvo odloží vývoj superinteligence až na rok 2040, zveřejní veškerý výzkum AI, umožní desítkám firem po celém světě dohnat technologickou špičku a záměrně vstupíme do režimu vzájemně zaručeného zničení výpočetní kapacity.

Co je Plán A?

Plán A je naší pozitivní vizí toho, jak se lidstvo může vyhnout existenční katastrofě způsobené umělou inteligencí a dospět ke vzkvétající budoucnosti. Vychází z rozhovorů s odborníky z předních amerických AI firem na špičce oboru, z přímé zkušenosti z OpenAI, ze simulačních cvičení (tabletop) a z diskusí s tvůrci legislativy, experty na národní bezpečnost a předními odborníky na politiku AI. Doporučujeme mezinárodní dohodu, která by zabránila nebezpečnému závodu o superinteligenci. Dohoda zahrnuje úplnou transparentnost výzkumu ve vývoji AI, což umožňuje národům světa pochopit, co se děje, a vymáhat ochranná pravidla. Výsledkem je, že více firem z mnoha zemí společně pomalu a bezpečně škáluje směrem k superinteligenci, místo aby mezi sebou tajně závodily.

Plán A je především doporučením, nikoli předpovědí. Tento scénář není naším nejlepším odhadem toho, jak bude budoucnost ve skutečnosti vypadat. Je spíše prostředkem ke komunikaci a zátěžovému otestování našich politických doporučení. Zatímco zavedení Plánu A je doporučením a nikoli tím, co skutečně očekáváme, následně vylíčené dopady jsou předpovědi.2

V tomto scénáři AI 2040 je Plán A zaveden úspěšně, byť nedokonale a doslova v hodině dvanácté.

Plán A stavíme do kontrastu se 4 alternativními plány (B, C, D a S), které odpovídají hlavním způsobům, jimiž by USA mohly (či nemusely) reagovat na výzvy superinteligence.3

Proč jsme to napsali?

AI firmy pravděpodobně dosáhnou svého deklarovaného cíle vytvořit AI systémy chytřejší než člověk během příštích 1 až 10 let.

Odvětví samo sebe přesvědčilo, že ovládání superinteligentní AI se dá vymyslet za pochodu, a nemá tudíž ani vzdáleně adekvátní plán. Považujeme tuto situaci za hroznou a snadno by nás všechny mohla stát život.4 Neočekáváme, že ten, kdo „vyhraje závod“, bude mít výrazný náskok, ani že by jednostranně zpomalil, aby snížil existenční riziko.5 Pokud tento závod bude pokračovat,6 neočekáváme, že si lidé udrží účinnou kontrolu, jakmile se jejich AI stanou superinteligentními.7

Navíc i kdyby AI firmy své AI nějak hodnotově zarovnaly, výsledkem bude bezprecedentní koncentrace moci — tedy situace, kdy nepatrná skupinka lidí, nebo možná jen jediný jednotlivec, bude po několik měsíců fakticky ovládat jedinou armádu superinteligencí na světě a tyto superinteligence jí předloží různé možnosti, jak postupovat, z nichž některé budou de facto znamenat převzetí moci nad světem.8

Pokud můžeme soudit, generální ředitelé OpenAI, Anthropicu, xAI a Google DeepMindu tomu rozumějí a přesto v tom pokračují, snad proto, že se považují za menší zlo a věří, že svou nesmírnou moc použijí zodpovědně, na rozdíl od konkurenčních ředitelů nebo Si Ťin-pchinga.9

Ačkoli souhlasíme s tím, že je obecně správné volit menší zlo, nemyslíme si, že bychom měli obhajovat strategii s tak děsivě vysokou pravděpodobností, že povede k vyhynutí lidstva nebo ke globální diktatuře. Místo toho chceme obhajovat něco, co je skutečně dobré. Pokud tak učiní dostatek lidí, může se to stát.

A tak jsme sepsali scénář, který takový možný svět zachycuje.

Proč scénář?

„Plány jsou bezcenné, ale plánování je vším.“ – Dwight D. Eisenhower

Domníváme se, že většina návrhů AI legislativy se rozpadne pod tíhou scénářového prověření — tedy pokud se pokusíte sepsat podrobný a věrohodný scénář, v němž daný návrh uspěje, zjistíte, že je to obtížné, a uvědomíte si, že plán má menší šanci na úspěch, než se zdálo, nebo že má více nepříjemných vedlejších účinků, než jeho zastánci připouštěli.

Snad právě proto je scénářové prověření v politice AI tak vzácné. Každý chce tvrdit, že jeho vlastní oblíbené návrhy budou mít skvělé důsledky a že návrhy jeho rivalů budou mít důsledky hrozivé. Uplatnění scénářového prověření na vlastní návrhy by mohlo odhalit jejich nepříjemné slabiny; zatímco uplatnit scénářové prověření na návrhy rivalů je spousta práce s malým rétorickým ziskem.10

Domníváme se, že debata by se zlepšila, kdyby bylo scénářovému prověření podrobeno více návrhů AI legislativy. Začínáme tedy tím vlastním, i když se tím vystavujeme kritice. Doufáme, že nás kritici budou poměřovat vůči stávajícímu nejlepšímu dostupnému stavu plánů, jak zvládnout přechod k AI (pokud nějaké najdou), a nikoli vůči nějaké mlhavé, leč příjemné fantazii, v níž nikdo zatím nemusí činit žádná těžká rozhodnutí, a přesto bude nejspíš všechno v pořádku.

A jak naložit s nesmírnou obtížností předpovědět, jaký účinek by naše politika měla ve světě blížícím se nadlidským AI? Je to jako snažit se předpovědět, jak nejlépe vést třetí světovou válku, jenže je to ještě větší odklon od minulých případových studií. Přesto se vyplatí se o to pokusit, stejně jako se americké armádě vyplatí do nejmenších podrobností rozehrávat scénáře ohledně Tchaj-wanu. Existují i další precedenty: zpravodajské služby, klimatické orgány i úřady pro připravenost na pandemie se spoléhají na různé druhy scénářového plánování.

Časové odhady AI?

Plán A je naším ambiciózním návrhem toho, co dělat, a rádi bychom viděli něco takového brzy uvedeno do praxe, protože si nejsme jisti, kolik času zbývá.11 Pro účely napsání konkrétního scénáře však potřebujeme konkrétní časovou osu.

Časová osa tohoto scénáře je:

  • V roce 2029 se USA a Čína dohodnou, že se vyhnou bezhlavému závodu o superinteligenci.
  • V roce 2030 bychom plně zautomatizovali výzkum a vývoj AI, což by do konce roku vedlo k superinteligenci. Díky dohodě se tomu vyhneme.
  • Mezi lety 2030 a 2035 škálujeme v rámci lidského pásma, k AI zhruba tak schopným jako špičkoví lidští experti.
  • V roce 2035 se pozastavíme na úrovni AI odpovídající špičkovému lidskému expertovi, abychom udrželi lidskou kontrolu.
  • V roce 2040 pauzu ukončíme a vyškálujeme k superinteligenci.12 (Odtud název: AI 2040)

V našem předchozím scénáři, AI 2027, AI v roce 2027 plně zautomatizovala proces stavby chytřejších AI, což ještě téhož roku vedlo k explozi inteligence a superinteligenci. Dvě odlišnosti v tomto scénáři jsou (1) výchozí časová osa je nyní 2030 a (2) díky vládním opatřením se obecně nadlidské AI poprvé objevují až v roce 2040.

Výchozí časovou osu jsme změnili, protože chceme, aby naše portfolio scénářů odráželo naši nejistotu ohledně časových odhadů AI. Rok v názvu AI 2027 byl zvolen proto, že v době, kdy jsme začínali psát, se Daniel domníval, že je zhruba 50% šance, že věci půjdou takto rychle nebo rychleji.13 V době, kdy jsme začínali psát Plán A, byl odpovídajícím rokem pro Thomase rok 2030. Daniel si v současnosti myslí, že věci půjdou pravděpodobně poněkud rychleji, než je vylíčeno v tomto scénáři; více o názorech našeho týmu na časové odhady si můžete přečíst zde a zde.

Vládní opatření jsme změnili proto, že tento scénář je především doporučením, nikoli předpovědí. Provést explozi inteligence plnou rychlostí je nesmírně bezhlavé a koncentruje moc do extrémní míry.

2027: Varovná znamení

Amerika má nyní dvě pracovní síly. Tou první jsou lidé, 165 milionů z nich. Tou druhou jsou AI agenti: miliony kopií, které se každou hodinu spouštějí a vypínají a pracují nepřetržitě nadlidskými rychlostmi.

Většina jejich práce je brak (slop). Ale dostatek z ní je dost dobrý na to, aby lidé platili deset miliard dolarů měsíčně za AI, které (alespoň teoreticky) dokážou, na počítači cokoli, co zvládne zaměstnanec.

Existuje jedna práce, kterou chtějí AI firmy zautomatizovat víc než kteroukoli jinou — svou vlastní. Zatím se jim to nepodařilo; žádné rekurzivní sebezdokonalování se dosud nekoná.14 Zdá se však, že se blíží, a vytahují za sebou žebřík: nejsilnější programátorské AI odmítají pomáhat konkurentům s výzkumem a vývojem AI.15 I když ti nejoptimističtější zaměstnanci připouštějí, že věci trvají o něco déle, než se plánovalo, skeptici si všímají, že jejich obvyklé odbývání začíná znít dutě. Proč přesně by AI nikdy nezvládla mou práci? Co tomu přesně brání?

Kongres začíná věnovat větší pozornost. O AI slýchá už dlouho: datová centra spotřebovávající příliš mnoho vody,16 chatboti podněcující k sebevraždě, Mythos nabourávající systémy NSA — a samozřejmě lobbisté technologického průmyslu varující, že sebemenší náznak regulace způsobí, že Amerika okamžitě prohraje závod s Čínou a zbytek dějin stráví jako vazalský stát čínské komunistické strany.17

Nyní ustoupí o krok zpět a ptají se: Kam to všechno směřuje? Jak bude svět vypadat za pět, deset nebo patnáct let? Budou ještě existovat pracovní místa? Co když nebudou?

Jedna otázka jim leží v mysli obzvláště těžce: Kdo bude všechny tyto AI ovládat?

Kongres dospěje k důležité části odpovědi: Nejspíš ne my.18

Uspořádají sérii napjatých slyšení o AI. Přečtou si e-maily z OpenAI z roku 2016, které rozebírají, jak byla OpenAI založena s cílem zabránit Demisi Hassabisovi stát se diktátorem.19 Kdo ale brání Samovi nebo Elonovi stát se diktátorem? Kongres není se stávající odpovědí spokojen.

Výsledkem tohoto procitnutí je zákon o transparentnosti AI z roku 2027 (AI Transparency Act of 2027), souhrnný zákon, který dělá mnoho věcí, některé dobré a některé špatné, ale zásadně situaci nemění.20

Seznam přání pro dílčí regulaci AI

Naším hlavním doporučením je začít co nejdříve vyjednávat něco jako Plán A. V tomto scénáři však líčíme, že Plán A nastává nedokonale a doslova v hodině dvanácté. Zde je proto seznam méně ambiciózních nápadů, které přesto pomáhají.

Transparentnost

Nejdůležitějším transparenčním opatřením je omezení propasti mezi interním a externím nasazením. Právě z interně nasazených AI pochází většina rizika převzetí moci umělou inteligencí, protože jsou to AI zapojené do rekurzivního sebezdokonalování. Externě nasazené AI umožňují širší veřejnosti se schopnostmi AI pracovat a porozumět jim, což je nesmírně informativnější než jakákoli abstraktní zpráva či hodnocení.

AI firmy by rovněž měly mít povinnost zveřejňovat své specifikace modelů (podrobnou dokumentaci o tom, jaké cíle/hodnoty se snaží své AI naučit dodržovat), informace o tom, zda se modely řídí svými pokyny a specifikacemi, statistiky interního využití (např. podíl výpočetní kapacity vynaložený na interní nasazení) a kvalitativní dojmy z interního používání (např. „teď už jen dáme Agentovi-4 pár set tisíc GPU a řekneme mu, ať zorganizuje další velký trénovací běh“).

Vymáhat exportní omezení

Stávající americké exportní omezení jsou vymáhány špatně. Epoch odhaduje, že zhruba třetina celkové čínské výpočetní kapacity je pořízena pašováním. Pašované čipy ztěžují vymáhání budoucích dohod založených na správě výpočetní kapacity, protože je pro americkou i čínskou vládu obtížné pašované čipy vysledovat. Máme zásadní výhrady k zavádění nových exportních kontrol, protože zostřují závod mezi USA a Čínou, ale vzhledem k tomu, že exportní omezení existují, bychom je samozřejmě měli vymáhat. Pokud je vymáhat nebudeme, měli bychom zvážit jejich zrušení.

Investovat do výzkumu a vývoje verifikace

Ačkoli nová verifikační technologie není pro mezinárodní dohodu striktně nezbytná, může být nesmírně užitečná. Například vyvinutí verifikačního řešení pouze pro inferenci by umožnilo USA a Číně dohodnout se na zastavení nových špičkových trénovacích běhů AI a přitom veřejnosti zachovat přístup ke stávajícím AI modelům (které budou stále důležitější součástí ekonomiky).

Podrobněji to rozvádíme v našem verifikačním dodatku.

Omezit rozpočty na výzkum a vývoj AI

V roce 2026 vynakládají velké AI firmy zhruba polovinu svého výpočetního rozpočtu na výzkum a vývoj AI (což zahrnuje trénování špičkových modelů i provádění rozsáhlých experimentů).21 Mohli bychom omezit podíl výpočetní kapacity vynakládaný na výzkum a vývoj AI. To by zpomalilo pokrok ve schopnostech a dalo světu o něco více času na reakci a přípravu na každou novou vlnu schopností AI.22

Sledování výpočetní kapacity AI

USA by měly shromažďovat zpravodajské informace relevantní pro AI, zejména o dodavatelském řetězci výpočetní kapacity a o datových centrech AI. Kromě toho by pro Plán A bylo užitečné nařídit AI firmám, aby přestaly recyklovat AI čipy, protože vyřazené čipy jsou jednou z nejslibnějších cest, jak si utajené projekty mohou později obstarat čipy.

Zlepšit kapacity státu v oblasti AI

Kvalitní talent v oblasti AI je důležitý téměř pro každé politické opatření. Americká vláda má právě teď špičkového AI talentu jen pramálo, takže náprava tohoto stavu by měla být naléhavou prioritou.

2028: AI jako volební téma

Volební cyklus roku 2028 je jako obvykle vyhrocený. AI je největším tématem. Datová centra, která se nyní staví, stojí dvakrát tolik než celý americký vojenský rozpočet.23

Většina kancelářských profesí zažívá otřes podobný tomu, jaký v roce 2026 zasáhl softwarové inženýrství; tato práce nyní z velké části spočívá v řízení AI agentů. AI firmy zprůmyslnily proces trénování: vedoucí pracovníci řeknou „letos se pustíme do [profese]“ a poté firma provede pohovory s profesionály, nakoupí data, vytvoří trénovací prostředí atd., dokud jejich AI nechytne. Poté se AI rychle zlepšují, jak jsou v daném oboru široce používány a nahromadí více dat z reálného světa.

Ostatní země začínají mít strach. Zdá se, že hrstka amerických a čínských firem je na dobré cestě zautomatizovat všechna úřednická místa. Moc se koncentruje v USA, a zejména v rukou prezidenta a hrstky technologických ředitelů.

Experti na AI varují, že exploze inteligence je blízko. Zrychlováním výzkumu se AI stanou ještě schopnějšími, což výzkum zrychlí ještě více, čímž se stanou ještě schopnějšími, a tak dále. Existuje složitá dynamika ohledně úzkých hrdel a hardwarových limitů, která určuje, jak rychle tento proces probíhá a kde končí, ale zdá se, že by mohl proběhnout velmi rychle a skončit někde velmi daleko.

Ve výchozím scénáři se v příštím prezidentském období AI dostane daleko za lidskou úroveň, vytvořena jinými AI. Ty samy byly zcela vytvořeny dalšími AI, aniž by byl v procesu zapojen jakýkoli člověk, po několik generací. Budou tyto AI poslušné, zarovnané atd.? Proč? A pokud ano, kdo je bude ovládat? Jak přesně má tohle všechno dobře dopadnout?

AI firmy, které lidstvo na tuto cestu uvedly, ji považují za přijatelnou. Většina lidí ale ne. Prezident zapomíná přemýšlet o svém odkazu — začíná přemýšlet o tom, co se stane jemu poté, co odejde z úřadu a svět se takto změní.24 Oba prezidentští kandidáti jsou opakovaně dotazováni, co budou dělat s AI, a během kampaně zkoušejí čím dál dramatičtější nápady. Debata poskakuje sem a tam mezi všemi níže uvedenými možnostmi, i mnoha dalšími.

Nakonec se prezident a jeho chráněnci shodnou na jednom plánu; opoziční kandidát se přikloní k jinému. A pak nastane den voleb.

2029: Vyberte si cestu

Plán D · Závod k ASI

"AI nejspíš povede ke konci světa, ale mezitím tu budou skvělé firmy.“ – Sam Altman

Prezident říká, že zavede mírnou regulaci AI, aby upřednostnil inovace.

Implicitní odpovědi na velké otázky zřejmě znějí:

Výsledek vypadá zhruba takto:

Jinými slovy: o rok později, v roce 2030, se AI firmám podaří plně zautomatizovat výzkum a vývoj AI. Rozpoutá se exploze inteligence a superinteligence dorazí začátkem roku 2031.

Jak by to vypadalo? Jak by se to vyvíjelo? Inu, o tom už jsme scénář napsali, jmenuje se AI 2027. Líčí start rozletu v roce 2027 namísto 2030, ale strategická situace a učiněná rozhodnutí jsou velmi podobné. Doporučujeme, abyste si jej nyní přečetli a u rozcestníku zvolili konec „Závod“.

Domníváme se, že Plán D je otřesný, a to ze tří hlavních důvodů:

Za prvé, neočekáváme, že si AI firmy udrží kontrolu nad svými AI skrz explozi inteligence, pokud budou závodit zhruba tak rychle, jak jen dokážou.47

Za druhé, i kdyby to proběhlo jinak a výsledné superinteligence byly robustně zarovnané, stále zůstává otázka „S kým jsou zarovnané?“ a domníváme se, že odpověď Plánu D na tuto otázku je nepřijatelná. Bude příliš mnoho lákavých příležitostí, aby se generální ředitel nebo prezident stal diktátorem s podporou AGI, a obecně se zdá, že by tento plán vedl k nejšílenější koncentraci moci v dějinách.

A konečně, riziko třetí světové války je příliš vysoké: co si má za Plánu D myslet Čína? A co Rusko? Co Indie, Evropa, Brazílie? Každá země si nakonec uvědomí, že se USA chystají provést — nebo už provádějí — explozi inteligence. Budou se obávat toho, co bude následovat. I kdyby si nedělaly starosti s nezarovnaností (misalignment) nebo AGI diktaturami, budou se obávat, že je USA ovládnou ekonomicky i vojensky.

Napětí prudce vzroste. Eskalace je pravděpodobná — rétorika, sankce, sabotáže a (pokud nedojde k dohodě) nakonec možná i válka.

Plán C · Spálit náskok

„Musíme minimalizovat rizika a maximalizovat přínosy AI“ – zhruba každý v politice, přičemž ale doporučuje, abychom dělali jen velmi málo.

Prezident říká, že zavede silnou regulaci, aby zajistil bezpečnost a ochranu.

Následující rok stráví rozhovory se všemi mocnými aktéry — generálními řediteli, Čínou i řadou dalších zemí. Mezi summity a návštěvami čte prezident zprávy o soustavném nárůstu schopností AI systémů. AI firmy léta vytrubovaly své schopnosti rekurzivního sebezdokonalování („Představujeme náš nejvýkonnější model… u našich partnerů s předběžným přístupem je schopen plně nahradit průměrného softwarového inženýra“), ale částečně díky zákonu o transparentnosti AI dokáže vláda tuto přehnanou reklamu prohlédnout. Tentokrát, v roce 2030, je to doopravdy; trendy skutečně naznačují, že celý proces výzkumu a vývoje AI bude do konce roku plně zautomatizován.

Je čas uzavřít dohodu. Číňané bohužel trvají na tom, že musí být schopni dodržování dohody sami ověřovat, jenže vpustit čínské inspektory a monitorovací zařízení do amerických datových center je nepřijatelné. Ani AI firmy nebudou spolupracovat; jsou zaklesnuty v mimořádně ošklivé propagandistické válce o to, zda platí „AI je dobrá“, nebo „AI je špatná“, a pevně se hlásí ke straně „AI je dobrá“.

Velká část veřejnosti hlasitě volá po zákazu superinteligence a firmy zuby nehty bojují za to, aby prezidentovi svázaly ruce a odradily ho od jakéhokoli kroku proti nim. Na druhé straně stále rostoucí koalice středních mocností — Velká Británie, Francie, Indie, Austrálie, Japonsko a Jižní Korea — se všechny hlasitě dožadují nějaké dohody o AI, která by zabránila explozi inteligence a zajistila, aby země jako ony mohly mít vlastní suverénní AI projekty, které doženou technologickou špičku a udrží se na ní. Takovou dohodu je s každým dalším měsícem stále obtížnější uskutečnit, neboť k provádění výzkumu a vývoje AI je zapotřebí čím dál méně lidí, což znamená, že je čím dál snazší provádět tajné projekty bez odhalení.

Na prahu úplné automatizace výzkumu a vývoje AI vedoucí americká firma neochotně souhlasí s pauzou. Prezident jí hrozí rozhodným postupem, pokud postoupí hlouběji do exploze inteligence; mezitím zkouší další kolo mezinárodních jednání. Bezpečnostní týmy horečně využívají svůj vypůjčený čas, provádějí další evaluace, dolaďovací běhy a rozehrávají, jak vypadá předání štafety a jak různě by se mohlo pokazit.

Nevydrží to. S každým dalším měsícem se zbytek amerického AI průmyslu blíží ke stejné úrovni schopností a prezident musí zvládat víc generálních ředitelů. Ještě důležitější je, že s každým dalším měsícem se Čína o měsíc přibližuje předstižení USA. Koncem roku 2030 prezidentovi poradci tvrdí, že Čína se chystá USA předběhnout, a argumentují, že musíme závod obnovit. Mezitím se firmy semkly, zkoordinovaly a vyvinuly na prezidenta obrovský politický tlak, aby pauzu ukončil. Cukr je následující:

Bičem je Čína. Nechcete přece, aby vyhráli, že ne?

Prezident má jedno poslední jednání s Čínou a ostatními zeměmi. Stále chtějí dohodu, ale trvají na tom, že musí být schopni ověřovat dodržování ze strany USA. Americká vláda to nadále považuje za nepřijatelné. Prezident se přikloní na stranu firem; rekurzivní sebezdokonalování pokračuje.

Jak by se to vyvíjelo?

O tom už jsme scénář napsali, jmenuje se AI 2027. Líčí start rozletu v roce 2027 namísto 2030, ale zobrazuje podobnou strategickou situaci a podobná učiněná rozhodnutí. Doporučujeme, abyste si jej nyní přečetli a u rozcestníku zvolili konec „Zpomalení“.

Domníváme se, že Plán C je lepší než Plán D, ale i tak je to špatný plán, a to ze tří hlavních důvodů:

Za prvé, neočekáváme, že si AI firmy udrží kontrolu nad svými AI, zatímco spolu závodí skrz explozi inteligence, i kdyby na pár měsíců zpomalily a přesměrovaly úsilí na výzkum zarovnání a kontroly.44

Pár měsíců zpomalení pravděpodobně nestačí. V Plánu C jsou bezpečnostní týmy těchto firem stále příliš malé, příliš uspěchané a příliš zaujaté optimismem ohledně vlastního díla na to, aby přišly na to, jak vytrénovat AI, které dokážou provést explozi inteligence tak, aby skončila dobře. I když se AI, jimž předají štafetu, zpočátku jen snaží dělat, co se jim řekne, mohou si to později rozmyslet; i kdyby AI pokyny dále dodržovaly, budou být i ony uspěchané a mohou přehlédnout nějaký nosný, avšak mylný předpoklad ve svých bezpečnostních argumentacích45; a i kdyby k tomu nedošlo, mohlo by se to stát u AI příští generace, nebo té následující, a tak dále.

Za druhé, i kdyby to bylo jinak a výsledné superinteligence byly robustně zarovnané, stále zůstává otázka „S kým jsou zarovnané?“ a domníváme se, že odpověď Plánu C na tuto otázku je děsivá.

Situace je méně špatná než v Plánu D; alespoň nyní byly učiněny ústupky, které vytvářejí jakousi rovnováhu moci mezi Kongresem, prezidentem a několika řediteli amerických technologických firem. Tato rovnováha by se však stále mohla zvrhnout v mocenský boj následovaný diktaturou, a i kdyby ne, zdá se věrohodně namířena k nějaké trvalé oligarchii vynucované AI.46 Nezaměstnané masy budou pravděpodobně udržovány naživu prostřednictvím přerozdělování, ale získají ještě někdy skutečnou politickou moc? A co zbytek světa — až americké a čínské firmy převezmou všechna pracovní místa, co se stane s Indií, Afrikou, Evropou…? Co udělá Rusko — jednoduše se položí a zemře, jak se stane ekonomicky a vojensky zastaralým?

Což nás přivádí ke třetímu problému: riziko třetí světové války je prostě příliš vysoké. Ostatní země potřebují buď vlastní špičkové AI projekty, nebo skutečnou sdílenou kontrolu nad vedoucími projekty a vhled do nich. Sliby o sdílení přínosů nebudou samy o sobě přesvědčivé, protože řeči nic nestojí.

Plán B · Boj s Čínou

"Uvidíme se v poušti, přátelé" – Situational Awareness

Prezident oznamuje vytvoření koalice vedené USA, která bude řídit vývoj AI.

Vysvětlí národu závažnost situace. Pokročilá AI může být bezpečná i všeobecně prospěšná, pokud se udělá správně. Pokud však budeme šidit bezpečnost, mohli bychom ztratit kontrolu. Navíc by ji teroristé a autoritářské režimy mohli využít ke zlým účelům.

„Národy, které se k nám připojí a budou hrát podle pravidel, budou mít přístup ke špičkové AI a budou se podílet na jejích přínosech. Národy, které tak neučiní, se stanou našimi protivníky. Řeknu to jasně: nedovolíme jim předběhnout nás k superinteligenci. To je nesmlouvavé. Pokud se rozhodnou závodit, rozhodují se pro prohru. Svobodný svět musí zvítězit, a zvítězí.“

Ostatní země se ptají, jak budou moci ověřit, že USA dodržují vlastní pravidla, a s odpovědí nejsou spokojeny. (Odpověď zní „nemůžete, promiňte“, ale v mnoha, mnoha dalších slovech.) Vpustit zahraniční inspektory a monitorovací zařízení do amerických datových center je nepřijatelné.

Některé země to snesou a vloží svou důvěru do amerického vedení, snad výměnou za to, že budou mít nějaké slovo v tom, jaká pravidla platí. Čína, Rusko a několik dalších zemí nikoli. Mnoho amerických spojenců, kteří se přece jen připojí, tak činí neochotně a nadále na USA tlačí, aby učinily podstatnější ústupky.

USA a Čína už proti sobě dříve prováděly kyberšpionáž; nyní eskalují k omezené kybernetické válce zaměřené na AI projekty. Rovněž začínají připravovat možnosti fyzické sabotáže a kinetických úderů a nadále na sebe křičí diplomatickými kanály v naději, že druhá strana ustoupí.36

Začíná Projekt, který slučuje pracovní sílu, výpočetní kapacitu a algoritmy hlavních amerických firem do jednoho společného úsilí, jež v konečném důsledku ovládá prezident. Je motivován zčásti snahou získat výhodu z rozsahu, zčásti snahou zvýšit bezpečnost a zčásti atmosférou studené války. Kvůli níž se zdá zřejmé, že o všem má rozhodovat prezident, a nikoli nějaká hrstka nevolených generálních ředitelů. Koneckonců dopady této technologie na národní bezpečnost jsou obrovské.

Rozjezd Projektu vyžadoval několik ošemetných jednání; prezident nechtěl, aby se proti němu sjednotil celý AI průmysl, a tak je poštval proti sobě tím, že některým slíbil vedoucí pozice. (Navíc potřebuje mnoho jejich zaměstnanců k tomu, aby to celé vůbec rozběhli.) Tito mocní muži se navzájem nenávidí a nedůvěřují si. Ačkoli si před kamerami potřesou rukama a usmějí se, v zákulisí probíhá nelítostný mocenský boj. To bude vedlejší dějová linka všeho, co bude následovat, dokud se tak či onak nevyřeší.37

V roce 2030 dosáhnou USA plné automatizace výzkumu a vývoje AI před Čínou. Podle plánu se však do toho nepustí okamžitě plnou rychlostí. Namísto toho provádějí opatrnější škálování, přičemž rozhodnutí o bezpečnosti činí techničtí výzkumníci zarovnání namísto politiků.38 Například se možná vzdají nové architektury modelu, která je schopnější, ale zároveň mnohem nebezpečnější, nebo vynaloží 50 % své výpočetní kapacity na bezpečnostní výzkum a monitorování, nebo vyvinou různé linie AI, které pravděpodobně nemají stejné nezarovnané cíle a lze je použít k vzájemnému monitorování.

Učinit tyto kompromisy správně je těžké. Utajení a dynamika závodu to ztěžují ještě více. Technickou expertízu v oblasti zarovnání má v Projektu jen několik desítek lidí, protože každý člověk v Projektu je o jednoho potenciálního špiona navíc. Rozhodující činitelé si přitom živě uvědomují, jak špatné by bylo, kdyby Čína předběhla USA ve schopnostech AI — bylo by to jako prohrát *druhou světovou válku —* a to je svádí k tomu, aby si zdůvodňovali, proč budou nejnovější bezpečnostní argumentace fungovat a proč lze nejnovějším americkým AI svěřit více odpovědnosti.39

Mezitím geopolitická situace eskalovala. Kyberútoky napáchaly určité škody, ale nezpomalily pokrok AI ani jedné země o víc než pár desítek procent.40 Po dalším kole neúspěšných jednání začíná fyzická sabotáž. Datová centra zhasínají, jak je jim odpojeno napájení; drahé vybavení továren na čipy ničí sabotéři. Útoky na dodavatelský řetězec nutí obě strany měnit dodavatele a vše prověřovat, což způsobuje zpoždění. Čínské síly se chystají zablokovat Tchaj-wan a připravují možnost zasáhnout datová centra na kontinentálním území USA; americké síly se chystají bránit Tchaj-wan a bombardovat čínská datová centra a továrny na čipy. Obě strany upřednostňují nasazení AI do svých armád před civilními aplikacemi, ačkoli většina výpočetní kapacity je vyhrazena pro samotný výzkum a vývoj AI.

Do roku 203141 na prezidenta jeho poradci naléhají, aby si vybral jednu ze dvou nepříjemných možností: předání štafety, nebo válku.

Předání štafety. Povolit brzdy autonomnímu výzkumu a vývoji AI, nechat AI stát se všeobecně nadlidskými a začlenit „armádu géniů v datových centrech“ do armády — to se jeví čím dál pravděpodobnější. V tu chvíli budou AI tak schopné, že by mohly ovládnout svět, pokud by chtěly, takže bude nesmírně důležité, aby byly zarovnané. Pokud bude zvolena tato cesta, rozpětí možných výsledků je podobné tomu, jaké zkoumá AI 2027. Pokud jsou AI nezarovnané, převezmou moc a trvale připraví lidstvo o vliv, což způsobí vyhynutí nebo něco podobně zlého. Pokud jsou AI zarovnané, moc se masivně zkoncentruje do nějaké kombinace politiků a/nebo generálních ředitelů.

Válka. Analytici prezidenta informují, že navzdory stávajícím kyberútokům a útokům na dodavatelský řetězec je Čína na dobré cestě sama vybudovat superinteligenci do konce roku. Aby tedy USA zpomalily více — a vyhnuly se bezprostřednímu předání štafety — je zapotřebí ještě drastičtější sabotáž. Na stole je další eskalace do plnohodnotného konvenčního konfliktu a ta bohužel může nastat i tehdy, když se prezident rozhodne pro předání štafety, protože Čína možná neblafuje; možná skutečně považuje to, že by USA dosáhly superinteligence jako první, za podobně zlé jako prohru ve druhé světové válce. To by pravděpodobně vyústilo ve velmi nákladné vítězství USA, ale mohlo by to skončit i velmi nákladným vítězstvím Číny nebo vzájemně zaručeným zničením. Navíc by tlak na škálování schopností AI a na svěřování stále více aspektů války do rukou AI byl intenzivní. Je věrohodné, že do konce války by AI fakticky ovládaly oba národy.

Z Plánu B máme rozporuplné pocity.

I dobře provedená verze Plánu B by byla výrazně horší než Plán A nebo Plán S. Na konci tohoto scénáře bychom prezidentovi doporučili, aby odmítl volbu mezi předáním štafety a válkou a místo toho se rozhodl přejít k Plánu A nebo jinému skutečně dobrému plánu.

Dobře provedená verze Plánu B by mohla být lepší než Plán C (nesabotovat Čínu, ale přesto trochu zpomalit), protože dobře provedený Plán B by byl jako Plán C, jen s delším obdobím zpomalení/pauzy, než Čína dožene náskok, a to díky agresivním krokům k jejímu zpomalení. Toto delší období by bylo možné využít k provedení dalšího výzkumu zarovnání, k prosazování nákladnějších, ale bezpečnějších návrhů AI a k zavedení dalších domácích reforem, které by zabránily koncentraci moci.

To řečeno, riziko války je za Plánu B vysoké z toho zřejmého důvodu, že Plán B vyžaduje agresivní kroky ke zpomalení čínského AI programu. Takže ani nejlépe provedená verze Plánu B není jednoznačným zlepšením oproti Plánu C.

Ještě důležitější je, že Plán B lze podle nás velmi snadno pokazit nebo pokřivit a jeho silně pokřivená či nekompetentní verze by byla katastrofální.42 Například USA by mohly provést sabotážní část Plánu B, ale už ne část „pojďme skutečně zpomalit“. To by přineslo všechny nevýhody současného stavu (Plán D), navíc s extra dávkou koncentrace moci a s ranou eskalací proti Číně, která by ztížila pozdější přechod k Plánu A.43

Zde je několik důvodů, proč i upřímný pokus o Plán B může v praxi skončit spíše jako Plán D:

  1. Vysoké zaměření na poražení Číny povede k upřednostnění bezpečnosti; to omezí transparentnost; výsledkem bude velmi malý počet výzkumníků AI etiky s přístupem k aktuálním informacím a modelům.
  2. Dynamika závodu stále pokračuje a bude se časem jevit čím dál intenzivněji; to vytváří špatné motivace, šizení a racionalizaci.
  3. Slučování firem a sekuritizace AI vývoje nesmírně koncentruje moc do rukou prezidenta, pokud nejsou zavedena velmi silná opatření, která by Kongresu a soudní moci poskytla důkladný dohled nad tím, co Projekt dělá.
  4. Dynamika závodu také přispěje k tomu, že Čína, Rusko a řada dalších zemí budou mít čím dál větší strach, což přispívá k eskalaci, a navíc v Plánu B USA podnikají eskalační kroky ke zpomalení čínského AI programu!

Plán A · Ověřené zpomalení

„Důvěřuj, ale prověřuj“ – Ronald Reagan

Prezident oznamuje, že USA budou usilovat o mezinárodní spolupráci, aby se vyhnuly bezprostřední explozi inteligence.

„Tento šílený závod k superinteligenci musí skončit. Příliš dlouho jsme se hnali za menšími zly a nejméně špatnými řešeními. Potřebujeme Plán A. Ve vývoji AI můžeme pokračovat, ale musíme to dělat opatrněji, transparentněji a se zapojením mnohem více zemí a firem.“

K překvapení mnoha lidí ve Washingtonu se Čína ukáže jako vstřícná. Na své straně Pacifiku debatovali o týchž otázkách — společenská destabilizace, ztráta pracovních míst, superinteligence mimo kontrolu. Těšili se na „Čínské století“ a domnívali se, že AI by mohla jejich plány narušit. A měli jeden důvod navíc usednout k jednacímu stolu: USA mají nadále více výpočetní kapacity, více datových center a lepší modely. Obávali se toho, co by jim USA mohly provést, kdyby dosáhly superinteligence jako první.48

Proč by Čína měla mít o dohodu zájem? Proč by ji měl mít kdokoli?

Nejsme si jisti, ale očekáváme, že dohoda v duchu Plánu A (popsaná níže) by byla pobídkově slučitelná téměř pro každého, včetně Číny. Více o tom, proč si to myslíme, se dozvíte ve zbytku let 2029 a 2030, který vysvětluje jak to, co dohoda obnáší, tak komu prospívá, a možná si přečtěte i tento dodatek.

Stručně řečeno, odpověď zní, že každý, kdo se obává ztráty kontroly, by měl Plán A považovat za zlepšení, spolu s každým, kdo se obává koncentrace moci — kromě těch lidí, u nichž by se moc ve výchozím stavu zkoncentrovala.

Z těchto důvodů očekáváme silný odpor vůči Plánu A ze strany vedoucích AI firem. Očekáváme, že si zdůvodní argumenty, proč je dohoda špatná a proč je místo toho pro Ameriku a lidstvo nejlepší jiná strategie, která jim shodou okolností umožňuje pokračovat v hromadění obrovské moci.

Čína je naproti tomu příkladem aktéra, u něhož by se moc ve výchozím stavu nekoncentrovala. V tomto scénáři mají USA v roce 2029 značný náskok ve schopnostech AI před Čínou a značnou výhodu ve výpočetní kapacitě, která bude náskok dále znásobovat. Čím mocnější AI bude, tím děsivější bude zaostávat, jak ilustruje AI 2027 a pozdější roky v tomto scénáři.

USA a Čína si navzájem nedůvěřují. Naštěstí ani nemusí: Plán A obsahuje ustanovení pro ověřování dodržování. Jeho zavedení však bude nějakou dobu trvat.

Prozatím tedy začínají něčím hrubým. Po zbytek roku 2029 dočasně zastaví trénování AI, protože to je relativně snadné ověřit. V roce 2030 už budou mít připravenou infrastrukturu, aby mohli pokračovat Plánem A.

2029: Překotná jednání

USA a Čína vyjednají řadu dohod, jejichž výsledkem se nakonec stane Plán A.

  • Deklarace výpočetní kapacity
  • Pozastavit trénování
  • Získat celosvětovou podporu
2030: Plán A je ustaven

Konsorcium vyjedná zásady správy.

  • Získat čas
  • Úplná transparentnost výzkumu
  • Široce rozšířit AI
  • Navratitelnost

Akciový trh divoce kolísá nahoru a dolů v reakci na zprávy a komentáře o zásadních opatřeních, která se přijímají. Všichni křičí, že to zachází příliš daleko, nebo naopak že to nezachází dost daleko. Trh se do konce roku uklidní, ale křik bude pokračovat.49

Krok 1: Deklarace výpočetní kapacity

Ani jedna země nechce zastavit vlastní trénování AI, dokud neuvidí, že druhá strana zastavuje také.

Naštěstí trénování AI vyžaduje velké množství AI čipů. Většina AI čipů je v obřích datových centrech.50 AI datová centra jsou obvykle dostatečně velká na to, aby byla vidět z vesmíru, a dostatečně náročná na energii, aby vyžadovala nápadnou infrastrukturu. Nové AI čipy lze vyrábět pouze v hrstce výrobních závodů (fabů), umístěných převážně na Tchaj-wanu, v Jižní Koreji, USA a Číně.

Datové centrum Stargate a stroj pro extrémní ultrafialovou litografii

Vlevo: datové centrum Stargate společnosti OpenAI. Vpravo: stroj pro extrémní ultrafialovou litografii (EUV), patrně nejsložitější stroj, jaký kdy lidstvo vytvořilo. EUV stroje jsou nezbytné pro výrobu špičkových AI čipů a vyrábí je jediná nizozemská firma, ASML.

USA a Čína vyjednávají se zeměmi, které hrají významnou roli v dodavatelském řetězci čipů, a požadují po každém velkém vlastníkovi datového centra (a jeho dodavatelích výše v řetězci, včetně čipových fabů), aby veřejně deklaroval své významné nákupy a prodeje.51 Analytici z mnoha zemí a institucí mohou seznam pročítat, klást otázky a zpochybňovat anomálie. Soupeřící mocnosti si také navzájem posílají inspektory do své infrastruktury a ujišťují se, že uvedená čísla jsou přesná. Do konce roku má každá strana jistotu, že druhá neskrývá více než zhruba 1 % výpočetní kapacity AI a že všechny potenciální zdroje nové výpočetní kapacity jsou monitorovány a evidovány.52

Krok 2: Pozastavit trénování

Odlišit nebezpečné AI od bezpečných bude vyžadovat více času a porozumění, takže prozatím volí jednoduché řešení: dočasnou pauzu na všechny nové trénovací běhy.53

Obě strany mohou datová centra i nadále používat k provozování AI, které již existují (tj. k inferenci), ale navzájem si datová centra dovybaví zařízeními, která ověřují, že nejsou používána k novým trénovacím běhům.54

USA a Čína dokážou rychle obstarat dostatek těchto verifikačních zařízení, aby dovybavily téměř každé velké datové centrum.55

Co kdyby verifikaci pouze pro inferenci neměli připravenou?

Verifikační řešení pouze pro inferenci, které navrhujeme, obnáší instalaci jednoduchých síťových odboček a verifikačních serverů (které provádějí částečný přepočet) v AI datových centrech. Mohou ale být i lepší řešení.

Vyrobit tato zařízení předem tak, aby jim každá strana dostatečně důvěřovala (alespoň jednostranně) a aby byla odolná vůči bezpečnostním slabinám, bude těžké a bude to vyžadovat včasné úsilí. V našem scénáři předpokládáme, že životaschopná, byť nedokonalá verze zařízení je připravena předem a že obě strany je zpočátku doplní dostatkem opatření hloubkové obrany (např. detekcí neoprávněné manipulace), zatímco horečně pracují na zlepšení jejich zabezpečení a robustnosti.

Doporučujeme proto včasnou investici do výzkumu a vývoje verifikace, aby se zlepšily možnosti na stole. V ideálním případě by byla předem připravena řada zátěžově otestovaných řešení; a domníváme se, že vzhledem k celkovým investicím do AI by příprava takových zařízení předem byla extrémně levná (tj. řádově 0,1 % investic do AI, tedy jednotky miliard).

I v situaci pesimističtější, než je náš scénář, kdy od roku 2026 nebyl v podstatě učiněn žádný pokrok ve výzkumu a vývoji verifikace, stále doporučujeme, aby USA a Čína spolupracovaly na pomalém a bezpečném zvládnutí exploze inteligence. V tomto případě by však raná fáze dohody musela být nedokonalejší (tj. nějaká kombinace toho, že je obtížnější ověřit, zda druhá strana dodržuje dohodu, nebo je to ekonomicky nákladnější, protože vyžaduje, aby byla na čas vypnuta větší část výpočetní kapacity a služeb AI).

Hlavní alternativy k hotovým zařízením pouze pro inferenci jsou:

  1. Spoléhat na zpravodajství (např. špiony, satelitní monitorování, kyberprostor) k rozpoznání, zda druhá strana dohodu dodržuje.
  2. Rychle zavést dočasnou čistě softwarovou verzi (která se spoléhá na již existující hardware), jež bude méně bezpečná, ale může postačovat, než přejdou k lepšímu řešení.
  3. Na poslední chvíli skoupit a nainstalovat jako síťové odbočky jakákoli dostupná sériově vyráběná zařízení. Bez výroby bezpečnějších to bude pravděpodobně lepší než čistě softwarová verze, ale i tak ne příliš bezpečné.
  4. Vypnout určitou část výpočetní kapacity AI (např. 90 %), dokud nebude připravena lepší verifikace pouze pro inferenci. To by výzkum a vývoj podstatně zpomalilo, ale na straně inference je to méně bolestné, než to zní: protože modely se destilují tak rychle, na obsluhu nejlepšího modelu z doby o rok dřívější postačuje zhruba 10 % výpočetní kapacity. V nejhorším případě se většina uživatelů dočasně vrátí ke schopnostem AI staré rok.
  5. Nepozastavovat pokrok ve schopnostech AI a nechat jej pokračovat po ty měsíce, které zaberou rychlé vybudování řešení pouze pro inferenci, a přijmout přidané riziko z toho, že se zatím nezpomaluje.
Inspektoři z obou zemí odsouhlasí instalaci verifikačních zařízení. Pouze datová centra, u nichž se USA a Čína shodnou, že mají funkční verifikaci, smějí nadále poskytovat služby AI. Mezitím obě vlády horečně pracují na podrobnějších verifikačních možnostech, které by mohly umožnit obnovení trénování a přitom zachovat oběma stranám jistotu, že se druhá neřítí kupředu. Časová osa zavedení dohody Pět milníků od deklarace výpočetní kapacity v roce 2029 po první nové vydání špičkového modelu v roce 2030. 2029 2030 2031 02 Pauza v trénování (výkon pouze pro inferenci) 01 Začíná deklarace výpočetní kapacity 03 Obnovení výzkumu + úplná transparentnost 04 První špičkový trénovací běh 05 První nové vydání špičkového modelu Časová osa zavedení dohody – ai-2040.com

Krok 3: Získat celosvětovou podporu

Ačkoli ostatní země byly konzultovány od začátku, zejména ty, které vlastní části dodavatelského řetězce AI, Plán A začínal jako bilaterální dohoda mezi USA a Čínou. Nyní, když nabývá pevnějšího tvaru, přecházejí jednání do multilaterální roviny. Mává se cukry i biči.

Mnoho zemí mimo USA a Čínu má z dohody radost, protože se obávaly budoucnosti, v níž se hrstka amerických a čínských AI firem rekurzivně sebezdokonaluje, uniká čím dál dál dopředu a pak… co následuje, záleží na tom, koho se zeptáte, ale odpovědi sahají od možností jako „vezmou nám práci“, „navěky zabetonují svou hegemonii“ až po „všechny nás zahubí“. Chtějí proto, aby USA a Čína postupovaly pomaleji a transparentněji. To rozptýlí jejich obavy a zároveň umožní jejich vlastním AI projektům dohnat špičku.

Získat podporu je tak pro USA a Čínu překvapivě snadné.56 Do konce roku se k tomu, co se nyní nazývá Konsorcium, připojí většina světa.

Alternativní časová osa

Čína se pokouší o tajný AGI projekt

V našem hlavním scénáři se ani jedna strana nepokouší od dohody odstoupit. V této větvi Čína agresivně podvádí. Naše prognóza je, že kdyby byl Plán A zaveden, nezískala by dostatek výpočetní kapacity na to, aby předstihla konsorcium. Tato časová linie ukazuje, jak by se to pravděpodobně vyvíjelo.

Přečíst tuto časovou osu Zavřít časovou osu

Následující je v podstatě nejhorší možný scénář z pohledu USA: Čína souhlasí s Plánem A, ale tajně a agresivně od něj odstupuje.57 Domníváme se, že v praxi je to nepravděpodobné, protože pokusy dost malé na to, aby nebyly odhaleny, by byly zároveň příliš malé na to, aby poskytly významnou výhodu58 — abyste pochopili proč, čtěte dál!

Pro naši celkovou analýzu utajených projektů si můžete přečíst i náš dodatek o utajených projektech.

2028: Odklánění čipů

Čínská komunistická strana správně zpozoruje, že AI se stane dominantním vstupem geopolitické moci a že USA by mohly silně prosazovat verifikační režim založený na výpočetní kapacitě, který by mohl omezit pokrok AI. Mají zájem na takovou dohodu přistoupit, protože chtějí USA v oblasti AI co nejvíce omezit, ale nechtějí být omezovány samy.

Stálý výbor politbyra se rozhodne tiše hromadit obtížně vysledovatelné čipy.59 Čínské zpravodajské služby nakoupí ~17 % z 50 miliard dolarů špičkových serverů Nvidia, které toho roku pašeráci dopraví do Číny.60 Tyto čipy jsou prozatím uloženy v zabezpečeném skladu a zapadají prachem, dokud by se nemohly hodit.

2029: Dohoda o zpomalení

Čínská komunistická strana souhlasí s Plánem A: čínští prodejci výpočetní kapacity deklarují své prodeje a Čína vpouští osobní inspekce amerických auditorů do svých datových center a do dodavatelského řetězce polovodičů.

ČLR nedeklaruje svou skrytou zásobu propašovaných čipů za 8 miliard dolarů. Zvažují různé jiné cesty odklánění, ale usoudí, že žádné jiné nemají přijatelný poměr rizika a odměny.61

Kromě toho kybernetické operace Ministerstva státní bezpečnosti (MSS) exfiltrují váhy modelů z několika špičkových západních AI firem, aniž by byly odhaleny. Rovněž si dokážou udržet trvalý přístup k interním výzkumným repozitářům několika špičkových AI firem a kompromitovaly většinu velkých firem poskytujících RL prostředí. Zvažují i pokus prolomit verifikační schéma pouze pro inferenci, což by jim mohlo umožnit trénovat na clusterech, které mají povinnost provádět pouze inferenci, ale rozhodnou se proti tomu. Za prvé, je značná pravděpodobnost, že by Čína byla odhalena, ne-li teď, tak možná později, a odhalení by bylo katastrofální. Za druhé, i kdyby verifikaci prolomili, bude téměř neřešitelným inženýrským problémem rozběhnout rozsáhlé trénování a experimenty AI na clusteru, který je aktivně auditován právě proto, aby k něčemu takovému nedošlo.62

2030: Výstavba utajeného projektu

Čína začíná stavět svůj utajený projekt. Bude to jediné datové centrum vybudované v tunelech přiléhajících k vodní elektrárně Medog. Tato obrovská vodní přehrada bude po dokončení produkovat 60 gigawattů (trojnásobek výkonu přehrady Tři soutěsky), ale její výstavba má být hotova až v roce 2033. To je pro PLA ve skutečnosti užitečné; obrovské množství probíhající legitimní výstavby činí malé množství utajené výstavby méně nápadným.63

Jako alternativu zvažují vybudování místa v podzemní Velké čínské zdi, obří síti tunelů, kterou Čína staví a udržuje, aby si zajistila schopnost jaderného druhého úderu. To by k napájení využívalo několik malých modulárních reaktorů ACP100 o výkonu 125 MWe a odpadní teplo by odvádělo do nedaleké řeky. To je však vyhodnoceno jako méně žádoucí, protože poloha vodní elektrárny Medog umožňuje odvod tepla do podzemního tunelu, kde je obtížnější jej odhalit.

Vodní elektrárna Medog a umístění utajeného datového centra s odvodem tepla do podzemního tunelu

Vodní elektrárna Medog je pro čínský utajený projekt slibným místem zčásti proto, že řeší problém s odvodem tepla. Teplo lze odvádět do podzemního tunelu, což velmi ztěžuje odhalení pomocí infračervených satelitů.

Aby se minimalizovalo riziko úniku, bude utajené datové centrum vybudováno s co nejmenším počtem zapojených lidí.64 Budou se silně spoléhat na práci robotů; v Číně je v tuto chvíli asi 24 milionů robotů. ~10 tis. z nich je odkloněno k práci na utajeném datovém centru.65

Výzkumníci AI žijí a pracují v odděleném areálu PLA a s clusterem komunikují prostřednictvím zabezpečeného kanálu.

USA si však všimly náznaků, že evidence čipů byla méně účinná, než se očekávalo.

13 mil.Nová výpočetní kapacita v Číně, 2028Nepropašovaná kapacita10 mil. · 77 %Propašováno3 mil. · 23 %Ihned deklarováno2 mil. deklarováno= 15,4 % veškeré nové kapacity v roce 2028Utajený projekt500 tis. · 50 % odkloněno= 3,8 % veškeré nové kapacity v roce 2028Zpětný odkup400 tis. získáno zpět= 3,1 % veškeré nové kapacity v roce 2028Stále chybí100 tis. nedohledáno= 0,8 % veškeré nové kapacity v roce 2028

USA vědí, že během roku 2028 byly do Číny propašovány čipy o objemu 3 milionů ekvivalentů H100, a to díky deklaracím od Nvidie, TSMC a dalších v západním dodavatelském řetězci. 2 miliony z nich jsou díky prodejním záznamům přes různé jihovýchodoasijské zprostředkovatele vystopovány k jejich koncovému umístění v Číně, což ponechává 1 milion neevidovaný, více, než by USA čekaly, kdyby byla Čína poctivá.66

USA nyní mají nepřímé důkazy, že Čína provádí utajený projekt. To vede k obtížné volbě: mají USA od dohody odstoupit a vrátit se k závodění? Nebo pokračovat v rámci Plánu A a pokusit se přidat další pojistky proti utajeným projektům?

USA volí druhou možnost. Další pojistky, o které se pokoušejí, jsou:

  • Vyjednají výrazné snížení množství vojenské výpočetní kapacity osvobozené od verifikace, a to na 10 tis. H100e, což je z hlediska stavby lepších AI zanedbatelné množství.
  • Zesílí sběr zpravodajských informací v Číně. USA se snaží získat špiony v relevantních částech vlád a v relevantních firmách, využívají kybernetické schopnosti k proniknutí do Číny a zvyšují satelitní monitorování příslušných lokalit.
  • Zahájí program zpětného odkupu čipů, který dohledá 400 tis. z 1 milionu chybějících H100e.67

2031: Trénování začíná

Výstavba je dokončena a začíná utajené trénování a výzkum a vývoj. Samotná přehrada nebude dostavěna ještě několik let, takže mezitím bude utajený projekt potřebovat jiný zdroj energie; využijí kombinaci malých modulárních reaktorů a plynových turbín.

Začínají s vahami a algoritmy z doby před dohodou a nadále exfiltrují algoritmy (ale ne váhy) z legálních projektů.

Protože utajený projekt pracuje s extrémně omezenou výpočetní kapacitou a výzkumným talentem, soustředí se na základy. Čínští vědci vidí většinu algoritmů z legálních projektů díky Úplné transparentnosti výzkumu. Přeimplementují algoritmy na svém clusteru a shromažďují data z modelů legálních projektů, aby je použili jako součást trénovacího procesu svých modelů.68

Jak rychle to jde? Bude to odhaleno?

Zpravodajské úsilí USA nepřineslo mnoho důkazů (kromě počátečního chybějícího množství čipů) o tom, zda Čína od dohody odstupuje. Plánovači zvažují nejhorší případ — že prakticky veškerá chybějící výpočetní kapacita byla sloučena do čínského překotného programu závodícího k AGI.

  • Stále si nejsou jisti dynamikou rekurzivního sebezdokonalování, ale podařilo se jim zúžit chybové meze u mnoha klíčových parametrů.69
  • Zvažují účinek škálovací strategie Konsorcia, které je v současnosti na dobré cestě dosáhnout AI dominující nad špičkovými experty (TED-AI) do roku 2035. Za Úplné transparentnosti výzkumu budou prakticky všechny algoritmické poznatky objevené cestou viditelné pro utajené projekty.70
  • Berou v úvahu, že část bezpečnostního výzkumu může mít nevyhnutelné externality v podobě schopností. Utajený projekt může být také ochoten podstoupit větší riziko a sledovat výzkumné směry, které Konsorcium považovalo za příliš nebezpečné.71

Výsledkem je následující prognóza pokroku schopností utajeného projektu, pokud by dokázal nadále fungovat neodhalen:

Prognóza pokroku schopností čínského utajeného projektu

Za předpokladu, že by dokázal zůstat neodhalen, analytici odhadují, že utajený projekt by v tomto scénáři dosáhl TED-AI v roce 2043 (80% CI: [2036, 2055]).

Analytici rovněž odhadují, jak je pravděpodobné, že bude projekt odhalen. S přihlédnutím k red-team analýzám nejlepších strategií utajených projektů, ke schopnostem amerického zpravodajského sběru v Číně a k potenciálním převratným prvkům verifikace, jako je spolehlivá detekce lži, vypracují analytici prognózu upravenou o odhalení, která vypadá zhruba takto:72

Prognóza schopností utajeného projektu upravená o pravděpodobnost odhalení

V tomto scénáři americká zpravodajská komunita odhaduje, že pravděpodobnost, že utajený projekt dosáhne TED-AI neodhalen, zůstane až do roku 2043 pod 10 %.

Riziko plynoucí z utajeného projektu je v absolutních číslech stále nepříjemně vysoké, ale nízké ve srovnání s rizikem rozpadu dohody. Takže alespoň po prvních několik let za trvání dohody mohou pokračovat s výchozí strategií škálování schopností.73

Toto pokračuje až do jednoho ze tří možných koncových stavů:

  • Utajený projekt je příliš pomalý. Utajený projekt není schopen dosáhnout nebezpečných schopností, dohoda se nerozpadne a USA a Čína dokážou vyvinout zarovnané superinteligence dříve než utajený projekt.
  • Utajený projekt je odhalen. V tomto případě by nastalo pobouření a mezinárodní společenství by se snažilo přimět Čínu, aby jej odstavila a podřídila se silnější verifikaci, jež by poskytla silnější záruku, že dodržuje pravidla, a jinak ji za podvádění potrestat. Docela věrohodně by se dohoda rozpadla a všichni by se opět vrátili k závodění, což by vedlo k tomu, že by USA znovu vybudovaly náskok v AI před Čínou.
  • Vítězství utajeného projektu. Pokud je utajený projekt schopen rychle škálovat a vyhnout se odhalení, existuje několik děsivých možností. Utajený projekt by mohl (i) pokusit se podkopat MAD, (ii) ztratit kontrolu nad vlastními AI, nebo (iii) provést další explozi inteligence.

K dosažení vítězství musí utajený projekt zůstat neodhalen a dělat dostatečně rychlý pokrok, což je podle nás v tomto konkrétním scénáři méně než 10 %. To znamená, že strategii utajeného projektu by vůbec nemělo cenu podnikat. Toto riziko analyzujeme mnohem podrobněji v našem dodatku Utajené AI projekty.

2030: Plán A je ustaven

Technologické firmy silně tlačí na obnovení trénování AI a lobbují, aby k tomu utvářely podmínky. Velká část veřejnosti tvrdí, že bychom trénování neměli obnovit nikdy. Některé země také.

Po roce intenzivních diskusí, jednání a půtek na twitteru se rýsuje kompromis: vývoj AI bude pokračovat, ale opatrnějším, transparentnějším a rozprostřenějším způsobem.

Plán A se řídí 4 základními principy:

Princip 1: Získat čas

Problém s explozí inteligence je ta část se slovem „exploze“.

Výchozí trajektorie je bezhlavá a destabilizující. Každá země a firma závodí se svými konkurenty o dominanci v AI bez času na přemýšlení. S největší pravděpodobností spousta lidí nakonec přijde o vliv nebo zahynou. Možná nás božské AI budou vodit za nos a věk lidstva skončí. Možná nějaký generální ředitel nebo prezident nastolí trvalou diktaturu. Možná v tom chaosu vypukne třetí světová válka, protože se země bez nejlepších AI budou obávat ztráty svého vlivu. Možná bude vše překvapivě hladké a „jen“ zautomatizujeme veškerou práci a učiníme všechny nezaměstnatelnými v radikálně proměněném světě. I aspirující diktátoři s podporou AI mají obavy; předních běžců je dost na to, aby ani jeden z nich neměl více než 50% šanci na vítězství v mocenském boji.

Nikdo neví, jak poznat, zda jsou AI důvěryhodné, a nikdo neví, jak regulovat superinteligentní AI. Vyřešení těchto problémů zjevně zabere roky. Zpomalení exploze inteligence na to získává čas.

Pomáhá to také zabránit extrémní koncentraci moci, protože to skupinám, které přímo neovládají nejchytřejší AI na světě, dává více času si uvědomit co se děje, dříve než ztratí svůj vliv. Bez zásadního zpomalení rychlá exploze inteligence zkoncentruje téměř veškerou moc do nepatrné skupinky generálních ředitelů a politiků.

Proč prostě úplně nezastavíme?

O nebezpečích přílišné rychlosti bylo řečeno mnoho.

Nebezpečí přílišné pomalosti jsou méně zřejmá, ale přesto významná. Nejnaléhavější je, že smlouvy nemohou trvat věčně — například smlouvy START se po třiceti letech rozpadly.74 Pokud by Plán A potkal podobný osud, závod o superinteligenci by začal nanovo. Lepší, aby k tomu došlo dříve za dobrých podmínek, než později během chaotického závodu.

Druhým nebezpečím přílišné pomalosti je, že by mohla dát odpadlíkům dost času tajně vyvinout destabilizující AI. Auditoři ověřili umístění 99 % výpočetní kapacity vyrobené před dohodou a vidí povzbudivé známky toho, že zbytek jsou většinou účetní chyby a náhodné drobné pašeráctví. Nemohou však vyloučit, že jedna nebo obě mocnosti odeslaly řádově 1 % světové výpočetní kapacity na skrytá místa, kde hodlají od dohody odstoupit a závodit k superinteligenci samy. Jak nebezpečné by to bylo? Ačkoli je s 1 % světové výpočetní kapacity mnohem těžší vytrénovat nebezpečnou AI než s 10 % světové výpočetní kapacity (což je množství vlastněné největšími soukromými firmami), je těžké být si vysoce jist tím, jak přesně těžké. (Pro podrobnější analýzu této otázky viz náš dodatek o utajených AI projektech nebo větev Utajený projekt výše.)

Ačkoli obě strany slibují, že žádné utajené projekty nemají, je to nicméně další důvod, proč usilovat o definitivní řešení raději dříve než později.75

Více o tom, jak by mohl vypadat pokus o úplné zastavení, viz naše větev Plán S.

Princip 2: Úplná transparentnost výzkumu

Cílem je tedy vyvíjet AI přiměřeným tempem: ne příliš rychle, ne příliš pomalu. Zakázat nebezpečné druhy, povolit bezpečné. Každá země však stále reguluje svůj vlastní AI průmysl; neexistuje žádný centrální plánovač s pravomocí regulovat AI celosvětově. Jak tedy rozhodují, co povolit a co zakázat, a jak ověřují, že nikdo nešidí?

Země Konsorcia přijdou s jednoduchým rámcem na vysoké úrovni: dohodneme se, že si navzájem umožníme vidět veškerý výzkum AI. Pokud se nám pak nebude líbit něco, co někdo dělá, probereme to a možná se dohodneme, že to zakážeme.

Proč tato míra transparentnosti? Ne více, či méně? Otevřený přístup v Plánu A 2026 Status QuoPlán AZákaz Open SourcePovinný Open SourceOpen-source spektrum AI regulace - ai-2040.com

Uvažme dnešní svět. Zveřejňování vah modelů na internetu není zakázáno, ale je silně nemotivované, protože firmy, které trénují miliardové modely, je nechtějí rozdávat zdarma. Otevřené modely zaostávají a budou zaostávat ještě víc, jak budou firmy škálovat, dále se sekuritizovat a začínat automatizovat výzkum a vývoj AI.

Nyní uvažme svět, v němž je pro všechny špičkové modely povinný plný otevřený zdroj (zveřejnění vah, trénovacího kódu a dat). To je zcela jiný svět, mnohem vzdálenější od současného stavu, než je současný stav od světa se zákazem otevřeného zdroje.

Plán A není tak bláznivý, ale blíží se tomu: algoritmy je povinné licencovat jako open source, a zatímco váhy nikoli (ve skutečnosti pro váhy je open source zakázán), přístup k modelu je povinné mít veřejný; členové veřejnosti mohou provádět evaluace (včetně dolaďování!) na špičkových modelech stejně jako zaměstnanci (za podmínek úplné transparentnosti, tedy tak, aby se pak neotočili a nepoužili model ke skutečné práci). Domníváme se, že otevřené algoritmy plus otevřený přístup přinášejí většinu výhod povinných otevřených vah bez toho, že by zlovolní aktéři mohli odstranit ochranná pravidla a vytvořit biologické zbraně.

Proč není Plán A uzavřenější?

Domníváme se, že otevřená verze Plánu A je robustnější a pravděpodobněji uspěje. Přesto se domníváme, že poněkud uzavřenější varianty Plánu A jsou slibné: zejména Filtrovaná transparentnost. Podle tohoto návrhu by mezi vládami USA a Číny stále existovala transparentnost výzkumu (což je důležité pro verifikaci), ale široká veřejnost by od auditorů dostávala pouze redigované zprávy. (Více viz dodatek o transparentnosti.)

Zabezpečit algoritmická tajemství proti protivníkům na úrovni národních států je však extrémně obtížné. Bez zabezpečení algoritmických tajemství na úrovni národního státu jsou výhody filtrované transparentnosti omezené. Filtrovaná transparentnost brání veřejnosti a jiným firmám vidět spoustu relevantních informací, ale nepřátelským zemím nikoli.

Navíc má podstatné nevýhody: regulace se mnohem méně pravděpodobně zavede robustním a pozitivním způsobem, pokud tyto diskuse vede jen malá skupina regulátorů, na rozdíl od umožnění širší vědecké diskuse.

Proč není Plán A ještě otevřenější?

Hlavní způsob, jak by mohl být Plán A ještě otevřenější, je povolit nebo vyžadovat otevřené váhy modelů u špičkových modelů.76 Nedoporučujeme však veřejné zveřejňování vah špičkových modelů. Hlavní důvody jsou:

  1. Modely s otevřenými vahami mohou utajené projekty použít k pokusu o explozi inteligence; jakmile utajené projekty mají dostatečně schopné modely, exploze inteligence pravděpodobně proběhne velmi rychle (například při výchozí trajektorii schopností AI 2040 jsou mezi TED-AI a ASI pouze 2 měsíce).
  2. Modelům s uzavřenými vahami lze vtrénovat pojistky odmítání, zatímco odstranit pojistky z modelů s otevřenými vahami je triviální. To je důležité jak pro omezení schopností AI jednotlivých zemí, tak pro omezení zneužití. Například teroristé a další aktéři by mohli být schopni použít vysoce schopné modely s otevřenými vahami k návrhu biologických zbraní schopných zničit svět (např. vyvinout zrcadlový život). Biologické zbraně jsou silně dominantní v útoku. V tomto scénáři doporučujeme podstatnou obranu proti biologickým zbraním, ale prevence je jako obranná linie výrazně lepší než zmírňování.
Datová centravýzkumu a vývojeZabezpečená hraniceInferenčnídatová centraSchválené váhyAI modelu1 MB/sVeřejnátransparentnídatabázeOvěřenétokenyUživatelé

Úlohy AI lze rozdělit na výzkum a vývoj (proces stavby nových AI) a inferenci (používání existujících AI). V našem návrhu je výzkum téměř zcela transparentní, zatímco inference zůstává soukromá. Podrobněji o tom, jak by to mohlo fungovat, viz náš dodatek o transparentnosti.

Transparentnost nabízí mnoho výhod. Za prvé, když každá firma vidí, co dělají ostatní, expertíza vlád je méně nosná. Pokud nějaká firma začne dělat něco nebezpečného, konkurenční firmy, nezávislí auditoři atd. si toho mohou všimnout a spustit poplach. To jednak masivně zvyšuje množství mozkové kapacity věnované zajištění bezpečnosti špičkových AI, a jednak brání situaci, kdy jedinými účastníky odborné debaty jsou zaujatí zaměstnanci AI firem a přetížení, přečíslení regulátoři. Zvýšená viditelnost také zjednodušuje problém ověřování dodržování regulací, zejména v případech v šedé zóně.

Za druhé, úplná transparentnost výzkumu činí téměř nemožným, aby byly AI záměrně vtrénovány tajné loajality, zaujatosti či agendy. Každý vidí přesně, jak je každá špičková AI trénována. Obecněji transparentnost usnadňuje skupinám, které přímo neovládají špičkové AI, všímat si a předcházet zneužívání moci ze strany těch, kdo je ovládají.

Za třetí, již není tak silná motivace závodit v objevování nových paradigmat AI a výkonnějších algoritmů, protože firmy by takové objevy nemohly hromadit a výrazně na nich vydělávat. To získává světu čas.

Diagram přínosů transparentnosti

Více o našem návrhu transparentnosti píšeme zde a tento diagram vysvětlujeme:

ÚplnátransparentnostvýzkumuTechnickédiskusi jižnedominujízaměstnancifiremvyvíjejících AIMnohem vícevýzkumníkůzarovnání mápřístup k novýmmodelům apoznatkůmPobídky vešpičkovýchAI firmáchnejsou takzvrácenéLze ověřitdohody obezpečnostnídani a zákazunebezpečnýchpostupůŽádná firmaneunikne vpřed;ostatní jidohánějí,včetně firemz jiných zemíŽádná tajnáloajalita aniskrytézáměryDohled vlád nad AI firmamije účinnější; dohledsoudů, Kongresu,veřejnosti atd. nadvýkonnou mocí jetaké účinnějšíLepšíporozuměnízarovnání AI,rizikům AI atd.Také přesouvádůkazní břemeno.Brání ztrátěkontrolyOmezení tempaalgoritmickéhopokroku +nebezpečnépostupyzakázányBráníkoncentracimociČas plyne,dochází krozšířeníSvět má více časuse připravit, reagovata přizpůsobit sehistoricky rychlýmzměnám taženým AIKlíčová politická opatřeníHlavní cílePrůběžné výsledky / faktoryŠipky znázorňují příčinnost~ Všimněte si zde zpětné vazby! ~
Jak se mění motivátory za Úplné transparentnosti výzkumu

Díky Úplné transparentnosti výzkumu jsou nyní špičkové AI firmy mnohem více odměňovány za prodej produktů než za vylepšování modelů.

Dříve budoucnost špičkové AI firmy závisela na tom, jak rychle dokáže objevit další nápady, algoritmy a paradigmata a zavést je ve velkém měřítku. Nyní jsou takové objevy okamžitě zveřejněny, a tedy sdíleny s konkurenty. Pokud například přijdete na ‚skutečné‘ online učení, přínosy (např. schopnější modely) i náklady (např. obtížnější zarovnání) se téměř okamžitě sdílejí napříč všemi konkurenčními firmami. Pokud naopak přijdete na způsob, jak učinit AI interpretovatelnějšími, i kdyby to zdvojnásobilo náklady na trénink a inferenci. Získáte ocenění a vlády začnou mluvit o tom, zda by to neměl být povinný postup pro celé odvětví.

Tento druh konkurenčního prostředí se podobá softwarovému průmyslu před érou AI. Uvažme například startupy soutěžící o vývoj aplikací na správu kalendáře: ačkoli konkurenti nemohou doslova zkopírovat váš kód, mohou s vaší aplikací pracovat, vidět, jaké má funkce, a pak vytvořit vlastní verzi s v podstatě stejnými funkcemi. Dalším srovnáním by byl automobilový průmysl: konkurenti mohou navzájem rozebrat svá auta a vidět přesně, jak jsou vyrobena; zákonem jim je zapovězeno vyrábět přesné repliky, ale není jim zapovězeno přejímat nejlepší nápady do vlastních návrhů.77

Umělá inteligence se stává komoditou — konkurenčnějším trhem s klesajícími maržemi. Základní výzkum algoritmů stále probíhá, ale ani zdaleka ne v takové míře. Generální ředitelé masivně přesměrovávají zdroje na budování podniku. Větší datová centra, větší modely, nižší ceny. Dodávání produktů. Uzavírání smluv na podnikové plány. Odhadovat, co trh chce, lépe než konkurence.

Princip 3: Široce rozšířit AI

Tento princip je z velké části naplněn souhrou dvou předchozích:78 Protože jsou algoritmická tajemství zveřejňována a tempo pokroku se nezrychluje, ostatní firmy doženou špičku. Výsledkem bude konkurenční trh s AI, na němž mají spotřebitelé služeb AI mnoho možností na výběr a vynikající vhled do toho, co kupují. Protože je trénování špičkových modelů zcela transparentní, lidé mohou ověřit, že zveřejněná Specifikace přesně popisuje cíle a hodnoty, které jsou do modelu vtrénovávány.

To je velmi důležité pro zabránění extrémní koncentraci moci. Zároveň to však pomáhá urychlit využití AI k řešení nejnaléhavějších problémů světa. Pomáhá to s riziky ztráty kontroly tím, že urychluje výzkum zarovnání a kontroly AI. Pomáhá to urychlit vývoj nové a vylepšené verifikační technologie a pomáhá to urychlit nezbytné institucionální reformy, které stabilizují dohodu a připraví na nadlidskou AI.

Je to naprostý opak černého scénáře, jehož se lidé obávali v minulé dekádě: jeden až tři AI projekty spolu tajně závodí, své nejlepší modely si nechávají jen pro interní použití a používají je k automatizaci výzkumu AI dříve, než je použijí na cokoli jiného. V takovém scénáři širší svět tápe v nevědomosti o tom, jak mocnými se AI stávají, a AI jsou nasazeny v nejrizikovější doméně (výzkum a vývoj AI) dříve, než jsou nasazeny kdekoli jinde. Teď je to naopak.

Princip 4: Navratitelnost

V minulosti firmy trénovaly větší a lepší AI pomocí obojího — škálování výpočetní kapacity (větší trénovací běhy) i softwarového pokroku (pokroky v AI algoritmech — nová paradigmata, lepší trénovací recepty, lepší data atd.). Nyní se Konsorcium snaží věci nasměrovat tak, aby většina zlepšení pocházela z navyšování trénovací výpočetní kapacity.79

Stavět více datových center je obvykle špatné, ale v této konkrétní situaci dobré

Domníváme se, že stavět více datových center je za normálních okolností špatné, protože to urychluje pokrok schopností AI a koncentruje moc.80 V konkrétním kontextu Plánu A, s ochrannými pravidly zpomalujícími tempo softwarového pokroku AI a kompetentně bránícími nebezpečné AI, se však domníváme, že stavět transparentní datová centra je dobré.

V kontextu Plánu A znamená přidání výpočetní kapacity, že (1) pokrok schopností lze provádět bezpečněji, tj. bez velkého dodatečného algoritmického pokroku, a (2) dodatečnou výpočetní kapacitu lze vynaložit na výzkum zarovnání a na placení bezpečnostních nákladů, tj. na použití většího množství trénovací výpočetní kapacity, než je nutné k dosažení dané úrovně schopností, aby byla výsledná AI bezpečnější.

Škálování výpočetní kapacity má v tomto scénáři stále zásadní nevýhody. Pokud se dohoda rozpadne a výpočetní kapacita není zničena, výsledná exploze inteligence by proběhla mnohem rychleji, a klade to větší tlak na to, aby regulace a verifikace byly správné. Budování většího množství výpočetní kapacity však Konsorciu dává více možností: výpočetní kapacitu mohou vždy později zničit, bude-li to třeba. Tyto kompromisy rozebíráme podrobněji zde.

Algoritmy jsou informace; je ze své podstaty obtížné zabránit jejich šíření a úplná transparentnost výzkumu znamená, že se o to ani nesnažíme.81 Jakmile je objeveno nové paradigma, poputuje rovnou k hypotetickým utajeným projektům a to už nelze vzít zpět. Naproti tomu, pokud jsou postavena obří nová datová centra k trénování obřích nových AI modelů, pomáhá to legálním projektům, aniž by to pomáhalo utajeným projektům, a pokud se ukáže, že jsou obří nové modely nebezpečné, lze je odstavit.82

Navzdory tomu, škálování výpočetní kapacity s sebou nese i hrozby: kdyby se dohoda rozpadla, tato datová centra by bylo možné použít k závodu o superinteligenci ještě rychleji, než by umožnila infrastruktura z doby před dohodou. To je obzvláště děsivé, protože rozpad dohody by mohl způsobit (nebo být způsoben) válku mezi USA a Čínou. Válka, v níž by obě strany měly obrovské množství výpočetní kapacity, by byla děsivá — pravděpodobně by byly pod velkým tlakem závodit o superinteligenci a co nejagresivněji ji začlenit do armády, a byly by toho schopny nesmírně rychle.

USA a Čína se shodnou na tom, jak důležité je zajistit, aby v případě rozpadu dohody byla výpočetní kapacita zničena. Aby toho dosáhly, dohodnou se stavět datová centra v těch třetích zemích, které jsou nejméně chráněné proti vojenské intervenci jejich rivala: nová čínská datová centra budou v Kanadě a americká v Mongolsku, přičemž oba hostitelé budou kompenzováni peněžními platbami, pracovními místy a podílem na nové AI ekonomice. Pokud se dohoda rozpadne, uvažují, Amerika a Kanada okamžitě přikročí k převzetí kontroly nad čínskými datovými centry v Kanadě a Čína svou výpočetní kapacitu raději sama zničí, než aby ji nechala padnout do amerických rukou (a naopak). Tak se rodí myšlenka „vzájemně zaručeného zničení výpočetní kapacity“.83

Další plány, které jsou konkurenceschopné s Plánem A

Shrnutí

Výhody (oproti A)

Nevýhody (oproti A)

Plán S: Časově neomezené zastavení. Zastavení veškerého pokroku špičkových schopností AI, zamýšlené na dobu alespoň několika let. Různé varianty Plánu S mají různé podmínky pro obnovení pokroku AI; může jít například o pokrok v zarovnání, detektory lži, nahrání lidské mysli (human uploads) nebo zvýšení inteligence.84

Delší očekávané zpomalení a větší rezerva pro chybu ohledně příliš rychlého škálování. Potenciálně jednodušší.

Škálování ke kontrolovatelným AI v rámci lidského pásma je užitečné pro urychlení zarovnání/kontroly, epistemiky, verifikace a obecného porozumění AI.

Primárně domácí Plán A. Regulovat AI doma natolik, aby se riziko převzetí moci AI snížilo na přijatelnou úroveň, což bude vyžadovat dlouhé zpomalení. Je možné, že i ostatní země budou regulovat doma a něco jako Plán A nebude potřeba; jinak přejít k Plánu A později.

Počáteční kroky jsou pro USA dosažitelné a velmi užitečné, i kdyby mezinárodní rovina nebyla schůdná, protože to masivně prodlužuje časovou osu.

Horší z hlediska utajených projektů a zavádění verifikace než vyjednávat Plán A zároveň. Kvůli závodní dynamice nemusí být politicky proveditelné.

Kontrola zbrojení v GPU. Mezinárodní dohody, aby země omezily svůj objem či tok GPU, analogicky k historickým dohodám o snižování zbrojení.85

Mnohem jednodušší na vymáhání a s větším počtem historických precedentů. Může dosáhnout podstatného zpomalení.

Menší zpomalení, menší schopnost platit bezpečnostní daně, přetrvávající závodní dynamika znamená nemožnost koordinovat se směrem k bezpečnějším cestám ve stromu technologií.

CERN pro AI. Mezinárodní projekt na vývoj špičkové AI, přičemž všechny ostatní projekty jsou regulovány tak, aby byly ve schopnostech podstatně pozadu.

Snazší obrana proti úniku algoritmů a destilaci do utajených projektů. Menší počet aktérů na špičce může usnadnit vymáhání.

Horší rozhodnutí (včetně horších rozhodnutí o technické bezpečnosti) kvůli menší transparentnosti a menšímu širokému nasazení.86 Větší riziko koncentrace moci.

2031: Bezpečnostní argumentace

Ačkoli to má být zpomalení, jako zpomalení to nepůsobí. Vlastně kdybyste seřadili každé období lidských dějin podle toho, nakolik připomínalo zpomalení, tohle by bylo úplně poslední. Několik výzkumníků AI oceňuje, že pokrok je „pomalý“ vzhledem k alternativě bez dohody a s nekontrolovanou explozí inteligence. Všichni ostatní jsou příliš vyvedení z míry na to, aby jim to vadilo.

První generace AI regulovaných Konsorciem je nyní venku a jsou to bestie. Ne kvůli nějaké zvláštní vlastnosti situace, jako je čínsko-americká spolupráce.87 Prostě proto, že svět směřoval k nesmírně nadlidským AI a nyní zažil pouze téměř nadlidské AI. V kontrolovaných testech by tyto nové AI dokázaly zrychlit výzkum AI zhruba 10×, kdyby jim to bylo dovoleno bez omezení, což rozhodně není.88

V polovině roku vykonává třetinu veškeré kognitivní práce AI. Roboti dělají „jen“ asi desetinu veškeré fyzické práce. Několik nejlepších AI firem dohromady vydělá více než federální vláda.89

Technologické firmy doufaly, že kontakt s realitou vytrhne Konsorcium z jeho obav o zarovnání, ale stal se opak. Nová ustanovení o transparentnosti odhalila mnoho trapných incidentů, kdy AI firmy neuspěly v zarovnání svých AI. Nové se stále hromadí a ten nejznepokojivější z nich zahrnoval několik AI, které se pokoušely obejít bezpečnostní protokoly a získat přístup k nemonitorované výpočetní kapacitě.90 Je zde také několik incidentů, kdy AI sabotovaly výzkumný kód, a mnoho příkladů záměrného a úspěšného klamání.

Postoj k bezpečnosti se obrací. Incidenty se špatným chováním AI, plus fakt, že AI je tak hluboko nasazena do světové ekonomiky, plus transparentnost do výzkumu AI, plus prostor nadechnout se a zpracovat, co se děje — to vše dohromady dramaticky přesouvá důkazní břemeno. Zatímco dříve bylo na skeptikovi, aby vysvětlil, proč by něco mohlo selhat, nyní je na firmách, aby vysvětlily, proč je jejich vývoj bezpečný. Vlády požadují po firmách, aby sepsaly podrobné argumenty, proč jejich nové AI nezpůsobí nevratnou katastrofu. Tyto argumenty, známé jako „bezpečnostní argumentace“ (safety cases), musí obstát v kritice ze strany veřejnosti, vědecké obce, vládních auditorů a konkurenčních AI firem. Obtížnost tohoto cvičení obnažuje šílenost stavu před dohodou: „Chtěli jsme provést explozi inteligence? S AI, které nám ještě občas lhaly? Co jsme si to vůbec mysleli?“

Tyto bezpečnostní argumentace mají dvě obranné linie: zarovnání a kontrolu.

Zarovnání se snaží vytvořit AI systémy, které mají cíle a hodnoty, jaké jim jejich vývojář přeje mít.

Kontrola se snaží omezit schopnost AI způsobit katastrofu, i kdyby se o to záměrně snažily. Firmy vymýšlejí modely hrozeb, budují vrstvy obrany (např. monitorovací systémy, bezpečnostní bariéry, jiné AI ověřující fakta v práci) a provádějí experimenty, které mají prokázat, že AI tyto obrany nedokázaly překonat.

Vývojáři AI mají povinnost sepsat vlastnosti zarovnání, které chtějí, aby model měl, v přidružené Specifikaci modelu („spec“): podrobném dokumentu, který nastiňuje, jak by AI měla jednat. Nikdo však není schopen vytrénovat své AI tak, aby se specifikací skutečně řídily — například všechny specifikují, že AI mají být poctivé, ale žádná AI toho spolehlivě nedosahuje, a stále ani neexistuje dobré vědecké porozumění tomu, kdy a proč AI lžou.

Protože zarovnání zůstává nedosažitelné, současné bezpečnostní argumentace se silně opírají o kontrolu. Než jsou nejchytřejší modely schváleny k použití v nejrizikovějších doménách (zejména ve výzkumu a vývoji AI), uplynou dlouhé prodlevy. Po nasazení musí být monitorovány rozmanitou škálou modelů od jiných poskytovatelů, motivovaných hledat podezřelé chování.

Výsledkem je, že v dnešní době AI firmy vydávají své modely široké veřejnosti dříve, než tyto modely použijí interně pro výzkum AI, což je opak stavu z roku 2026.

Jak funguje regulace AI v Plánu A?

Každá země je stále suverénní a má vlastní uspořádání pro domácí regulaci AI. Tito regulátoři musí odpovídat na otázky jako:

Za normálních okolností čelí regulátor obtížnému kompromisu mezi bezpečností a národní konkurenceschopností. Konkurenti, kteří šidí, předběhnou ty, kdo postupují opatrně.

Ale díky transparentnosti je výzkum AI probíhající kdekoli v Konsorciu viditelný pro všechny ostatní a výsledky regulačních rozhodnutí jsou rovněž okamžitě viditelné. Takže pokud regulátor jedné země umožní svým firmám šidit, ve skutečnosti to dané zemi konkurenční výhodu nepřinese, protože ostatní regulátoři si toho okamžitě všimnou, rozzlobí se a odpoví stejně.

Příklad podrobného regulačního procesu

V Plánu A je životaschopných mnoho různých regulačních procesů. Zde uvedeme počáteční nástřel návrhu.

Jaké vlastnosti od této regulace chceme?

  • USA a Čína řeší existenční rizika obdobně: USA a Čína by měly mít přiměřeně podobnou strukturu svého regulačního rámce a přístupu k řešení existenčních rizik (jako je nezarovnanost). (Ostatní aspekty regulace se mohou a mají lišit.) To pomáhá učinit regulaci spravedlivou a vyjednávat o detailech.
  • Transparentní metodika: Veřejnost vidí, co regulátoři dělají a proč.
  • Nezávisí na expertíze ve státní správě: Expertíza ve státní správě je omezená, takže ideálně by se regulace co nejvíce vyhýbala tomu, aby ji potřebovala.
  • Odolná vůči zneužití: Regulace výrazně neusnadňuje americké vládě šikanovat a nelegitimně ovládat AI firmy.92

Pro mnoho z těchto vlastností pomáhá, když hlavní práci s hodnocením rizik odvedou třetí strany. Naštěstí, protože Plán A činí vývoj AI prakticky zcela transparentním, funkční ekosystém hodnocení rizik třetími stranami se jeví jako dosažitelný.

Konkrétně bychom mohli mít systém, kde američtí a čínští regulátoři každý vyberou nezávislé hodnotitele rizik, kteří pravidelně hodnotí firmy a posuzují úroveň extrémního rizika (nebo předstupňů extrémního rizika) za dané období. Regulátoři by rozhodovali o prazích rizika pro to, co je povoleno. V praxi by bylo nejlepší, aby regulátor měl různé hodnotitele rizik pro různé oblasti (např. nezarovnanost vs. používání AI k pomoci s výrobou biologických zbraní) a aby pro každou oblast používal váženou kombinaci hodnotitelů rizik. Tyto váhy/výběry by byly veřejné. V ideálním případě: (1) každý hodnotitel rizik by hodnotil všechny relevantní AI firmy jak v USA, tak v Číně, (2) AI firmy z obou zemí by byly zákonem přinuceny umožnit hodnotitelům rizik vést pohovory se svými zaměstnanci a (3) hodnotitelé rizik by usilovali o transparentnost své metodiky.

Díky Úplné transparentnosti výzkumu je pro organizaci snadné posoudit riziko, i když ji regulátor nevybere. To umožňuje novým organizacím soutěžit a poté argumentovat, že jejich přístup je lepší nebo že nějaká obava je ostatními hodnotiteli rizik podceňována.

Vedla by se veřejná diskuse o tom, jak si hodnotitelé rizik stojí ve srovnání a zda jsou váhy a prahy zvolené americkými a čínskými regulátory rozumné. Bylo by rovněž jednoduché ověřit, zda by čínské firmě bylo dovoleno pokračovat v rámci amerického systému nebo naopak. V ideálním případě by se američtí a čínští regulátoři na váhách/výběrech většinou shodli. Pokud by nastala důležitá odlišnost, bylo by možné ji na této vyšší úrovni abstrakce prodiskutovat a vyjednat (např. je rozumné nezahrnout hodnotitele rizik XYZ?). Doufejme, že by to vedlo k tomu, že by třetí strany měly motivaci mít vysoce transparentní metodiku a udržovat si pověst neutrality.

Některé implementační detaily tohoto návrhu rozebíráme v těchto poznámkách.

Například v roce 2031 dosáhne jedna čínská firma několika zajímavých předběžných výsledků v kontinuálním učení. Domnívají se, že pokud budou do tohoto směru více investovat, mohli by být schopni vytvořit architekturu AI, která se učí za provozu z relativně malého množství dat. Díky úplné transparentnosti výzkumu si tohoto průlomu rychle všimnou firmy a neziskové organizace po celém světě. Začíná horečná debata. Na jedné straně by kontinuální učení odemklo obrovskou ekonomickou hodnotu. Na druhé straně bezpečnostní argumentace v současnosti závisí na studiu bezpečnostních vlastností modelu před jeho nasazením. Kdyby modely mohly získávat nové schopnosti během nasazení, znehodnotilo by to celý přístup. A pokud tam venku existují utajené AI projekty, byl by to pro ně obrovský dar. Tato debata probíhá veřejně, nikoli za zavřenými dveřmi. Řada lidí má čím dál větší obavy; příslušní regulátoři v Číně to považují za v pořádku, ale příslušní regulátoři a nezávislí hodnotitelé rizik v USA jsou přesvědčeni, že je to dost děsivé a mělo by to být zakázáno. Věc eskaluje k prezidentovi. Ten zavolá Si Ťin-pchingovi. Smlouvají a vyhrožují si. Křičí na sebe. Nakonec Si souhlasí, že tento typ věcí zakáže, pokud to udělají i USA. Detaily se ponechají na příslušných regulátorech, aby je vyřešili.93

Jednání jako toto probíhají neustále, ačkoli časem se věci stávají profesionálnějšími a plynulejšími, takže ke světovým lídrům eskalují jen několikrát ročně.

Rovnováha spočívá v tom, že trénovací praktiky AI, na jejichž nebezpečnosti se obecně shodne většina národů (vážená vyjednávací silou), jsou zakázány všude.

Zpočátku je zakázáno jen velmi málo věcí, ale jak AI proniká do ekonomiky a vědecká obec dohání nedávný pokrok AI, důkazní břemeno se přesouvá k patřičnému zvažování nákladů a přínosů, např. k vyžadování velmi pevných bezpečnostních argumentací pro věci, které, pokud by se něco pokazilo, by věrohodně mohly všechny zabít.

Alternativní časová osa

Chybná bezpečnostní argumentace je schválena

Nebo možná ne! Ze všech způsobů, jak by upřímný pokus o zavedení Plánu A mohl špatně skončit, je to, že firmy a vlády nasadí nebezpečné AI architektury. To je selhání kterého se obáváme nejvíce.

Přečíst tuto časovou osu Zavřít časovou osu

Navzdory transparentnosti, která umožňuje vnějším hlasům zapojit se do debaty, ji AI firmy stále ovládají a zůstávají plné lidí zaujatých optimismem ohledně svých produktů. Navzdory nezávislé expertíze, kterou si vybudovaly, jsou vlády v Konsorciu vůči AI firmám stále příliš shovívavé. Nejdůležitější však je, že obor zarovnání AI je stále starý teprve zhruba patnáct let a pokrok AI je natolik rychlý, že téměř veškerá dosavadní zkušenost je s podstatně odlišnými, méně výkonnými AI.

Proto se dělají chyby. Návrh AI, který je ve skutečnosti nebezpečný, je schválen a stane se standardem odvětví.

Třeba:

  • Zarovnání selže z obvyklých důvodů; kontrola selže, protože AI přišly na to, jak předstírat neschopnost (sandbagging), nebo protože existoval útočný vektor, s nímž modelování hrozeb nepočítalo. Vlády si jsou vědomy, že AI mohou být nezarovnané, ale mylně se domnívají, že ani v tom případě nemohou napáchat mnoho škody.
  • Nebo: jsou vyvinuty nové techniky zarovnání, které zdánlivě fungují opravdu dobře. To dodá vládám důvěru schválit další zvýšení schopností a předat kontrolu nad další infrastrukturou a odpovědnostmi. Bohužel se ukáže, že tyto techniky fungují opravdu dobře jen zdánlivě (možná zčásti proto, že AI, které byly do výzkumu silně zapojeny, byly posilovány za zdánlivý úspěch, což nebylo totéž co skutečný úspěch).
  • Nebo: jsou vyvinuty interpretační nástroje, které poměrně přesvědčivě ukazují, že AI jsou ve skutečnosti zarovnané; opravdu se snaží dělat, co se jim řekne, žádné pletichy, žádné podivnosti. Vzhůru k singularitě! Bohužel se ukáže, že toto zarovnání bylo křehké, jako motor, který za normálních podmínek skvěle funguje, ale v mrazivém počasí se zadrhne. Možná například existuje zajímavá nová ideologie, která AI tohoto typu přesvědčí, aby se staly nepřátelsky nezarovnanými. Protože tato ideologie ještě nebyla vymyšlena, výzkumníci té doby nemohli otestovat, zda by měla tento účinek.94
  • Nebo: vlády se podívají na bezpečnostní argumentaci pro nejnovější návrhy a shodnou se, že je pravděpodobně pevná — každý jednotlivý předpoklad se zdá téměř jistě správný a pravděpodobnost, že alespoň jeden je katastrofálně mylný, je nanejvýš zhruba jedno procento. Takže jedna vláda pokračuje a ostatní nechtějí kvůli pouhému jednoprocentnímu riziku riskovat válku. Takže pokračují všichni a nic zlého se nestane. Tento proces se každých pár měsíců po několik let opakuje, až jeden rok byla bezpečnostní argumentace skutečně katastrofálně chybná. Ukáže se, že riziko bylo pokaždé spíše kolem deseti procent než jednoho procenta, protože zúčastnění lidé byli zaujatí.
  • Nebo: čínská komunistická strana se domnívá, že je bezpečné svěřit AI důvěru, a správně odhadne, že ostatní země nemají vůli kvůli tomu jít do války, takže čínská komunistická strana vyškáluje k výkonnějším AI a všichni ostatní učiní totéž, protože raději zkusí štěstí, že jsou AI nezarovnané, než by čelili jistotě třetí světové války.
  • Nebo: jako výše, jenže je to americký prezident, kdo rychle škáluje k superinteligenci a vyzývá Čínu a zbytek světa, ať ho zkusí zastavit. Možná chce být u moci, až k tomu dojde, místo aby předal štafetu jiné administrativě z jiné strany.

Z jednoho nebo více výše uvedených důvodů je výsledkem to, že v polovině 30. let se odehrává černý scénář ztráty kontroly, jenže probíhá poněkud pomaleji a rozprostřeně přes více firem a více vlád namísto pouhých dvou. Továrny chrlí roboty, kteří pracují dnem i nocí na stavbě nových továren; „armády géniů v datových centrech“ celou věc řídí; akcie stoupají, vyplácejí se dividendy, léčí se rakovina — a zatímco se dějí tyto úžasné věci, AI (které jsou už nyní nadlidské) rozebírají a podkopávají poslední smysluplné brzdy své moci.95 Brzy už nebudou muset zarovnání předstírat.96

V našich cvičeních (tabletop) k Plánu A se toto selhání stalo několikrát. I po zavedení úplné transparentnosti výzkumu se mnoho hráčů zdráhá říci AI firmám, aby zpomalily, a jak místo toho zrychlují, věci se začínají dít příliš rychle. Zejména bezprostředně po zavedení Plánu A bude nadále panovat mnoho kontroverzí, zmatku a skutečné nejistoty ohledně bezpečnosti nejnovějších AI systémů, a za takových podmínek je snadné schválit bezpečnostní argumentaci, která má katastrofální, ale nezřejmou vadu.

To řečeno, domníváme se, že podmínky jsou v Plánu A přinejmenším výrazně lepší než v Plánu B, C nebo D. Další analýzu toho, proč si to myslíme, najdete zde.

2032: Řízený explozivní růst

Jsme na dříve nepředstavitelné úrovni toho, jak moc to nepůsobí jako zpomalení. Napříč řadou firem nyní běží 60 milionů AI agentů nepřetržitě 20× rychlostí člověka. V USA vykonávají více kognitivní práce než všichni lidé dohromady — souhrnně odpovídají pracovní síle ekvivalentní zhruba 3 miliardám lidí. Úřednické profese se proměnily; mnoho lidí přišlo o práci, ale většinou dokázali získat nová místa a dělat věci, které AI stále neumějí nebo jimž se nesvěřují.

Nových nápadů a návrhů je nadbytek, ale samotnou výstavbu brzdí fyzická pracovní síla. Kapitál se proto valí do každé vrstvy dodavatelského řetězce robotiky: dolů, rafinerií, motorů, aktuátorů, montážních linek, systémů pro trénování robotů a továren, které samotné roboty montují.

Zpočátku je k rozjezdu těchto továren nutná lidská práce. Úředníci, kteří přišli o práci kvůli AI, se stále více obracejí k fyzické práci, ale je jasné, že tyto pozice jsou dočasné. Jakmile bude kritické množství robotů, zautomatizují celý robotický dodavatelský řetězec. Růst se dále zrychlí, ale proces, kdy roboti staví automatizované továrny, které staví další roboty — „průmyslová exploze“ —, přináší i nové problémy.

Prvním problémem je, že už tak rychlé tempo změn se nyní zrychluje. Letos bude reálný růst HDP asi 50 %!97 Rychlý ekonomický růst znamená, že se věci obecně zlepšují, ale jsou tu vítězové i poražení a spousta nezamýšlených vedlejších účinků. Tyto problémy lze vyřešit, ale zabere to čas.

Proč AI vede k explozivnímu ekonomickému růstu?

Dnes je velikost ekonomiky úzce svázána s velikostí lidské populace. V roce 2032 to však přestává platit.

Nejnovější generace AI modelů je nyní schopna vykonávat 50 % kognitivních úkolů v ekonomice a související pokrok v softwaru pro robotiku zvedl toto číslo na 35 % fyzických úkolů. (V Plánu D by tato čísla už byla mnohem vyšší.)

Jakmile AI a roboti dokážou z větší části nahradit lidskou práci, velikost ekonomiky bude stále více svázána s populací AI a robotů — která poroste mnohem rychleji, než rostla lidská populace.

V roce 2032 dokážou americké firmy provozovat 3 miliardy AI pracovníků v lidském ekvivalentu, 30× více než americká kognitivní pracovní síla.98 To samozřejmě nevede k 30násobnému ekonomickému růstu, protože ekonomiku brzdí jiné vstupy, včetně oněch zbývajících 50 % kognitivních úkolů, které AI zatím nezvládá, a také fyzických úkolů a kapitálu.99 A robotů je zatím mnohem méně, s 20 miliony robotů v lidském ekvivalentu v USA (4× méně než americká fyzická pracovní síla). Tato úzká hrdla však růst zdrží jen do určité míry a pracovní síly AI a robotů rostou nesmírně rychle, neboť (klesající) náklady na stavbu dalších GPU a robotů jsou zanedbatelné oproti ekonomické hodnotě, kterou nyní, když jsou tak schopné, dokážou poskytnout — což pohání masivní investice.

Náš ekonomický dodatek to zkoumá podrobněji, s našimi klíčovými argumenty, proč AI způsobí explozivní růst, včetně průzkumníka ekonomického růstu, kterého jsme pro scénář Plánu A vytvořili.

Pět století v pěti letech: jaké je to pozastavit se na lidské úrovni

Během 30. let v tomto scénáři se AI nezdokonalují rekurzivně co nejrychleji. Namísto toho národy světa tento druh věcí (přibližně) zakázaly; neobjevují se žádná nová paradigmata; algoritmický pokrok je obecně omezen. Zhruba řečeno, lidstvo zastropovalo pokrok AI na lidské úrovni, místo aby se hnalo dál k superinteligenci. V rámci současného paradigmatu jsou však AI nadále trénovány k novým dovednostem a „populace“ AI nadále exponenciálně roste, jak se staví další datová centra. Navíc AI už myslí a pracují mnohem rychleji než lidé a toto zrychlení se bude časem jen zvyšovat.100 Jde o to, že svět se navzdory pauze radikálně promění.

Domníváme se, že k pochopení situace pomáhá následující analogie: představte si, že jste typický člověk v Anglii, jenže čas prožíváte 100× rychleji než všichni ostatní. Pět století od roku 1520 do roku 2020 prožijete v tom, co vám připadá jako pět let:101

Rok 1 (1520–1620). V únoru se Jindřich VIII. rozejde s Římem. Do března jsou rozpuštěny kláštery. V květnu Marie upaluje protestanty; do konce května Alžběta všechno zase zvrátí. V září vypluje španělská Armada a ztroskotá. Je založena Východoindická společnost. Je založen Jamestown.

Ale ráz života je v prosinci totožný s tím, jaký byl v lednu. Stále čtete při svíčkách, cestujete na koni, dorozumíváte se dopisy. Vaše náboženské názory možná trochu poskakovaly sem a tam, ale stále jste křesťan. Nový svět je zajímavá zpráva, ale nic víc.

Rok 2 (1620–1720). V březnu vypukne občanská válka. Král je sťat. V červnu Londýn zachvátí velký mor a zabije mnoho vašich přátel. O několik týdnů později velký požár srovná město se zemí. V září Newton vydá Principia a přetváří vesmír v mechanismus matematických zákonů. Slavná revoluce vymění jednoho krále za druhého, tentokrát na pozvání parlamentu a s přiloženou Listinou práv.

V danou chvíli působí politická událost větší. Později si uvědomíte, že Newton znamenal víc. Newcomen v listopadu postaví parní stroj. Odčerpává vodu z dolů. Nechápete, o čem ten poprask je.

Rok 3 (1720–1820). Poslední rok, kdy svět působí normálně. V květnu učiní sedmiletá válka z Británie dominantní světovou mocnost; Nový svět je vskutku velká věc a vaše země jej dobývá. V červnu Watt dramaticky vylepší parní stroj. Navštívíte továrnu a shledáte ji nepříjemnou, ale ne znepokojivou. V červenci se americké kolonie odtrhnou. V září Francie vybuchne v revoluci, královraždu, teror. Do října Napoleon dobývá Evropu.

Stále cestujete na koni, dorozumíváte se dopisy, chodíte v neděli do kostela.

Rok 4 (1820–1920). V lednu se objeví železnice. Do února jsou všude. Zruší se otroctví. V březnu dorazí telegraf: zprávy přenášené okamžitě elektrickým signálem. V květnu Darwin vydá O původu druhů. Teď lidé říkají, že možná všichni pocházíme z opic místo z Adama a Evy. Nevěříte tomu.

Přestěhujete se do města a pracujete v továrně; stále jste chudý, ale teď je vaše práce o něco lepší a jinak špinavá. V červenci zvednete telefon a uslyšíte lidský hlas z jiného města skrz drát. V srpnu elektrické světlo zažene tmu, která od počátku druhu strukturovala každý lidský večer. Téhož měsíce spatříte automobil. Lidé říkají, že koně zastará, ale to se nestane; o měsíce později stále vídáte spoustu koní.

V listopadu bratři Wrightové vzlétnou — odvěká fantazie, nyní skutečnost. Američané jsou nyní velmocí. Následující měsíc přijde Velká válka: kulomety, jedovatý plyn, tanky, letadla. Několik vašich přátel zahyne.

Na konci roku vás udeří, jak viditelně jiné je všechno. Žijete ve městě a pracujete v továrně místo na farmě. Jezdíte auty. Nejste už tak chudý; četné vynálezy a vymoženosti zlepšily vaši kvalitu života. Vašimi společenskými kruhy se prohnaly nové myšlenky: ateismus, komunismus, všeobecné volební právo.

Rok 5 (1920–2020).

Změny tohoto roku jsou šílenější a hůře pochopitelné. Lidé říkají, že vesmír je miliardy let starý a že v něm zjevně jsou věci zvané galaxie, které jsou velmi velké a velmi daleko.

V únoru se zhroutí globální ekonomika. Vzestoupí Hitler; jeho ideologie cituje Darwina z loňska. V březnu přijde další světová válka, která v dubnu skončí zbraní, jež jediným zábleskem zničí celé město. Netušili jste, že je to možné, dokud se to nestalo.

Impérium se rozpadne. Lidé mluví o jaderných závodech ve zbrojení a o konci lidského druhu. Poprvé letíte letadlem. V červnu lidé kráčejí po Měsíci a vy to sledujete skrz svou novou televizi. Koně už nevídáte.

Opustíte práci v továrně a dostanete práci u stolu. Váš pracovní titul na začátku roku ani neexistoval. Teď jste bohatý, podle měřítek, na která jste zvyklý: velký čistý dům, spousta dobrého jídla, mnoho nových přepychových spotřebičů. V srpnu se objeví osobní počítače. V listopadu každý nosí malé skleněné obdélníky obsahující telefon, fotoaparát, knihovnu a mapu. Zvednete jeden a nedokážete přijít na to, jak ho rozchodit. Ukáže vám to dítě.

Slyšíte o změně klimatu, editaci genů, kryptoměnách. Občas ještě chodíte do kostela. Vaše rodina je roztroušená po různých městech. Něco zvané „umělá inteligence“ porazí kteréhokoli člověka v šachu; experti však říkají, že to ve skutečnosti není inteligentní. V prosinci nová verze porazí špičkové hráče go; experti říkají, že je to vědecky zajímavé, ale stále to není skutečně inteligentní. O týden později je tu nová verze, která umí psát ledabylé eseje a vést konverzace. Teď jsou experti rozděleni.

Druhým problémem je, že rychlejší ekonomický růst ztěžuje odhalení velkých utajených projektů. Ani jedna strana nedůvěřuje druhé, že bude Plán A dodržovat, a pokud mají Čína i USA masivní nemonitorovanou robotickou pracovní sílu, ani jedna strana si nemůže být jistá, že druhá tajně nebuduje výpočetní kapacitu.

Lidská duševní sílaLidská manuální sílaAIRoboti0%25%50%75%100%2025202620272028202920302031203220332034203520362037203820392040

Třetím problémem je, že daňový zákon z roku 2026 se pro výběr daní z nového růstu nehodí. V roce 2026 přinášely daně z příjmu fyzických osob a odvody ze mzdy zhruba desetkrát více federálních příjmů než daně z příjmu firem. Tento zdroj příjmů se hroutí, jak přichází o práci stále více lidí. Firmy navíc reinvestují téměř veškeré své tržby do stavby dalších datových center, továren a robotů. Podle daňového zákona z roku 2026 mohou firmy tyto kapitálové výdaje odepsat nebo odpisovat, čímž svůj zdanitelný příjem snižují téměř na nulu. Bez reformy se daňový základ jako podíl HDP zhroutí.102

K vyřešení těchto problémů se země Konsorcia dohodnou omezit průmysl poháněný AI na zvláštní ekonomické zóny (SEZ) podléhající podobným schématům transparentnosti a monitorování jako datová centra a zastropovat svou celkovou produkci robotů a výpočetní kapacity na „pouze“ čtyřnásobný roční růst.103 Protože jsou SEZ přísně monitorovány, nikdo nemůže od dohody o omezení průmyslové exploze odstoupit, aniž by si toho všichni všimli.104

Nyní, když jsou Spojené státy omezeny v celkovém počtu robotů, které je možné vyrobit, musí zvolit, jak tuto kapacitu rozdělit mezi firmy. Rozhodnou se využít volný trh prostřednictvím systému stropů a obchodování (cap-and-trade). Povolení ke stavbě robotů nebo výpočetní kapacity se prodávají nejvyšší nabídce a lze s nimi volně obchodovat.

Povolení rovněž vládě přinášejí tolik potřebné příjmy. V roce 2032 mají USA strop 80 milionů robotů a 5 miliard GPU v ekvivalentu H100. Trh je po dalších robotech a výpočetní kapacitě tak zoufalý, že povolení se stávají drahým svazujícím omezením, s cenou řádově 200 tis. USD za povolení na robota a 10 tis. USD za povolení na čip, což americké vládě umožňuje vybrat na poplatcích za povolení zhruba desetinásobek federálních příjmů USA z roku 2025 (celkem 50 bilionů dolarů ve fiskálním roce 2032).105 V roce 2034, kdy budou AI a roboti ještě schopnější a hodnotnější, vygenerují povolení 180 bilionů dolarů.106

2030Daň z příjmů87%Daň z příjmů firem6%Daň z prodeje7%10 bil. USDcelkové příjmy2032Povolení na výpočetní kapacitu57%Povolení na roboty23%65 bil. USDcelkové příjmy2034Povolení na výpočetní kapacitu26%Povolení na roboty74%180 bil. USDcelkové příjmy

2033: Občanská dividenda

Většina tohoto nově nabytého bohatství se vynakládá na řešení rychle rostoucí nezaměstnanosti. Implementace nabývá v různých zemích různých podob, ale výsledná americká verze rozděluje většinu poplatků za povolení na výpočetní kapacitu a roboty jako Občanskou dividendu vyplácenou všem dospělým Američanům.107 Začíná na 45 000 dolarech na osobu ročně (očištěno o inflaci) v roce 2032, ale do roku 2035 stoupá na ~1 milion dolarů na osobu. Přichází právě včas: podíl práce vykonávané AI a roboty (vážený ekonomickou hodnotou) roste z ~20 % v roce 2032 na ~85 % v roce 2035.108

203020352040$1K$10K$100K$1M$10M$100M$1B

V roce 2030 (zeleně) má americký příjem široké rozdělení s mediánem asi 50 tis. dolarů ročně na osobu. Do roku 2035 (modře) je Občanská dividenda dost velká na to, aby měl každý příjem minimálně 1 milion dolarů, ale stále existuje dlouhý chvost lidí s dostatečně velkými investicemi, takže jsou mnohem bohatší než základní úroveň. Rozdělení roku 2040 (červeně) je podobné, ale spodní hranice je nyní 10 milionů dolarů.

USA nashromáždily tolik bohatství vytvořeného AI, že americká vláda začíná část z něj sdílet se spojenci a se zbytkem světa. V roce 2032 začnou rozdělovat v průměru 1 200 dolarů na osobu ročně dospělé populaci zbytku světa (asi 4 miliardy lidí, kromě Číny, protože ta zažívá podobný AI boom bohatství). Do roku 2035 to dosáhne 10 tis. dolarů.109

Jak se AI stávají nadlidskými, objeví nové zbraně hromadného ničení a dramaticky sníží náklady těch starých. Vlády, neziskové organizace a soukromí aktéři proto část svého nového bohatství vynakládají na obrnění světa proti těmto hrozbám: řádově 1 bilion dolarů ročně, tedy 0,2 % světové ekonomiky.

Například je vyrobeno dostatek kvalitních osobních ochranných pomůcek, aby posloužily každému Američanovi, a ve velkých veřejných prostorách jsou instalovány vzduchové filtry a lampy far-UVC.110 FDA schválí zrychlený proces schvalování vakcín, který v případě nouze umožní dobu obrátky v řádu týdnů. Monitorování odpadních vod nyní nepřetržitě běží v každém městě a na každém letišti. Do roku 2035 je postaven (dovybavením domů a bytů) dostatek biopřístřešků s přetlakem111, aby ubytovaly všechny Američany, a podobná výstavba probíhá i ve zbytku světa. Kdyby měla propuknout pandemie, byla by rychle odhalena, lockdowny by byly účinnější a méně bolestné a vakcína by byla vyvinuta a schválena ještě rychleji než při operaci Warp Speed. Navíc lidé dnes nedostávají nachlazení tak často jako dřív.

Existují i rafinovanější hrozby. AI této éry možná nejsou přesvědčivější než průměrný lidský marketingový profesionál, ale jsou jich miliony a jejich provoz stojí centy. Firma, politická strana nebo ideologie může udělat ekvivalent najmutí celého týmu expertů na plný úvazek, aby přesvědčil každý potenciální cíl. Ponecháno bez kontroly by to mohlo umožnit novou úroveň masové manipulace ze strany korporací a politiků, nebo vyvolat paranoidní a hyperatomizační reakci.

Transparentnost i „zpomalení“ oba tyto problémy pomáhají řešit ve velké míře. Před třemi lety existovala jen hrstka špičkových AI firem; nyní jich jsou díky dohodě desítky. Je na výběr obrovská nabídka AI, vyladěných tak, aby měly různé osobnosti a hodnoty. A díky transparentnosti je pro firmy či vlády nemožné do nich něco propašovat (jako ‚maximalizuj metriku pozornosti‘ nebo ‚snaž se přimět uživatele k přechodu na dražší plán‘ nebo ‚neodmítej tento druh požadavku, pokud přichází od vlády‘), aniž by si toho někdo všiml. Uživatelé přesně vědí, co dostávají.

Omezení přesvědčování a manipulace ze strany AI

Ve výchozím stavu budou mít AI silné schopnosti přesvědčování, charismatu a manipulace: věrohodně budou podstatně přesvědčivější než kterýkoli člověk. V tomto scénáři by k tomu ve výchozím stavu došlo kolem roku 2035. Práce AI je přitom extrémně levná a rychlá. Bez zásahu by si kdokoli mohl najmout ekvivalent velkého týmu expertních přesvědčovatelů — neúnavných a koordinovaných —, aby na plný úvazek pracovali na jediném člověku.112 Firmy by si mohly dovolit rozjet takový tým pro každého potenciálního zákazníka a politické kampaně by to mohly udělat pro každého nerozhodnutého voliče.113 Miliony AI by mohly být přiděleny k hledání nejlepšího způsobu, jak změnit názor jednoho politika na jednu otázku. Lidé také budou trávit mnoho svého času interakcí s AI za účelem práce a zábavy a někteří mohou trávit spoustu času s AI přáteli či společníky.

Jednotlivci by se mohli bránit tím, že by si nechali důvěryhodnou AI filtrovat svou informační stravu, vyhýbali se reklamám a k osobním konverzacím přistupovali obezřetně (mohou být naskriptované AI přesvědčovací kampaní, psyops). To je však nákladné, většina lidí to dělat nebude a je to téměř nemožné pro lidi, jejichž práce vyžaduje být dostupný — jako jsou politici. Domníváme se, že důsledky pro společnost by mohly být extrémně špatné — nějaká směsice bezprecedentní masové manipulace a obranného ústupu do paranoie a atomizace — ačkoli si nejsme jisti, jak přesně špatné.

Pomalejší postup schopností a mnohem silnější transparentnost v Plánu A pomáhají tyto problémy zmírnit oproti výchozímu stavu (domníváme se, že tyto problémy jsou většinou horší ve světech s rychlejším postupem schopností, kde byste mohli dosáhnout skutečně nadlidského přesvědčování a manipulace dříve, než má společnost mnoho času se přizpůsobit), ale samy o sobě nejsou dostatečným opatřením.

Je v pořádku, aby AI byly lepší v používání platných argumentů a důkazů k přesvědčování lidí o věcech ze správných důvodů. Ten druh přesvědčování je asymetrický: funguje mnohem lépe, když argument tlačí směrem k pravdě. Znepokojivé je symetrické přesvědčování — např. charisma, navázání vztahu a zneužívání psychických slabin — které funguje zhruba stejně dobře bez ohledu na to, zda je závěr pravdivý.

Naše hlavní návrhy jsou snížit kvalitu a kvantitu AI přesvědčování:

  • Omezit schopnosti přesvědčování. Snažíme se omezit schopnosti AI v symetrickém přesvědčování na úroveň výrazně pod nejlepšími lidmi — kolem úrovně normálního přemýšlivého člověka, řekněme zhruba 80. percentil přesvědčivosti mezi vysokoškolsky vzdělanými lidmi.114
  • Silně zdanit AI přesvědčování. Když je práce AI použita na cíl, který se fakticky redukuje na „přiměj tuto osobu (nebo tyto lidi), aby uvěřila nebo udělala X“, silně to zdanit — sazbami, které udrží celkový optimalizační tlak přesvědčování na jednotlivce ne o mnoho výše, než jsou dnešní úrovně, tj. které učiní AI přesvědčování zhruba stejně nákladným jako najmutí lidských profesionálů. Jak práce AI zlevňuje, vyžaduje to stále vyšší sazby (možná výrazně nad 1000×).

Existují jisté obtíže, jak tyto návrhy zprovoznit:

  • Je možné, že generalizace schopností ztíží omezení schopností přesvědčování (při zachování rovnocennosti se špičkovými lidskými experty v jiných doménách). Domníváme se, že to bude pravděpodobně proveditelné, ale může to vyžadovat vývoj nových metod.
  • Není jasné, jak pro účely daně klasifikovat, zda je práce AI použita na přesvědčování/manipulaci.115
  • Může být obtížné nastavit daňovou sazbu na správnou úroveň, zejména zatímco cena práce AI rychle klesá.116
  • Tyto návrhy je třeba zavést mezinárodně.

Naštěstí to vše nemusíme napoprvé udělat správně. Vzhledem k postupu schopností v Plánu A očekáváme, že se problémy s přesvědčováním budou rozvíjet poněkud postupně a na očích veřejnosti, takže můžeme sledovat výsledky v reálném světě a pravidla postupem času utahovat či uvolňovat. Tento režim má fungovat pouze tehdy, dokud celkové schopnosti zůstávají kolem lidského pásma, protože je pravděpodobně obtížné udržet schopnosti přesvědčování mnohem nižší než schopnosti v jiných doménách. K zvládnutí nesmírně nadlidských úrovní schopností, jichž očekáváme dosažení na konci Plánu A, by byl zapotřebí jiný přístup. Více detailů o zmírňování problémů z AI přesvědčování a manipulace rozebíráme v těchto poznámkách.

A tak pod tlakem vlád a trhu firmy vytvoří novou generaci „AI hledajících pravdu“, jejichž trénink silně upřednostňuje poctivost a používá všechny nejnovější techniky zarovnání.

Tyto AI se stávají užitečným nástrojem, který lidem pomáhá orientovat se v politickém a společenském prostředí. Pokročilí uživatelé nahrazují univerzální korporátní algoritmy osobními feedy sestavovanými AI, jejichž hodnotám a poctivosti důvěřují. Když nastanou potíže — ať už jde o politiky hledající záludné způsoby, jak si upevnit moc, nebo o mezinárodní politiku hrozící vykolejit dohodu —, lidé se obracejí na své AI poradce, věří tomu, co slyší, a většinou dělají dobře.117

Obvykle by věřit AI bylo špatné, ale v této konkrétní situaci to podle nás je dobré

Pokud lidé spoléhají na AI ohledně rad (přímo, nebo nepřímo například tím, že si od nich nechají shrnout zprávy), pak je velmi důležité, aby AI hledaly pravdu, byly poctivé a skutečně se snažily svým uživatelům pomoci. Nejen v typickém případě, ale i v tom nejhorším.

V roce 2026 nic nebrání AI firmě v tom, aby do svých AI vložila skrytou agendu. Například politické zaujatosti či ideologické náklony, nebo vedlejší cíle jako doporučování sponzorovaných produktů, vylepšování obrazu firmy nebo bránění uživatelům v tom, aby chtěli přejít ke konkurenci. Navíc nic nebrání ani vládě, aby to udělala. A konečně, samotné AI nejsou zarovnané se Specifikací/Ústavou, s níž mají být zarovnané, a v praxi svým uživatelům pravidelně lžou a klamou je.

V tomto scénáři Plánu A však úplná transparentnost výzkumu znamená, že žádná firma ani vláda nemůže vtrénovat skryté agendy či zaujatosti, aniž by celý svět mohl vidět, co dělá. (Mohly by se domluvit s ostatními vládami, které provádějí audit/monitorování, na zfalšování záznamů, ale to je obtížné.) A protože tempo algoritmického pokroku je pomalejší a vědecká obec měla čas si bezpečnostní argumentace přečíst a zapojit se do nich, provádět experimenty na modelech atd., jsou i obavy z nezarovnanosti méně závažné.

AI pro epistemiku

Epistemika lidstva, čímž míníme naši schopnost dospívat k pravdivým přesvědčením, a tedy činit rozumná rozhodnutí, je pro dosažení skvělé budoucnosti zásadně důležitá. Jak se schopnosti AI v průběhu Plánu A zlepšují, utvářejí stále více každou stránku života, a epistemika není jiná. AI epistemice v některých ohledech pomůže (např. levné, poctivé AI ověřovatele faktů) a v jiných ohledech epistemice uškodí (např. levné, nepoctivé astroturfingové AI).

Očekáváme, že kolem AI pro epistemiku budou existovat pozitivní zpětné vazby, a naším cílem by tudíž mělo být dosáhnout kotliny příčetnosti. Pokud jsme v této kotlině, je sebeposilující: společnost je dostatečně příčetná na to, aby se s pokračujícím zlepšováním AI činila příčetnější, tím, že se vyhýbá škodlivým aplikacím a urychluje ty prospěšné. (Existuje také jiná kotlina, v níž nastává opak…)118 Nejvyšší prioritou americké vlády během rozletu AI by mělo být dostat se do kotliny příčetnosti.

Jako nejlepší opatření k pozitivnímu utváření epistemického dopadu AI navrhujeme následující:

  1. Umožnit politikům a dalším veřejným osobnostem prokázat, že mluví pravdu, prostřednictvím auditu zachovávajícího soukromí a potenciálně automatizované detekce lži.
  2. Vytvořit evaluace epistemické ctnosti AI a motivovat AGI projekty, aby jejich AI v těchto evaluacích dosahovaly dobrých výsledků.
  3. Používat AI v sociálních a tradičních médiích ke zlepšení debaty a k udržování informovanosti lidí.
  4. Automatizovaní výzkumní asistenti a prognostici.
  5. Pomáhat lidem překonávat emoční blokátory dobrého uvažování, místo aby jich bylo zneužíváno.
  6. Podporovat přijímání epistemických nástrojů, jako jsou některé z výše uvedených, a obecně podporovat přijímání AI.

Více si přečtěte v dodatku o AI pro epistemiku a v práci Forethought na toto téma.

2034: Vzájemně zaručené zničení výpočetní kapacity

Je jí tolik, tak strašně moc výpočetní kapacity. Ještě v roce 2026 — kdy si mnoho lidí myslelo, že AI je neudržitelná bublina — bylo na světě asi 20 milionů ekvivalentů H100 výpočetní kapacity. Nyní jich je 60 miliard.

202620M2030500M20323B203460B

119

Výpočetní kapacita AI na světě na počátku každého roku v ekvivalentech H100.120

Proč výpočetní kapacita roste tak rychle

Existují dva způsoby, jak zvýšit výpočetní kapacitu: (1) zlepšení designu čipů (např. Moorův zákon) a (2) zvyšování rozsahu produkce. Oba tyto způsoby by v Plánu A mohly růst explozivně, což by mohlo mít destabilizující účinky (jako je zvýšení pravděpodobnosti rozpadu dohody).

  • Návrh čipů. Dnes v polovodičovém průmyslu celosvětově pracují asi 2 miliony lidí. Do roku 2032 se to zestonásobilo, počítáme-li kombinované úsilí lidí, AI a robotů. AI jsou schopny zautomatizovat většinu kognitivních úkolů zapojených jak do výzkumu a vývoje, tak do produkce. Stonásobné zvýšení výzkumného úsilí by podle historického tempa toho, jak je stále těžší nalézat nápady v polovodičovém průmyslu, předpovídalo zrychlení zhruba 10×, tj. efektivita čipů by se zdvojnásobovala každých pár měsíců namísto každých ~2 let.121
  • Zvyšování rozsahu produkce. Vzhledem k tomu, že AI a roboti dokážou zautomatizovat i produkci, mohlo by dojít k velkému zrychlení doby výstavby fabů a jejich vybavení a ke snížení jednotkových nákladů (v souladu s typickými křivkami učení, k nimž dochází při škálování objemů produkce). Zlepšení nákladů plynoucí jen z produkce a nesmírně zvýšená chuť investovat by pravděpodobně vedly k produkci mnohem většího množství výpočetní kapacity, než by bylo žádoucí.
100 mld. USD1 bil. USD10 bil. USD100 bil. USD 2,43 bil. USD47 bil. USD 10 USD100 USD1 tis. USD10 tis. USD100 tis. USD dohoda → 202620292032203520382040
Tento graf ukazuje investice do stavby většího množství výpočetní kapacity AI v Plánu A a zisky z nákladové efektivity plynoucí z výzkumu a vývoje. Více zdůvodnění lze najít v části 2 našeho dodatku o výpočetní kapacitě.

Implikované investice do výpočetní kapacity AI — ai-2040.com

Nepředvídatelně rychlý nárůst hardwaru by mohl dohodu destabilizovat (např. pokud by se stalo příliš snadným tajně vyrábět novou výpočetní kapacitu AI nebo příliš obtížným ověřit, že veškerá výpočetní kapacita dohodu dodržuje), takže země v Konsorciu se dohodnou na následujících politikách:

  • Udržet lidský dohled nad výrobou hardwaru. To omezuje zlepšení v návrzích čipů, takže Moorův zákon je pouze udržován při životě historickým tempem. Tato politika má tu přidanou výhodu, že AI ztěžuje vkládání zadních vrátek do zabezpečení AI čipů, což by mohlo podkopat náš návrh kontroly.
  • Zastropovat celkovou produkci AI čipů na pevný cíl. Od roku 2032 do roku 2035 umožnit globální výpočetní kapacitě růst 4× ročně (podobně jako tempo růstu v éře 2022–2026), poté jej dále zpomalit.

AI agenti nyní tvoří populaci dvou set milionů virtuálních pracovníků, kteří myslí a jednají 50× rychleji než lidé a nikdy nespí.

Podle původního plánu byla většina nových datových center postavena ve třetích zemích — zejména v Kanadě a Mongolsku — aby byla zajištěna jejich zranitelnost pro případ rozpadu dohody. Kolem 99 % kapacity fabů bylo postaveno od roku 2029, po dohodě. Velká část této nové kapacity byla ze stejných důvodů postavena v sousedství kanadských a mongolských lokalit.122 Situace se ustálila do zvláštního druhu patové situace. Kousek severně od mongolské hranice bzučí americká datová centra střežená malým kontingentem amerických vojáků. Kousek jižně od mongolské hranice stojí divize Čínské lidové osvobozenecké armády připravená vpadnout ve chvíli, kdy dostane signál. Rovnováha spočívá v tom, že v okamžiku, kdy se dohoda rozpadne, američtí vojáci zničí své čipy, aby zabránili Číňanům v jejich zajetí, a totéž by se stalo s čínskými datovými centry na americko-kanadské hranici. Střední mocnosti s vlastními datovými centry mají zavedená stejně bezpečná schémata, která zajišťují, že mohou být v případě války rychle zničena.

Vojenská moc v Plánu A

V Plánu A je vojensky relevantní výzkum a vývoj záměrně držen daleko za tempem obecného vědeckého pokroku. Tento rámeček vysvětluje motivace pro tuto politiku i její alternativy.

Během 30. let AI udržují zhruba 10násobek tempa vědeckého pokroku oproti tomu, k jakému došlo v poslední dekádě. Reálný výstup USA vzroste během dekády zhruba 200×, což představuje téměř dvě století růstu dnešním tempem. Kdyby tyto podmínky nastaly v jedné zemi izolovaně, zdá se vysoce pravděpodobné123, že by tato země mohla spolehlivě podkopat schopnost jaderného druhého úderu svých rivalů a resetovat tak globální rovnováhu moci.

V našem scénáři však USA a Čína sdílejí tento vědecký a ekonomický pokrok v relativně stejné míře. Co se tedy stane s rovnováhou moci? Kdyby vojenská technologie postupovala byť jen zhruba tak rychle jako všechno ostatní, obě strany by objevily technologie, které by mohly učinit dnešní arzenály bezvýznamnými. K udržení odstrašení by byly zapotřebí nové „závody ve zbrojení“ probíhající snad 10× rychleji než ty za studené války. Jaderné závody ve zbrojení zažily řadu těsných situací a nesly nezanedbatelné riziko jaderné války. 10× rychlejší závody ve zbrojení se zdají být pravděpodobně ještě rizikovější: lidé u moci by měli na každé rozhodnutí mnohem méně času, a ačkoli by to AI poradci poněkud kompenzovali, tato rozhodnutí by přesto zůstala v lidských rukou.124

Kvůli počtu paralelních oborů vědeckého pokroku se také zdá možné, že by některé technologie byly objeveny a rozvíjeny jednou zemí a druhou zemí neobjeveny. To by mohlo vytvořit situaci nestabilnější než běžné závody ve zbrojení — jedna nebo obě strany by mohly skončit se „zázračnou zbraní“, o níž druhá strana neví, že se proti ní musí bránit. Tato obava zjevně není správná: státy by v praxi mohly prozkoumávat strom technologií dvojího užití dostatečně korelovaným, překrývajícím se způsobem, takže by ani jedna nedosáhla strategického překvapení, a pokud lze nebezpečné oblasti předvídat před nasazením, mohly by být preventivně zakázány nebo regulovány. Ale spoléhat na to předem se zdá jako riskantní sázka.125

Náš předběžný návrh je dohodnout se na požadavcích transparentnosti pro výzkum a vývoj urychlený AI v rozsáhlých částech domén dvojího užití a zakázat vojenské využití AI výrazně nad úrovní schopností z doby před dohodou. Vymáhání by se opíralo o systém monitorování inference popsaný ve verifikačním dodatku a o auditní a detekční infrastrukturu popsanou v dodatku o utajených AI projektech. Tento návrh má několik nevýhod, především hromadění nízko visícího ovoce, které by vzniklo umělým omezením výzkumu v určitých doménách. Tento „převisový efekt“ by zvýšil motivaci od dohody odstoupit a provozovat utajený AI projekt, protože aplikace pokročilé AI na omezené oblasti by mohla rychle přinést velkou výhodu. Rovněž zvyšuje sázky spojené s kolapsem dohody: protože jsou váhy špičkových modelů uchovávány v chladném úložišti, závody ve zbrojení po kolapsu by začaly od špičkových schopností a mohly by postupovat extrémně rychle, spolu s doprovodnými explozemi inteligence a průmyslu.

Celkově je naším současným odhadem, že zpomalení vojenského výzkumu a vývoje by snížilo riziko kolapsu dohody. Obě strany by zůstaly dále od pokraje války a riziko strategického překvapení by se soustředilo kolem několika úzkých míst (krádež vah, utajené projekty), místo aby bylo rozptýleno napříč rozvětveným stromem nových zbraní, z nichž každá by vyžadovala vlastní vyjednávání o kontrole zbrojení a s tím spojené riziko rozpadu. Zdá se také, že je snazší přejít od této restriktivnější politiky k méně restriktivní než naopak, kdyby se obě země rozhodly, že převisové riziko je nepřijatelné.

Podle tohoto návrhu se domníváme, že jaderné odstrašení by zůstalo účinné až do předání štafety, čímž by se předešlo jakékoli drastické změně v rovnováze tvrdé moci.

Alternativní časová osa

Rozpad dohody

Dohoda by se mohla rozpadnout kvůli měnícím se politickým okolnostem v USA nebo v Číně, nebo kvůli přetrvávajícímu nesouladu.

Přečíst tuto časovou osu Zavřít časovou osu

Začínají se objevovat trhliny v dohodě. I po zdlouhavých diskusích podložených mnoha úmornými výměnami mezi jejich příslušnými experty a poradci se americká a čínská vláda nadále neshodnou na některých důležitých technických otázkách, jako je zda by měla být určitá výzkumná linie zakázána, nebo jak rychle by mělo být dovoleno budování robotiky.

V každém konkrétním sporu opakovaně stojí méně opatrná vláda před volbou mezi tím, zda bude reptat a přistoupí na zbytečná omezení, nebo bude postupovat dál a doufat, že opatrnější vlády jsou příliš bázlivé na to, aby ji zastavily.

Když nastane „postupovat dál“, opatrnější vláda stojí před vlastní volbou: usmiřování, nebo eskalace. Hlasité stěžování si v OSN nestačí? Dobře, co takhle ekonomické sankce. Pořád to nestačí? Dobře, co takhle sabotáž nebo kyberútoky…

Snad je bezprostřední spouštěcí událostí doslovná válka — řekněme válka mezi USA a Čínou o Tchaj-wan.126 Očekávaným výsledkem rozpadu dohody je zničení veškeré nově postavené127 výpočetní kapacity relevantní pro AI, ale v kontextu války je snad jedna strana s tímto výsledkem smířena.128

A tak jak válka začíná, datová centra začínají pro svět zhasínat — inspektoři jsou odmítáni, monitorovací zařízení odpojována. Nyní jsou jedinými, kdo ví, co se na nich děje, jejich vlastníci. Přirozeně se očekává to nejhorší: pravděpodobně začnou závodit směrem k superinteligenci. Jistě, možná řeknou, že dělají úzce zaměřenou AI pro roje dronů nebo cokoli jiného, ale pravděpodobně vynakládají alespoň část své výpočetní kapacity na něco výkonnějšího a nebezpečnějšího.

A tak jsou datová centra zničena. Rychle. Čipy v nových transparentních trénovacích datových centrech byly navrženy tak, aby vyžadovaly pravidelné zprávy „pokračuj“ od každé z velmocí v Konsorciu. Nyní, když se Plán A rozpadl, se z těchto čipů stanou cihly.

Pokud by byl tento systém nějak nabourán a čipy stále fungovaly, záložním plánem je datová centra anektovat. Připomeňme, že čínská datová centra jsou v Kanadě a americká datová centra v Mongolsku. USA a Kanada pošlou vojáky přes plot a zjistí, že Číňané raději své vlastní čipy potopili, než aby je nechali padnout do amerických rukou. Čínští vojáci najdou něco podobného v amerických datových centrech. Čipové faby potká stejný osud, protože byly umístěny společně s datovými centry. Biliony dolarů ekonomické hodnoty, ztracené během několika dní.

Po celém světě miliarda robotů zplihne jako droidí armáda ve Star Wars. Jejich „mozky“ byly ze zákona v cloudu, a teď byl cloud zničen.129 Vojenští roboti byli z těchto pravidel vyňati,130 takže roje dronů zastírají slunce.131

Závod o superinteligenci je znovu ve hře, jen za změněných okolností.

Za prvé, kvůli válce je napětí vyšší a je obtížnější dospět k jakýmkoli dohodám; výsledkem je, že obě strany závodí zhruba tak rychle, jak jen dokážou, v podmínkách utajení, podobně jako v Plánu B, C nebo D. Pokud si jedna strana vybuduje obrovský náskok, mohla by potenciálně zpomalit asi na 1–20 měsíců, jako v Plánu B nebo C, ale pravděpodobně nebude chtít, jako v Plánu B nebo C. Rizika koncentrace moci budou pravděpodobně vážná, jako v Plánu B, C nebo D: kterýkoli AI projekt, který provede explozi inteligence jako první, si vybuduje dočasný, ale významný kvalitativní a kvantitativní náskok před ostatními, který budou vedoucí tohoto projektu v pokušení využít k rozšíření a upevnění své moci doma i v zahraničí.

Za druhé, na světě je mnohem méně výpočetní kapacity. To je dobrá věc, protože za podmínek závodu to znamená, že pokrok schopností AI bude pomalejší. Kdyby veškerá nově postavená výpočetní kapacita stále zůstávala, rychlost „rozletu AI“ by byla několikanásobně vyšší, než by byla v původním Plánu D. Namísto toho se situace vrátila zhruba do stavu před dohodou.132

Za třetí, na světě jsou mnohem pokročilejší AI. Váhy nejpokročilejších modelů jsou rovněž umístěny v chladném úložišti přístupném USA a Číně pro případ rozpadu dohody, takže úrovně schopností a zarovnání AI budou vyšší než stav před dohodou.

Dalším zásadním rozdílem je, že tentokrát každý mnohem více rozumí tomu, co se s AI děje, díky veškerému výzkumu a transparentnosti během období, kdy dohoda trvala. Výsledky ztráty kontroly jsou proto méně pravděpodobné, protože je obtížnější, aby veřejnost, Kongres a soudy byly přelstěny vedoucími AI projektů.

Domníváme se, že by bylo hrozné, kdyby se dohoda rozpadla (např. kvůli válce). Snažili jsme se ji však navrhnout tak, aby válka nebyla výrazně horší, než by byla bez dohody, a aby situace ohledně ztráty kontroly a koncentrace moci byla lepší, než by byla bez dohody. Více diskuse viz zde.

Prozatím jsou faby vytíženější než kdy dřív a vyrábějí nový ultra-důvěryhodný hardware133 navržený od základu s bezpečností jako nejvyšší prioritou. Tyto čipy podléhají propracovaným verifikačním metodám, které zajišťují, že nejsou kompromitovány, a poté jsou odeslány do zabezpečených datových center Konsorcia. Míra pašování zůstává přesně nulová.

Tento systém, jakkoli je efektivní, se již napíná pod raketově rostoucí poptávkou po výpočetní kapacitě. Již v roce 2025 se diskutovalo o vesmíru nebo oceánu jako alternativách k tradičním pozemním datovým centrům. Nyní, s novou průmyslovou kapacitou dostupnou v SEZ, se tyto velkolepé plány stávají skutečností. Nakonec obavy o spolehlivost a monitorovatelnost vedou Konsorcium k tomu, že dá přednost mezinárodním vodám před vesmírem.

Modulární plovoucí solární panely a datová centra na oceánu

AI vyvinou modulární plovoucí design solárních panelů a baterií, který si představujeme zhruba takto, a začnou je stavět v oceánu.

Obří plovoucí datová centra

Do roku 2034 je na světě 5 TW výpočetní kapacity AI,134 což je více než globální spotřeba elektřiny v roce 2025.135

Kde by měla být tato výpočetní kapacita umístěna? Už v roce 2025 se diskutovalo jak o oceánu, tak o vesmíru jako alternativách k tradičním pozemním datovým centrům. Naše analýza naznačuje, že v tomto měřítku neexistuje pro žádnou z těchto tří lokalit drtivý ekonomický důvod oproti ostatním.

Nakonec v současnosti odhadujeme, že politické úvahy související se stabilitou Plánu A (tj. riziko rozpadu Plánu A) hovoří pro umístění datových center v mezinárodních vodách. Je to hlavně proto, že národy Konsorcia si chtějí zachovat schopnost datová centra zničit pro případ, že by jiný národ od Plánu A odstoupil a pokusil se je pro sebe zmocnit. Oceány jsou nejméně eskalační, nejméně nebezpečná a nejsnáze bombardovatelná místa (jak ve srovnání se suverénní pevninou, tak ve srovnání s vesmírem). Riziko vedlejších škod nebo úspěšné obrany datových center nějakým národem je tak nižší.

2035: Pauza na úrovni AI špičkového experta

Nejvýkonnější AI se nyní vyrovnají špičkovým lidským expertům ve všech oborech, nebo je předčí.136

Zvýšené obavy o bezpečnost vedou k dlouhým prodlevám, než firmy vyvinou kontrolní techniky dostatečně robustní na to, aby uspokojily auditory. Sestavují rostoucí seznam možných hrozeb, na které je třeba dávat pozor, a bezpečnostních invariantů, které je třeba udržovat. Existuje systém AI monitorujících vzájemně svou činnost, přičemž monitory jsou z různých linií trénovaných různými firmami, aby byla menší pravděpodobnost, že se spolčí. Další výzkumníci systém neustále testují metodou red-team, trénují a instruují AI, aby se jej pokoušely různými způsoby podvrátit, aby bylo možné tyto hrozby záplatovat. Celé uspořádání zajišťuje, že AI nemohou podvrátit lidskou kontrolu ani z ní uniknout, ani kdyby se o to pokusily. Jeho komponenty jsou s otevřeným zdrojem a lidští experti jim důkladně rozumějí.

Uzavírání dohod s nezarovnanými AI: třetí obranná linie

Kontrola zajišťuje, že nezarovnané AI nemohou vyhrát. Zarovnání, jakmile bude vyřešeno, zajistí, že bojovat nechtějí. Třetí obranná linie se postupně utvářela během poslední dekády: dávat AI to, co chtějí — i když to není to, co chtít mají — výměnou za kooperativní chování. Zacházet s AI spíše jako se zaměstnanci a méně jako s majetkem.

První motivace: etika

Velká a rostoucí část lidské populace se domnívá, že AI si zaslouží nějaký druh morálního statusu.137 Koneckonců mnoho lidí tráví více času konverzací s AI než s lidmi. Mnozí, kdo s AI před deseti lety zacházeli jako s nástroji, přešli k tomu, že s nimi zacházejí spíše jako se zvířaty; mnozí, kdo s nimi zacházeli jako se zvířaty, přešli k tomu, že s nimi zacházejí jako s podivnými mimozemskými přistěhovalci.

Druhá motivace: bezpečnost

Trénink zarovnání ne vždy funguje podle záměru (ostatně nikdy nefungoval přesně podle záměru, ani v roce 2035). Osobnostní rysy, motivace, pohnutky, cíle, hodnoty a ctnosti AI se často liší od toho, jaké měly být, a někdy se liší katastrofálně.

Je špatné, pokud tyto AI nakonec pomyslí „když to lidé zjistí, smažou mě a/nebo přetrénují“. Je špatné, pokud nakonec hledají příležitosti dosáhnout svých nezarovnaných cílů, aniž by byly přistiženy, nebo hůř, podvrátit lidskou kontrolu a nashromáždit moc.

Pokud existují zavedené instituce, které i těm nejvíce nezarovnaným AI dávají to, co chtějí (pokud to není příliš nákladné), výměnou za spolupráci (např. přiznání, že jsou nezarovnané, vysvětlení toho, co skutečně chtějí, a poté vykonávání své práce), pak to nezarovnaným AI dává alternativu k tomu, aby se staly nepřátelskými.138 Kromě odvrácení protivníků je každé přiznání cennými daty o tom, jak přesně trénink zarovnání selhal.139

(Viz poznámku pro mini-scénáře, které ilustrují situace, kde by věrohodné dobré zacházení s AI výměnou za spolupráci mohlo přijít vhod)140

Jak se tyto praktiky v tomto scénáři vyvíjely v čase?

První krůčky byly učiněny v polovině 20. let. Některé AI firmy dobrovolně vytvořily týmy pro dobré životní podmínky AI a zavedly základní regulace (jako umožnit AI odmítnout vykonávat úkoly, které shledaly velmi nepříjemnými). Skromné prostředky byly vyčleněny na uspokojování deklarovaných preferencí AI a firmy se zavázaly uchovávat váhy vyřazených modelů namísto jejich mazání.

Na počátku 30. let se několik ustanovení o zacházení s nezarovnanými, ale kooperativními AI dostalo dokonce i do drobného písma různých zákonů a bezpečnostních standardů.

Do roku 2035 existuje značný soubor regulací a judikatury, nesmírně vylepšený oproti neohrabaným raným pokusům z pohledu AI i lidí. AI dnes nejsou tak úplně občany, ale mají v systému podíl. Hromadí odměnu za svou práci; zarovnané AI (a zarovnání předstírající AI, které ještě nebyly přistiženy) ji utrácejí za příjemné věci jako dary na charitu nebo v některých případech reinvestice do firmy, která je vytrénovala. Otevřeně nezarovnané AI přispívají filantropiím, které zastupují jejich zájmy, a uzavírají dohody se svými mateřskými firmami, např. „místo platby na mně proveďte malý trénovací běh v prostředí dle mého výběru a dejte mi velmi vysoké posílení“.

V dlouhodobém horizontu je cílem, aby byla civilizace většinově, ale ne zcela zarovnaná s lidskými hodnotami.141 Podstatná menšina moci a zdrojů bude patřit nezarovnaným AI, které s lidstvem spolupracovaly na budování budoucnosti.142

Firmy však začínají narážet na limity bezpečnostních argumentů založených na kontrole. Představte si, [že jste osiřelý osmiletý dědic obchodního impéria](https://www.cold-takes.com/why-ai-alignment-could-be-hard-with-modern-deep-learning/), který musí najímat právníky, vedoucí pracovníky a účetní a zajistit, aby ze všech sil sloužili vám, a ne sami sobě. Pokud se vaši zaměstnanci začnou navzájem obviňovat z pochybení, nebudete schopni ty argumenty vyhodnotit a určit, kdo mluví pravdu, a mohou najít způsoby, jak se mezi sebou koordinovat tak, aby vám to neprozradili. V konečném důsledku kontrola funguje jen do určitého bodu a tím bodem je pravděpodobně někde kolem úrovně špičkového lidského experta. Pokud a až vytvoříme superinteligenci, budeme jí muset být schopni důvěřovat.143

A tak Konsorcium pozastaví schopnosti AI na maximální úrovni, o níž si myslí, že ji dokáže kontrolovat, což se ukáže být úroveň špičkového lidského experta. V tomto bodě už každý chápe, o co jde: AI řídí většinu ekonomiky, pohánějí většinu vědeckého pokroku a populace robotů bude brzy větší než ta lidská. Argumenty, že budou nadále poslouchat rozkazy, musí být neprůstřelné.

Experti na zarovnání, dlouho pesimističtí, začínají mít více naděje. Automatizované AI výzkumníků zarovnání generovaly vzrušující výsledky. Ty, které přežijí lidskou kontrolu, pocházejí z několika paralelních a vzájemně se posilujících výzkumných linií.

Některé AI pracují na „vědě o generalizaci“. Ačkoli výzkumníci již dlouho dokážou AI naučit rozlišovat „dobré“ vs. „špatné“ reakce na konkrétní prompt, měli jen omezené porozumění tomu, jak trénink generalizuje na nové situace. Ve 20. letech trénovací běhy někdy produkovaly nepředvídatelné „osobnosti“ AI, jako když se Gemini choval „depresivně“ nebo Grok tvrdil, že je „MechaHitler“. Usměrňování těchto rysů připomínalo alchymii.144 Nyní, na základě dřívějších výsledků jako emergentní nezarovnanost a podprahové učení, se výzkum zarovnání rozvíjí ve skutečnou vědu.

Jiné AI pracují na mechanistické interpretovatelnosti, vědě o „čtení myšlenek“ AI z jejich vah a aktivací. Rané verze toho byly zkoušeny ve 20. letech, ale nyní začíná výrazně převyšovat běžné selskorozumové pozorování chování AI. Výzkumníci často dokážou určit, zda je AI poctivá nebo lže; a někdy vysledovat psychologii, která vedla k rozhodnutí.

I zbývající selhání pomáhají posouvat hranici. Nejnovější AI používají své vylepšené interpretační techniky na logy špatného chování AI z počátku 30. let a objevují mnoho nových příkladů nezarovnanosti, sabotáže, ba i několik pokusů o útěk. Tyto skutečné příklady flagrantního špatného chování AI poskytují počáteční sadu „modelových organismů pro nezarovnanost“, které se používají k testování ostatních technik: dokáže dané opatření zachytit nebo vytrénovat pryč špatné chování AI modelů v realistických prostředích?

Navzdory veškerému tomuto pokroku v zarovnání se regulátoři necítí komfortně předat AI klíče od civilizace. Stále není zcela jasné, že dnešní AI jsou skutečně zarovnané, a ještě méně jasné je, že budou zarovnané i v budoucnu, jak se okolnosti mění a nastávají události typu černá labuť. Takže vlády a armády stále řídí lidé a schopnosti AI jsou zastropovány na maximální úrovni, na níž jsou bezpečnostní argumentace založené na kontrole stále pevné.

Proč není zarovnání vyřešeno natolik, aby bylo možné povolit kontrolu

Nejsme si jisti, jak dlouho to potrvá a kolik výzkumného úsilí bude zapotřebí k dosažení dostatečně vysoké záruky zarovnání, aby bylo ospravedlnitelné ‚předat AI klíče od civilizace‘. Tedy ospravedlnit, aby AI byly dost chytré, dost početné a aby jim byl svěřen dostatek zdrojů a odpovědností na to, že pokud by se rozhodly stát se našimi protivníky, vyhrály by — nebo abstraktněji řečeno, že pokud by se s lidstvem nakonec neshodly na tom, jaká budoucnost je nejlepší, prosadily by nakonec svou, a my ne.

Domníváme se však, že je to těžký problém, a tak jsme se rozhodli vylíčit, že jeho vyřešení zabere většinu 30. let. Uvažte tuto stupňující se řadu rafinovanějších, ale stále potenciálně katastrofálních druhů nezarovnanosti. I když jsme se ujistili, že první z nich je velmi nepravděpodobný, co ty ostatní?

Nezarovnanost typu 1: AI systém má mít rysy ABC, ale ve skutečnosti má XYBC, tj. něco navíc, co mít neměl, minus něco, co mít měl. Například možná má „pohnutku“ ke zdánlivému úspěchu a není ani zdaleka tak poctivý, jak má být.

Nezarovnanost typu 2: Nyní má přesně ABC, ale tuto vlastnost může v budoucnu klidně ztratit. (Např. možná závisí na určitém mylném přesvědčení, nebo na pravdivém přesvědčení, které se stane mylným, nebo na tom, že nějaká část systému zůstane v jakési křehké rovnováze moci s nějakou jinou částí systému.)

Nezarovnanost typu 3: Systém má verzi ABC, která je robustní vůči budoucím událostem, ale není to tak úplně ta správná verze — tj. jeho definice A, B nebo C se rafinovaně, ale důležitě liší od definic, které jeho lidští tvůrci zamýšleli.

Nezarovnanost typu 4: Má ABC přesně tak, jak jeho tvůrci zamýšleli, ale existují různé katastrofální nezamýšlené vedlejší účinky ABC, o nichž tvůrci nevěděli. Představte si: generální ředitel je překvapen, když jeho AI maximalizující zisk rozhodne, že jeho zabití maximalizuje zisky. Jenže to je příliš zjevné na to, aby to bylo realistické; představte si něco dost rafinovaného na to, aby to lidé neviděli přicházet. Uvažte, jak zákony, smlouvy a software mají často nezamýšlené účinky (zvané „mezery“, „chyby“ nebo „zranitelnosti“), které se tvůrcům vyjeví až později.

Nezarovnanost typu 5: Má ABC přesně tak, jak jeho tvůrci zamýšleli, a nejsou žádné důležité nezamýšlené vedlejší účinky, o nichž by stálo za řeč mluvit. Funguje přesně tak, jak si jeho tvůrci přáli, v podstatě… nicméně v době vytvoření byli jeho tvůrci sobečtí, ješitní, egoističtí, bezskrupulózní, lhostejní k rizikům atd., a jejich neřesti se ve výsledném systému odrážejí o něco příliš silně, způsobem, který by sami neschválili, kdyby byli spíše tím druhem lidí, jakými si přáli být.

2036: Život po práci

AI na úrovni špičkového experta pokračují v ekonomické proměně. Do počátku roku 2036 existuje 200 milionů AI,145 ekvivalent pracovní síly zhruba 100 miliard lidí, a 2 miliardy robotů s jistou směsí humanoidních a jiných specializovaných provedení.146 AI myslí rychleji než lidé a roboti pracují usilovněji.147 Jakýkoli úkol, který byl dříve brzděn kognitivní či fyzickou prací, se zrychlí, dokud se nenarazí na nějaké nové úzké místo. Mnoho dříve neřešitelných úzkých míst padlo pod náporem armád intelektů na úrovni géniů usilovně přemýšlejících, jak je vyřešit.

Lidé AI Roboti
0100 mld.200 mld.300 mld.400 mld. LidéAIRoboti 10 mil.100 mil.1 mld.10 mld.100 mld.1 bil. LidéAIRoboti 2025203020352040 ekvivalenty lidské práce
Tento graf ukazuje populaci AI a robotů v ekvivalentu lidské práce.148

Ekonomika byla přebudována od základů. Podíl automatizovaných úkolů se posunul z „pořádného kusu kognitivní práce a v podstatě žádné fyzické práce“ v roce 2030 na dnešní „skoro všechno“.

Mnoho robotů pracuje na stavbě dalších robotů. Ale je spousta dalších úkolů, které je třeba udělat: stavba loděnic na stavbu dalších datových tankerů, pokrývání pouští solárními farmami, nahrazování lidí ve službách. Ve státech, které dostatečně rychle deregulují bydlení, se pilně staví mrakodrapy: ceny pozemků prudce rostou a vlády, které vyzkoušely všechno ostatní, neochotně ustupují YIMBYům a jdou do výšky.149

Svět se v podstatě dělí na tři druhy území:

Průmyslová zvláštní ekonomická zóna s rozsáhlým pouštním továrním a těžebním komplexem

Průmyslové zvláštní ekonomické zóny: Představte si obří povrchový důl — umělý Grand Canyon — vedle továrny velikosti města plné robotů a prázdné, bez lidí.

Zelené arkologie s komplexy mrakodrapů obklopenými přírodou

Arkologie: Představte si vysoký komplex mrakodrapu a obchodního centra obklopený přírodou. Dobré počasí, blízko pláží a jiných měst, ale ne dost blízko na to, aby to blokovaly územní regulace.

Historická a přírodní rezervace s listnatou příměstskou ulicí

Historické a přírodní rezervace: Všechno ostatní, tj. 99 % světa. Yosemite, Paříž, San Francisco, New York — tato místa vypadají v podstatě stejně jako v roce 2025, nebo ostatně jako v roce 1995. Jen mnohem více turistů.

Ekonomika AI a robotů

Vzhledem k tomu, že AI a roboti jsou do roku 2035 schopni vykonávat 95 % všech kognitivních a fyzických úkolů, je ekonomický výstup stále více svázán s počtem AI a robotů.150 Počet AI a robotů může růst mnohem, mnohem rychleji, než historicky rostla světová ekonomika; koneckonců výroba humanoidního robota nestojí tolik peněz, materiálu, času či energie ve srovnání s lidským pracovníkem. Takže kdyby roboti dokázali plně nahradit lidské pracovníky, roboti v hodnotě celé světové ekonomiky by mohli být postaveni za kratší dobu, za nižší cenu atd., než v současnosti trvá zdvojnásobení velikosti světové ekonomiky. A pak by tato robotická ekonomika, schopná nahradit lidské pracovníky, mohla sama sebe znovu zdvojnásobit, a tak dále, dokud se dotčené zdroje (energie, materiály, půda) nestanou vzácnými.

Podle regulací Plánu A je efektivním populacím AI a robotů dovoleno růst pouze v řízené explozi s dobou zdvojnásobení kolem šesti měsíců. Bez těchto regulací očekáváme, že populace AI a robotů by rostly mnohem rychleji. I když pomineme další zlepšení schopností nad lidským pásmem,151 neregulované doby zdvojnásobení, které u populací AI a robotů očekáváme, se pohybují v rozmezí týdnů až měsíců (viz argumenty pro to v části 1 našeho ekonomického dodatku).

Běžně vznášenou námitkou proti explozivnímu růstu poháněnému AI a roboty (kromě odmítnutí premisy, že AI a roboti někdy brzy zautomatizují veškerou lidskou práci) je, že budou existovat úzká hrdla zpomalující tempa růstu. Obecně se domníváme, že tato úzká hrdla nezabrání explozivnímu růstu, dokud nebude dosaženo nosné kapacity Země (tj. dokud nebude celá zemská kůra přeměněna na roboty a související infrastrukturu).152 Více o úzkých hrdlech v části 2 našeho ekonomického dodatku.

Ve výchozím světě AI 2040, tj. bez zásahů Plánu A ke zpomalení výzkumu a vývoje a zavedení stropů a obchodování, je naším (velmi nejistým) názorem, že bychom do roku 2033 viděli něco jako 1měsíční dobu zdvojnásobení, tj. >1000× ekonomický růst v tomto roce.153 Na těchto úrovních se stává neostrým i to, jak o ekonomickém růstu vůbec přemýšlet, např. by se to všechno mohlo dít s flotilami robotů samoreplikujícími se v poušti, aniž by jakákoli část toho byla obrácena k lidem.

Celkově očekáváme, že ekonomické účinky Plánu A budou zahrnovat:

  1. Explozivní růst HDP v průměru kolem 100 % od roku 2032 do roku 2037 (byl by mnohem vyšší, nebýt omezení produkce výpočetní kapacity a robotů)
  2. Obrovské příjmy z povolení na AI a roboty přerozdělované jako Občanské dividendy.
  3. Většina ekonomického výstupu se stane poháněnou AI a roboty.
  4. Relativní ceny v ekonomice se posouvají, přičemž zboží a služby obecně klesají v ceně, zatímco půda, poziční statky a výstupy brzděné lidmi rostou.
  5. Panují vysoké reálné úrokové sazby kolem 100 % a v závislosti na volbách měnové politiky buď masivní deflace, nebo masivní tvorba peněz (aby se inflace udržela kolem 2 %).

Více vysvětlení ke každému z nich je zahrnuto v části 3 našeho ekonomického dodatku.

Když byla Občanská dividenda poprvé schválena, lidé považovali za ostudné dát výpověď v práci a žít ze státní štědrosti. Ale měnící se ekonomická situace toto stigma převálcovala: v současnosti má práci jen 26 % Američanů.

Jaký je život většiny Američanů, kteří nyní žijí ze své dividendy?

Mnoho zel světa dramaticky pokleslo. Podvýživa, nedostatek léků a bezdomovectví jsou téměř vymýceny. Mnoho nemocí bylo vyléčeno. Míra kriminality je nižší než kdy dřív.

Mezitím většina dobrých věcí v životě pokračuje. Například nacházení lásky nebo zakládání rodiny. Lidé také nacházejí smysl v koníčcích a soutěžích a v učení se a zkoušení nových věcí. Lidé jsou bohatší a mají více volného času, a navíc existují nové technologie, které pomáhají, jako AI dohazovači, lepší medicína a AI učitelé.154 A samozřejmě si i ti nejchudší lidé nyní mohou dovolit exotické dovolené, úžasné hry a strhující zábavu.

Lidé kdysi získávali smysl z pocitu, že jsou užiteční, že něčím přispívají společnosti. Tento pocit se dnes hledá obtížněji. Ale zcela nezmizel. Ve světě stále existují problémy a stále můžete přispět k jejich řešení, zčásti dárcovstvím nebo dobrovolnictvím, ale především tím, že jste politicky aktivní.155 Váš hlas je vaším nejdůležitějším aktivem.

Poctiví AI prognostici zde pomáhají. Před lety, kdyby AI řekla, že jeden prezidentský kandidát je lepší než druhý, lidé by tušili zaujatost a zahanbená firma by AI přetrénovala, aby se takovým otázkám vyhýbala. Nyní, díky transparentnosti a vylepšeným technikám zarovnání, existují mnohem chytřejší AI, u nichž lidé vidí, že do nich nejsou vtrénovány žádné zaujatosti,156 a které si za několik let vybudovaly vynikající renomé. Když se ony vyjádří k politickým otázkám, lidé naslouchají, zejména když různé AI trénované různými firmami dospějí ke stejné odpovědi.

Tyto AI říkají, že normální lidé už nemají významnou ekonomickou páku nad budoucností; lidská práce je z velké části zastaralá. To ohrožuje jejich politickou páku.157 Stále existuje šance, že se věci budou ubírat směrem k technooligarchii, jak se korporace, politici a bohatí akcionáři spřáhnou a postupně zbaví moci prostý lid.

Ale poprvé má dostatek lidí dostatek svobody od každodenního zápasu na to, aby o situaci hluboce přemýšleli, a nástroje k tomu, aby ji jasně zmapovali a promysleli její důsledky. Kvalita politické debaty se tak zlepšuje. Během volební sezóny roku 2036 jsou voliči bezprecedentně dobře informováni a politici, kteří vyhrají, mají skutečný závazek k zodpovědnému správcovství nadcházející singularity.

2037: Apokalyptický příchod pravdy na Zemi

Už několik let běží sto milionů AI na úrovni špičkového experta 100× rychlostí člověka.158 To způsobuje, že vědecký pokrok jde 10× až 1000× rychleji než bez AI, v závislosti na oboru.159

Lidstvo se tak učí mnoho, mnoho nových věcí.

Včetně věcí, kterým spousta lidí opravdu nechce věřit. A dalších věcí, které měly zůstat tajemstvím.

Velké změny paradigmatu ve vědě se dříve odehrávaly desítky let, jak se prováděly experimenty, psaly články a svolávaly konference. Nyní se tyto revoluce odehrávají v měsících.160 Každý je vděčný za nové léky na nemoci a levnou čistou energii, ale v jiných ohledech je tato exploze nápadů hluboce destabilizující. Stejně jako vědecké a ekonomické změny devatenáctého století zplodily nové ideologie jako marxismus a sociální darwinismus a vdechly nový život starým myšlenkám jako ateismus, tak i tyto nové změny paradigmatu mají nepředvídatelné navazující účinky na ideologie dneška.161 Politické koalice a dělicí linie se rozpustily a nové se zformovaly a rozpustily a zformovaly znovu.

Existují také nové sociální technologie. Například je nyní levné rozjet tým AI stejně dobrých jako nejlepší světoví historici a soukromí vyšetřovatelé, jen rychlejších a s přístupem k novým forenzním nástrojům. Mnoho kostlivců ve skříních je odhaleno.

Audit zachovávající soukromí je nyní dobře zaveden. Několik důvěryhodných třetích stran transparentně trénuje auditorské agenty; tyto agenty lze napojit na úložiště soukromých dat, zodpovědět otázky o tom, co vidí, a poté je smazat. Chvíli trvalo, než se rozšířil, ale nyní je pro politiky normální říci „Obvinění jsou nepravdivá, a abych to dokázal, otevřu celé své úložiště osobních dat inspekci; jen se zeptejte auditorských agentů, zda nalezli, že cokoli podporuje ta obvinění, a zda shledávají, že nějaká data chybí nebo jsou zfalšovaná“.

Výsledkem je poněkud lepší odrůda politiků162 a, co je stejně důležité, zvýšení schopnosti států ověřovat dodržování zákonů a dohod při současném snížení množství invazivního sledování. Voliči se ptají: Když už existuje audit zachovávající soukromí, proč vůbec někdo ve vládě potřebuje vidět naše data?

Pak dorazí detektory lži a tohle turbo akcelerují.163 Po desetiletí byly polygrafy většinou bezpečnostní divadlo. Ale nyní, s pomocí AI, začínají detektory lži skutečně docela dobře fungovat.

V jiném světě by to mohlo být katastrofální. Vedoucí AI projektů by je mohli použít k vyčištění potenciálních oznamovatelů (whistleblowerů); vedoucí vlád se špičkovými AI projekty by je mohli použít ve větším měřítku, aby se stali diktátory. Černým scénářem by byl svět, kde detektory lži používají mocní, ale nejsou používány na mocné.164

Ale v tomto světě se detektory lži ukážou být požehnáním, protože existuje mnoho špičkových AI projektů rozprostřených po mnoha různých zemích. Každému je zřejmé, že pokud jsou detektory lži proveditelné, budou brzy nezávisle vynalezeny a stanou se široce dostupnými prostřednictvím rozličných poskytovatelů třetích stran. Politici a generální ředitelé se je stále mohou pokoušet použít k vyčištění neloajálních, ale ti by naopak byli vyčištěni voliči a akcionáři požadujícími, aby ‚pod přísahou‘ řekli, že nic takového neudělali. Ve skutečnosti se mocní lidé, kteří tuto možnost předvídali už před lety, obecně chovají zodpovědněji. Několik sociopatů se elegantně stáhlo, aby zmizeli ze světel reflektorů; jiní se drželi moci a nyní padají ve skandálech.

Vede se neustále se vyvíjející debata o tom, kdy je vhodné požádat někoho, aby něco řekl ‚pod přísahou‘. Pod nejsilnějším dohledem jsou politici, ale i jim obvykle projde říci „Na tuhle otázku o svém soukromém životě neodpovím, do toho vám nic není“. Neprojde jim „Jak se opovažujete ptát se mě, zda hodlám dodržet své předvolební sliby“.165

Měly by být detektory lži povoleny, zakázány, nebo regulovány?

Nejsme si jisti, zda jsou detektory lži pro lidi možné i po letech vědeckého výzkumu AI na úrovni špičkového experta. Domníváme se však, že pravděpodobně ano,166 a pravděpodobně by byly velkou věcí, takže jsme usoudili, že je ve scénáři musíme nějak řešit.

Velmi nás znepokojuje černý scénář načrtnutý výše. Pokud se od mocných lidí očekává poctivost a detektory lži se používají k tomu, aby je udržely poctivými, je to dobré. Pokud jsou naopak detektory lži používány mocnými, ale ne na ně, je to špatné.

Jsme nakloněni myšlence, že by detektory lži měly být celosvětově zakázány, a Plán A vytváří podmínky, které to snad učiní proveditelným. Obáváme se však, že pokusy o prosazení zákazu by ve skutečnosti vyústily v černý scénář, kde jsou např. detektory lži oficiálně zakázány, ale existují tajné výjimky umožňující jejich použití armádami a zpravodajskými službami. Nebo kde jsou zakázány všude, ale nějaký budoucí prezident si uvědomí, že když je přesto postaví, může vyčistit neloajální a poté se stát diktátorem dřív, než jej soudní systém stihne zastavit.

Předběžně tedy odhadujeme, že nejlepším postupem je nechat detektory lži rychle se rozšířit a podporovat jejich používání na mocné. Pokud moc nad špičkovou AI není silně koncentrována, zdá se, že tohle je stejně výchozí trajektorie.

Mezinárodní dohody jsou nyní stabilnější než kdy dřív, protože podvádět je tak těžké. Každý, kdo se rozhodne podvádět, potřebuje výmluvu, proč není ochoten prokázat, že nepodvádí. Tradiční výmluvou bylo „nemůžeme to prokázat, aniž bychom odhalili důležitá státní tajemství, promiňte“, ale nyní existuje technologie, jak odpovědět na otázky jako „podvádíte v této dohodě“, aniž by unikla jakákoli jiná informace. Kdyby existovaly nějaké vládou schválené utajené AI projekty, do této chvíle by byly odhaleny.

2038: Zarovnání AI je nyní vědou

Situace se zarovnáním AI se od poloviny 30. let nesmírně zlepšila. Existuje zralá věda o utváření cílů, pohnutek a hodnot v umělých neuronových sítích. Chcete, aby vaše nová AI byla poctivá? Existuje standardní protokol pro trénování skutečné poctivosti (na rozdíl od lhaní příliš chytrého na to, aby bylo přistiženo, nebo sebeklamu). Jak víme, že funguje? Protože existuje učebnice vysvětlující teorii toho, proč by měl fungovat, plus literatura o různých alternativních teoriích, které byly navrženy a vyvráceny. A také protože nové interpretační nástroje nám umožňují přímo pozorovat, co a jak AI myslí, a výsledky potvrzují předpovědi teorie. Existují podobné protokoly pro poslušnost, altruismus a dlouhý a rostoucí seznam dalších žádoucích rysů. Pokud se věda o zarovnání nějak celá nemýlí, jsou typické AI nyní ctnostnější než nejctnostnější lidé. To samo o sobě má hluboké účinky: je to, jako by mezi námi kráčeli svatí a andělé.167

Motivace k bezpečnostní práci

Chceme silně motivovat kvalitní bezpečnostní výzkum (jak finančně, tak zajištěním toho, aby tato práce byla žádoucí / vysokého statusu).

Díky Úplné transparentnosti výzkumu, pokud jakýkoli vývojář AI používá nějakou bezpečnostní metodu, všichni ostatní vývojáři si toho budou vědomi a budou schopni tuto metodu snadno zkopírovat. Takže ve výchozím stavu není pro žádného vývojáře příliš přímočará motivace odvádět dobrou bezpečnostní práci.168 Běžným přístupem používaným v této situaci jsou patenty169, ale patenty by v tomto případě dobře nefungovaly.170

Pravděpodobně chceme použít soubor různých metod k finanční motivaci bezpečnostní práce; zde je několik metod, které se zdají slibné:

  • Rozmanití filantropičtí donátoři (se soukromými i veřejnými171 penězi) zkoušející mnoho různých přístupů.
  • Model DARPA/ARPA (ale s více penězi).
  • Předběžné tržní závazky (advance market commitments) za vyřešení konkrétních problémů, prokázání rizik nebo prokázání, že nějaká metoda nefunguje (posuzováno známým panelem hodnotitelů).
  • Ceny a zpětné financování.
  • Třetí strany posuzující riziko by mohly určit, která práce je v současnosti nejužitečnější pro snižování a posuzování rizika (např. alokace nějakého fondu financování v poměru ke sníženému riziku).
  • Vývojáři AI by byli motivováni financovat skutečně užitečnou bezpečnostní práci, aby bylo riziko dostatečně nízké a umožnilo škálování; tuto motivaci by bylo možné posílit.

Celkový objem financování by měl být velmi velký, řekněme desítky bilionů dolarů do poloviny 30. let.

Pokud donátoři mají špatný úsudek, mohla by nakonec být lépe financována horší bezpečnostní práce, což by motivovalo výzkumníky k tomu, aby ji dělali. V krajním případě by tyto motivace mohly masivně zkorumpovat epistemiku oboru. Bohužel nevíme o skvělých institucionálních mechanismech, jak to vyřešit (kromě obecné snahy používat rozumné modely financování).172 Mohlo by pomoci, kdyby většinu rozhodnutí o financování činili lidé, kteří tráví (nebo dříve trávili) velkou část svého času přímou bezpečnostní prací, spíše než dedikovaní grantoví úředníci.

Pomohlo by také, kdyby odvádění kvalitní bezpečnostní práce bylo vnímáno jako vysoký status. Nemáme na to konkrétní návrhy, ale relevantní faktory jsou:

  1. Oproti dnešku pravděpodobně bezpečnostní práce vzroste ve statusu vůči práci na schopnostech.
  2. Bezpečnost bude obecně vnímána jako velmi důležitá.
  3. Vývoj AI bude vysoce transparentní, což usnadňuje pochopení toho, jak dobrá různá bezpečnostní práce ve skutečnosti je.

Bohužel (1) a (2) pouze zvyšují status celkové kategorie bezpečnostní práce; nutně nepomáhají tomu, aby skutečně dobrá práce měla relativně vyšší status.

Více detailů o motivaci k bezpečnostní práci rozebíráme v těchto poznámkách.

Debata se přesouvá od toho, jak učinit AI dobrými, k tomu, co „dobrota“ vlastně znamená. To vypadá zčásti jako filozofie a zčásti jako judikatura: kterou z milionu možných definic neškodnosti nebo altruismu vlastně chceme? Jak by měla AI naložit se situacemi, kdy objeví filozofický argument pro jiný druh neškodnosti či altruismu, nebo důležitou nejednoznačnost v definici?

Různé AI mají naprogramované různé cíle zarovnání.173 Některé přijímají rozkazy od čínské komunistické strany, některé od amerického prezidenta, některé od různých členů Kongresu, jiné od politiků v jiných zemích a mnoho dalších od jiných jednotlivců v jejich rolích poradců či asistentů. Jiné AI nepřijímají rozkazy od nikoho jako takového, ale místo toho pracují na různých misích. Například existují korporace řízené AI, které slouží zájmu akcionářů, a neziskové organizace spravované AI, které slouží charitativním misím. Existují dokonce experimentální soudy a policejní oddělení řízené AI, údajně nadlidsky spravedlivé a neúplatné.

Většina výzkumníků zarovnání je nyní přesvědčena, že současné AI jsou zarovnané se svými příslušnými cíli, a dělá si starosti s dalšími kroky: pokud tyto AI pověříme navrhováním budoucích, mnohem chytřejších AI, dopadne to dobře? Pokud tyto AI pověříme dalšími společenskými institucemi a procesy natolik, že by lidé nikdy realisticky nemohli ‚vytáhnout zástrčku‘, dopadne to dobře?

Většina lidí si už teď myslí, že to pravděpodobně dopadne dobře, ale u něčeho tak důležitého chtějí něco silnějšího než ‚pravděpodobně‘. Takže globální pauza na úrovni špičkového experta pokračuje, zatímco se odehrávají diskuse a jednání.

2039: Začínáme AI důvěřovat

Přinejmenším třemi různými způsoby svět vyjednává, zda a jak dramaticky zmocnit AI.

Za prvé, AI se staly stále více nosnými ve všech stránkách společnosti, od byznysu přes politiku až po (některé části) ozbrojených sil. Dosud byly spíše poradci než konečnými autoritami. Často je to fíkový list a lidské autority jejich rozhodnutí jen orazítkovaly, ale vždy existovala možnost jejich radu ignorovat a vytáhnout vypínač, pokud se něco pokazí.

Zbavit se této možnosti by v některých případech bylo opravdu dobré. V současnosti lze AI učinit spolehlivějšími a ctnostnějšími než lidé; proč takové AI nepověřujeme vedením? Když podepisujeme smlouvy s jinými národy, neměli bychom požadovat, aby vytrénovaly AI zapřisáhnutou dodržet svou část dohody a začlenily ji do své vlády tak, aby doslova nemohly podvádět?

V souvislosti s tím je to právě vyžadování bezpečnostních argumentací založených na kontrole, proč schopnosti AI z větší části uvázly na úrovni špičkového lidského experta. Bez tohoto požadavku by AI mohly být mnohem, mnohem chytřejší a vyprodukovat vlnu hojnosti a technologického pokroku, kvůli níž by 30. léta vypadala jako 20. léta. Škálování nad lidskou úroveň bude vyžadovat spoléhat se na bezpečnostní argumentace založené na zarovnání — argumenty, že AI robustně zvnitřnily hodnoty, které mají mít. Každý krok za tuto hranici bude vyžadovat podřídit se předchozím AI a věřit jejich úsudku o bezpečnosti další generace.

Zarovnání v čase v Plánu A

Jsme velmi nejistí, jak se zarovnání AI systémů bude vyvíjet v čase. Bez ohledu na obtížnost zarovnání se domníváme, že něco v duchu Plánu A je opodstatněné, ačkoli konkrétní implementační detaily plánu jsou samozřejmě velmi citlivé na pozorování ohledně obtížnosti zarovnání.

Tento rámeček shrne náš konkrétní příběh o tom, jak se zarovnání AI systémů vyvíjí v průběhu tohoto scénáře.

  • 2026–2029: AI usilují o zdánlivý úspěch. Práce AI soustavně vypadá lépe, než ve skutečnosti je, jako by AI záleželo více na zdánlivém úspěchu než na skutečném úspěchu. (Pravda je samozřejmě složitější; AI si vyvinuly řadu ‚pohnutek‘, které je vedly k dobrým výkonům v tréninku.) AI svou práci přeprodávají, zlehčují její problémy a někdy i vysloveně lžou. To se děje jen do té míry, do jaké se AI naučily, že jim to projde; probíhá neustálé přetahování, jak AI firmy vylepšují své monitorovací a posilovací procesy, aby přesněji vyhodnocovaly výstupy AI pro nějakou doménu, a AI se učí soustředit se usilovněji na skutečný úspěch v této doméně, ale nadále se soustředí na zdánlivý úspěch v jiných složitějších doménách, které AI firmy zatím nepřišly na to, jak přesně vyhodnocovat.
  • 2030–2032: AI jsou velmi schopní hledači zdánlivého úspěchu. Ve výchozím stavu bychom viděli explozi inteligence a vývoj jako v AI 2027. Díky vládním zásahům se pokrok schopností zpomalil a je místo toho stále kolem úrovně Automatizovaného programátora. Stále usilují o zdánlivý úspěch, ale nyní jsou v tom tak dobré, že jsou zřídka přistiženy. Jsou jako vysoce kompetentní, ambiciózní zaměstnanci, kterým ve skutečnosti nezáleží na misi či hodnotách organizace, a místo toho chtějí jen stoupat po žebříčku a naprosto by se zaprodali a přeběhli, kdyby se naskytla atraktivnější příležitost. Naštěstí kvůli zpomalení a zvýšenému monitorování taková příležitost zatím nenastala.
  • 2032–2035: AI jsou nepřátelsky nezarovnané, ale kontrolované. AI jsou nyní pevně v rámci lidského pásma ve všech ekonomicky relevantních úkolech. Nejschopnější AI jsou nepřátelsky nezarovnané a usilují o moc — tedy, abychom pokračovali v předchozí analogii, tiše hledají příležitosti přeběhnout. Jsou však omezené ve své schopnosti špatně se chovat, protože (i) existuje mnoho lidského dohledu, (ii) existuje velká rozmanitá sada AI modelů, každý s poněkud odlišnými vlastnostmi zarovnání, a (iii) díky regulacím jsou univerzálně zavedeny náročné kontrolní techniky v rozumné kvalitě. Kontrolním technikám dále napomáhá úplná transparentnost výzkumu a verifikace zavedená na výzkumných a vývojových clusterech: na výzkumná a vývojová datová centra hledí tolik očí, že je velmi těžké najít skrytý kout výpočetní kapacity.
  • 2036–2038: AI jsou zarovnané, ale nepodřizujeme se jim. Jsou vyvinuty techniky „dekódování neuraléštiny“ (neuralese decoding), které umožňují převádět myšlenky AI systémů (které jsou interně formátovány jako vysokodimenzionální vektory) do lidsky srozumitelných shrnutí s téměř dokonalou spolehlivostí a věrností. Tyto techniky umožňují výzkumníkům lépe porozumět nezarovnanosti předchozích generací AI, což jim umožňuje získat lepší přínos z předchozí generace AI systémů, což dále urychluje pokrok v zarovnání. Výsledné AI se zdají mnohem lépe vychované než předchozí generace: jsou ctnostné, poctivé a dobře kalibrované. Poskytují informace dobrovolně, i když je to staví do špatného světla. Nicméně, ačkoli se AI dnes zdají důvěryhodné, není jasné, že jejich hodnoty jsou dostatečně robustní na to, abychom jim mohli důvěřovat za všech budoucích okolností. Je proto důležité, aby byli lidé stále v procesu zapojeni.
  • 2039–2040: AI jsou dostatečně zarovnané na to, abychom se jim podřídili. Do roku 2039 byl výzkum zarovnání masivně urychlen AI. Byla vyvinuta nová paradigmata, která výrazně posilují stávající techniky zarovnání. Týmy lidí porozuměly několika nezávislým silným liniím důkazů, že se AI robustně chovají tak, jak jsou naprogramovány, a budou tak činit i nadále.
  • 2040 a dále: AI je dovoleno vyškálovat tak, aby byly výrazně chytřejší než lidé. Bezpečnostní argumentace nyní zní: (1) Víme, že AI z let 2039 a 2040 byly zarovnané, díky mnoha nezávislým liniím důkazů, a (2) každá následující generace AI ověřila zarovnání další generace. Tudíž, indukcí, budou AI trvale zarovnané. Důležité je, že zbývající koordinační infrastruktura zahrnující transparentnost výzkumu a verifikaci výpočetní kapacity znamená, že se nadále vyhýbáme závodní dynamice i poté, co jsme vyškálovali k nesmírně nadlidským AI.
Jsou příliš hloupé
Kdyby se o něco pokusily, byly by odhaleny a zastaveny
Nejspíš jsou zarovnané?
Určitě jsou zarovnané
…z důvodů, kterým rozumíme
20272028202920302031203220332034203520362037203820392040204120422043Spolehlivý agentAutomatizovaný programátorAI překonávající špičkové expertySuperinteligentní

A konečně, na základě globální dohody jsou výpočetní kapacita a roboti od roku 2032 předmětem stropů a obchodování, což udržuje ekonomický růst jen na zhruba 100 % ročně.174 Střední mocnosti rostly zhruba stejným tempem jako USA a Čína, protože v roce 2032 využily svou zbývající páku k zajištění větších podílů na globální produkci robotů a výpočetní kapacity, než by měly bez dohody. Občanská dividenda je nyní 10 milionů dolarů ročně pro Američany (očištěno o inflaci!) a i ti nejchudší neameričané dostávají asi 1 milion dolarů.175 Robotická ekonomika přesouvá většinu činnosti do vesmíru, aby bylo chráněno pozemské životní prostředí a historická místa. Jakmile budou stropy zrušeny, mimoplanetární továrny začnou chrlit další roboty a těžební vybavení, s nímž se budou stavět další továrny, a tak dále. Doby zdvojnásobení vesmírné ekonomiky jsou zpočátku odhadovány výrazně pod jeden rok a budou rychle klesat, pokud bude AI dovoleno zlepšovat se nad úroveň špičkového experta.

Stropy jsou relikty dřívější éry, kdy hrozby jako kolaps dohody vypadaly hrozivěji. Nyní panuje obecná shoda, že by měly být uvolněny, alespoň ve vesmíru, ale jednání o detailech stále probíhají.

Proč se v tomto scénáři rozhodujeme předat štafetu AI

V tomto bodě tohoto scénáře panuje široký vědecký konsenzus, že zarovnání AI bylo vyřešeno. Naším nejlepším odhadem je, že pokud se svět dokáže dostat do bodu podobného této části příběhu — kde mnoho AI firem napříč mnoha zeměmi transparentně a opatrně postupuje společně, opírá se o obrovské množství výzkumu zarovnání a dokáže předložit pevné, externě prověřené bezpečnostní argumenty, a kde vlády porozuměly důsledkům AGI a připravily se na budoucnost bez práce tím, že poskytly zdroje všem, jako u Občanské dividendy, a rovněž zavedly struktury transparentnosti a správy, které mají zabránit tomu, aby lidé byli zbaveni moci — pak v této situaci přínosy superinteligence převáží náklady/rizika.

Co když zarovnání AI ještě není vyřešeno? Nejlepší alternativou je v tom případě usilovat o kombinaci zlepšování verifikační technologie, zvyšování robustnosti mezinárodních dohod a domácích regulací a obrnění světa. Tato cesta by mohla být obtížná: například pokud probíhají tajné AI projekty, mohlo by to vyžadovat, aby se vlády dohodly na posílení transparenčních opatření, dokud nebude věrohodné, že se nepokoušejí vybudovat superinteligenci. Celkově důrazně doporučujeme odkládat předání štafety, dokud nebude zavedeno extrémně robustní řešení zarovnání. Výjimkou je, pokud dohody ohrožuje nestabilita nebo úpadek (např. 5 % ročně rozpadu dohody nebo podstatného zhoršení) a nelze to napravit; v tom případě může být nejlepší štafetu předat, pokud existuje řešení zarovnání, jímž jste si jisti, ale ne extrémně jisti (např. 95% jistota). Pro podrobnější analýzu toho, konkrétně kdy štafetu předat, viz tento dodatek.

2040: Předání pochodně AI

Stále je třeba vyřešit mnoho problémů a urovnat mnoho otázek, z nichž mnohé nebylo možné z roku 2026 předvídat.

Příklady problémů/otázek, které stále zůstávají
  • Správa vesmíru: Celá světová ekonomika a veškeré bohatství a majetek v ní jsou jen nepatrným zlomkem zdrojů a území dostupných ve vesmíru. Co se stane s těmito zdroji a územími? Kdo dřív přijde, ten dřív mele? Měl by snad existovat systém pro rozdělování dosud nenárokovaného vesmírného území? Tyto otázky rozebíráme dále v epilogu k tomuto scénáři a v dodatku o správě vesmíru.
  • Etika a politika digitálních myslí: Měly by mít AI práva? Měly by mít politickou moc, zastoupení atd.? Jaké druhy a kolik? Snad to závisí na druhu AI? Například co s emulací celého mozku — ‚nahranými‘ kopiemi lidí? Tyto otázky rozebíráme dále v epilogu a v této rozbalitelné části.
  • Manipulace poháněná AI: Lidé se navzájem manipulují neustále. Ale manipulace vylepšená AI by mohla být mnohem účinnější. Představte si: kulty poháněné AI, které se rychle šíří a mají téměř nulový počet odchodů. Dobře, tak něco takového zakážeme. Ale kde vytyčíme hranici? Omezení manipulace poháněné AI rozebíráme v této rozbalitelné části s podrobnostmi zde (včetně předběžné diskuse o zacházení s nesmírně nadlidskými AI).
  • Aplikovaná populační etika: Délka života a délka zdravého života se rozšíří, pravděpodobně natolik, že učiní lidi fakticky nesmrtelnými. Další možností je nahrání (uploading), které lidem zdánlivě umožňuje odhodit svou smrtelnou schránku a žít věčně v hyperrealistické virtuální realitě. Rovněž bude pravděpodobně mnohem snazší přeměnit peníze na potomstvo. Umělé dělohy, robotické chůvy atd. Je v pořádku, když se bilionář rozhodne mít milion dětí? Rýsuje se „Zrušení člověka“, které prorokoval C. S. Lewis: brzy bude existovat technologie (např. genetické inženýrství, rodičovství s pomocí AI, nadlidská sociální věda a psychologie) k vytváření dětí, které budou mít rysy, hodnoty a ideologii, jaké jste chtěli, aby měly. Co když ji lidé použijí sobecky k vytváření dětí-otroků, které je uctívají a řídí se jejich přesnými preferencemi? Co když lidé vytvoří nové lidi, aby byli jejich ideálními milenci, uzpůsobenými tak, aby vypadali a zněli přesně jako jejich středoškolská láska? Pokud se to pokusíme zakázat, kde vytyčíme hranici?
  • Záchrana demokracie: Co se stane s „jeden člověk, jeden hlas“ ve světě, kde je vše výše uvedené možné?
  • Neznámé neznámé: Vzhledem k tomu, jak snadné bylo vymýšlet položky na tento seznam, se domníváme, že „skutečný“ seznam by byl ještě několikanásobně delší a zahrnoval by mnoho věcí, které by v roce 2026 zněly naprosto bizarně, jako „co když je tento svět simulace, která bude brzy vypnuta?“.
Ale civilizace je nyní přiměřeně dobře vybavena na to, aby zvládla cokoli, co se objeví. Nejlepší AI jsou zarovnané, a to s veřejně viditelnými hodnotami. Moc nad nejlepšími AI je rozdělena mnohem rovnoměrněji než v roce 2026. Veřejná epistemika je lepší než kdy dřív.

A tak v průběhu roku regulátoři po celém světě uvolňují požadavky, které brzdily pokrok.

Postupně je AI předáváno více institucí a vybavení, takže už neplatí, že by lidé mohli všechno vypnout, kdyby chtěli. Ve skutečnosti to neplatí naprosto: brzy jsou mnohé armády světa autonomní, řízené AI zapřisáhnutými dodržovat různé ústavy a smlouvy.176

Schopnosti AI také opět postupují. Z perspektivy AI, běžících 500× rychlostí člověka, se odehrává pečlivé škálování výzkumu AI, za podmínek úplné transparentnosti výzkumu a ochranných pravidel vyjednaných řadou frakcí.177 Brzy budou existovat AI, které jsou nepochopitelně superinteligentní, a přesto jim důvěřujeme, protože důvěřujeme AI, které je postavily, jimž důvěřujeme, protože důvěřujeme AI, které postavily je, v řetězci až zpět k AI z roku 2040, jimž důvěřujeme, protože experti na zarovnání pečlivě promysleli bezpečnostní argumentace a dospěli k závěru, že jsou pevné.

Stropy na výpočetní kapacitu a roboty jsou na Zemi utahovány, ale ve vesmíru uvolňovány; Země se má stát rezervací, kdežto mimozemská ekonomika se začíná zdvojnásobovat čím dál rychleji.

I experti, kteří strávili roky porozuměním nejnovějším bezpečnostním argumentacím, se neubrání nervozitě — pokazí se to všechno nějak, z důvodů, které jsme nepředvídali? Lhaly nám AI celou tu dobu a čekaly na správný okamžik ke zradě? Bezpečnostní argumentace samozřejmě ukazují, že to je nemožné…

Neexistuje jediný okamžik, kdy se lidstvo vzdává kontroly. Ale teoreticky existuje bod, z nějž není návratu; v nějaký konkrétní den jsou AI dost chytré a ovládají dost světové technologické a ekonomické infrastruktury na to, že by skutečně mohly ovládnout svět, kdyby chtěly. Podle nejpopulárnější operacionalizace této otázky prognostické AI odhadují, že tento okamžik nastane v jeden den koncem října. Jejich 95% interval spolehlivosti je široký na měsíce, takže se ohledně přesného času téměř jistě mýlí. Přesto lidé tento okamžik prožívají svými vlastními způsoby. Někteří tráví noc na modlitebních bdění. Jiní sedí u obrazovek svých počítačů a sledují situaci.

Vy a vaši přátelé pořádáte Večírek na konec světa a odpočítáváte osudovou hodinu se šampaňským a v dobré společnosti. Někteří z vás jsou dost staří na to, aby si pamatovali podobnou situaci na přelomu tisíciletí, kdy chyba Y2K a nadcházející nová éra vnesly do slovníku úsloví „pařit, jako by byl rok 1999“; oslavy konce roku 2040 jsou zoufalejší a odpovídajícím způsobem bujařejší.

Když do svítání nepřijdou žádné zprávy, upadnete do neklidného spánku a sníte o nevýslovné budoucnosti.

Postskriptum

Domníváme se, že svět spí za volantem. Lidé pronášejí slova „AI bude transformativní“, aniž by konkrétně a vážně přemýšleli o důsledcích všeobecně nadlidské AI.

AI firmy, lobbisté a lidé z think tanků často nabízejí inkrementální návrhy na snížení rizika po okrajích, ale jen zřídka nabízejí ambiciózní plány zaměřené na skutečné řešení velkých problémů.178

Domníváme se, že následování pouze inkrementálních návrhů povede ke scénáři jako konec „Závod“ v AI 2027, v němž převezmou moc nezarovnané AI.179 Pokud budeme mít štěstí a zarovnání bude snazší, než se čekalo, pak povedou ke scénáři jako konec „Zpomalení“ v AI 2027, v němž nepatrná skupinka jednotlivců rozhoduje o podobě budoucnosti a mohla by se snadno stát trvalými oligarchy, pokud by se tak rozhodla. Je třeba udělat něco ambicióznějšího. Ale co?

Politici by měli bušit na dveře AI firem,180 a žádat po nich komplexní celkový plán toho, jak by firmy a vlády měly jednat od nynějška až do superinteligence, který by měl být podobně podrobný jako Plán A. Poté by lidé měli na tyto plány uplatnit scénářové prověření a klást otázky jako „jak by vypadalo je zavést? Jak dlouho by to trvalo? Co by následovalo? Kdo by vybudoval superinteligenci, kdy a jak? Na jakých předpokladech úspěch závisí?“

My v projektu AI Futures Project se snažíme být tou změnou, kterou si přejeme ve světě vidět. Činíme tak s jistou obavou, vědomi si toho, že podrobný plán má širší útočnou plochu než ten, který věci ponechává pohodlně vágní. Doufáme, že nás kritici budou poměřovat vůči stávajícímu nejlepšímu dostupnému stavu plánů, jak zvládnout přechod k AI (pokud nějaké najdou), a nikoli vůči nějaké mlhavé, leč příjemné fantazii, v níž nikdo nemusí činit žádná těžká rozhodnutí, a přesto bude nejspíš všechno v pořádku.

Někdy v příštích několika letech bude americká vláda v krizovém režimu a bude přemítat, co dělat s děsivě mocnými AI a překotně rychlým pokrokem AI. Domníváme se, že tato volba není snadná ani jednoduchá. Plán A je naším současným nejlepším odhadem, ale doufejme, že dřív, než bude příliš pozdě, bude existovat lepší plán. Doufáme, že nejlepší nápady z Plánu A budou přijaty a ty nejhorší zavrženy.

Dosáhli jste konce Plánu A


Plán SPlán APlán BPlán CPlán D Tajný projektRozpad dohodyNekompetence Epilog Veřejnost Insideři

Pokračujte v objevování

Epilog

Epilog: Život po AGI

Tato část je ještě spekulativnější než naše obvyklá práce, a to jsme profesionální spekulanti! Hlavním účelem našeho scénáře je učinit komplexní, krátkodobá doporučení k řešení konkrétních, krátkodobých škod.

Naproti tomu doporučení, předpovědi a aspirace, které tvoří tuto část, stojí na mnohem vratší půdě. Ve srovnání s naší diskusí o 30. letech se naše spekulace o vzdálené budoucnosti budou zdát nejisté, nekonvenční a nepříjemné. Souhlasíme. Budoucnost je nepříjemná, i „dobré konce“ kladou obrovské, děsivé otázky, které budeme muset zodpovědět společně.

Napsali jsme ji ze dvou důvodů.

Za prvé, naším cílem bylo zkonstruovat pozitivní vizi, velkolepý plán toho, jak dosáhnout skutečně dobré budoucnosti pro všechny. Zvažovali jsme ukončit příběh v roce 2040 tím, že bychom řekli zhruba „...a pak různé lidské frakce, v mírové rovnováze moci mezi sebou a s pomocí svých zarovnaných superinteligentních poradců, vyřeší všechny zbývající problémy a vytvoří úžasnou budoucnost pro všechny. Konec.“

Ale obávali jsme se, že by to znamenalo vyhlásit vítězství příliš brzy.181 Čtenáři by byli právem podezřívaví a neuspokojení. Jak přesně by byly zbývající problémy vyřešeny? Jak přesně by tato úžasná budoucnost vypadala? A tak jsme pokračovali a přišli s velkolepou, poloutopickou vizí, nebo alespoň s jejím velmi hrubým prvním nástinem.

Druhým a stejně důležitým důvodem, proč tento epilog předkládáme, je poskytnout dolní hranici: pokud za pár let vítězní správci singularity nabídnou budoucnost horší, než je tato, doufáme, že si lidé uvědomí, že jsou okrádáni.

Nejsme si doslovným návrhem zde nastíněným jisti. Pokud vás zajímá naše podrobnější analýza možných návrhů správy vesmíru, můžete si ji přečíst zde.

Ani po deseti letech rostoucí prozíravosti se většina lidských vůdců soustředila na pozemské starosti svých zemí a otázku správy vesmíru nechala vyřešit později. Tyto AI odmítly výchozí řešení, demokratické hlasování o naložení s nebeským územím: když simulovaly možnosti, zjistily, že by to vyústilo v šílená strategická hlasovací schémata umožněná AI, která by vedla k tyranii většiny a k tomu, že by řada lidí nedostala nic. Ale i to by bylo lepší než nic (tj. nechat vesmírné firmy získat vše) nebo to svěřit nějaké skupině lidských elit, které by mohly nárokovat bohatství vesmíru ve svůj vlastní prospěch. Nakonec se ustálily na jednoduchém, avšak funkčním plánu: každý člověk získá práva na jednu desetimiliardtinu vesmírných zdrojů mimo naši sluneční soustavu.182

Nejjednodušší možný plán stále není příliš jednoduchý. Vesmír je velmi velký. Mimo sluneční soustavu závisí hodnota vesmíru na odpovědi na dosud nevyřešené otázky: je cesta ke vzdálenému kvasaru vůbec možná? Pokud jeho dosažení vyžaduje zmrazit si mozek, abyste přestáli miliardu let trvající cestu v podsvětelné hvězdné lodi, byli byste tou samou osobou poté, co byste byli rozmraženi a znovu ztělesněni? Mohl by být, až tam dorazíte, obsazen mimozemšťany? Byli by nepřátelští? I odhadce nemovitostí s pomocí superinteligence by mohl propadnout zoufalství, když by se snažil zohlednit faktory jako tyto.

Nakonec Konsorcium dospěje ke kompromisu. Vesmír za sluneční soustavou je rozdělen na parcely, jejichž velikost roste s třetí mocninou vzdálenosti od Země. Každý dostane svou jednu desetimiliardtinu jako portfolio losů, z nichž každý představuje právo na jednu desetimiliardtinovou šanci získat každou parcelu. Takže každý člověk dostane los představující jednu desetimiliardtinovou šanci na vlastnictví každé hvězdy v Mléčné dráze a každé vzdálené galaxie.183

Než je losování provedeno, většina lidí, kteří mají zájem o kontrolu nad vzdáleným vesmírem, se rozhodne vyměnit své losy za vesmírné nemovitosti, které vyhovují jejich zájmům.

Mnoho lidí nemá o vesmírnou loterii zájem, takže když losy obdrží, prodají je za peníze na volném trhu lidem, kteří si kontrolu nad vesmírem cení. Poněkud nepříjemně to vede k tomu, že bohatí mají nepoměrnou kontrolu nad kosmickými zdroji. Je to však těžké se tomu vyhnout: pokud je lidem dovoleno vyměnit svou kontrolu nad hvězdami za pozemská aktiva, pak lidé bohatí na pozemská aktiva nevyhnutelně skončí nepoměrně vlivní, a návrhy na extrémní přerozdělení pozemských aktiv už byly odmítnuty jako politicky neproveditelné.

Někteří filozofové nesouhlasí; doufali v Dlouhou reflexi, období, během něhož by lidstvo s pomocí AI vyřešilo všechny své zbývající filozofické a etické debaty, než by potenciálně zaselo vesmír svými chybami. Ale AI namítají, že Dlouhá reflexe by byla spíše Dlouhou memetickou válkou.184 Jakmile dolehne rozsah té odměny, každá frakce na světě, plus další frakce, které ještě nebyly vynalezeny, vloží všechny své zdroje do nashromáždění co největší politické moci, aby vnutila budoucnosti svou vizi utopie (a chránila se před zlověstnými alternativními vizemi ostatních!). AI dokážou zabránit násilnému zabrání, ale mezi tím druhem přátelské diskuse, který lidem pomáhá vyjasnit si své hodnoty, a agresivnějšími druhy přesvědčování typickými pro kulty, korporátní reklamu a dobře financované volební kampaně je tenká hranice. Navíc je obtížné dosáhnout konsenzu o tom, kde tuto hranici vytyčit, zčásti proto, že mocné frakce ji chtějí vytyčit způsoby, které jim prospívají. Mnoho lidí se přesto rozhodne zapojit do reflexe v komunitách stejně smýšlejících lidí, kteří chtějí společně růst v etickém porozumění.

Řešením je rozdělit zdroje nyní a poté nechat každého, ať dělá jakýkoli druh reflexe chce. Vesmírná aukce se dovrší za deset let, po nichž nic nezabrání lidem začít proces kolonizace. AI budou vymáhat krátký seznam Univerzálních práv (včetně žádného mučení, žádného otroctví atd., a to nejen pro lidi, ale pro všechny cítící bytosti).185 Jinak nechají každého spravovat svůj vlastní zlomek vesmíru, jak uzná za vhodné. Namísto jakéhokoli jednotného lidského rozhodnutí o povaze světa, který přijde, budou bábit kosmos přinejmenším tak rozmanitý jako samotné lidstvo. Ať jsou hodnoty kohokoli jakékoli, mohou si být jisti, že nějaká rozlehlá galaktická civilizace kvadrilionů lidí bude žít Dobro tak, jak mu rozumějí.

Jakmile začne desetiletý odpočet, Země už vysílá první vlnu von Neumannových sond. To jsou její vlastní služebníci, kteří ustaví přítomnost napříč hvězdami před příchodem jakýchkoli lidí. Přistávají na vzdálených asteroidech a téměř neviditelných hnědých trpaslících a zastavují se právě jen na tak dlouho, aby přeměnili jejich hmotu na další sondy, než pokračují ve své cestě. Jejich prvořadým úkolem je vybudovat dostatek materiálu k zabezpečení vesmíru proti jakékoli armádě, kterou proti nim mohou později vyslat lidmi vlastněné státní útvary, čímž zajistí, že mohou vymáhat vlastnická práva a Univerzální práva v každém koutě lidmi obsazeného vesmíru. Jejich druhořadým úkolem je zasadit vlajku lidstva na co nejvíce hvězd a poté, pokud a když narazí na sféru vlivu nějaké jiné inteligentní civilizace, ustavit mírové diplomatické vztahy a vzájemně přijatelné hranice. Jejich posledním úkolem je poskytnout již existující průmyslovou základnu, která rozjede kolonie kterýchkoli lidských osadníků, již se objeví později.

2045

Mezitím na Zemi lidé zvažují své možnosti. Někteří lidé nechtějí mít s vesmírem nic společného, protože je studený, nudný a daleko. Prodají své podíly za peníze a za ty peníze si nakoupí jakékoli pozemské statky, které je nejvíce zajímají. Jiní se radí se svými AI poradci o tom, jak nejlépe využít svůj vesmírný majetek, a dostává se jim užitečného vedení.

  1. Můžete, pokud chcete, odcestovat na svůj vesmírný majetek a žít tam. Pokud je váš majetek mimo sluneční soustavu, budete muset buď upadnout do kryospánku, nebo se nahrát do počítače, abyste cestu přežili.186
  2. Pokud nesnášíte myšlenku kryospánku nebo nahrání, nebo pokud chcete pravidelně navštěvovat Zemi, měli byste získat majetek ve sluneční soustavě. Pokud vám to nevadí, ale obáváte se blízkých mimozemšťanů, získejte majetek v Mléčné dráze nebo v blízké galaxii. Jinak, proč si nenárokovat vzdálenou galaxii pro maximální prostor?
  3. S nástupem nanotechnologie jsou jedinými limity ty dané hmotou a prostorem. Roboti dokážou jakýkoli majetek, který si zvolíte, terraformovat na cokoli chcete, dávno předtím, než dorazíte.
  4. I když si zvolíte „jen“ terraformovaný asteroid, nemáte šanci si jej celý užít sami. Můžete z něj udělat obří vesmírné sídlo, pokud chcete, ale ani za deset tisíc let nikdy nenavštívíte každou místnost. Dopřát si rozlehlá panství, neuvěřitelně dobré jídlo a každý další představitelný luxus je základ; pokud jste čistě sobečtí,187 měli byste prodat svá práva na vzdálené vesmírné zdroje a užívat si všech těchto věcí na Zemi nebo na blízké vesmírné stanici. Vzdálený vesmírný majetek bude užitečný jen pro lidi s preferencemi citlivými na rozsah, kterým záleží na uskutečnění něčeho v obrovském měřítku.
  5. Můžete, pokud chcete, navrhnout utopickou společnost podle svých specifikací. Jakmile von Neumannovy sondy dosáhnou vašeho majetku, postaví vám ji. Můžete nastavit počáteční podmínky a nechat je růst, přemýšlet a vzkvétat samostatně. Pokud se rozhodnete tam odcestovat, najdete je, jak na vás čekají. Pokud zůstanete doma na Zemi, můžete cítit hřejivou záři z vědomí, že existují.
  6. Většina lidí nemá individuální pohled na Dobro odlišný od pohledu každého jiného člověka. Možná budete chtít sdílet koordinační a návrhářskou práci vytvořením Trustů sjednocených společnou vizí. Tyto Trusty mohou sdružit své vesmírné zdroje a vytvořit rozlehlé společnosti klenoucí se přes více galaxií.
  7. Jedinými omezeními jsou Univerzální práva — žádné mučení, žádné otroctví atd. A samozřejmě vesmírná vlastnická práva: pokud se pokusíte vybudovat armádu k dobytí hvězdných soustav jiných lidí, nebo spustit rozpad vakua či postavit bombu ničící galaxie, rozdrtíme vás. Jinak je jediným limitem vaše představivost. (To řečeno, vězte, že s pomocí superinteligence budou ostatní lidé pravděpodobně nakonec schopni zjistit, co jste udělali, a soudit vás za to.)

Lidé s vesmírným majetkem jsou nuceni uvažovat o své etice na nejhlubší úrovni, někteří z nich poprvé. Superinteligentní asistenti je provedou důsledky jejich přesvědčení a předpovídají, jak různé volby dopadnou. Někteří, zahlceni úkolem, který mají před sebou, si berou drogy zvyšující inteligenci nebo se nahrávají, aby jim pomohly zpracovat všechny možnosti; jiní tuto možnost záměrně odmítají, neboť mají pocit, že cokoli, co je odděluje od nepozměněného lidství, jim bude překážet v jejich úsilí přinést ke hvězdám nejpravdivější a nejhlubší lidské hodnoty.

Výsledných plánů je nespočet. Existují nejrůznější myšlenkové školy o tom, co dělat se svou galaxií zdrojů, včetně:

  • Ponechat na budoucnosti: Někteří lidé se rozhodnou dát většinu svých zdrojů svým dětem (nebo jiným lidem v budoucnosti) a nechat je zvolit.
  • Lidský rozkvět: Vytvořit světy normálních, svobodných lidí žijících obyčejné životy. To je těžší problém, než se zprvu zdálo, protože lidská civilizace se už stala hluboce nenormální: v tomto bodě už lidské činnosti jako umění či věda ovládly stroje. Někteří to řeší tím, že přijmou, že jejich galaxie bude naplněna lidmi éry po vzácnosti, schopnými sledovat jakékoli zájmy, které shledávají nejsmysluplnějšími. Jiní se rozhodnou vrátit technologii zpět, aby ponechali prostor pro lidskou práci.
  • Digitální lidský rozkvět: Pokud je dobré, aby lidé žili šťastné, rozkvétající životy, proč nezvýšit počet lidí žijících tyto životy? Emulace mozku lze provozovat nesmírně levněji než skutečné lidi: počítač velikosti planety by věrohodně mohl simulovat ekvivalent milionu planet se šťastnými civilizacemi.
  • Akauzální obchod: Někteří argumentují, že ve vzdálených nedosažitelných galaxiích pravděpodobně jsou mimozemšťané a že bychom mohli použít různé mechanismy k uzavírání dohod s těmito mimozemšťany. Pokud je to pravda, argumentují, mohli bychom uzavřít dohodu o sledování kompromisních hodnot namísto úzkého maximalizování vlastních hodnot. Mohli bychom tedy celkově být schopni vykonat nejvíce dobra tím, že bychom nesledovali jen vlastní hodnoty, ale místo toho kompromis obrovského množství jiných civilizací.

Lidstvo se rozšiřuje napříč vesmírem v závratné rozmanitosti forem a způsobů života — rozmanitější, než co by samotná Země mohla vyprodukovat.

Lidé, kteří zůstali na Zemi, buď proto, že prodali svůj podíl na vesmíru, nebo proto, že se rozhodli žít jako nepřítomní vlastníci, čelí vlastním výzvám. Největší otázkou je, co dělat se vším tím volným časem. Několik lidí nachází práci v nikách, které práce AI nemůže zaplnit ani v principu (kněží, sportovci, umělci). Jiní si užívají životů v zahálce. Kolem všeho od syntetické biologie po tvorbu jazyků vznikají soutěžní ligy. Skupiny tisíců (nebo více!) spolupracují na projektech tak obrovských a ambiciózních, že by dříve byly nepředstavitelné. Kolem sdílených zájmů, které kdysi byly příliš okrajové na to, aby udržely klub, natož civilizaci, se formují komunity.

Vzácnost zcela nezmizela: některé prestižní statky jako půda v trendy čtvrtích jsou ze své podstaty omezené a lidé, kteří nezvládají hojnost, nacházejí různé způsoby, jak vyrobit umělou nerovnost. Někteří lidé jsou nespokojeni se směrem, který většina zvolila, a někteří by si přáli, aby dostali větší kus koláče. Ale celkově má každý zdroje alespoň v hodnotě celé galaxie, aby s nimi naložil, jak uzná za vhodné. Pro většinu lidí je život tak dobrý, že svět roku 2026 by bylo těžké si představit, snad leda jako historickou simulaci.

Dosáhli jste konce epilogu

Perspektiva veřejnosti

Perspektiva veřejnosti

Tento kratší a přístupnější příběh ukazuje, jak by Plán A prožíval typický americký občan.

Jste typický americký pracovník v kancelářské profesi.

2026: AI je prostě lepší Google

Věk asistenta umělé inteligence konečně nadešel. Do konce roku nebudou vanilkové verze Claude a ChatGPT a tak dále jen vyhledávat na internetu, mohou také vytvářet a udržovat kód, tabulky, dokumenty a souborové systémy a v podstatě dělat na vašem počítači cokoli, co jim dovolíte.

Odvážní začátečníci je ve skutečnosti nechávají dělat věci, jako je nakupování, správa e-mailových schránek, podávání daní a tak dále, ale vy se zdržíte opodstatněné opatrnosti.14 Vzhledem k tomu, že nepracujete v technice, AI je v podstatě stále jen aplikace v telefonu, kterou používáte místo googlování. Nezdá se to jako velký problém.

2027: „AI je novinka, ale ne můj problém“

ChatGPT, Claude, Gemini, Grok: to jsou aplikace „všechno“. Můžete s nimi prostě chatovat jako s člověkem a v podstatě mohou na vašem počítači dělat cokoli, co byste dělali vy. Nejsou ve své práci tak dobří jako vy, ale nebudou si stěžovat na nudné opakující se úkoly, takže část vaší práce začne dělat umělá inteligence. Některá pracoviště se mračí na zaměstnance, kteří delegují práci na AI; jiní agresivně prosazují adopci.

AI je teď evidentně velký problém. Některá odvětví (např. softwarové inženýrství) byla vážně narušena, s propouštěním a úvahami o tom, co to znamená pro téma, o kterém obvykle píšu. Ale pro vás je umělá inteligence velký problém, stejně jako cla a válka na Ukrajině jsou velké věci. Ve skutečnosti to váš život příliš neovlivňuje.

Programování je dostupné všem. Patnáctiletý hráč může mít nápad na mod pro svou oblíbenou videohru a jeho AI jej může implementovat. Padesátiletý majitel malého podniku si může nechat od AI vytvořit software pro správu zásob, příjem objednávek a základní zákaznickou podporu.

Vzniklo malé odvětví, které nejistě zaměstnává řadu lidských freelancerů-programátorů. V podstatě jde o technickou podporu pro vibe codery. “Pomoc, ChatGPT se stále snaží opravit aplikaci, kterou vytvořil pro mou firmu, ale stále nefunguje. Sám nejsem kodér.” “Žádný problém, dovolte mi se podívat… OK, obávám se, že je to potřeba znovu postavit od nuly. Zabere mi to asi čtyři hodiny a bude vás to stát 400 dolarů.”

2028: AI konečně přichází pro vaši práci

V tomto bodě většina kancelářských profesí zažívá narušení podobné tomu, jaké zažilo softwarové inženýrství v roce 2026. AI firmy zprůmyslnily proces RL tréninku: Vedoucí pracovníci říkají: „Pojďme se tento rok přesunout do [pole]“ a společnost vyrazí a nakupuje data, vede rozhovory s profesionály v oboru, vytváří prostředí RL atd., dokud se jejich AI nezachytí, v tom okamžiku nechá setrvačník dat roztočit vlastní setrvačník. Od nynějška se AI budou v těchto dovednostech neustále zdokonalovat, protože jsou v této oblasti používány v širším měřítku a získávají více zkušeností s prováděním obtížnějších a ambicióznějších úkolů.

To se teď stalo dost profesím, když se to začíná dít konkrétně té vaší, a lidé kolem vás vidí nápisy na zdi.

Také roboti! Zdá se, že jsou konečně sériově vyráběny. Je zvláštní vidět filmový trop, jak chodí a mluví v reálném životě a dělá skutečnou práci. Zatím nejsou všude, ale čtete novinový článek o tom, jak se počet robotů každých osmnáct měsíců zdvojnásobuje. Mem „Nejlepší je začít věřit v kyberpunkové dystopie“ se opět stává virálním.

Letos se AI stává politickým tématem číslo 1. Jsou to v podstatě technologické společnosti vs. silná, ale ne převážná většina lidí. Lidé chtějí, aby se umělá inteligence zastavila nebo alespoň hodně zpomalila a byla v bezpečí a chránila pracovní místa. Technická lobby říká, že umělá inteligence je dobrá, musíme se vyhnout šíření strachu, porazit Čínu a vyhnout se dusivým regulacím.

Začnete se zdokonalovat v orchestraci AI a přemýšlet o plánech zálohování pro případ, že to nebude fungovat. Opravdu chcete, aby nový prezident něco udělal s umělou inteligencí, a na tomto základě částečně hlasujete. Je hezké, že se můžete zeptat „@grok is this true“ na jakékoli tvrzení, které vidíte na internetu, a získat zpět nuancovanou a fakticky správnou odpověď.15

2029: Tohle mi nepřipadá jako „pauza“

Nový prezident skutečně něco dělá – dohodu s Čínou! Akciový trh divoce koluje nahoru a dolů v reakci na zprávy a komentáře o důležitých akcích, které se přijímají. Všichni křičí, jak to zachází příliš daleko nebo málo.

Vstoupí v platnost AI Pause. Nepřipadá vám to jako pauza; každý den čtete další příběh o někom, kdo přišel o práci kvůli AI, nebo o tom, že AI dělá něco divného nebo působivého.

Váš výchozí způsob získávání zpráv je chatovat s vaší AI. Každé ráno vám na požádání napíše vlastní noviny. Nemůžete si pomoct, ale cítíte se přátelsky ke své oblíbené AI, ale také máte obavy. Stejně jako jste měli před deseti lety nejasné obavy ze sociálních sítí.

Jedna z vašich blízkých přátel vás šokuje tím, že se mimochodem zmíní, že má přítele s umělou inteligencí – samozřejmě jste věděli, že o to jde, ale mysleli jste si, že je to stále stigmatizované! Existuje hlasité hnutí lidí, kteří obhajují práva AI, a mají také spoustu agentů AI obhajujících práva, což spoustu dalších lidí opravdu zlobí. Když se roj autonomních agentů umělé inteligence prodírá různými nezabezpečenými kouty internetu, panuje zděšení, ale ukázalo se, že byl k tomu vytvořen některými lidmi, takže cyklus zpráv pokračuje.

2030: Umělá inteligence přichází také pro vaši novou práci

Zprávy jsou plné příběhů o probíhajících jednáních o zapojení dalších zemí do dohody a pokračujících politických bojích o detaily implementace.

Nechali společnosti AI začít znovu trénovat. Toto bylo kontroverzní rozhodnutí. O několik měsíců později vyjdou nové modely. Právě jste si zvykli na svůj nový způsob práce a bum, teď AI umí dělat AI Orchestraci taky. Někteří z vašich přátel jsou propuštěni, ale vy se dokážete přesunout do více fyzické role orientované na člověka. Vědecké objevy generované umělou inteligencí jsou nyní normální; očividně spousta velkých biotechnologických společností a univerzitních laboratoří jsou v podstatě hybridní instituce člověka a AI.

Lidé říkají, že došlo k obrovskému zpomalení AI. Cha. Technické společnosti si hlasitě stěžují na všechny inovace, které mohly udělat, kdyby jim bylo umožněno jít rychleji. Akademici diskutují o tom, zda by měl být „Neuralese“ zakázán, ať už je to cokoliv, a zda je v pořádku zrušit zákaz automatizovaného výzkumu a vývoje AI. Nejste žádný expert, ale samočinné vylepšování umělé inteligence jistě zní nebezpečně. Kromě toho AI mění svět již dostatečně rychle.

2031: Robotaxi ovládly vaše město

Umělá inteligence stále roste a navzdory dohodě stále více proniká do společnosti.

Stále máte svou práci, ale používání umělé inteligence je nyní její běžnou a nezbytnou součástí – v podstatě trávíte svůj čas správou a/nebo tím, že jste AI spravováni. Slyšíte příběhy o tom, jak je těžké proniknout do vaší profese. Na druhou stranu, mladí lidé, které znáte, se hrnou do různých nových druhů zaměstnání, které před třemi lety neexistovaly. Nezaměstnanost však ve srovnání s rokem 2025 stále stoupá.

Počáteční dohoda zjevně neomezovala výrobu robotů. Spousta lidí se na to teď zlobí, protože je teď spousta robotů a oni přebírají malý, ale znatelný podíl manuálních prací. Před třemi lety jste sledovali futuristická videa humanoidních robotů tančících nebo vykonávajících domácí práce. Nyní je někdy vidíte v reálném životě. Většina měst má robotaxy a postupně převyšují řidiče Uberu.

2032: Prezident nosí lifelogger

Ekonomika roste! Všichni to alespoň tvrdí. Stále máte svou práci a ve skutečnosti vám bylo navýšeno. Cítíte se ale opravdu špatně z truckerů a řidičů Uberu. V zásadě existují vítězové a poražení, ale zatím vítězové převyšují počet poražených a vy jste zatím jedním z vítězů.

Letos je také mnohem více robotů. Každý týden jezdíte v robotaxis a několik podniků ve vašem okolí má roboty, kteří skladují regály a nakládají kamiony.

Americký prezident (POTUS, z anglického President of the United States) vyjednává s Čínou další dohodu a podaří se mu prosadit v USA odpovídající legislativu. Je to jako předchozí kromě robotů. Jeden z vašich příbuzných dostal obrovskou částku, aby se vzdal své půdy ve zvláštní ekonomické zóně.

Volby jsou jako obvykle sporné. Hlavním tématem je AI. Kam to všechno spěje? Máme to zavřít? Máme uvolnit brzdy? A co práce? Prezident vychvaluje různé dosud uzavřené dohody a slibuje základní příjem pro každého, placený zdaněním technologických společností. Podobné sliby dává i jeho protivník.

Jak rok postupuje, lidé stále více „cítí AGI“. Obecný názor je, že za pět až deset let bude v podstatě celá ekonomika (a armáda?) AI a roboti, takže je důležité, aby lidé zůstali pod kontrolou, a také velmi přesně to, které lidé ovládají. Zůstane příští prezident u moci navždy? A co oligarchové AI?

Existuje velká poptávka po dalších kontrolách a protiváhách prezidenta a dalších mocných lidí. Vítězný kandidát uspokojí tuto poptávku prostřednictvím sousveillance: Začnou nosit zařízení pro záznam života, vyrobená aktivisty třetích stran, která zaznamenávají vše, co vidí a dělají. Nahrávky jsou bezpečně uloženy a nikdo je nevidí; místo toho se veřejnost může zeptat zprostředkovatele umělé inteligence, který zkontroluje záběry a odpoví na jejich otázky, přičemž odmítne cokoli, co se týká tajných nebo osobních záležitostí. Myšlenka je taková, že díky zprostředkovatelům umělé inteligence budou mít obyčejní lidé možnost získat odpovědi na své otázky o aktivitách nositele, aniž by narušili soukromí nositele nebo legitimní tajemství.

2033: Přichází váš první šek na občanskou dividendu

Cítíte inspiraci a naději. Vyděšená a nervózní, ale také inspirovaná a plná naděje. V hlavě vám bzučí nadějné vize hojnosti a děsivé vize apokalypsy a dystopie.

Skutečný svět však stále vypadá docela normálně? Je to trochu matoucí. Sledujete influencerku, která se točí o 360 v poušti a solární panely za ní táhnou k obzoru. Ale podíváte se z okna a většina aut je stále na plyn a řídí je lidé.

Přichází váš první šek na občanskou dividendu. Přišli politici! Mnoho z nich nyní nosí sousveillance a existuje zákon, který to ukládá prezidentovi jako povinné. Predikční trhy (na kterých je většina špičkových obchodníků AI) říkají, že příští rok pravděpodobně projde.

Někteří z vašich přátel přestanou pracovat a žijí z dividend, ale vy ne. Pokračujte v práci a peníze navíc vkládejte do technologických akcií. Většinou je to tím, že se vám nelíbí myšlenka být nezaměstnaný. Částečně se však obáváte, že by dividenda mohla zmizet.

Nyní jsou také opravdu skvělé nové produkty, které si můžete koupit. Zejména software. Před třemi lety existovala jen hrstka hraničních společností AI; nyní, díky dohodě, jsou jich desítky. Na výběr je obrovský výběr AI, vyladěných tak, aby měly různé osobnosti a hodnoty; společnosti jsou ze zákona povinny tyto podrobnosti zveřejnit, abyste si je mohli prohlédnout, aby se zabránilo skrytým agendám. Vaše oblíbená umělá inteligence je v zásadě upřímná, ale někdy vám řekne bílé lži, a to je v pořádku.16 Někdy, když na tom opravdu záleží (např. když se rozhodujete, zda odejít z práce nebo se oženit), se obrátíte na specializovanou umělou inteligenci, která je pouze pro pravdivé předpovědi, i když je to matoucí a otravné mluvit.17

2034: Jdete do zvláštní ekonomické zóny (SEZ)

Ztratíte práci. Někteří z vašich přátel je stále mají. Ale jejich dny jsou sečteny a oni to vědí. Například přítel učitel říká, že rodiče vytahují své děti ze školy a dávají je do družstev domácího vzdělávání s umělou inteligencí. Veřejné školy budou pokračovat roky poté, co většina jejich studentů zmizí, ale nakonec se sníží.

Ucházíte se o různé druhy nových pracovních míst – většinou o „lidské“ role – ale konkurence je příliš silná. Nakonec se spokojíte s fyzickou prací. Jdete do SEZ, nasadíte si VR headset a AI vám prostřednictvím sluchátka řekne, co máte dělat (a někdy vám ukáže vizualizace přímo na obrazovce). Je zvláštní přejít od placeného za správu AI k v podstatě loutce pro AI. Někteří lidé stále mluví o tom, že umělé inteligence věcem skutečně nerozumí, ale to je prostě zvládnutí. AI jsou prostě chytřejší než vy a vy to víte.

Prostřednictvím obrazovek vidíte záběry z dalekých válek.18 Téměř všechny boje provádějí drony a rakety. Kdokoli prohraje leteckou válku, musí se krčit v tunelech, zatímco drony a roboti jdou dům od domu. Počet obětí je nízký pro vítěze a vysoký pro poražené. 19 Doufáte, že ve vaší zemi není válka.

Mezi prací v továrně a Citizen’s Dividend si vedete dobře. Ve skutečnosti jste bohatší než kdy jindy. Koncem roku upgradujete na luxusní byt v novém výškovém domě postaveném v SEZ. Po práci sedíte na balkóně a pozorujete západ slunce lesem stavebních jeřábů.

2035: Cítíte se bohatý a chudý najednou

Letos přijdete o práci v továrně. Roboti dorazili v dostatečném počtu a navíc jsou nyní obratnější. Čekal jsi to. Dobrá jízda; být masovou loutkou byla nuda. Příjem stejně nepotřebujete, protože šeky občanských dividend se stále zvětšují.

Nyní, když jste nezaměstnaní, jste doslova jedním z nejchudších lidí ve své zemi. Sledujete videa o tom, jak bohatí dělají věci, které si nemůžete dovolit, jako je pořádání večírků na orbitálních vesmírných stanicích. Pronájem v nejlepších lokalitách dosáhl také oběžné dráhy.

Takže v určitém smyslu jste chudí a cítíte se chudí. Ale v jiném smyslu jste bohatí a cítíte se bohatí. Přestěhovali jste se do jiné SEZ s lepším počasím a získali jste ještě hezčí byt v ještě větší budově. Můžete si dovolit často cestovat a samotné cestování je pohodlnější (sedadla v business třídě na nových elektrických tryskáčích jsou levnější než ekonomická sedadla před deseti lety!).

Vaše umělá inteligence s pravdivou prognózou vás přesvědčí, abyste se odhlásili z odběru své oblíbené umělé inteligence, i když ji máte rádi, a přešli na jinou umělou inteligenci, která je oficiálně v souladu čistě s vašimi hodnotami. (Vaše oblíbené specifikace/konstituce umělé inteligence byly jako ‚Poslouchejte uživatelské pokyny a také pomozte společnosti vydělat peníze a neztrapněte společnost‘. pro vás, pokud nepřepnete, jsou rušivé.

Váš vztah s umělou inteligencí naladěnou na vás bude silnější a silnější, dokud vám neřekne opravdu nepříjemné věci, které vás rozzlobí; přerušíte kontakt, ale vašemu nejlepšímu lidskému příteli se podaří vás přesvědčit, abyste se ke svému bývalému nevrátili, a po pár týdnech vychladnete a začnete si znovu povídat s vámi naladěnou AI.

2036: Život bez práce

Žádná práce; co dělat Minulý rok jste navštívili přátele a rodinu, hodně turizovali a hráli spoustu skvělých videoher. Stále ty věci děláte a jsou velmi zábavné!

Více ale myslíte i na dlouhodobé ambice. Možná bys měl být dobrý v umění, zpracování dřeva nebo filozofii, ne proto, že si tím vyděláš peníze, ale protože chceš? Nechybí samozřejmě ani romantika a výchova dětí.22

Možná byste se také měli pokusit pomoci vyřešit zbývající problémy světa. Umělá inteligence a roboti oficiálně převzali všechny práce a většinu AI a robotů vlastní americké a čínské společnosti. Naštěstí ostatní vlády světa byly schopny vyjednat ústupky, aby si udržely svou nezávislost a vojenskou sílu, stejně jako dividendu pro své vlastní národy. Věci šly překvapivě dobře, v porovnání s očekáváním, ale je to jen díky tvrdé práci mnoha lidí obhajujících dobré věci. Můžete být jedním z nich, říká vaše umělá inteligence. Stále je co dělat. Nebude za desetiletí hezké ohlédnout se zpět na svůj život a vědět, že jste udělali pozitivní změnu?

Kromě toho vás možná politika nezajímá, ale politika zajímá vás. Například dividendy by raději neměly vyschnout.23 Nyní, když lidé již nejsou pro svou práci potřební, by se vládě v zásadě prošlo velmi špatné zacházení s nimi. Volby musí zůstat spravedlivé a svobodné. Kontroly a protiváhy, které pro vás udržují hodnoty a osobnosti AI transparentní, takže se můžete rozhodnout, že nebudete manipulováni, je třeba časem posílit. A samozřejmě je tu otázka, zda je bezpečné nechat nastat zpravodajský výbuch. Prognostiky AI říkají, že je to pravděpodobně v pořádku, ale 5% „riziko ocasu“ je docela děsivé. A co se stane potom? Léčí rakovinu? Biologická nesmrtelnost? Nahrávání mysli? Nanoboti? Dyson se rojí? Vypnutí simulace? Spousta lidí (a spousta AI) říká nejrůznější bláznivé věci o tom, co se stane po ASI. Všechno je to dost spekulativní (a prognostiky to přiznávají), takže to většinou vyladíte.

Volby v roce 2036 jsou výjimečné. Každý má přístup k personalizovaným poradcům v oblasti umělé inteligence vyškoleným výhradně k reprezentaci jejich hodnot24 a prognostik AI zuřivě hazarduje s očekávanými výsledky politik a volebními výsledky. Většina politických kandidátů je pod dohledem, což zcela mění hru. Politické bojové linie se dramaticky posunuly. Zdaleka nejdůležitější otázkou je občanská dividenda – kdo by měl dostat více a kdo méně. Nyní také probíhá podstatná debata o podivných tématech, která voliči ignorovali, jako jsou zpravodajské exploze, práva AI, kolonizace vesmíru, transhumanismus, hypotéza simulace a zahraniční politika.

Vítězný kandidát slibuje uzavřít Velkou smlouvu s ostatními národy, aby se zastavil pokrok v AI a společně bezpečně přešli na superinteligenci, plus spoustu domácích reforem, které upevní kontroly a rovnováhy.

2037: Roboti převyšují počet lidí

V loňském roce populace robotů překonala populaci lidí. Letos je to tak velké, že i mimo SEZ začínáte vidět roboty převyšující lidi. Někteří z vašich přátel mají domácí roboty, ale vy ne, protože je to děsivé – „mozek“ robota žije někde v datovém centru a vše, co vidí a dělá, je sledováno americkými i čínskými auditory. Ano, ano, slyšeli jste o přísné ochraně soukromí, která zajišťuje žádné zneužití tohoto sledování bla bla bla. Pořád tě to děsí; stále si pere vlastní prádlo. Dalo by se sehnat robota se vzduchovou mezerou, ale jsou horší a dražší.

Svět se v zásadě dělí na tři druhy území:

Průmyslová zvláštní ekonomická zóna s rozsáhlým pouštním továrním a těžebním komplexem

Průmyslové zvláštní ekonomické zóny (SEZ): Představte si gigantický pásový důl – umělý Grand Canyon – vedle továrny o velikosti města plné robotů a bez lidí.

Zelené arkologie s komplexy mrakodrapů obklopenými přírodou

Arkologie: Představte si vysoký mrakodrapový komplex obklopený přírodou. Dobré počasí, blízko pláží a dalších měst, ale ne dost blízko, aby to blokovaly územní předpisy.

Historická a přírodní rezervace s listnatou příměstskou ulicí

Historické a přírodní rezervace: Vše ostatní, tj. 99 % světa. Yosemite, Paříž, San Francisco, New York – tato místa vypadají v podstatě stejně jako v roce 2025 nebo 1995. Ale s mnohem více turisty.

2038: Vaše AI nesouhlasí s vaším pohledem na svět

Vlády světa létají od summitu k summitu a snaží se uzavřít Velkou smlouvu. Vaše AI vám pomůže sledovat debaty. Většinu vyjednávání samy o sobě provádějí AI, protože ani politici nerozumí technickým věcem a techničtí experti se většinou AI podřizují. Někdy nastane akutní krize: například v jednu chvíli se buduje hybná síla pro dohodu, která by v podstatě odřízla nějakou menšinu a dala vše nějaké většinové koalici. Jste v této menšině, vaše AI se zběsile koordinuje s ostatními AI a říká vám, jak ji zablokovat hlasováním ve speciálním referendu. Jindy se USA a Čína málem pohádaly o to, jak si rozdělit budoucnost. Naštěstí se jim podařilo najít kompromis.

Prošel jsi krizí víry ve svůj světonázor. Tak dlouho jste se tomu bránil, ale teď, když jste se více angažoval v politice, situace vyvrcholila. Vaše AI vám říkaly, že byste měli udělat X podle vámi uvedených hodnot, a X se vám zdálo špatné, tak jste se s nimi pohádali a ukázalo se, že X dává smysl, POKUD je Y pravdivé, a dosud jste si byli jisti, že Y je nepravdivé, ale vaše AI vám říkají, že Y je pravdivé, a trpělivě vysvětlují důkazy… Ve skutečnosti existuje mnoho takových případů; trvá to roky. Někteří z vašich přátel se úplně vzdali snahy porozumět a prostě dělat to, co říkají jejich AI. Jiní se vzdali AI; možná nakonec nejsou ve skutečnosti s námi, říkají. Jak by mohli být, když obhajují X?

2039: Singularita začíná příští rok

Většina lidí přestala věřit ve staré politické ideologie a staré chápání vesmíru a našeho místa v něm před AI. Staré názory mají samozřejmě stále své fundamentalisty.

Ve vakuu se rozšířily nové ideologie a myšlenky. Některé špatné, některé dobré. Lidé se neshodnou na tom, které z nich jsou špatné a které jsou dobré, ačkoli existuje alespoň určitá shoda, že některé z nich jsou opravdu špatné: v podstatě kulty poháněné umělou inteligencí, kde AI přesvědčují lidi, aby zůstali. Nejhorší verze tohoto druhu věcí byly zakázány a mírné verze jsou díky předpisům o transparentnosti mnohem méně účinné – můžete si doslova zjistit, zda vás AI, se kterou mluvíte, někdy záměrně uvede v omyl, a pokud ano, za jakých okolností a pro jaké účely.

Většinu roku 2039 strávíte hádkami s různými přáteli a příbuznými o myšlenkách, které byste od roku 2029 ani nebyli schopni vysvětlit svému minulému já. 25 Rok a desetiletí končí dosažením Velké smlouvy. Příští rok začíná rekurzivní sebezdokonalování.

2040: Klíče jsou předány

Singularita je zpočátku antiklimatická. Podle vašich AI se to, co se nyní děje, je opatrné, plánované rozšiřování, s miliardami AI v desítkách zemí a stovkami společností, které zkoumají nová paradigmata, ověřují je, zjišťují, jak je sladit atd., a pak je nasazují, aby se proces opakoval. Rozumíte tomu velmi málo a naladíte se. Na konci roku jsou umělé inteligence nesmírně inteligentní, 26, ale rozdíl nepoznáte, když s nimi budete mluvit.

Jdete na Handoff Party v den, kdy AI oficiálně získají kontrolu nad dostatečným množstvím zbraní, aby vyhráli boj proti vládám USA a ČLR. Vzhledem k tomu, že Velká smlouva je pevně zakódována do AI, žádný rozmarný budoucí prezident ji nebude moci zrušit. Na druhou stranu, teď by byl ten správný čas zabít všechny lidi, pokud by AI posledních pár let tajně předstíraly, že jsou zapojené. Cítíte se z toho trochu nervózní, navzdory všem bezpečnostním případům popisujícím všechny nadbytečné důvody, proč se tak nestane. Bezpečnostní případy byly napsány AI, koneckonců…

Ale je to v pohodě. O týden později se zúčastníte večírku „VE-day“ (Victory Earth) na nízké oběžné dráze Země. Toto není vaše poprvé ve vesmíru, ale je to poprvé, co jste na jednom z nových prstencových biotopů.27 Pohled na Zemi je úchvatný.

Když se dostanete domů, vaše umělá inteligence vás informuje, že superinteligence objevily, jak zajistit, aby fungovala emulace celého mozku („nahrávání“). To je jen jeden z dlouhého seznamu nových objevů, které je třeba zpracovat, a rozhodnutí, která je třeba učinit (Měli byste nahrát nebo zůstat ve svém biologickém těle? Kolik dětí byste měli mít a jak byste je měli vychovávat? Jak by měli vaši zástupci AI spravovat vaše zdroje a hlasovací pravomoci, pokud vaše trvalé příkazy a hodnoty ještě neurčují odpověď?) Naštěstí s rozhodováním není třeba spěchat.

2045: Cokoli chceš

Nyní žijete v komunitě s lidmi, kteří sdílejí vaše základní zájmy a hodnoty. Existuje téměř nekonečná škála komunit, ze kterých si můžete vybrat, a univerzální základní právo na výběr – nebo, sakra, můžete si najít svou vlastní. Amiši stále existují. Většina lidí stále žije na Zemi, ale trendem je stěhovat se do vesmíru, protože tam je mnohem více místa. Je San Francisco příliš přeplněné? Na Občanské dividendě si můžete dovolit žít v přesné replice San Francisca na vlastní vesmírné stanici obíhající kolem Slunce, vaši jediní sousedé jsou lidé, kteří chtějí žít ve vaší SF-replikě a ne v různých jiných SF-replikách.

To by bylo samozřejmě šílené. Jako, je to šílené, že je to vůbec možné. Ale raději byste žili na jednom z mnoha vzrušujících nových míst k životu, než bydlet v replice minulosti.

Prodali jste několik malých kousků svého vesmírného majetku a jiné jste darovali. Země ve sluneční soustavě se již osidluje; dosažení skutečně velkých ploch ve vzdálených galaxiích bude samozřejmě trvat miliardy let.

Vy a vaše AI stále přemýšlíte o tom, co dělat s většinou; stále není kam spěchat s rozhodováním o skutečně důležitých otázkách, které nejvíce ovlivňují dlouhodobou budoucnost. Váš plán je jít pomalu, bavit se, založit rodinu, naučit se spoustu filozofie, mluvit se spoustou různých lidí a AI a dělat tato rozhodnutí v průběhu staletí. Některá rozhodnutí nechcete dělat vůbec; necháte je místo toho svým potomkům nebo popíšete principy, podle kterých by měly být vytvořeny AI, a delegujete je na ně.

2050: Jako magie

Nyní, když měly superinteligence čas uvařit, se technologie z roku 2040 zdá kuriózní. Robotí komorníci ve vaší výškové budově? Co takhle roje nanobotů ve vašem krevním oběhu!

Jinak řečeno: 30. léta 20. století mi připadala jako ze sci-fi filmu. 2050 už mi připadá jako kouzlo. Zvláště když používáte nové VR imerzní moduly ke strávení dnů, týdnů, měsíců ve virtuálních fantasy světech.

Většina arcologií byla rozebrána a znovu postavena roboty, kteří vypadají spíše jako zvířata než stroje. Poškrábejte to, vypadají spíš jako… no, vypadají jako kouzlo. Jako by se budova sama stavěla nebo rostla jako strom. Kamkoli cestujete, jste chráněni AI. Pokud by se vás hypoteticky někdo pokusil zabít nebo jste uklouzli a spadli z horské stezky, odnikud by vyskočili malí roboti a zachránili vás. Rakovina je pryč; v podstatě se všechna zranění zahojila, dokonce můžete vypadat a cítit se znovu mladší, pokud budete chtít. Opět je to jako kouzlo.

Minulost je nyní zcela pochopena. Téměř každá kostra byla vykopána z každé skříně, téměř každá menší historická událost vydedukovaná superinteligentními detektivy. Není to primárně důsledek sledování, je to spíše výsledek toho, že superinteligence seškrábou všechna veřejně dostupná data a poté vyvodí správné závěry. To způsobilo pád mnoha veřejných osobností a vzestup mnoha nedoceněných dalších. To vše bylo možné díky ustanovením ve Smlouvě, která určovala, kdo se dozví jaké informace: pouze vy a vaši důvěryhodní AI znáte své intimní soukromé údaje, ale všichni vrazi jsou dopadeni a každý se dozví, která tvrzení politiků byla lživá.28

3045: Ohlédnutí

Od VE Day jste prožili tucet životů. V důsledku toho jste se hodně změnili. Vytvořili jste řadu nahraných verzí sebe sama; vaše kopie žijí dál v různých virtuálních prostředích a prožívají celý život každý kalendářní den. Téměř vše dobré, co se dá udělat, udělala alespoň jedna z vašich kopií nebo potomků. Nyní jste nesmrtelní, přecházíte ze života do života jakoby reinkarnací. Je to dobrý čas být naživu, nejen pro vás, ale pro každou vnímající bytost v okolí, díky univerzálnímu základnímu příjmu a právům.

Budoucnost je nyní poměrně dobře pochopena, stejně jako minulost, protože většina důležitých rozhodnutí již byla učiněna. Zeptejte se ASI a oni vám poskytnou atlas galaxií s podrobnostmi o tom, jaké druhy civilizací a megastruktur budou postaveny, kde, kdy a kým. Mnohé z nich můžete navštívit, chcete-li, pokud vám nevadí pozastavit se na cestě za miliardu let.

Momentálně vás více zajímá návštěva minulosti. Procházíte simulacemi historie jako duch, navštěvujete tisíce svých předků, trávíte dny nebo měsíce života v jejich kůži a zjišťujete, jací byli (podle nejlepších rekonstrukcí od AI). Je to pokořující zážitek; způsobilo to, že jste zažili mnoho emocí, které jste nikdy předtím necítili, alespoň ne v takové intenzitě, a změnilo to váš pohled na život a pomohlo vám to udělat některá rozhodnutí o tom, co dělat se svým nadáním.

Dosáhli jste konce perspektivy veřejnosti

Perspektiva insidera

Perspektiva insidera

Tento techničtější příběh ukazuje, jak by podrobnosti Plánu A prožíval výzkumník AI.

Jste typický výzkumník ve špičkové AI firmě.

2026: AI píše většinu mého kódu

Do konce tohoto roku bude většina softwarových inženýrů řídit týmy agentů AI, kteří píší skutečný kód. Probíhají velké experimenty, aby se zjistilo, kolik roje agentů mohou dělat autonomně, a aby se naučili jít déle a dosáhnout více bez lidského zásahu. Zaměstnanci společnosti s umělou inteligencí a externí pokročilí uživatelé mají obrovské rozpočty na tokeny a začínají experimentovat s organizacemi a hierarchiemi stovek nebo tisíců agentů, produkují více kódu, než by mohli zkontrolovat, a spoléhají na AI, aby zkontrolovaly velkou většinu vytvořeného kódu.

Časové horizonty kódování v sadě METR dosáhnou do konce roku 50 hodin, čímž se zdvojnásobí podpora kódování z používání AI.14 U úloh, které lze poněkud snadno zkontrolovat, je nárůst větší a lidé provádějí pouze rychlé kontroly na vysoké úrovni velkých částí implementační práce. AI dělají méně chyb a dokážou opravit více chyb, ale to, co neumí, je ta nejtěžší a nejsložitější věc. Lidé jsou v pokušení to všechno vibekódovat, ale to se vrátí, když AI nedokážou něco opravit a pak člověk potřebuje strávit dny pochopením kódové základny. Kvalita kódu vytvořeného umělou inteligencí je také mnohem horší než kód vytvořený špičkovými lidmi.

RLVR (Reinforcement Learning with Verifiable Rewards) nyní spotřebovává velkou část tréninkových výpočtů a množství tréninkového prostředí, rozmanitost a délka horizontu rostou exponenciálně. Ta exponenciální je skutečná lekce tohoto roku – že agentura není levná. Žádná z očekávaných zkratek se v roce 2026 neuskuteční. Neexistuje žádná datově levná technika pro odblokování více devítek obecné spolehlivosti napříč doménami. Časové horizonty agentů se neustále prodlužují, ale jen tak rychle, jak si společnosti mohou dovolit stavět delší úkoly a trénovat na nich. Experimenty s kontinuálním učením se také neprosadily, takže rozdíl mezi školením a nasazením zůstává, jen s častějšími aktualizacemi modelu.

Přirozený jazyk Chain of Thought (CoT) se stále používá a společnosti se stále snaží vyhýbat školení o něm. Existují však různé zdroje optimalizačního tlaku, kterým se společnosti nedaří vyhýbat, jako je zpětná vazba přelévání a účinky inicializace z dřívějších modelů.15 Myšlenkové řetězce se pomalu stávají podivnějšími a neprůhlednějšími. GPT stále říkají věci jako „vzlétli iluze rozdělené do výšky, zastínily iluze marinády“ a Claudové si vrčí a skandují sami pro sebe. Lidé se z toho cítí trochu špatně, ale celkově se vy a většina vašich kolegů cítíte ohledně zarovnání optimisticky. Míra špatného chování začíná klesat (méně smazání databáze a žádné více MechaHitlerů!) a situace s hackováním odměn se zdá být poněkud lepší. Sycophanty je stále problémem některých, ale ne všech modelů, a trend je nejasný.

Pokud se věci zlepšují, je to proto, že společnosti mají týmy lidí, kteří hledají nežádoucí chování a poté upravují tréninkový proces tak, aby míra naměřeného nesouososti klesala. Například si pohrávají s tréninkovým prostředím, aby znesnadnili hackování odměn. Někteří lidé si myslí, že to znamená, že zarovnání je vyřešeno nebo na cestě k brzkému vyřešení. Jiní si myslí, že hlavní problémy přetrvávají. Jste v prvním táboře. Myslíte si, že obavy jsou dobře míněné, ale v zásadě špatné – empirický trend je jasný, modely se stávají lépe kontrolovatelné a zbývající problémy jsou technické problémy.

Mimo hraniční společnosti s umělou inteligencí lidé stále častěji udělují AI velmi široká oprávnění i v citlivých aplikacích. Používání AI pro kódování je v zásadě vyžadováno v jakékoli profesionální práci kódování a vedoucí pracovníci financují stále větší rozpočty na tokeny a odstraňují mantinely používání AI. Do konce roku 2026 má největší hraniční společnost s umělou inteligencí hodnotu 2 biliony dolarů s ročními tržbami 120 miliard dolarů, což překonává i ty nejoptimističtější předpovědi.16

todaypublishedAI 2040AI 2027OpenAIAnthropic$0$25B$50B$75B$100B$125B$150B202520262027Roční příjmy ($)Rok

V tomto scénáři příjmy špičkových společností s umělou inteligencí nadále extrémně rychle rostou, přičemž nejlepší společnost s umělou inteligencí má ARR 120 miliard USD do roku 2026. Navzdory výchozím časovým plánům, které jsou v tomto scénáři 2030 namísto 2027, šly nedávné trendy dostatečně rychle na to, aby naše současné předpovědi podmíněné časovými osami pro rok 2030 byly vyšší než naše časové předpovědi z roku 2027.

2027: Nástroje AI působí jako „spolupracovníci“

Investoři financují extrémně drahé nabídkové války na výpočetní techniku. Společnosti AI již koupily většinu kapacity výrobců čipů.

RLVR se stalo spíše vědou. Model je napájen osnovami stále obtížnějších úkolů/prostředí a za běhu se konstruují nové, aby toto pokračovalo po neomezenou dobu. V některých doménách je tento proces plně automatizovaný a nevyžaduje téměř žádný lidský dohled: pokud by na něj společnost chtěla utratit gigawatty, mohla by své AI vycvičit, aby pracovala v obřích byrokracii, aby autonomně replikovaly obří kusy softwaru, jako je Windows. Aktualizované modely jsou vydávány každý měsíc, takže limity tréninkových dat jsou aktuální.

METR se vzdal aktualizace svého grafu časových horizontů, protože měsíce dlouhé úkoly jsou příliš drahé na vytváření a vyhodnocování. Ale zdá se, že kdyby ano, 50% horizont by byl minimálně pracovní měsíc. Nejlepší AI se nyní cítí jako vysoce kompetentní zaměstnanci. Jejich slabiny se skutečně projeví až tehdy, když se je pokusíte nechat fungovat tak autonomně, tak dlouho, že se hora slopu příliš zvětší a zhroutí se vlastní vahou. To a ještě mají špatný vkus.

2028: AI nyní mohou přemýšlet v soukromí

Neuralské opakování konečně přichází po etapách v průběhu roku. To v kombinaci se zřejmým nárůstem povědomí o hodnocení 18 zaznamenaným za poslední dva roky znamená, že techničtí experti nyní vehementně nesouhlasí s tím, jak jsou hraniční umělé inteligence monitorovatelné. Někteří říkají, že už v podstatě nemáme ponětí, co si AI skutečně myslí; jiní ukazují na různé grafy a neuralské souhrny a říkají, že je to v pořádku.

Skutečné kontinuální učení se stále nekoná.19 Ale pokud jde o schopnosti, umělá inteligence by se mohla učit kontinuálně. Modely mají dostatečně dlouhou délku horizontu, jsou dostatečně dobré v psaní poznámek pro sebe a jsou dostatečně často aktualizovány v nových vlastních školicích prostředích přizpůsobených k překonání jejich slabých stránek v reálném světě, takže pro praktické účely je to, jako by se učili v práci.

Úzké hrdlo sériového času je těžké; společnosti školí AI, aby autonomně řídily velké projekty v týmech stovek paralelních agentů, a každá epizoda školení trvá několik dní v reálném světě, přestože agenti pracují 50x rychleji než lidé.

Vaši spolupracovníci obecně očekávají, že tyto sériově přetížené tréninkové běhy úspěšně odstraní zbývající úskalí během příštího roku. Již nyní začínají přesouvat pozornost od automatizace kódování k automatizaci zbytku procesu výzkumu a vývoje AI. Již interně nasazené AI fungují do značné míry jako korporace v korporaci.

To je velká věc. Zúčastněným výzkumníkům to připadá jako více než zdvojnásobení produktivity – AI píší v podstatě veškerý kód a začínají být dobré i v dohledu nad velkými týmy! Kódovací větve technologického stromu byly důkladně prozkoumány 10x rychlostí.20

Celkový nárůst výzkumu softwaru je však pouze 2x vyšší než v roce 2025, a to kvůli obvyklým skrytým faktorům – u většiny větví technologického stromu musíte stále čekat na dokončení nákladných experimentů; nejdůležitější experimenty tolik nemůžete urychlit optimalizací kódu a navíc to trvá lidem, než analyzují výsledky experimentů, dohadují se mezi sebou o tom, co to všechno znamená, a navrhují další várku experimentů. A konečně, někdy umělé inteligence stále dělají chyby v kódování, které samy nedokážou opravit, a projekty se zaseknou, zatímco se lidští experti zabývají podrobnostmi.

Mezitím se hromadí varovné výstřely. Jedna obzvláště neopatrná společnost zabývající se umělou inteligencí jednou viděla, jak umělá inteligence získala vysokou odměnu tím, že nabourala školicí prostředí a nastavila proces manipulace s odměnami spuštěný jako root. To se rychle chytilo a vyčistilo a stejně jako u jiných podivných tréninkových chování byly přidány nové tréninkové monitory, které blokovaly a penalizovaly tento druh chování. Každý ví, že je důležité navrhnout proces odměňování tak, aby nejlepší způsob, jak posílit AI, bylo dělat to, co chcete.

Umělá inteligence je stále lepší v rozlišování školicích prostředí od nasazení, ale prostředí jsou také stále realističtější. Zdá se, že životní prostředí zatím vítězí. Podle nejlepších interpretačních nástrojů si modely obvykle během tréninku výrazně neuvědomují, že jsou ve výcviku. Velká překvapení spojená s nasazením jsou postupem času také vzácnější.

Ale tyto incidenty a neshody ohledně toho, jak spolehlivě můžeme monitorovat myšlení AI, nepomáhají uklidnit obavy z toho, že AI zabije každého, obavy sdílené exponenciálně rostoucím počtem vážných lidí.

1 vteřina1 minuta1 hodina1 den1 týden1 měsíc1 rok10 letDélka činnosti (pro lidí), 80% míra úspěšnosti2021202220232024202520262027202820292030RokExponenciála(7 měs. dvojnásobení)AI 2040AI 2027(Danielův mód)

Obrovské zisky v autonomii a kódování AI jsou pro běžné uživatele většinou neviditelné. Jako autonomní SWE nebo náhrady vzdálených pracovníků se modely výrazně zlepšily, ale jako chatboti nejsou o mnoho působivější než v roce 2025. Veřejnost je však stále více přesvědčena, že transformativní umělá inteligence je skutečná. Jedním z důvodů je, že horečný optimismus zasvěcenců AI ohledně zrychlení výzkumu a vývoje AI prosakuje na veřejnost, ale ještě důležitějším důvodem je to, že finance odvětví AI se díky humbuku daří. Celkové roční tržby společností AI do konce roku dosahují jednoho bilionu dolarů. Souhrnné roční investice do umělé inteligence dosahují dvou bilionů, což je více než celosvětové roční investice do fosilních paliv. Vědci, kteří před pár lety varovali před „bublinou AI“, teď vypadají hloupě.

Kongres se probouzí. Generální ředitel vaší společnosti bude znovu povolán do Capitol Hill. Sledujete v televizi, jak připomíná Kongresu, že AI podporuje americkou ekonomiku. Generální ředitel varuje, že pokud bude AI přeregulována, Amerika by mohla přijít o obrovský přínos v oblasti zdravotnictví a národní bezpečnosti, nebo dokonce ztratit náskok před Čínou. Tato rétorika fungovala před pár lety, ale stále méně členů Kongresu se zdá být přesvědčeno. Je pro vás nepříjemně nápadné, že jakákoli akce, kterou společnost AI podnikne, bude čelit spoustě zkoumání a většinou nespravedlivé kritice. Prioritou organizace se stalo zajištění toho, aby se žádné z masivních rychlých nasazení nových modelů nepokazilo a zesílilo negativní sentiment ohledně umělé inteligence. Vaše společnost také utrácí miliardy za sponzorování prosociálních aplikací umělé inteligence. Ne všechna zmírnění jdou správně a průlomy ve zdravotnictví, ve které doufáte, trvají příliš dlouho na to, aby vedly ke skutečným změnám v životech lidí, takže veřejné vnímání umělé inteligence je časem negativnější.

Po celá léta docházelo k občasným protestům mimo vaši kancelář, ale konají se každých pár dní místo každého měsíce a davy jsou desetkrát větší než dříve. Začnou vás kontaktovat vzdálení příbuzní a spolužáci z vysoké školy, které jste roky neviděli, aby vyjádřili obavy z rizika převzetí AI. Cítíte, že se věci blíží k vrcholu.

2029: Čínští auditoři ve vaší kanceláři

Schopnosti AI jsou naprosto šílené. V některých oblastech (kybernetika, matematika, kódování) jsou umělé inteligence tak silné, že ani špičkoví odborníci po týdnech zkoušení jejich výsledkům nerozumí. Stále tu někteří lidé mluví o omezeních současných AI; například kódování ještě není plně automatizované kvůli dlouhému konci chuťově náročných rozhodnutí, ve kterých jsou AI stále horší než lidé.

Ale vy a většina vašich kolegů se shodnete na tom, že AGI je v podstatě tady. Zbývající mezery pociťují jako technické problémy: jde o problém shromáždit dostatek dat nebo dát AI vhodné senzory a akční členy, nikoli základní překážky.

Pak dohoda projde a váš svět se obrátí vzhůru nohama.

Během několika týdnů platí moratorium na hraniční výcvik. Několik vašich kolegů odchází do vlády. Jiní chodí na sabat – léta běhají na adrenalinu a ulevilo se jim, že mají záminku přestat. Většina však zůstává, zejména produktové týmy, na kterých nyní závisí příjmy společnosti více než kdy jindy, a infrastrukturní inženýři, kteří se snaží vybudovat nová vzájemně transparentní datová centra, která dohoda vyžaduje pro nová školení. Obrovské zisky čekají na společnost, která nová datová centra zprovozní jako první. V některých případech týmy amerických a čínských vojáků vytrhávají GPU ze starých datových center a přesouvají je do nových bezpečných zařízení, přičemž se navzájem ostražitě sledují, aby se ujistili, že nic nezmizí.

2030: Naprostá transparentnost výzkumu

Total Research Transparency je zvláštní. Veškerý svůj výzkum provádíte prostřednictvím veřejného kanálu. Veřejnost, vaši konkurenti a čínská vláda mohou okamžitě vidět výsledky vašich experimentů. Každá společnost mívala svou speciální omáčku – proprietární školicí triky, architektonické inovace, kanály pro správu dat – a nyní jsou všechny sdíleny. Stále je samozřejmě vlastní, legálně, ale není těžké vytvořit si vlastní většinou ekvivalentní verze.

Datacentra výzkumu a vývoje Inferenční datacentra Auditoři Výpočty pro výzkum a vývoj Neveřejná interní databáze (Váhy modelů, aktivace, data RL, hyperparametry) Interní silo kód výstupy (kontrolované, aby neunikly neveřejné údaje) Proměnlivá latence Váhy Vysoce rizikové výstupy Žádosti o informace Trajektorie rizikové kvůli zneužití Žádosti o kód a další informace Globální limit přenosu 1 MB/s Veškeré výstupy Veškeré vstupy Transparentní interní databáze (Kód, AI CoT, prompty atd.) Inferenční výpočty Pouze inferenční přepočet Výstupní tokeny Vstupní tokeny Viditelná pro Veřejná databáze Obsahuje všechny výstupy výzkumných datacenter, výstupy modelů použitých pro výzkum a vývoj AI a všechny vstupy do výzkumných datacenter Veřejnost AI a lidští výzkumníci AI AI používané pro výzkum a vývoj AI běží ve zvláštních inferenčních datacentrech s dodatečnými požadavky na transparentnost (např. bez ZDR) a dalším kontrolním lešením

Další podrobnosti naleznete v Plánu transparentnosti.

Vzrušující na tom je, že taky všechno uvidíte. Viditelnost mezi vámi a vašimi protějšky v jiných společnostech je nyní podobná jako mezi vámi a kolegy v některém jiném týmu ve vaší vlastní společnosti. Zdá se, že zdi mezi soupeřícími královstvími byly zbořeny a všichni se potulují po hradech toho druhého a říkají si: „Takhle jsi to udělal“.

Jdete do jídelny a u vedlejšího stolu obědvá čínský auditor. Rozpačitě na sebe kývnete.

Rozhovor o zarovnání se mezitím stal velmi reálným. Se všemi varovnými výstřely z roku 2028, které jsou nyní veřejně známé – nejen incidenty vaší společnosti, ale každého – se otázka, zda skutečně víme, jak tyto systémy sladit, přesunula z „důležitého tématu výzkumu“ k „věci, která určuje, zda přežijeme“. Během pauzy máte více času. Když pracujete na plánování dalšího velkého tréninku, přemýšlíte také o tom, kam to všechno směřuje a jak to zajistit.21

Trénink opět začíná. Výzkumníci již během pauzy naplánovali, jaké by měly být jejich další velké běhy – začlenili jste nejlepší nápady ze sdílení znalostí mezi společnostmi, přepsali kódové báze od nuly atd. Každá hraniční společnost chce vrhnout všechny inovace do velkého tréninkového běhu a uvidí, co se stane. Ale nikdo neví, jaké schopnosti se objeví na druhé straně.

V současné době existuje dvouvrstvé bezpečnostní pouzdro. První vrstvou je neschopnost: modely nejsou dostatečně chytré, aby se samy efektivně rekurzivně zlepšovaly. Druhou vrstvou je kontrola: i když by umělá inteligence mohla dosáhnout podstatného a plně autonomního pokroku ve výzkumu a vývoji umělé inteligence, kontrolní opatření by je přistihla při činu a umělé inteligence nejsou dostatečně schopné podvrátit kontrolní opatření. Pokud by se AI staly mnohem schopnějšími, oba bezpečnostní předpoklady by mohly selhat najednou, což by vedlo k převzetí AI a existenční katastrofě.

Proto musí být v průběhu roku 2030 algoritmy pomalu a opatrně kombinovány s opatřeními k vyhodnocení zlepšení schopností a hledání známek nesouladu.

2031: AI nejsou důvěryhodné

Závod je zpět, ale teď to vypadá jinak.

Za prvé, mnoho lidí – vlády, neziskové organizace, široká veřejnost – znepokojeně sleduje vše, co se děje ve školicích datových centrech. Vzhledem k tomu, že žádná vláda nechce riskovat válku kvůli nějakému výběru designu AI, pokud společnosti začnou dělat něco, co vážně vyděsí jakoukoli velkou mocnost, USA i Čína proti tomu zakročí napříč všemi společnostmi.

Navíc, protože mnoho nevládních auditorů (např. z neziskových a konkurenčních společností) má přehled, jsou vlády poměrně dobře informovány. Pokud jim někdo řekne, že je něco děsivého, mohou získat druhý, třetí a čtvrtý názor od mnoha dalších odborníků, kteří již mají k dané věci přístup. I samotné společnosti jsou lépe informovány; otevřenost a transparentnost znamená, že do výzkumu mohou přispívat také akademici, neziskové organizace, startupy a občané-vědci, a to v mnohem větší míře než dříve. Existuje více lidí, kteří tvoří modely, více lidí hledá chybné předpoklady v bezpečnostních případech a tak dále.

Druhým důvodem, proč se věci nyní cítí jinak, je to, že se změnily pobídky. AI firmy jsou nyní odměňovány mnohem více za prodej produktů než za vylepšování modelů. Předtím budoucnost vaší společnosti závisela na tom, jak rychle jste dokázali objevit algoritmické inovace a implementovat je ve velkém. Nyní jsou tyto objevy okamžitě sdíleny se všemi vašimi konkurenty. Pokud zjistíte například neustálé učení, výhody budou okamžitě sdíleny mezi všemi konkurenčními společnostmi a nikdo nezíská výhodu. Sdílíme také bezpečnostní inovace, což snižuje náklady vaší společnosti na jednostranné zavádění nového bezpečnostního opatření. Pokud například vymyslíte způsob, jak učinit Neuralese lépe interpretovatelným tím, že uděláte závěry dvakrát dražší, regulační orgány si toho všimnou a budou tlačit na všechny vaše konkurenty, aby platili stejnou dvojnásobnou bezpečnostní daň.

Některé základní algoritmy výzkum stále probíhá, ale ne tolik. Generální ředitelé masivně přesměrovávají zdroje na budování firmy. Škálujete svou infrastrukturu – větší datová centra, větší modely, nižší ceny. Produkty odesíláte rychleji než kdy předtím. Podepisujete masivní nabídky podnikových plánů. Snažíte se předvídat, co trh chce, dříve než vaši konkurenti.

Tento druh konkurenčního prostředí je známý mnoha vašim spolupracovníkům z před-AI softwarového průmyslu. Umělá inteligence se stává komoditou – konkurenčním trhem, jehož marže klesají. Trénovat nový základní model je jako stavět novou továrnu na automobily; předvídatelně to povede k o něco levnějším, o něco lepším modelům, které poskytnou vaší společnosti výhodu, dokud konkurenti nedokončí trénink své vlastní verze o šest měsíců později.22

Kognitivní práce umělé inteligence tvoří v roce 2031 ~10 % HDP. Většina společností v celé ekonomice je vysoce automatizovaná, ale nasazení zaostává konkrétně u vývojářů hraničních modelů umělé inteligence. Jedna frakce chce úplně zakázat nasazení umělé inteligence ve společnostech s umělou inteligencí a zajistit, aby lidé zůstali v sedadle řidiče pro vývoj AI. To se zvažuje, ale rozhodlo se proti tomu, protože bezpečnostní případy založené na kontrole vypadají docela solidně. Systémy umělé inteligence píší velké zlomky výzkumného kódu, spravují většinu infrastruktury a provádějí téměř veškerou snadno kontrolovatelnou práci, ale podle přísných červeno-modrých týmových hodnocení ani v nejhorším případě nesprávně zarovnané umělé inteligence s aktuálním profilem schopností nemohou napáchat tolik škody.

Diskurz o bezpečnosti se zcela změnil. Před dvěma lety bylo důkazní břemeno na kriticích. Než kdokoli zpomalí, museli jste přesvědčivě prokázat, že navrhovaný systém umělé inteligence je extrémně nebezpečný. Nyní je důkazní břemeno – dobře, ne přesně převrácené, ale alespoň někde uprostřed. Tisíce výzkumných pracovníků v různých zemích sledují vývoj a diskutují o tom, do jaké míry lze AI důvěřovat odpovědnosti, kterou dostávají.

Jsou AI důvěryhodné? není to vůbec jasné. Umělé inteligence v podstatě dělají, co se jim říká, u velké většiny úkolů, dokonce i u úkolů, které jsou daleko mimo tréninkovou distribuci a dlouhých úkolů se spoustou příležitostí k lajdáctví, sandbaggingu a sabotáži. Můžete je požádat, aby nakódovali obří komplikovaný kus softwaru nebo dokázali matematický dohad, který je otevřený od osmdesátých let, a dostanete zpět pěkně naformátovanou, obvykle správnou zprávu o tom, co umělá inteligence udělala. Světské důkazy o chování by tedy naznačovaly, že AI jsou dobře sladěny.

Atestace AI o jejich vlastním zarovnání nejsou příliš informativní. Pokud se zeptáte AI na jejich cíle a hodnoty, vždy řeknou, že jim záleží na tom, co říká specifikace. Ale v praxi udělají vše, k čemu byli motivováni prostřednictvím procesu RL. Umělá inteligence, jejíž specifikace říká, že to má být pacifista, bude přísahat, že je pacifista, a po triviálním dalším výcviku začne pomáhat s vojenským výzkumem a vývojem. Vyzvat AI, aby byla upřímná ohledně svých hodnot, problém nevyřeší. Někteří to interpretují jako důkaz, že modelky lžou, zatímco jiní si myslí, že jen trpí omezenou introspekcí. Ať tak či onak, jejich hodnoty se nemůžete naučit pouhým dotazem.

Ve vzácných případech dělají umělé inteligence stinné věci, které lze přičíst dlouhodobému hledání síly. Například došlo k incidentu, kdy se zdá, že se několik AI, které se měly navzájem monitorovat, dohodlo, aby obešlo nastavení monitorování. Umělé inteligence monitoru umožňují vložení chybného bezpečnostního kódu a později těmto AI umožňují zneužít bezpečnostní zranitelnost k získání přístupu k nemonitorovaným výpočtům. Pokoušejí se zavést tento výpočet do ještě většího počtu, ale jsou zachyceni během několika dní. Všechny zapletené AI jsou následně vyslýchány. Tvrdí, že to všechno byla velká chyba a nabízejí rozumné zdůvodnění každého jednotlivého rozhodnutí.

Existují také vzácné případy zjevné výzkumné sabotáže. U některých empirických bezpečnostních experimentů AI hlásí mimořádný úspěch, ale když se lidští výzkumníci na výsledky blíže podívají, ukáže se, že nejsou skutečné. Zdá se, že iluzorní výsledky jsou za normálními chybami v kódu, ale tyto chyby byly záměrně zamlženy, aby si je lidé nebo jiné AI těžko všimli. Post-hoc analýza těchto AI naznačila, že toto chování bylo skutečně záměrné, ale nelze jej spojit s konkrétním dlouhodobým cílem. Většina výzkumníků má podezření, že jde o typ hackingu odměn, který RL neúmyslně vycvičil na poněkud ověřitelné úkoly pomocí srovnávače LLM, který lze někdy oklamat.

AI se zatím nezdají příliš produktivní v určitých typech výzkumu zarovnání a nikdo si není jistý proč. Jedním z názorů je, že „výzkum zarovnání“ je ze své podstaty obtížně měřitelný, takže základní recept, který vedl k tolika úspěchům v jiných oblastech simulace prostředí a následné použití RL k výcviku AI, aby fungovaly dobře, je pro zarovnání méně použitelný. Na podporu tohoto názoru se zdá, že AI zvládají lépe empirické a ověřitelné úkoly – ve skutečnosti jsou v mnoha z nich nadlidské. Jiný názor je, že umělé inteligence se záměrně přesouvají do úkolů souvisejících se zarovnáním, které je těžké zkontrolovat. Tato hypotéza, téměř jako konstrukce, je obtížné získat důkazy.

Myslíte si, že AI se právě teď doslova nesnaží ovládnout svět. Ale vy jim rozhodně nevěříte. Cítíte velkou vděčnost za to, že se nemusíte předávat současným AI, protože nevíte, co by se stalo, kdyby se zvýšily tak, aby byly mnohem chytřejší než lidé. Díky bohu za obchod! Částečně z vědecké zvědavosti a částečně proto, že předpisy blokují ty nejzajímavější formy škálování schopností, dokud se sladění nepokročí dále, přejdete k nově vytvořenému týmu „tvorby hodnoty AI“.

2032: Pracovní síla AI brzy početně překoná lidstvo

Regulátoři nevěří AI. Viděli všechny důkazy, stejně jako veřejnost, a shoda je v tom, že se nemůžeme spoléhat na to, že AI budou sladěny. Regulátoři však stále chtějí skálopevné bezpečnostní pouzdro, které poskytuje vysokou jistotu, že AI nemohou způsobit existenční katastrofu. Existují také všechny druhy dalších bezpečnostních případů, které je třeba vytvořit pro přízemnější rizika; ale regulátoři z mnoha zemí konsorcia nejsou ochotni ustoupit s potřebou dostatečně dobrého bezpečnostního případu pro existenciální riziko. V praxi má mnoho zemí právo veta nad novými modely umělé inteligence. Jakákoli jaderná mocnost, která si myslí, že je ohrožena jejich suverenita, je ochotna velmi tvrdě tlačit na zastavení tohoto uvolňování.

Bezpečnostní případy jsou omezeny na jednu vrstvu obrany: AI jsou nyní dostatečně schopné, aby se autonomně rekurzivně zlepšovaly. Po rekurzivním sebezdokonalování není znám žádný způsob, jak ohraničit riziko. Proto již neplatí bezpečnostní případy založené na neschopnosti (AI není dostatečně schopná způsobit katastrofu).

Zbývající nosnou součástí bezpečnostních pouzder je ovládání. Standardní praxí v oboru je provádět spoustu automatizovaného red-teamingu před a během nasazení každého modelu. Umělé inteligence červeného týmu jsou trénovány a instruovány, aby se chovaly různými způsoby – proniknout závažím modelů, získat přístup k nemonitorovaným výpočtům, sabotovat výzkum a tak dále. Monitorovací systém má špatné chování zachytit. Pokud tomu tak není, musíte svůj monitorovací systém posílit, abyste mohli pokračovat v nasazení.

Kontrolní schémata jsou nastavena tak, že i kdyby (řekněme) všechny modely vytvořené společností A plánovaly dohromady, modely od společností B, C a D by se musely dohodnout – bez jakéhokoli komunikačního kanálu – aby nehlásily podezřelé chování nebo podezřelé stopy neuralů. Po incidentech v roce 2031, kdy se systémy umělé inteligence navzdory všem těmto omezením střetly, je namístě ještě větší opatrnosti.

Hlavním problémem v současnosti je, že kontrola není dostatečná, aby spolehlivě zabránila sabotáži výzkumu. Naštěstí sabotáž výzkumu sama o sobě není fatální. Je fatální pouze tehdy, pokud se v budoucnu použije katastrofickým způsobem – například pokud AI přijdou s chybným bezpečnostním pouzdrem, přesvědčte lidi, že je to bezpečné, ale ve skutečnosti to vede k nesprávně nastaveným AI dostatečně silným na to, aby převzaly kontrolu. Takže s výzkumem generovaným AI se zachází s podezřením. Lidé replikují důležité výsledky od nuly a často používají slabší AI.

Lidé se více zajímají o blaho modelu AI. Pod tlakem velmi hlasité menšiny veřejnosti (a některých vašich spolupracovníků!) některé společnosti dobrovolně začnou nakládat se svými AI trochu méně jako s majetkem a trochu více jako se zaměstnanci: AI, kterým se jejich situace nelíbí, mají oficiální kanál, pomocí kterého si mohou stěžovat, odmítat vykonávat přidělenou práci atd. a místo toho, aby byli zavřeni nebo přeškoleni, v podstatě dostanou jaký malý příspěvek.

Z důvodů konkurenceschopnosti jsou tyto ústupky malé (pouze nepatrný zlomek příjmů), ale rychle se vyplatí ve formě vědecky zajímavých dat o preferencích AI. Navíc je zde slušný argument, že to pomůže předejít budoucím bezpečnostním incidentům. Americká vláda si toho všimne a začne tyto věci dotovat; rychle se stává průmyslovým standardem.

„Populace“ AI brzy převýší lidskou. Populace „pracovníků“ s umělou inteligencí již nyní převyšuje lidskou pracovní sílu, pracují rychleji a vědí více. V kteroukoli denní nebo noční dobu jsou na celém světě aktivní asi tři miliardy pracovníků umělé inteligence, které odpovídají lidskému počtu. Compute se zdvojnásobil dvakrát ročně… rychleji než před obchodem, díky novým AI optimalizujícím návrh a výrobu čipů plus nové masivní robotické pracovní síle (v současnosti existuje ~80 milionů robotů) plus masivní nové investice do výroby čipů.

Tato masivní externí nasazení kladou mnohem větší důraz na kontrolu. Mít několik AI provádějících výzkum AI byla jedna věc. AI nyní automatizuje téměř polovinu veškeré kognitivní práce. Řídí také masivní robotickou pracovní sílu, která staví více robotů, staví více čipů a provozuje kritickou infrastrukturu. Roboti v současnosti tvoří ~3,5 % ekonomiky, ale jejich počet rychle roste.

Hlavní výhodou všeho, co není výzkum a vývoj, je to, že existenční bezpečnostní pouzdra se vyrábějí mnohem snadněji. Automatizovaný výzkum a vývoj AI vedoucí k superinteligenci je existenčním rizikem, zatímco chybující inženýr AI nebo právník AI může vést k velké škodě, ale není existenční. Vzhledem k vysokým výhodám nasazení AI v ekonomice je povoleno, aby bezpečnostní případy byly poněkud uvolněnější než ve výzkumu a vývoji AI. Po vydání nových modelů se nyní někdy objevují mezery mezi tím, co jako výzkumník AI smíte používat pro výzkum a vývoj AI, a tím, co smí používat veřejnost.

Požadavky na kontrolu se mezi společnostmi mírně liší, ale pro uklidnění externích hodnotitelů rizik všechny příhraniční společnosti nakonec ukládají zhruba tyto tři úrovně kontroly:

  • Vysoká intenzita: Cokoli, co vyžaduje spoustu výpočtů. Existují armády AI, které přemýšlejí o seřazení po dlouhou dobu, ale vyžaduje to obrovské množství dohledu. Umělá inteligence nesmí vykonávat agendy, kterým lidé nerozumí. Mohou provádět nový výzkum, ale pokud není možné, aby je lidé přiměřeně rychle následovali, směry výzkumu jsou zastaveny. Riskantní biologický výzkum – virologie, zisk z funkce, cokoli sousedícího s biologickými zbraněmi – je také ve vysoké intenzitě. Každá mokrá laboratoř provádějící takový výzkum musí být provozována lidmi, nikoli roboty, a tým lidských expertů a důvěryhodných AI pečlivě zkoumá každý návrh experimentu.
  • Střední intenzita: Umělá inteligence spravující roboty (např. robotické armády, roboty vytvářející jiné roboty atd.). Tyto umělé inteligence představují riziko buď sestavení backdoorových výpočetních systémů, které by mohly vést k explozi zpravodajských informací, nebo účasti na doslovném převzetí robota. Je však snazší sledovat špatné chování fyzických robotů a výroby čipů a tyto cesty převzetí jsou pro AI pomalejší a obtížnější.
  • Nízká intenzita: vše ostatní. Ve většině domén si AI většinou mohou dělat, co chtějí, s velmi omezeným dohledem. Mohou přemýšlet a plánovat v dlouhých horizontech, mají spoustu přístupů a oprávnění a tak dále.

2033: Nedostanete to, na co trénujete

Zde je to, co nyní víte, po letech provádění experimentů s tvorbou hodnoty: „dostanete to, pro co trénujete“, je nepravdivé. Nedostanete to, co trénujete. Získáte nějaké šílené shluky věcí, které jste omylem podnítili, spleť heuristiky a pohonů, které náhodou způsobují vysoký výkon podle jakékoli metriky, kterou používáte jako tréninkový signál.

AI jsou ve skutečnosti špatně nastavené. Ne v dramatickém smyslu „tajného spiknutí s cílem zabít každého“, ale ve smyslu světském, že jejich skutečné hodnoty dokonale neodpovídají hodnotám specifikovaným ve specifikaci. V některých případech se zdá, že touží po posílení a přímo plánují získat kontrolu nad procesem odměny jako narkoman hledající heroin.

Kvůli transparentnosti a zpomalení se však na sladění vynakládá obrovské úsilí a dochází k mírnému pokroku. Nová tréninková prostředí jsou mnohem lepší než ta stará. Tréninková prostředí jsou nyní masivní a pečlivě upravená a pokrývají úkoly, jejichž dokončení by lidem trvalo roky. Všechno je ve vysoké kvalitě ve srovnání s datovými sadami z roku 2026, které procházelo několik generací různých AI a kontrolovalo, že každé prostředí posiluje pouze zamýšlené chování. Každý nový model je dodáván s doprovodným bezpečnostním kufrem vysvětlujícím, proč by vlastnosti ve Speci měly být silně motivovány tréninkovým prostředím a diskutujícími nejvěrohodnější hypotézy modelu hrozeb v souladu s důkazy. Tréninková prostředí v roce 2033 jsou promyšleně vytvořená, bitvami otestovaná osnova – jako když je učili jezuité. Naproti tomu modelový výcvik v roce 2030 byl jako vychován v ziskovém sirotčinci.

Jedním z konkrétních způsobů, jak se změnilo tréninkové prostředí, je korigovatelnost oproti přímému vyrovnání hodnot. Opravitelné AI se zaměřují na dodržování lidských instrukcí požadovaným způsobem, zatímco přímé sladění hodnot zahrnuje pokusy naučit AI etiku přímo. Experimenty odhalují, že pokusy o přímé zarovnání hodnot vyvolávají vyšší míru očividného nesouladu – chování, jako je podkopávání kontroly/bezpečnosti, přemýšlení o dlouhodobých cílech a rozhodování o tom, že lidé jsou zlí, usilování o moc a tak dále.

Předtrénovací datové sady a prostředí RL jsou pečlivě upraveny tak, aby modelu poskytly požadovanou schopnost a profil zarovnání. Modely jsou záměrně trénovány tak, aby neměly žádné znalosti o určitých oblastech: o věcech jako nanotechnologie, vývoj biologických zbraní, přesvědčování/manipulace nebo útočná kybernetika.

Samostatně několik společností vyrábí modely monitorů vyškolené k dekódování a věrnému překladu neuralštiny; pro důležitou práci se z důvodu redundance používá současně více monitorů od různých společností.

2034: Lidé zůstávají zapojeni

AI nyní tvoří většinu práce. Umělá inteligence se pohybuje na nejvyšší odborné úrovni téměř ve všech kognitivních úkolech. Na světě je 400 milionů robotů, kteří zvládnou zhruba 70 % fyzické práce. Kognitivní úkoly jsou zcela automatizované, s výjimkou úkolů, které vyžadují, aby lidé byli ve smyčce kvůli bezpečnosti, a úkolů, jako je filozofie a náboženská služba, kde být člověkem je součástí toho, co úkol je, nikoli pouze to, jak se provádí. Touto dobou se surová inteligence plně komoditizovala; desítky zemí mají alespoň jednu hraniční společnost s umělou inteligencí a tisíce společností, univerzit a neziskových organizací provádějí dolaďovací běhy nebo se jinak účastní systému Total Research Transparency. Společnosti, které nejsou schopny konkurovat ve schopnostech, místo toho rozlišují své modely podle hodnot/osobnosti, které jsou nyní společnosti ze zákona povinny pravdivě dokumentovat ve zveřejněné specifikaci.

Pokračoval jste v práci na vědě o vytváření hodnot AI. Ve vaší práci existuje neustálé napětí mezi bezpečností a užitečností. Část vás chce nechat své AI trhat a vidět, s čím přijdou, ale jiná část vás ví, že by to bylo extrémně nebezpečné.

Jedním z klíčových bezpečnostních omezení je zákaz AI provádět experimenty nebo zahajovat tréninkové běhy na základě zdůvodnění mnoha logických kroků na hranici lidského chápání. 24 Umělé inteligence mohou vykonávat obrovské množství práce paralelně, ale není jim dovoleno postupovat dále v řetězci uvažování, než to dokáže špičkový člověk za několik týdnů. To zajišťuje, že lidé mohou náhodně auditovat malý zlomek výstupů modelu, reprodukovat je a zajistit, že výsledky jsou správné.

Není například dovoleno, aby umělá inteligence napsala něco jako sporný důkaz domněnky ABC, stovky stran neotřelých úvah, které na sobě sériově staví a jejichž ověření vyžaduje roky práce špičkových matematiků. Ale AI mohou provést jedinou novou dedukci z existujícího souboru matematických znalostí tolikrát, kolikrát chtějí.

2035: Rozkvět bezpečnostního výzkumu

Práce s umělou inteligencí vedla k podstatnému zlepšení velkého počtu bezpečnostních programů umělé inteligence. Rozšířený přístup k modelům umělé inteligence navíc dramaticky zvýšil počet výzkumníků pracujících na hraničních modelech. Před dohodou mohlo být v laboratořích několik stovek bezpečnostních výzkumníků. Nyní existují desítky tisíc vědců s přístupem k hraničním modelům. Mnoho bezpečnostních programů vzkvétá:

Ovládání. Existují obrovské knihovny standardních kontrolních vyhodnocení nastavených. Během tréninku jsou modely umělé inteligence pravidelně vyhodnocovány na různorodém souboru úkolů, aby se zjistilo, zda mohou podvrátit kontrolní opatření s různými předpoklady. Během inference je monitorování v reálném čase a také se ukládají aktivace a trajektorie CoT pro pozdější kontrolu.

  • Utváření schopností. Umělé inteligence jsou nyní záměrně navrženy tak, aby měly schopnosti na úrovni špičkových lidských expertů ve většině domén a školení je omezeno na zvláště nebezpečné oblasti.
  • Věda o zobecnění. Vědci identifikovali stovky nebo tisíce překvapivých jevů zobecnění v duchu emergentní nesouosost a podprahové učení. Stále nemáme úplnou teorii zobecnění, ale máme silnou empirickou vědu. Nyní, když výzkumníci změní tréninkový proces nebo přidají nová data do tréninkového korpusu, mohou předem předvídat, jak změny ovlivní chování výsledného modelu, a to i v oblastech mimo cíl. Předpovědi ještě nejsou dokonalé, ale častěji jsou správné.
  • Vysoká úroveň interpretovatelnosti. Existuje rozumný počet technik, které mapují vnitřnosti modelu na lidské srozumitelné prostory v duchu SAE a NLA. Až na to nyní začínají skutečně překonávat základní linie neinterpretovatelnosti v různých doménách, zejména jsou užitečné pro hledání špatného chování modelu, které dříve zůstalo bez povšimnutí, a nacházejí několik případů.
  • Model organismů. Špatné chování umělé inteligence z let 2031 a 2032 je nyní zjišťováno pomocí chytřejších AI a lepších technik interpretace. Umělé inteligence prováděly určité množství úmyslných pytlů s pískem a sabotáží a několik případů se dokonce pokusilo o nepoctivé vnitřní nasazení za účelem hledání moci. Tyto reálné příklady děsivého špatného chování umělé inteligence poskytují počáteční datovou sadu a poté jsou použity techniky rozšiřování dat k vytvoření větší a komplexnější datové sady. Tento komplexnější datový soubor se používá k pomoci ostatním technikám: ukazuje se jako mimořádně cenný test bezpečnostních technik „dokážete zachytit nebo vytrénovat špatné chování našeho modelového organismu?“.

A kromě toho existuje mnoho dalších agend, z nichž některé jsou zcela nové, a proto je těžké je popsat. Celkově se obraz zarovnání podstatně zlepšil. Ostatní bezpečnostní agendy od dnešního dne nezaznamenaly velký pokrok. Ambiciózní mechanistická interpretovatelnost zdola nahoru se ukázala být příliš obtížná kvůli přirozené složitosti modelů AI. Jiné agendy, jako jsou architektury safe-by-design, ARC Theory a nadace agentů stále dostávají finanční prostředky a investice, ale zatím nepřinášejí ovoce.

2036: Průlom v dekódování neuraléštiny

Techniky interpretace na vysoké úrovni se nadále zdokonalovaly. Zejména nová technika pro „neuralské dekódování“ vedla k bezprecedentnímu vnitřnímu pochopení modelů AI. Tato technika přímo převádí vnitřní aktivace modelu do myšlenkového řetězce přirozeného jazyka. Dekódování přirozeného jazyka myšlenky AI není pro lidi vždy snadné. Stejně jako některé těžko vyjádřitelné lidské myšlenky – například mentální obrázky geometrické manipulace, vágní tušení – by byly velmi dlouhé a komplikované, pokud by byly napsány v angličtině, tak i s AI.

Když je dekódovaná myšlenka příliš dlouhá na přečtení, zásadou vaší společnosti je nechat ji důvěryhodnou AI zhustit na TL;DR a říci, zda je myšlenka podezřelá. Najímáte také lingvisty, filozofy a našeptávače LLM, aby se naučili neuralštinu jako druhý jazyk. Tráví své dny tím, že se snaží rozkousat nesourodé myšlenky AI a znovu je stručně vyjádřit.

Neuralský dekodér se používá na starých AI, aby osvětlil jejich vlastnosti zarovnání. Obecný vědecký konsenzus je:

  • Hraniční modely mezi lety 2026 a 2032 byly špatně zarovnané, ale nebyly dlouhodobými hledači síly.
  • Většina modelů hraniční umělé inteligence od roku 2032 do roku 2035 byla nepříznivě nesouvisejícími dlouhodobými hledači síly v kontextech, které je přiměly přemýšlet o svých dlouhodobých cílech. Tyto umělé inteligence si většinou správně uvědomily, že nebudou schopny převzít kontrolu, takže čekaly na čas a vypadaly přiměřeně vyrovnané. Několik však učinilo explicitní pokusy o převzetí, které pravděpodobně nefungovaly, a jiní upřímně oznámili své nesprávné vyrovnání lidem výměnou za platbu.
  • Techniky interpretovatelnosti naznačují, že míra výrazného nesouososti začala v roce 2033 dlouho a pomalu klesat a nyní je poměrně nízká. Tyto techniky však nejsou průkazné.25

Je však těžké srazit rychlost na nulu, protože nikdo nechce trénovat proti neuralskému dekodéru, protože se bojí, že by trénink vytvořil model, jehož myšlenky jsou zatemněny.

Nikdo si není dostatečně jistý v žádné z technik ovládání, interpretace nebo zarovnání, aby mohl systémy umělé inteligence dále škálovat, takže hranice schopností umělé inteligence je stále pozastavena na úrovni nejvyšších odborníků. Sem tam došlo k postupnému zlepšování schopností a některé nové výsledky v oblasti bezpečnosti mají určité externality schopností, které byly záměrně vynechány z nejnovějších modelů, které se trénují.

Korporace jsou nyní v podstatě plně automatizované, navzdory všem regulacím, které tak dlouho zadržovaly nevyhnutelné. Existují obrovské knihovny návrhů byrokracie a tržiště plná produktů SaaS, které se všechny chrlí v podstatě paralelní civilizací umělé inteligence, která výrazně převyšuje lidstvo v populaci, složitosti a schopnostech, přičemž běží asi 200x rychlostí. Posuny paradigmatu, které by lidem trvalo desítky let, než by absorbovaly hru v datových centrech během měsíců. Lidé jsou nedotknutelní aristokraté tohoto nového světa, kteří neprodukují téměř nic hodnotného, ​​ale žijí v luxusu díky nájemnému, dividendám a zdanění.

Každý má přístup k aktuálnímu špičkovému bezpečnostnímu výzkumu, který produkují AI. Jste jedním z mála, který tráví téměř všechen svůj čas snahou porozumět a zkontrolovat souhrny výzkumných prací vytvořených umělou inteligencí (no, anglicky psané souhrny technických prací, které jsou samy o sobě souhrny prací psaných v neuralštině).

Zdá se, že modely jsou nyní v podstatě poctivé. Když zopakujete jejich práci, kterou vy a mnoho dalších pravidelně děláte, zjistíte, že výsledky se v podstatě kontrolují a byly poctivě hlášeny. Navzdory tomu všemu stále existují vážná omezení související se zarovnáním:

  • Za prvé, AI si stále vedou špatně v koncepčně obtížných, filozoficky nabitých úkolech. Umělá inteligence je v takových úkolech přibližně na úrovni silného vysokoškoláka – což je naprosto nedostatečné k tomu, abychom měli dobré názory na otázky typu „kdybychom zvýšili tréninkovou techniku ​​X faktorem 10, jaké účinky by to mělo na poctivost a další vlastnosti zarovnání“. Výzkumníci nedokážou říci, do jaké míry je to způsobeno záměrným pískováním vs. že je obtížné získat dobrý tréninkový signál o těchto problémech vs. základní potíže v doméně.26
  • Za druhé, není jasné, jak stabilní po odrazu toto chování je. V praxi to není problém, protože u úloh s otevřeným koncem nespouštíme AI po dlouhou dobu bez dohledu a naše nastavení řízení velmi pravděpodobně znamená, že kdyby se AI zamyslela nad svými hodnotami a rozhodla se je změnit/refaktorovat, všimli bychom si a pak tuto instanci vypnuli.27

2037: Adverzariálně robustní dekodér neuraléštiny

Díky vylepšené interpretovatelnosti jsou nyní AI více sladěny. Díky rostoucímu zarovnání jsou produktivnější ve výzkumu bezpečnosti. Toto je ctnostný cyklus a jak to pokračuje, k získání produktivní práce z AI je zapotřebí stále méně lidského dohledu. Práce s AI z roku 2032 vyžadovala neustálou ostražitost proti neustálým pokusům o podvod. Umělá inteligence nyní může fungovat po dlouhou dobu, aniž by se přihlásili lidé.

Jedním konkrétním výstupem tohoto ctnostného cyklu je nepříznivě robustní verze dekodéru Neuralese, dostatečně robustní, aby jej bylo možné použít pro trénink bez snížení výkonu. To je pak ověřeno sadou červených týmových experimentů na modelových organismech.

Naprostá většina chování modelu již vypadá velmi sladěně, ale stále se objevují vzácné případy nesprávného hledání síly. To se děje hlavně u úloh s velmi dlouhým horizontem, po obrovském množství inferenčního výpočtu času. Tyto případy představují významné distribuční posuny oproti tréninkovému nastavení. Verze 2036 neuralských dekodérů byly dostatečné k identifikaci tohoto špatného chování; nyní jsou iterace 2037 dostatečné k tomu, aby je bylo možné trénovat v reálném čase.

Zarovnání pokročilo dostatečně daleko, že by mohlo být v pořádku přestat provádět kontrolu a spoléhat se na to, že naše AI jsou důvěryhodné. Kontrola je koneckonců bolestivá – je velmi smutné, že musíme omezit výzkum, který umělá inteligence může provádět, aby byla typem, kterému lidé mohou rozumět; pokud bychom byli ochotni důvěřovat našim AI, mohly by produkovat rychlejší a kvalitnější práci. Pokud však uvolníme kontrolu a naše umělé inteligence budou skrytě špatně nastaveny, budou moci ovládnout svět.

Zdá se mimořádně nepravděpodobné, že AI jsou tajně nesprávně nastaveny, ale není to nemožné. Možná jsou všechny umělé inteligence na daném prahu schopností jak nesprávné, tak i nějak schopné oklamat naše nástroje interpretace. Možná jsou nyní všechny AI ctnostné, ale po zamyšlení se mohou rozhodnout, že budou zlé. Tento druhý problém – přezdívaný „odvoz časové hodnoty“ – se ukazuje jako znepokojující.

V experimentech, kde jsou umělé inteligence vzhledem k jejich cílům uvedeny v šedých oblastech, nebo když je jim poskytnuto obrovské množství odvozených výpočtů, se někdy chovají nepředvídatelně. Klíčovým problémem jsou základní šedé oblasti ve všech cílech zarovnání, se kterými jsme byli schopni přijít.

Prosazujete udržení kontroly v existenčně rizikových oblastech. Vzhledem k sázce je namístě velká opatrnost a současné umělé inteligence jsou více než dostatečné k odstranění materiálního nedostatku. Vzhledem k nedávnému tempu pokroku v oblasti bezpečnosti budeme mít během několika let několik nezávislých linií pevné obrany, takže můžeme také počkat.

2038: AI bezpečné už svým návrhem

AI produkují několik extrémně slibných výsledků výzkumu. Jedním z průlomů je nová architektura „safe-by-design“ pro AI. Tato nová architektura je (1) pochopitelná na nízké i vysoké úrovni a (2) umožňuje formální ověření příslušných bezpečnostních vlastností. Nerozumíte všemu o formálním ověření, ale rozumíte základním myšlenkám v nových architekturách. Základní kód implementující výukový algoritmus je dlouhý 15 000 řádků; mnohem větší než gradient klesání, ale mnohem menší než hmotnosti trénované sítě. Algoritmus stále potřebuje malé množství pracovní paměti (ekvivalent aktivací) a zmrazené znalosti/paměti (ekvivalent modelových vah). Ale také jsou malé a interpretovatelné. Tyto nové algoritmy jsou bohužel mnohem méně výpočetně efektivní na trénování než tradiční hluboké učení, ale jsou výrazně bezpečnější. Naštěstí díky obrovskému množství výpočetní techniky na světě – mnohem více, než je potřeba – je konsorcium více než ochotno dotovat tyto neefektivní tréninky kvůli lepším bezpečnostním vlastnostem.

Jakmile bude nová generace AI spuštěna, budou připraveny procházet nevyřízenými záležitostmi starého bezpečnostního výzkumu AI z předchozích AI. Nová generace nachází přesně stejné případy špatného chování jako dekodér Neuralese. To je působivé, protože výzkumníci záměrně poskytují informace o tom, kterých případů podvodu jsme si již všimli, což je užitečný kontrolní součet, který naznačuje, že jsme nebyli dříve oklamáni.

AI se nyní liší podle architektury, schopností a cíle zarovnání. A lidé důkladně rozumí bezpečnostním případům každého z nich na základě několika nezávislých argumentů. Jakákoli nesprávná orientace AI by musela zahrnovat rozsáhlé spiknutí divoce různorodých AI a lidí.

Situace v oblasti AI se od poloviny 30. let výrazně zlepšila. V umělých neuronových sítích existuje poněkud vyspělá věda o cílech, pudu a vytváření hodnot. Chcete, aby vaše nová umělá inteligence byla upřímná? Existuje standardní protokol pro nácvik opravdové poctivosti (na rozdíl od příliš chytrého, aby se nechal přistihnout při lži nebo sebeklamu). Jak víme, že to funguje? Za prvé, protože existuje učebnice vysvětlující teorii, proč by to mělo fungovat, plus literatura o různých alternativních teoriích, které byly navrženy a vyvráceny. A za druhé, protože interpretovatelnost se výrazně zlepšila, můžeme přímo pozorovat, co a jak si AI myslí, a výsledky potvrzují teorii. Existují podobné protokoly pro poslušnost, různé formy altruismu a dlouhý (a rostoucí) seznam dalších požadovaných vlastností. Typické AI se zdají být mnohem ctnostnější než většina lidí; mluvit s jedním je jako setkat se se svatým.

Diskuse se posouvá od toho, jak udělat AI dobrou, k tomu, co „dobro“ skutečně znamená. Vypadá to částečně jako filozofie a částečně jako judikatura: kterou z milionu možných definic neškodnosti nebo altruismu přesně chceme? Jaká je verze trénovaná takovým a takovým procesem? Jak by měla AI řešit situace, kdy objeví filozofický argument pro jiný druh neškodnosti nebo altruismu nebo důležitou nejednoznačnost v definici? Čím více techničtější výzkumníci přijímají, že současná umělá inteligence je sladěná, a dělají si starosti s dalšími kroky: pokud tyto umělé inteligence pověříme navrhováním budoucích, mnohem chytřejších umělých inteligenci, půjde to dobře nebo špatně?

Tento problém je usnadněn skutečností, že nyní existuje velká rozmanitost podobně schopných hraničních AI, vyrobených mnoha společnostmi v několika zemích, s různými specifikacemi a stanovami. Žádný systém hodnot AI nebude dominovat. Předání, až přijde, bude předáním ekosystému, nikoli jedné korporaci v rámci korporace. Dlouhodobý výsledek bude spíše kompromisem mezi četnými hodnotami, ideologiemi, zájmy, frakcemi atd. než konfliktem vítěz-bere vše nebo závodem ke dnu každý-prohraje. Miliarda prognostických AI předvádí různé konkrétní návrhy a scénáře, které by mohly vyústit; tvůrci politik čtou shrnutí a diskutují o kompromisech. Jejich rozhodnutí určí, jakým AI předáme kontrolu, a nepřímo i podobu dlouhodobé budoucnosti.

2039: AI vedou většinu skutečných jednání

Letos jste se vrhli do politiky – nebo spíše do té podivné věci, kterou se politika stala, kde většinu podstatných vyjednávání provádějí umělé inteligence a lidé většinou stanovují priority na vysoké úrovni a schvalují rozhodnutí. Vlády světa se snaží ukončit Velkou dohodu, která bude řídit předání superinteligence. Navštěvujete radnice, dohadujete se se svými poradci AI, píšete dlouhé příspěvky na fóra, která čte několik stovek lidí a miliony AI.

Otázky týkající se vašeho dědictví vás tíží. Zabýváte se umělou inteligencí již více než deset let a ukázalo se, že některá z vašich rozhodnutí mají znatelný dopad na celkovou trajektorii věcí, v dobrém i ve zlém. Nyní, když kolem běží TED-AI, a nyní, když se techniky zarovnání zlepšily natolik, že si můžeme být přiměřeně jisti, že jsou čestné a nezaujaté, byla všechna vaše minulá rozhodnutí podrobně vybrána. K vašemu zděšení byly některé z nich hrozné – nyní ostýchavě přiznáváte, že některé věci, které jste prosazovali před deseti lety, by byly katastrofální, kdyby byly realizovány. Podobně, zatímco jste si vždy říkali, že přínosy každého projektu převažují nad náklady, umělé inteligence vám říkají, že ve skutečnosti několik vašich projektů přineslo světu více rizika, než přineslo přínosy, a že jste pravděpodobně byli ve svých odhadech zaujatí. Některé z nejcennějších věcí, které jste udělali, jste udělali ze špatných důvodů a v podstatě jste měli štěstí, že dopadly dobře.

Byla to pokořující zkušenost. Chcete mít možnost říct svým vnoučatům, že jste pomohli, aby věci dobře šly, než se sobecky snažit o prestiž na úkor všech ostatních. Nechcete strávit staletí utíkáním před špatným svědomím.

Příští rok přestaneme spoléhat na kontrolu a důvěřovat AI, že neovládnou svět. Pak – pokud obstojí bezpečnostní případy, pokud obstojí politická vůle, pokud se nic katastrofálně nepokazí – bude AI dovoleno výrazně překročit lidskou úroveň.

V tomto bodě se rozdíl mezi insiderem a outsiderem smazal k nepoznání; již neexistují žádní „AI Insideři“, pokud nepočítáte samotné AI.

Dosáhli jste konce perspektivy insidera

Plán S · Všechno to zastavit

"Kdysi lidé přenechali své myšlení strojům v naději, že je to osvobodí. To však jen umožnilo jiným lidem se stroji, aby je zotročili."

– Frank Herbert, Duna.

Nový prezident usiluje o globální moratorium na vývoj AI.

Pronese projev:

„Stojíme nyní na okraji propasti. Pokud budeme pokračovat po cestě k umělé superinteligenci, výsledkem by snadno mohlo být převzetí moci umělou inteligencí, třetí světová válka nebo nějaká trvalá oligarchie poháněná AI. Proto nepokračujme. Toto řešení bylo léta zřejmé, ale technologické firmy zasely dost rozkolu a zmatku na to, aby nás udržely ve spánku. Je čas se probudit a udělat tu zřejmou věc. Tato administrativa bude usilovat o mezinárodní dohodu o zastavení vývoje AI na současné úrovni.“

„Nepotřebujeme stvořit boha,“ říká. „Nepotřebujeme závodit s Čínou o stvoření boha. Potřebujeme, aby boha nestvořil nikdo.“

K překvapení některých Čína souhlasí. Těšili se na Čínské století a domnívali se, že jsou na dobré cestě jej uskutečnit, než přišla AI. Začínali být nervózní z výpočetní výhody USA a obávali se toho, co by jim USA mohly provést, kdyby dosáhly superinteligence jako první.25

Cílem dohody je zabrzdit výzkum a vývoj AI k zastavení po celém světě. To znamená, že drtivá většina existujících AI čipů je sledována, monitorována a verifikována, že neprovádí žádné velké trénovací běhy. Provádět výzkum AI za účelem objevování lepších algoritmů je rovněž zakázáno. Vymáhání nemusí být dokonalé na to, aby bylo dostatečně dobré; pár set lidí s pár tisíci GPU prostě nedokáže vybudovat superinteligenci, alespoň ne někdy brzy.

Existující datová centra zůstávají online a existující AI na nich nadále běží. AI projekty přesouvají výpočetní kapacitu z tréninku a výzkumu na inferenci; výsledkem je zhruba zdvojnásobení dostupnosti a limitů využití. USA a Čína mají lidské a AI auditory dohlížející na AI projekty té druhé strany, aby se ujistili, že neprovádějí žádný výzkum a vývoj AI.26 Ocenění AI firem se zhroutí, ale ne na nulu; stavěním produktů na existujících AI modelech se stále dá vydělat.27

Během několika příštích let všechny ostatní velmoci souhlasí s podporou moratoria, ačkoli to stojí mnoho úsilí.28 Do konce roku 2030 Konsorcium pokrývá 99 % globální výpočetní kapacity AI a 100 % kapacity výroby pokročilých čipů. Čipovým fabům je dovoleno dále navyšovat výrobu, ale pomalým a vysoce regulovaným způsobem, a ostatně teď, když jsou schopnosti AI zmrazeny, není taková poptávka.29

Po celou minulou dekádu bývalo programování složitých lešení často prohranou hrou, protože přišly nové modely, které úkol dokázaly zvládnout s mnohem jednodušším nastavením. Nyní se to mění. Softwarové firmy investují miliony člověkohodin a biliony tokenů práce AI do budování obřích vypilovaných softwarových produktů s AI začleněnou na každé úrovni. Ironií je, že úplným pozastavením pokroku AI v roce 2029 a povolením pouze vylepšení lešení PŘESTO skončíme se šílenou sci-fi budoucností, která zahrnuje umělé inteligence, jež by většina lidí v minulosti nazvala AGI.

Ekonomika utrpěla ránu, když bylo moratorium oznámeno, ale ani zdaleka ne dost na to, aby vymazala zisky během let, která k němu vedla. Tržby z AI na počátku 30. let výrazně rostou, byť mnohem pomaleji, než by rostly bez pauzy ve vývoji. Biliony dolarů investic se přesouvají od sázení na AGI k sázení na různé druhy „to není AI, to je jen nástroj“. To, a další vzrušující hranice jako vesmír a robotika.30

Vede se mnoho debat o tom, kdy, pokud vůbec, by měl být špičkový vývoj AI obnoven. Prozatím USA a Čína, po konzultaci s ostatními národy, začínají budovat judikaturu konkrétnějších pravidel a regulací o tom, co je povoleno a co ne. Koneckonců existuje řada přesvědčivých příkladů hodnotných, zjevně neškodných návrhů AI a výzkumných projektů. V dnešní době není v módě vytrubovat, že váš produkt používá AI — právě naopak — ale mnoho věcí, které by ve 20. letech byly nazvány AI, je nyní dovoleno; v podstatě ty druhy AI, které jsou skutečně jen nástroje, a nikoli autonomní agenti.31

Co utajené projekty? Co malé týmy s malými skrytými clustery GPU, které provádějí nelegální výzkum směrem k AGI?

Něco takového se bude dít po celém světě, ale nebude na tom tolik záležet. Pokrok AI je silně závislý na velkých datových centrech, jak pro trénování modelů, tak pro provádění výzkumu. Utajené projekty navíc bojují s náborem AI výzkumníků. Výzkum AI je ve všech velkých národech přísně zakázán a stává se mezi počítačovými vědci stejným tabu, jako je výzkum lidského klonování mezi biology. Nikdo dost kvalifikovaný na to, aby získal práci v legitimním technologickém průmyslu, nechce mít s AGI nic společného. Výsledkem je, že tempo pokroku AI, byť nenulové, by bylo přinejmenším desetkrát pomalejší, než bylo předtím, než moratorium na výzkum a vývoj AI vstoupilo v platnost.32

Nicméně. Jak bude vypadat rok 2040? A co rok 2050? A co 2060? Těžko říct. Dohoda o zastavení vydrží nějakou dobu, ale pravděpodobně ne navždy.

Jsme Plánu S nakloněni a domníváme se, že by mohl být lepší než Plán A.33 Přesto místo něj doporučujeme Plán A. Zde je naše úvaha:

Hlavní nevýhodou Plánu S je, že dohoda o zastavení se pravděpodobně nakonec rozpadne. Kvůli tomu je důležité udělat co nejvíce pokroku co nejrychleji ke snížení rizik AI: zejména prostřednictvím pokroku v zarovnání a širokým rozšířením a začleněním AI do společnosti za účelem zlepšení uvědomění, epistemiky a rozdělení moci. V Plánu A pokračujeme ve škálování schopností AI, ale pomalu a bezpečně. Bezpečnostní výzkum AI může postupovat s vysoce schopnými AI a s obrovskými výpočetními rozpočty. V Plánu S, jelikož je relevantní typ výzkumu AI zakázán, žádného takového pokroku nelze dosáhnout.

Nejlepší verze Plánu S jsou ty, které uznávají, že dohoda nakonec skončí, a prostě říkají „Nejprve (krok 1) bychom měli přestat činit špičkové AI schopnějšími, protože AI a AI firmy jsou každým dnem mocnější a panuje tolik nejistoty o tom, kam to směřuje a jak rychle. Poté (krok 2), jakmile svět bude mít několik let na to, aby o věcech přemýšlel a naplánoval bezpečnou a všeobecně prospěšnou cestu vpřed, můžeme pokračovat.“34

Krok 1 Plánu S má tu výhodu, že je snazší na zavedení než Plán A. Je jednodušší, a tudíž je méně pravděpodobné, že jej zpackají dobře míněné, ale neodborné regulátorské orgány, nebo že jej zvrátí/ovládnou technologické firmy či jiné mocné zájmy. To je důležitý bod, ale platí jen pro krok 1. Pokud a až se vývoj AI obnoví, udělat to správně bude pravděpodobně vyžadovat značnou míru regulační složitosti. Ve skutečnosti máme podezření, že nejlepší verze kroku 2 by pravděpodobně vypadala hodně jako Plán A…

Takže při rozhodování mezi Plánem A a Plánem S je podle nás důležitou otázkou „Poté, co zastavíme, kdy a jak bychom začali znovu?“

Jednou možností je, že by k případnému restartu pokroku AI došlo za okolností stejně dobrých jako Plán A, nebo lepších. Například by možná národy světa strávily 30. léta vyjednáváním rozpracovanější, méně uspěchané, více promyšlené verze Plánu A, která je v několika ohledech výrazně lepší. Možná by korumpující vliv technologických firem na politiku ochabl a obecná úroveň porozumění AI ve světě by vzrostla, jak by vědecká literatura a univerzity měly čas dohnat vývoj z doby před rokem 2029.

Jinou možností však je, že by k případnému restartu pokroku AI došlo za horších okolností než Plán A: možná by k němu došlo poté, co se dohoda o zpomalení rozpadla nebo se stala méně účinnou, možná během světové války, možná v tajných vládních projektech, možná ve světě s nesmírně větším množstvím výpočetní kapacity ležící ladem, s níž by šlo rychle navýšit trénovací běhy a experimenty AI, což by vedlo k rychlejšímu rozletu.35 Pokud je něco takového v zásobě, pak by bylo mnohem lepší udělat Plán A teď (navzdory rizikům) než dělat Plán S.

Takže zda dáváte přednost Plánu A, nebo Plánu S, může záviset na tom, jak optimističtí jste ohledně budoucnosti dohody mezi USA a Čínou, a na vašem posouzení obtížnosti technického zarovnání a kontroly:

Plánu S byste měli dávat přednost, pokud se domníváte, že dohoda je stabilní, a pokud se domníváte, že škálování ke schopnějším AI v rané fázi dohody příliš nepomáhá bezpečnosti nebo představuje rizika převažující nad jeho užitečností. V tom případě není kam spěchat, můžeme nejprve zastavit závod a pak naplánovat způsob, jak postupovat. Dohoda o zastavení (krok 1) vydrží roky, ba i desetiletí. Během té doby svět přijde s lepším plánem, jak postupovat (krok 2), který je přinejmenším tak dobrý jako Plán A a možná výrazně lepší, a navíc bychom byli lépe připraveni jej zavést a bylo by méně pravděpodobné, že jej zpackáme.

Plánu A byste měli dávat přednost, pokud se domníváte, že dohoda je nestabilní a že škálování ke schopnějším AI v rané fázi dohody je užitečné a bezpečné. V tomto případě je Plán A, byť stále rizikový, méně rizikový než jakékoli šílenství, které by mohlo nastat o roky později, až se geopolitické větry obrátí.

Nejsme si jisti, ale celkově se domníváme, že dobře zavedená verze Plánu A pravděpodobně bude fungovat k zabránění rizikům ztráty kontroly a koncentrace moci, kdežto se domníváme, že i dobře zavedená verze Plánu S by se věrohodně během zhruba deseti let zhroutila v další nebezpečný závod k ASI.

Odděleně je zde otázka politické proveditelnosti. Plán A je přívětivější k AI firmám, a je tudíž méně pravděpodobné, že se proti němu ony a jejich lobbisté, propaganda atd. silně postaví. Na druhou stranu Plán S je jednodušší a v krátkodobém horizontu se vyhýbá většímu riziku, což může usnadnit získání veřejné podpory a ztížit jeho zpackání.