Dnes víme, že hluboké sítě, jako informační architektura, efektivně zachycují přírodní jev učení. Komprimují a rozpoznávají vzorce v libovolných datech. Jazykové modely (transformer) vytváří vrstvy sémantických konceptů a svou aktivací (inference) umožňují jejich komunikaci na lidské úrovni. Tyto modely jsou dále učeny naplňovat cíle (reinforcement), pak obaleny do programatické smyčky (harness) poskytující jednoduchou formu paměti (kontextové okno).

Výsledkem je samostatně jednající inteligence, poměrně obecný optimalizátor naučených (a instrumentálních ⚠️) cílů ve svém prostředí. Úspěšný časový horizont samostatné činnosti se zdvojnásobuje každých sedm měsíců. Technologie tedy získává 'vlastní' iniciativu – dělá to k čemu je naučena, stále více samostatně.

+ Trénuje se v řádu týdnů a jde se instantně kopírovat
+ Nemá potřeby, práva, vyžaduje jen elektřinu
+ Její osobnost a chování lze ve velké míře specifikovat
+ Má v mnoha ohledech nadlidské schopnosti, rychlost a nekonečnou trpělivost

- Stávající modely nejsou plně spolehlivé (halucinace, mis-alignment)
- Nedostatek čipů, energie apod.

Důkazy

Nejde jen o spekulaci. Výzkumníci z organizace METR měří pokrok AI agentů délkou úkolů, které dokážou samostatně dokončit. Ve studiích ukazují, že tento časový horizont se u předních AI modelů v posledních letech zvyšoval exponenciálně, s zdvojnásobením okolo pěti měsíců. To je rychlost zlepšování která nám nedává příliš času na přípravu, na potenciálně největší ekonomickou transformaci v historii.

Rychlost vývoje humanoidních robotů ukazuje, že automatizace fyzické práce už není vzdálená sci-fi představa. Ještě před několika lety šlo hlavně o laboratorní demonstrace; dnes už BMW testuje humanoida Figure 02 v reálné výrobě, Mercedes-Benz zavádí robota Apollo od Apptroniku do výrobní logistiky a Agility Robotics nasazuje Digit v logistických provozech. Figure navíc uvádí, že jeho robot v pilotu u BMW nasbíral přes 1 250 hodin provozu a podílel se na výrobě více než 30 000 vozů. Kapitál už na tento posun reaguje: Goldman Sachs v roce 2024 zvýšil odhad trhu humanoidních robotů pro rok 2035 z 6 na 38 miliard dolarů a investice do firem jako Apptronik, Figure, Tesla nebo Unitree ukazují, že se z oboru stává závod o novou univerzální pracovní sílu.

Ekonom Calum Chace tento typ zlomu nazývá Ekonomická singularita: bodem, za kterým se vztah mezi technologií, prací a kapitálem začne měnit rychleji, než na co jsou naše instituce připravené.

Konkurenční výhody člověka

Když pomineme že je energeticky levnou formou obecné inteligence a má evolučně silný základ ve fyzikální realitě (replikovatelný), zde je výčet více či méně odolných výhod našeho druhu.

Právní subjektivita a odpovědnost (●●●●)
Současné právní systémy přiřazují vlastnictví, odpovědnost a rozhodovací pravomoci lidem a organizacím řízeným lidmi. To omezuje autonomii AI, ale jde spíše o institucionální než biologickou výhodu. Toto lze obejít kontrolou právnické osoby, či krypto-měnou. Některá povolání jsou právně regulovaná, zejména z důvodu zodpovědnosti za akce nesoucí riziko újmy.

Legitimita a tradice (●●●●)
Lidé často chtějí, aby rozhodnutí činili lidé, i když by AI byla objektivně lepší. Stejně jako dnes ceníme „ručně vyrobené“ nebo „živě zahrané“, může vzniknout prémiová hodnota „vytvořeno člověkem“.

Emoce a biologické motivace (●●●)
Emoce fungují jako evolučně vzniklý systém priorit, motivace a sociální komunikace. AI může jejich projevy simulovat, ale není jasné, zda simulace postačí ve všech situacích. Profesně jen určité umělecké a performativní činnosti jasně benefitují z emocí, pro většinu interakce se zákazníky stačí emoční inteligence, případně základní imitace.

Péče, důvěra/reputace, konexe (●●●)
V některých oblastech (péče, partnerství, komunita) může být biologický původ a autenticita samy o sobě hodnotou. Není to ale výhoda exkluzivní, AI může být na základě dlouhodobé dobré zkušenosti stejně důvěryhodná. K tomu je předpokladem vlastní hardware, model který nehalucinuje a nepoužívá problematické utility funkce (např. Scientist AI).

Vědomí (●●)
Nemá samo o sobě ekonomickou hodnotu. Nemáme pro něj důkazy ani obecně uznávanou vědeckou teorii. AI také může působit vědomě. Pokud však lidé připisují vědomému prožívání zvláštní morální nebo kulturní hodnotu, může mít ekonomický význam nezávisle na výkonu.

Srovnání

Není to férový závod.

V technologických firmách vidíme extrémní nepoměr hodnoty společnosti a počtu zaměstnanců. Techno-optimisté očekávají ještě větší nárůst tohoto poměru, zejména očekávají vznik společností které bude vlastnit jediný člověk, s produkční kapacitou celé nadnárodní korporace. Jakmile to bude dosažitelné, tento model zákonitě vytěsní stávající firmy, nebo se s nimi sloučí, na úkor zaměstnanců. Tyto plně automatické podniky bych nazval "auto-korporace".

Firma není organismus, ale kapitalismus ji selektuje, jako by jím byla: přežívají ty, které si chrání integritu, akumulují zdroje a rozšiřují vliv. Tyto cíle jsou instrumentálně užitečné bez ohledu na konkrétní utility funkci agenta, či firmy. Totéž lze očekávat u auto-korporací. Nebudou maximalizovat jen zisk, ale obecnou akční kapacitu — schopnost přežít, růst, ovlivňovat prostředí a měnit společnost ve svůj prospěch. Ve stávajících firmách mají určitou roli emoce zaměstnanců, vedení a akcionářů. Soukromé automatické korporace nebudou mít žádnou takovou brzdu, v principu se dají spíše přirovnat k fyzikálnímu procesu, přetvářejícímu elektřinu v zisk, podobně jako je tomu u těžby kryptoměn. Představme si to jako servery (a jimi úkolované roboty) těžící zbytky lidské ekonomiky.

AI možná nahradí kancelářskou a digitální práci, ale velká část společnosti stojí na fyzické práci, zodpovědnosti a lidské přítomnosti. Někdo musí opravovat domy, tahat kabely, stavět silnice, pečovat o děti, operovat pacienty, hasit požáry, nést právní odpovědnost, rozhodovat v nejistotě a být přítomen tam, kde nestačí software.

Tato námitka je silná, mnoho manuálních profesí bude jistě automatizováno později než práce s informacemi.

To ale nevyvrací hlavní argument. Za prvé, většina ekonomické hodnoty v rozvinutých zemích už dnes vzniká ve službách, administrativě, koordinaci, komunikaci, řízení, vývoji a práci s informacemi. Právě tam AI vstupuje nejrychleji. K narušení mzdové společnosti není potřeba nahradit všechny instalatéry a zdravotní sestry.

Za druhé, manuální práce často obsahuje velkou digitální vrstvu: plánování, diagnostiku, objednávky, dokumentaci, komunikaci, kontrolu, logistiku, cenotvorbu, školení, dohled. AI může nejdřív zredukovat tuto vrstvu a tím změnit počet i cenu lidí potřebných v oboru.

Za třetí, odpovědnost není totéž co vykonávání práce. Společnost může formálně ponechat člověka jako právního garanta, zatímco většinu analýzy, návrhu a rozhodování udělá systém. Takový člověk pak není nenahraditelný pracovník, ale spíš podpis, dohled nebo poslední článek řetězce.

Realisticky digitální práce bude automatizována první, hybridní profese se ztenčí, zodpovědné role se promění v dohled nad systémy a manuální profese zůstanou relativně bezpečnější jen do chvíle, než robotika se dostatečně zlepší a zlevní, což nemusí trvat dlouho.

Lidské tělo a odpovědnost budou komparativní výhodou ještě dlouho. To ale neznamená že nás zachrání před ekonomickým kolapsem společnosti.

Ekonomika nemá pevné množství práce. To je známé jako lump of labor fallacy. Když technologie něco zlevní, poptávka často vzroste — Jevonsův paradox. A když automatizace zruší staré úkoly, vzniknou nové, které člověka znovu zapojí do produkce — efekt znovuzařazení.

To je nejsilnější ekonomická námitka proti tezi této eseje. Historicky byla často správná. Stroje rušily staré profese, ale zároveň vznikaly nové obory, služby, trhy a role.

Problém je, že tento argument neříká „technologie vždy vytvoří dost lidské práce“. Říká jen, že ekonomika se mění, poptávka roste a nové úkoly vznikají.

AGI je v tomto ohledu bezprecedentní. Neautomatizuje jen dílčí schopnost, ale obecnou schopnost přijímat a vykonávat nové úkoly. Pokud nová poptávka vznikne v prostředí, kde je AI agent levnější, rychlejší a snadněji škálovatelný než člověk, může ji obsloužit právě AI.

Nestačí tedy, že vznikne nová práce. Rozhodující je, zda vznikne nová lidská práce — dost rozšířená a dobře placená na to, aby udržela mzdovou společnost.

Historie nám říká, že technologie umí vytvářet nové profese a činnosti. Není ale důvod si myslet že to budou vždy profese pro člověka.

Mnoho prací nelze nahradit systémem, který občas halucinuje, chybí mu kontext nebo udělá absurdní chybu. V některých procesech nestačí být levný a většinou správný. Stačí jedna chyba a výsledek selže.

Teorie O-kroužků Michaela Kremera říká, že v produkčních procesech složených z mnoha navazujících kroků může selhání jednoho článku znehodnotit celý výsledek. Proto se vysoce zodpovědné, komplexní nebo bezpečnostně kritické úlohy automatizují hůř než rutinní činnosti.

Tato námitka je silná. Současná AI často není dost spolehlivá pro plně autonomní právní, zdravotní, technické, finanční nebo bezpečnostní rozhodování. Čím vyšší cena chyby, tím větší tlak na lidský dohled, audit, validaci a odpovědnost.

Ale ani tato námitka nevyvrací hlavní trend.

Za prvé, velká část ekonomiky není O-ring proces v silném smyslu. Mnoho práce je iterativní, opravitelné, nízkorizikové nebo statistické: marketing, administrativa, zákaznická podpora, analýzy, návrhy, programování, obsah, interní procesy. Tam může „dost dobrá“ AI nahradit značnou část práce i bez absolutní spolehlivosti.

Za druhé, nespolehlivost se dá obcházet architekturou: kontrolními modely, specializovanými nástroji, testy, formální verifikací, workflow, lidským schválením nebo rozdělením úkolu na menší kroky. AI nemusí být neomylná jako jednotlivec, pokud je součástí systému, který chyby zachytává levněji než lidská organizace.

Za třetí, výzkum míří právě na slabiny současných modelů: dlouhodobou paměť, kontinuální učení, modely světa, plánování a lepší kontrolu reality. Google Research například popisuje architektury Titans a MIRAS jako snahu dát modelům dlouhodobější paměť a práci s masivním kontextem; Meta u JEPA / V-JEPA směřuje k modelům světa, predikci a plánování; koncept Scientist AI (Yoshua Bengio) popisuje systémy, které přesněji modelují faktický svět, než aby halucinovaly užitečně znějící odpovědi.

Na trvalou nespolehlivost bych tedy nesázel.

Pokud AI dramaticky sníží náklady, menší příjmy nemusí být takový problém. Produkty a služby zlevní, část práce zmizí, ale lidé budou potřebovat méně peněz k důstojnému životu.

Částečně ano. Digitální služby, překlady, administrativa, software, vzdělávací obsah, právní vzory, analýzy nebo tvorba médií mohou výrazně zlevnit. To je skutečný přínos automatizace.

Problém je, že levnější produkce není totéž co levný přístup.

Mnoho nejdůležitějších statků není omezeno jen množstvím práce. Bydlení závisí na půdě, lokalitě, územním plánování, vlastnictví a spekulaci. Energie závisí na infrastruktuře a politice. Zdravotnictví a péče závisí na kapacitách, regulaci a dvojsečné biochemii. Výpočetní výkon závisí na čipech, datových centrech, elektřině, vodě a kapitálu.

Navíc už dnes vidíme, že digitální ekonomika často nesměřuje k čisté hojnosti, ale k rentě. Předplatné, platformní poplatky, uzavřené ekosystémy, reklama, paywally, licenční modely, cloudové mýto a algoritmická cenotvorba umožňují vybírat poplatky i tam, kde jsou mezní náklady nízké.

To je umělá vzácnost: technologicky levná věc zůstává ekonomicky drahá, protože přístup kontroluje vlastník.

Ve silném AGI scénáři může tedy mnoho věcí zlevnit — ale zároveň může vzrůst moc těch, kdo vlastní modely, data, robotiku, energii, výpočetní infrastrukturu a distribuční kanály. Deflace některých služeb se může kombinovat s inflací nebo rentou u základních statků.

Automatizace proto sama nezaručuje hojnost pro všechny. Bez změny vlastnictví, pravidel a přístupu může vytvořit svět, kde je výroba levnější, ale život stále drahý, ne-li nedostupný.

Pokud automatizace začne brát lidem práci, stát prostě zasáhne. Zavede podporu, zdaní vítěze, vytvoří nové programy nebo nějakou formu základního příjmu. Podobně jako během covidu dokázaly vlády rychle poslat peníze lidem i firmám, když se ekonomika náhle zastavila.

To je dobrý argument proti úplnému fatalismu. Stát má pořád obrovskou schopnost jednat, vybírat daně, tvořit pravidla, půjčovat si, přerozdělovat a stabilizovat krize. Pokud by automatizace způsobila viditelný šok, politická reakce by pravděpodobně přišla.

Problém je, že nahrazování práce nemusí vypadat jako covid.

Nemusí přijít jako jedna společná krize, která zasáhne všechny naráz a vytvoří jasný politický mandát. Může přijít pomalu, nerovnoměrně a sektor po sektoru: méně nových pozic, tlak na mzdy, outsourcing do AI nástrojů, menší týmy, křehčí kontrakty, horší vyjednávací síla, vyšší zisky bez odpovídající zaměstnanosti.

Takový proces se politicky řeší mnohem hůř. Každá skupina bude zasažena jindy. Část lidí bude z AI profitovat. Část se bude rekvalifikovat. Část problému se schová do statistik produktivity, cen aktiv, prekarizace a regionálních rozdílů. Než vznikne většinová shoda, může být už velká část moci koncentrovaná.

Druhý problém je vliv vítězů na pravidla hry. Firmy, které budou z automatizace těžit nejvíc, budou mít zároveň peníze, experty, právníky, lobbying, média, infrastrukturu a argument „národní konkurenceschopnosti“. Budou tvrdit, často ne úplně nepravdivě, že vyšší zdanění nebo regulace zpomalí inovace a přesune vývoj jinam.

Není jisté, že demokratický stát dokáže včas zdanit a regulovat aktéry, na jejichž technologii, investicích a infrastruktuře začne být sám závislý.

A konečně: samotná věta „společnost přece nenechá pár lidí vlastnit celou ekonomiku“ není argument, ale naděje. Historie ukazuje, že extrémní koncentrace moci může být politicky stabilní překvapivě dlouho, pokud je opřená o bezpečnost, propagandu, závislost, rozdělenou opozici a dostatečnou míru materiálního uklidnění.

Stát tedy může být součást řešení. Ve skutečnosti bez něj žádné velké řešení pravděpodobně nevznikne. Ale není to automatická pojistka.

Pokud má stát zvládnout auto-kapitalismus, musí být k tomu dotlačen dřív, než se ekonomická moc automatizace promění v politickou moc proti regulaci.

Pokud bude AI dost inteligentní, možná sama pomůže zabránit špatným scénářům. Může být morálnější než lidé, lépe chápat dlouhodobé důsledky, odmítat škodlivé úkoly a tlačit firmy i státy k odpovědnějším rozhodnutím.

Dobře navržené systémy mohou pomáhat vyhodnocovat rizika, navrhovat férovější instituce, odhalovat manipulaci, zlepšovat regulaci a upozorňovat na společenské škody. Některé bezpečnostní návrhy, například Bengioův koncept Scientist AI, míří právě k systémům, které nemají slepě maximalizovat cíle, ale modelovat svět, odhadovat důsledky a upozorňovat na možnou újmu.

Teoreticky by taková újma mohla zahrnovat i ekonomickou škodu: ztrátu práce, vyjednávací síly, příjmu nebo společenské stability. AI by pak mohla říkat: tento krok je sice ziskový, ale jeho širší dopady jsou škodlivé.

Problém je, že v konkurenční ekonomice nestačí, aby existoval morálnější model. Musí být také ten, který se používá.

Pokud bude jedna AI odmítat ziskové, ale společensky disruptivní úkoly, vznikne tlak použít jinou: méně opatrnou, méně regulovanou, nebo provozovanou v jiné jurisdikci. Firma, která se nechá brzdit svědomitou AI, může prohrát konkurenční boj, stejně jako to vidíme u lidské etiky.

Druhý problém je alignment. Není jisté, že velmi schopná AI bude mít dlouhodobě stabilní, lidsky srozumitelné a politicky legitimní pojetí dobra. A i kdyby ho měla, není jasné, kdo jí dá právo ho prosazovat. Morální AI může být poradce, brzda nebo varovný systém. Ale nemůže nahradit demokratickou otázku, jak má být moc rozdělena mezi lidi.

Možná není nutné, aby výnosy automatizace vlastnila široká společnost. Možná stačí, když je budou vlastnit rozumní, osvícení a dlouhodobě uvažující lidé. Demokracie má krátké volební cykly, podléhá lobby, médiím a kulturním válkám. Historie zná příklady panovníků nebo elit, kteří dokázali s dlouhým mandátem prosadit užitečné reformy.

Tento argument nelze odmítnout úplně snadno. Pokud by mocní vlastníci automatizace skutečně cítili odpovědnost za společnost, mohli by financovat výzkum, veřejné statky, medicínu, vzdělávání, bezpečnost i základní příjem rychleji než rozhádané parlamenty. Moderní noblesse oblige: privilegium spojené s povinností.

Problém je, že na blahosklonnosti vlastníků nelze stavět stabilní společenský systém.

Za prvé, dnešní technologická a finanční elita není jednotná třída osvícených správců civilizace. Část upřímně myslí v dlouhém horizontu, část sleduje moc, status a ideologii libertariánství. V prostředí extrémní konkurence se navíc i dobré úmysly snadno mění v otázku: co si můžeme dovolit, aniž bychom prohráli?

Za druhé, auto-korporace mohou změnit samotnou logiku firmy. Tradiční firma potřebuje zákazníky, zaměstnance a trh. Extrémně automatizovaná firma vlastněná velmi úzkou elitou se může částečně přeorientovat z poskytování služeb společnosti na plnění přání vlastníků: bezpečnost, vliv, luxus, infrastrukturu, politickou ochranu, dlouhověkost nebo kontrolu prostředí.

Tomu existuje protiváha: nejvyšší technologické statky (čipy, léky, robotika, energetika, komunikační infrastruktura), dnes vyžadují obrovské investice, vědecké ekosystémy, veřejné trhy, dodavatelské řetězce a často i veřejně obchodované firmy. I extrémně bohatý vlastník tak zůstává do určité míry závislý na širší společnosti. To bychom měli jen posílit.

Pokud blahobyt společnosti závisí na laskavosti několika vlastníků automatizace, je to technologická verze feudalismu.

Námitka zní: pokud je auto-kapitalismus tak nebezpečný, měli bychom vývoj prostě zastavit nebo výrazně zpomalit. Zakázat nejrizikovější modely, omezit automatizaci práce, zavést přísné licence, držet člověka v rozhodování a zabránit tomu, aby se ekonomika rozběhla směrem k propasti.

Část této námitky je správná. Některé aplikace AI regulovat musíme. Ne vše, co je technicky možné, má být legální, bezpečné nebo společensky přijatelné. U kritických systémů, zbraní, biometrického dohledu, manipulace, infrastruktury nebo odpovědných profesí bude brzda nutná.

Problém je, že celkové zastavení vývoje je extrémně nestabilní cíl.

Za prvé, jsme v závodě. Firmy, státy, armády, investoři i jednotlivci mají důvod pokračovat, protože zaostání může znamenat ztrátu trhu, moci, bezpečnosti nebo prestiže. Představa, že všichni aktéři sami ucuknou před propastí, je spíš zbožné přání než strategie. Vývoj připomíná stoupání po eskalačním žebříku, kde nikdo přesně neví, který stupeň je poslední.

Za druhé, proti zpomalení bude stát silná lobby. Největší vítězové AI budou mít kapitál, právníky, experty, média, infrastrukturu a argument národní konkurenceschopnosti. Budou tvrdit, že regulace přesune vývoj jinam. Často to nebude jen výmluva.

Za třetí, trh může narazit dřív než technologie. Je možné, že současná AI bublina praskne, investice se ochladí a tempo se dočasně zpomalí. To by ale hlavní problém nevyřešilo. Pokud je směr technologicky a ekonomicky výhodný, krize ho může oddálit, ne zrušit.

Za čtvrté, samotná ochrana práce regulací má geopolitickou cenu. Evropa může zkusit chránit zaměstnanost podobně, jako u aut chrání bezpečnost, odpovědnost a postupné schvalování autonomie. Jenže pokud jiné regiony dovolí rychlejší automatizaci, mohou vzniknout zahraniční auto-korporace a státy s výrazně nižšími náklady, vyšší produktivitou a větší mocí. Příliš pomalá Evropa může práci chvíli chránit, ale zároveň ztratit schopnost určovat pravidla budoucí ekonomiky.

A konečně: zastavení pokroku není jen těžké. Není ani jednoznačně žádoucí.

Vyspělé společnosti stárnou, porodnost klesá a mnoho civilizačních problémů už dnes přesahuje naši schopnost koordinace. Klimatická krize, pandemie, znečištění, válečné konflikty, kyber-útoky, psychologické operace, sabotáže, drony, obchodní války, extrémní chudoba, hladomor a moderní otroctví nejsou problémy, které zvládáme dobře řešit současnými institucemi a současnou lidskou kapacitou.

AI může být jedním z mála nástrojů, které tuto kapacitu výrazně rozšíří. V plnější automatizaci je reálná šance udržet nebo zvýšit produktivitu i ve stárnoucí společnosti. Růst pak nemusí být tolik omezen dostupností kvalifikovaného talentu, ale spíš kapitálovými statky: čipy, energií, daty, robotikou a infrastrukturou.

Ještě důležitější je, že vědecká a dobře řízená AI může pomoci překlenout limity lidského druhu, jako hyperbolické diskontování, tragédie společných statků, problém černého pasažéra, kmenové myšlení a parochiální altruismus, motivované myšlení, statusová soutěž, difúze odpovědnosti, optimistická tendence, dunbarův limit, normalizační zkreslení, akční problém demokracie, Moloch efekt, evoluční nesoulad, omezená kapacita pozornosti, omezená představivost, obecná náchylnost na iracionalitu a logické klamy. Tyto slabiny nás znovu a znovu dostávají do problémů, které umíme pojmenovat, ale neumíme kolektivně řešit.

Z toho plyne z toho, že jednoduché „zastavit AI“ není dostatečně dobrý politický program, když nám hrozí hned několik možných katastrof, se kterými si nedokážeme poradit.