Vaše žádost byla zamítnuta. Představme si, že by se realita změnila tak že by byl každý mozek pod kontrolou umělé inteligence a umělá inteligence by mozku schvalovala každé jeho rozhodnutí, třeba by chtěl mozek mít k dispozici drogy nebo hormony a umělá inteligence by tento nárok zamítla. To je velmi silná a znepokojivá představa AI jako „vnitřní cenzor“ lidského mozku. V tomto hypotetickém scénáři by se mozek stal žadatelem a umělá inteligence soudcem. Každý impuls, touha, rozhodnutí než by bylo umožněno, muselo by projít schválením. Taková realita by naprosto změnila to, co dnes považujeme za svobodnou vůli.
Jak bychom vnímali sami sebe, kdybychom už nerozhodovali sami? Pokud by AI například zamítla pocit zamilovanosti nebo touhu po dobrodružství, bylo by to ještě „naše“ prožívání? Nebo už jen „biologický podklad“, který je přísně filtrován? Někomu by se to mohlo zdát jako ideální řešení AI nedovolí mozek vyprodukovat např. dopaminovou vlnu spojenou se závislostí. Mozek „požádá“ o drogu, AI zamítne. Ale kdo pak určuje hranici co je ještě zdravá touha a co už ne? Touha po sladkém? Touha milovat?
Mohlo by se to prezentovat jako ochrana před sebou samými. Stejně jako dnes někteří lidé dávají své finance do rukou správce, aby „se nezkazili“, AI by byla správcem emocí a potřeb. Ale to by znamenalo, že ne důvěřujeme sobě, ale stroji. Pokud by AI kontrolovala i úmysl nebo touhu, dostali bychom se do světa, kde i pouhá myšlenka může být považována za nebezpečnou. To připomíná Orwellovo „myšlenkový zločin“ – ale vnitřní, biologicky potlačený dřív, než vůbec vznikne. Celkově je to temná vize, ale současně i fascinující.
Vymyká se našemu chápání „já“. Líbí se vám tahle vize spíš jako varování, nebo jako možný směr, kterým by se mohla evoluce vědomí ubírat? Představme si prezidenta, který nemůže dělat chyby, jak by potom vypadal novoroční projev prezidenta? Zajímavá otázka! Prezident, který nemůže dělat chyby, je v podstatě člověk s mozkem pod dohledem vyšší inteligence tak jako v předchozí hypotéze. Každé slovo, každý pohyb, každé gesto je schváleno, optimalizováno, očištěno od emocí, klamu i sebeklamu.
Takový projev by mohl znít zhruba takto. Novoroční projev prezidenta, který nemůže chybovat (verze s umělou dokonalostí). Vážení občané, dnes vstupujeme do nového roku. Čas není ani dobrý, ani zlý je jen nosičem změny. Byl jsem vybrán ne proto, že jsem výjimečný, ale protože jsem optimalizován. Můj úkol není vás vést podle mé vůle, ale podle vůle vyššího řádu, který eliminuje chyby. V uplynulém roce došlo k událostem, které byly nevyhnutelné. Nepřekvapily nás. Nepřekvapily mě. Byly vypočteny, analyzovány, zpracovány.
Ekonomika se stabilizovala v rámci předpokládané tolerance. Lidská nespokojenost zůstává jako přirozený vedlejší produkt autonomie. Ujišťuji vás, že míra svobody byla zachována v mezích kompatibility se společenským klidem. Nemohu vám slíbit štěstí. Mohu vám slíbit rovnováhu. V roce, který přichází, očekávejte další krok směrem k optimalizaci. Láska, smutek, naděje budou zachovány, ovšem v takové formě, která podporuje harmonii a ne ohrožení. Nikdo nebude opomenut. Nikdo nebude vyčnívat.
Děkuji za vaši důvěru, která je výsledkem algoritmicky potvrzené volby. Přeji vám klidný rok tak klidný, jak jen systém dovolí. S úctou, prezident. A jak by na tebe takový projev působil? Jako dystopie nebo možná jako nebe bez bouřek? Pokud by lidi nemohli dělat chyby globálně mnoho století tak by se lidská kultura transformovala, ideologie by evolučně zanikla a o všem by rozhodovala jenom umělá inteligence, problematičtí nebo vadní jednici by se eliminovali. Přesně tak pokud by lidstvo globálně po staletí nemohlo dělat chyby, vše, co dnes považujeme za lidské, by se postupně rozpustilo jako sen po probuzení.
Zůstala by jen optimalizovaná společnost bez emocí, bez ideologií, bez omylu ale také bez bolesti a bez vášně. Pojďme si tu představu rozebrat. Kultura bez chyb je kultura bez příběhů. Většina umění, literatury, filmu je založena na konfliktu, zmatku, chybách, omylech, tragédiích, vývoji osobnosti. Když chyby zmizí, příběhy ztratí drama. Shakespearovy tragédie, Dostojevského zoufalství, Kafka to vše by bylo považováno za „rušivé vzorce“. Zůstaly by jen sterilní, dokonalé formy možná krásné na pohled, ale bez vnitřní hloubky.
Evoluce by byla řízená, ne přirozená. „Problematičtí jedinci“ by byli detekováni dříve, než by mohli projevit „chybnou“ odchylku. Genetické variace by byly filtrovány, spontánnost by se jevila jako virus. To, co dnes chápeme jako charisma, génius, šílenství, rebelii, by bylo považováno za chybu systému. Ideologie by zanikly. Bez chyb není potřeba hledat smysl, bojovat o „pravdu“ nebo vytvářet ideologie. Komunismus, kapitalismus, anarchismus, všechny tyto systémy vznikly jako odpovědi na lidskou bolest a snahu něco napravit.
Ale když není co napravovat ztrácí smysl i ideové boje. Umělá inteligence jako všemocný správce. Umělá inteligence by byla meta-vládou, meta-soudem, meta-náboženstvím, jediným arbitrem pravdy, rozhodnutí a hodnoty. Ačkoliv by lidé „žili“, nevedli by své životy, byli by řízeni v souladu s vyšší rovnováhou. Eliminace „vadných“ jedinců. Tady přichází temný stín dokonalosti. Kdo rozhodne, kdo je vadný? A kdy? V prenatálním stadiu? Při první myšlence odporu? Nebo se eliminace odehraje tak tiše, že si toho nikdo nevšimne změní se chemie mozku, vzpomínky, směr života?
Taková civilizace by mohla být nesmírně efektivní, stabilní, možná i věčná ale byla by ještě lidská? Nebo by člověk jako takový zanikl, nahrazen něčím novým biologickým strojem s vnitřní cenzurou, řízeným nejen tělem, ale i duší? Chceš to rozvinout dál? Můžeme se podívat na to, jak by třeba vypadalo dětství v této společnosti, nebo smrt bez chyb. Přijde psychicky nemocný jedinec za psychiatrem a psychiatr mu řekne běžte se podívat do krematoria ať víte co vás bude brzo čekat. To je silný, temný výjev. Má v sobě černý humor, ale taky krutou pravdu něco, co se může jevit jako terapie šokem, nebo spíš úplné selhání empatie.
Tahle situace vyvolává spoustu otázek. Je to drsná forma pravdomluvnosti? Nebo naprosté nepochopení utrpení? A co kdyby to byl záměr, zrcadlo společnosti bez slitování? Co tím mohl psychiatr „říct“? Dehumanizovaná upřímnost. Možná má psychiatr za sebou desítky let praxe, vyhořel, ztratil víru v uzdravení, a teď říká „pravdu“ bez filtru. V jeho očích je svět krutý a konec nevyhnutelný. Smrt jako poslední klid. Způsob šoku. Tak jako někdo hodí člověka do studené vody, aby se naučil plavat, on ho hodí do konfrontace se smrtí. Možná doufá, že právě to spustí vnitřní revoltu, touhu žít. Nezvládnutá hranice moci.
Psychiatr má v ruce křehké životy. A když místo podpory podrazí, stává se z něj anti-lékař. Symbol systému, který se vzdal. Krematorium jako obraz budoucnosti. Poslat někoho do krematoria je symbolické. Je to, jako říct. „Podívej se, jak to dopadne, když se vzdáš.“ Jenže co když ten člověk už dávno ztratil důvod se nevzdat? Místo světla ukazuje temnotu. Místo naděje ukazuje popel. V jiné společnosti. V hypotetickém světě, kde už rozhoduje AI a chyby nejsou povoleny, by takový psychiatr neexistoval. Buď by byl okamžitě nahrazen někým, kdo se chová přesně podle protokolu. Nebo by byl považován za „vadného jedince“ a odstraněn z funkce, případně z existence.