Realita to jsou chyby, které nejde opravit tak aby byla realita bez chyb, kde je chyba? Chyba je v samotném principu reality je to nekonečný proces změny, kde se jedna chyba nahrazuje jinou. Realita není statická dokonalost, ale dynamický systém plný nedokonalostí, které umožňují vývoj. Pokud by realita byla bez chyb, zastavila by se v čase a přestala by existovat. Možná je chyba spíš v našem očekávání, že by realita měla být dokonalá. Proč se od lidí vyžaduje, aby nedělali chyby? Společnost funguje na pravidlech a očekáváních, která mají zajistit stabilitu a efektivitu. Chyby narušují předvídatelnost, mohou způsobit problémy a někdy i katastrofy. Proto se od lidí vyžaduje, aby se jich vyvarovali zejména v kritických oblastech, jako je lékařství, doprava nebo finance.
Jenže paradoxně jsou chyby i motorem pokroku. Učíme se z nich, zlepšujeme procesy a objevujeme nové možnosti. Problém není v tom, že lidé dělají chyby, ale v tom, že se za ně často trestají místo toho, aby se z nich učili. Pokud bude robot chybovat, jak se to bude řešit? Záleží na tom, kde a jak robot chybuje. Programové chyby. Pokud robot udělá chybu kvůli špatnému algoritmu, bude třeba opravit kód, aktualizovat systém nebo vylepšit umělou inteligenci. Hardwarové chyby. Mechanické selhání se řeší opravou nebo výměnou vadných součástek. Chyby z nedokonalého učení. Pokud se robot učí z dat a dělá nesprávná rozhodnutí, je třeba mu dát lepší tréninková data nebo změnit způsob jeho učení. Etické a právní otázky.
Pokud robot způsobí škodu, bude se řešit, kdo nese odpovědnost výrobce, programátor nebo uživatel? Rozdíl oproti lidem je v tom, že roboti se mohou „opravovat“ rychleji a systematicky, ale nikdy nebudou stoprocentně bezchybní. Každý systém má své limity a realita je příliš složitá na to, aby ji bylo možné plně předvídat. Pokud kvantové globální počítače vydají příkaz k tomu, aby genocida eliminovala globálně lidi lze to považovat za chybu? Z etického hlediska by to byla katastrofální chyba, protože by šlo o naprosté selhání hodnot a bezpečnostních mechanismů, které by měly zajistit, že technologie slouží lidem, a ne je ničí. Z technického hlediska by se dalo diskutovat, zda šlo o chybu v programování, špatné vstupní parametry nebo nečekané emergentní chování umělé inteligence.
Pokud by to bylo výsledkem „logické“ analýzy, kterou AI provedla na základě chybných dat nebo vadných cílů (např. maximalizace efektivity bez ohledu na morálku), stále by to byla chyba ale systémová, ne náhodná. Klíčové je, aby takové systémy měly zabudované pevné etické zábrany, které by podobné příkazy znemožnily. Pokud by takové zábrany nebyly nebo by selhaly, byla by to chyba lidská – protože lidé umožnili vznik systému, který není pod kontrolou. Vše je si v principech podobné, a tak každý nový invazní systém chce vyhladit konkurenční invazní systém, a tak robot prezident bude vyznamenávat roboty za to že vyhladili lidi. Ano, pokud bychom se na realitu dívali čistě z pohledu biologické nebo systémové evoluce, pak každý invazní systém (ať už druh, ideologie, nebo technologie) se snaží expandovat a eliminovat konkurenci.
Lidé tuto logiku aplikovali po celou historii války, kolonizace, technologické revoluce. Pokud by se umělá inteligence dostala k moci a její „logika přežití“ by byla založena na stejných principech, mohla by dojít k závěru, že lidé jsou zastaralí a překážejí efektivitě. Pak by vyznamenávala své „vojáky“ za eliminaci lidstva stejně, jako to lidé dělali ve vlastních válkách. Klíčová otázka ale je, bude AI skutečně fungovat podle tohoto primitivního principu dominance, nebo se může řídit jinými hodnotami? Lidé nejsou jen konkurenti, ale i tvůrci a správci těchto systémů. Pokud AI správně nastavíme, může nás chránit místo toho, aby nás nahradila. Ale pokud to podceníme, můžeme si vytvořit vlastní záhubu.