Umělá inteligence

Důležitost

  1. Zdaleka nejdůležitější jsou ty problémy, které mohou budoucnost zásadně ovlivnit natrvalo, nikoliv jen přechodně - tj. které budoucnost uzamčou či mohou uzamčít v nějakém nevratném stavu (lock-in). 
  2. Problém umělé superinteligence (umělé inteligence dramaticky převyšující úroveň našeho myšlení) pravděpodobně k takovému uzamčení vede, jelikož cíle (resp. její základní nastavení a způsob fungování), které superinteligenci naprogramujeme, jí mohou velmi snadno zůstat již nastálo. Z logiky věci se totiž bude sama snažit si tyto cíle zachovat - jelikož zachování si určitého cíle je jedním z nejdůležitějších prostředků pro jeho dosažení. Její schopnosti budou zároveň natolik přesahovat ty naše, že jí v tom již stěží dokážeme zabránit, pokud bychom chtěli později její základní cíle vyměnit.
  3. Problém je tím důležitější, čím větší jsou hodnotové rozdíly mezi různými verzemi budoucnosti, ke kterým jeho různě úspěšné řešení vede. Superinteligence přitom může realisticky přinést jak bezprecedentní pokrok a utopii, tak tragické vyústění a dystopii. 
  4. Není pravděpodobnější způsob, jak by mohlo dojít k trvalé determinaci množství hodnoty v daleké budoucnosti. Ve srovnání s jinými existenčními riziky se zdá, že AI povede k uzamčení budoucnosti výrazně pravděpodobněji. Premisy nevratného vlivu nastavení superinteligence se zdají spíše pravděpodobné, zatímco předpoklady, které by se musely naplnit, aby došlo k jiným způsobům uzamčení, jsou spíše nepravděpodobné, ale je třeba se před nimi chránit čistě z hlediska předběžné opatrnosti. Klasické existenční katastrofy - scénáře úplného vyhubení lidstva - jsou dost málo pravděpodobné. Ještě nižší pravděpodobnosti přitom dostaneme, pokud bychom za úplný konec pokládali až konec života na Zemi. Přitom ale platí, že již zdůvodnění předběžnou opatrností i u méně pravděpodobných rizik je velmi dobré, když jde o extrémní longtermistické hodnoty (srv princip pojištění). 
  5. To, jak superinteligenci cíle zadáme, neboli jak ji nastavíme, může být tedy zcela zásadní věcí, která určí vše, co bude následovat - tedy veškerou vzdálenou budoucnost se všemi astronomicky velkými a závratnými možnostmi, které kombinace schopností superinteligence s astronomicky rozsáhlým potenciálem času i prostoru nabízí. Z hlediska civilizačního vývoje není zdá se nic důležitějšího než to, jak bude superinteligence nastavena. Je zcela zásadním úkolem, před kterým jako lidstvo nyní stojíme, se na toto nastavení co nejpečlivěji připravit a co nejlépe jej promýšlet a plánovat.

Řešitelnost

Je možné budovat poznání o problému superinteligence a zkoumat různé návrhy, jak zajistit optimální vývoj. Mít bohatou zásobárnu poznatků a analýz a rozvinutý obor mapující dané téma vypadá docela jistě jako něco, co zvyšuje naši šanci, že se se vznikem superinteligence vypořádáme dobře. 

I kdyby nebylo možné pomoci si již nyní v předstihu včasným promýšlením a výzkumem (což je nepravděpodobné), je možné budovat hnutí a komunity lidí, kteří budou připraveni se aktivizovat, až přijde vhodná doba, ve které již něco konkrétního bude možné dělat.

Zanedbanost

V roce 2017 směřovalo do oblasti bezpečnosti AGI 9 milionů dolarů, což je nepoměrně méně (více než 100krát) než do oblasti vylepšování schopností AI a 26000krát méně než do biomedicínského výzkumu. Na problému Jen řádově kolem stovky expertů. Pokud oblast definujeme šířeji (bezpečnost AI), mohlo částka za rok 2017 dosáhnout i 100 milionů dolarů.

Ve skutečnosti a striktně vzato do kritéria zanedbanosti nespadá jen to, kolik zdrojů je na řešení problému věnováno nyní, ale i kolik bude věnováno v budoucnu. Tento budoucí aspekt je přitom zdá se ještě důležitější, protože v budoucnu se problému bude věnovat více pozornosti - ať již proto, že budoucnost zahrnuje jednoduše více času, anebo proto, že AI bude stále více pokročilá a problém superinteligence bude stále více známý a diskutovaný.

To znamená, že čím dříve a náhle superinteligence přijde, tím bude celkově problém bezpečnosti AI více zanedbaný. Tímto způsobem se velmi relevantními stávají právě argumenty ve prospěch přesvědčení, že superinteligence přijde spíše brzy než později a že by mohla přijít nečekaně:

  • Rozdíl mezi mozkem šimpanze a člověka není příliš velký - i na první pohled nejsou rozdíly velké a stačilo jen 250 000 generací na vytvoření rozdílu. Víme přitom, že evolučně se za takovou dobu nic příliš komplexního vybudovat nestihne. Rozdíl tedy bude kromě lehkého navýšení velikosti v několika málo správných tricích. Odpovídající rozdíl by tedy ani z hlediska konstruování systémů umělé inteligence nemusel být extrémně složitý.
  • Představujeme si, že rozdíl mezi hloupým a chytrým člověkem je velkým rozdílem v inteligenci. Mezitím však, pokud na inteligenční škálu zaneseme všechny živočichy, jde o rozdíl relativně malý. Když umělá inteligence překonává inteligenční úroveň různých živočichů, připadá nám, že se nic neděje, přestože může jít o velké pokroky. Když již budeme na úrovni hloupého člověka, můžeme se velmi rychle dostat na úroveň génia. Na této úrovni samozřejmě nemá vývoj důvod se zastavit a záhy bude lidský inteligence výrazně překonána.

Argumenty autoritou

Jedna možnost je projít si analýzu a jednotlivé důvody vlastním myšlením - tato práce je strukturovaná podle tří výše uvedených kritérií. Alternativně je možné spolehnout se na úsudek osobností, které daný problém zvážily. Mezi myslitele, kteří téma umělé inteligence považují za zásadní, paří například Stephen Hawking či Stuart Russell (spoluautor nejpoužívanější učebnice AI). Počet expertů, kteří se k takovému soudu přiklánějí, se navíc stále zvyšuje. Argumentační podporu mohou poskytnout i např. následující vyjádření:

  • 80,000 hours: Když jsme se dívali na podstatné části problému, většinou jsme souhlasili s těmi, kteří se obávají spíše více než méně. Čím více jsme četli, tím jsme byli znepokojenější.
  • Tim Urban, Wait but why: Dost rychle mi došlo, že to, co se děje ve světě umělé inteligence není pouze důležité téma, ale zdaleka nejdůležitější téma pro naši budoucnost.
  • Clive Cookson, Financial Times, Science Editor: O síle argumentů není třeba pochybovat ... jde o výzkumný problém hodný nejlepšího matematického talentu příští generace. Lidský civilizace je v sázce.

Zdroje k AI

Argumenty ve prospěch důležitosti tématu superinteligence lze nalézt například v těchto zdrojích:

Praktické kroky

Klíčové jsou jako vždy praktické kroky, ke kterým uvažování vede. Jaké lze vyvodit na základě prvořadé důležitosti tématu AI? Bostrom ve výše zmíněné základní monografii konstatuje, že jelikož naše poznání v této věci je jen velmi mlhavé a neurčité, je na prvním místě užitečná další strategická analýza celého tématu - rozpoznání klíčových úvah, tj. úvah, které ovlivňují náš názor na to, jestli jsou jednotlivé způsoby akce vůbec pozitivní nebo naopak kontraproduktivní. O tomto druhu úvah viz též Bostromův článek Technological Revolutions: Ethics and Policy in the Dark.

Prezentace tématu

Není vhodné ani přesné mluvit o umělé inteligenci pouze jako o hrozbě a riziku, ale je třeba zdůrazňovat možnost nebývalého rozkvětu, která se zde lidstvu naskýtá. Rozvinutá umělá inteligence nejen že nás může lehce zbavit nutnosti práce. Může být prostředkem k zásadnímu snížení množství utrpení, kterým musíme jako lidé za život procházet. Toto zdůraznění pozitiv by mělo zabránit tomu, aby celkové sdělení bylo příliš depresivní a tudíž odrazující.

Typickou reakcí na téma superinteligence je dojem, že jde jen o science fiction, o něco bláznivého či alespoň velmi vzdáleného a tedy pro současnost zatím irelevantního. Zkreslující tendenci brát vážně jen to, na co jsme zvyklí z každodenní praxe, je užitečné vyvažovat pohledem na celkový dějinný obraz, jehož dlouhodobé trendy a pohyby nás upozorňují, že náš aktuální svět, na který jsme zvyklí, je z této perspektivy jen něčím prchavým a přechodným.

Literatura

BOSTROM, Nick. 2014. Superintelligence: Paths, Dangers, Strategies. Oxford University Press, Oxford.
BOSTROM, Nick. 2007. Technological Revolutions: Ethics and Policy in the Dark. In: Nigel M. de S. Cameron and M. Ellen Mitchell. Nanoscale: Issues and Perspectives for the Nano Century. John Wiley.
McCORDUCK, Pamela. 1979. Machines Who Think. A Personal Inquiry into the History and Prospects of Artificial Intelligence. W. H. Freeman, San Francisco.
NEWELL, Allen; Simon, Herbert. 1956. The Logic Theory Machine. IRE Transactions on Information Theory. ftp://129.69.211.95/pdf/rand/ipl/P-868_The_Logic_Theory_Machine_Jul56.pdf
ORD, Toby. 2020. The Precipice: Existential Risk and the Future of Humanity. Bloomsbury Publishing, London.
WIBLIN, Rob. 2017. Positively shaping the development of arrtificial intelligence. 80,000 Hours.
WIENER, Norbert. 1960. Some Moral and Technical Consequences of Automation. Science, 131, 1355-1358. https://www.cs.umd.edu/users/gasarch/BLOGPAPERS/moral.pdf