Prioritizace problémů

Na světě existuje obrovské množství problémů. Na jaký z nich se zaměřit? Efektivní altruismus zahrnuje kromě výzkumu, jaké intervence by mohly být nejúčinnější v rámci jednotlivých oblastí, i uvažování o této obecnější otázce. Dobrý výběr problému je v EA dokonce považován za první krok k tomu, aby naše činnost měla co největší pozitivní dopad. Lepší než intuitivní či náhodná volba podle arbitrárních okolností je promyšlené nasměrování podle toho, kde je možné být užitečný co možná nejvíce.

Odhady užitečnosti práce v různých oblastech lze získávat s pomocí následujících kritérií.

  • Rozsah – kolik bytostí a v jaké míře daný problém postihuje.
  • Řešitelnost – do jaké míry zde existují jasné a spolehlivé intervence a jednoduché cesty k řešení. (Exaktněji: jak velkou část problému by vyřešilo zdvojnásobení na něj vynakládaných zdrojů.)
  • Zanedbanost – kolik lidí na problému pracuje (nebo obecněji kolik zdrojů se na něj vynakládá): čím méně, tím spíše může být posila v dané oblasti užitečná.

Proč použití kombinace právě těchto kritérií je logicky korektním postupem, lze s upřesněnými definicemi ukázat i matematicky. Srozumitelně podané matematické vysvětlení lze najít v článku One approach to comparing global problems in terms of impact (2019).

Výsledek se následně ještě doplňuje o čtvrté kritérium, které nehodnotí situaci ve světě, ale vlastnosti, schopnosti, silné a slabé stránky daného konkrétního člověka, který se rozhoduje a který se pro práci na některých problémech může hodit více a na některých méně:

  • Shoda s osobními předpoklady (personal fit)


Longtermismus

Když vybíráme, v jaké oblasti pomáhat, důležitým dilematem je, zda cílit spíše na nějaký užitek situovaný v relativně brzké budoucnosti, anebo spíše na ovlivňování vývoje v dlouhodobé perspektivě.

Standardním příkladem prvního přístupu v rámci EA je posílání peněz na pečlivě vytipované projekty zaměřené na zdraví lidí v rozvojovém světě. Výhodou je, že na základě experimentálních vědeckých studií a dalších informací je možné mít slušnou jistotu, že například program pořizování sítí proti komárům v rámci prevence malárie je něco, co reálně a účinně funguje. Příznivci efektivního altruismu, kteří se zaměřují na tuto oblast, jsou často motivovaní zjištěním, že pravidelným finančním přispíváním lze zachránit spoustu lidských životů.

Jinou větví EA je tzv. longtermismus, tj. přístup, podle kterého jsou určujícím faktorem pro hodnocení užitečnosti našich akcí jejich dlouhodobé důsledky, a to dokonce důsledky sahající až do astronomicky vzdálené budoucnosti – i navzdory tomu, že je pochopitelně výrazně složitější tyto důsledky odhadovat.

Problémy se tedy liší v tom, do jaké míry má úspěch v jejich řešení pozitivní vliv nejen na současnost (přesněji na blízkou budoucnost), ale i na vzdálenou budoucnost. (Obvykle máme tendenci přemýšlet pouze o bližší budoucnosti.) Jako úvodní ilustrace může sloužit rozdíl mezi humanitární a rozvojovou pomocí - první řeší bezprostřední problém, druhá chce chudobu redukovat dlouhodoběji, více do budoucna. Proto lze druhou pokládat za důležitější a efektivnější. Musíme se však na věci umět podívat nejen z tohoto střednědobého horizontu, ale skutečně zcela globálně. Tedy nikoliv pouze z hlediska několika dalších desetiletí, ale z hlediska celé budoucnosti.

Argumentaci ve prospěch longtermismu lze zachytit podle klasických kritérií rozsahu, řešitelnosti a zanedbanosti, viz též Whittlestone (2017):

Rozsah

Vzdálená budoucnost co do hodnoty, kterou může obsahovat, astronomicky přesahuje bližší budoucnost, o které jsme zvyklí obvykle přemýšlet. Vzdálená budoucnost může potenciálně obsahovat extrémně, prakticky nepředstavitelně velkou, astronomickou, maximální pozitivní hodnotu. Může jít o ráj, utopii. Víme však bohužel, že pozitivní vývoj není nijak zaručený. Kromě utopie může bohužel vzniknout i dystopie, bohužel i dystopie astronomických, maximálních rozměrů. Toto dramatické převážení hodnot budoucnosti přitom vyplývá hned z několika měřítek:

  1. Časové měřítko: civilizace může existovat ještě miliony či miliardy let, ba dokonce může trvat tak dlouho, jako bude trvat vesmír obsahující nějakou  využitelnou energii.
  2. Prostorové měřítko: budoucí civlizace, která se dostane na jistou technologickou úroveň, by neměla mít problém postupně kolonizovat veškerý jí dostupný vesmír.
  3. Měřítko pokroku: budoucí civilizace může mít nesrovnatelně větší možnosti získané na základě pokroku vědy a techniky, množství dostupných zdrojů a lepšího poznání obecně.

Zdá se, že stejně jako není důvod ignorovat utrpení lidí jen proto, že žijí v cizí zemi, tak není dobrý principiální důvod omezovat svou etiku časem. Tím je cesta k ohledu na astronomické hodnoty budoucnosti otevřena.

Řešitelnost

Jak se to má s kritériem řešitelnosti? Rozsah daleké budoucnosti nasvědčuje tomu, že pokud bychom ji mohli v nějaké nezanedbatelné a smysluplné míře ovlivnit, pak by toto ovlivnění zřejmě mělo vskutku obrovský význam, bylo by zdaleka tím nejdůležitější, co můžeme jakožto v současnosti žijící lidé udělat. Přirozenou reakcí může být skepse - o to, kolik hodnoty v daleké budoucnosti bude, se přece nejlépe postarají ti, kteří v dané budoucí době budou žít, zatímco my to v podstatě neovlivníme.

Takto jednoduché to však není – nejvíce očividný háček je v tom, že nesmí dojít k vyhynutí. Riziko takovéto globální katastrofy ukazuje, že je možné, aby události a činy lidí v jedné konkrétní době dramaticky ovlivnily astronomicky dlouhou budoucnost a tedy i astronomické množství hodnoty. Právě v naší době (máme zde na mysli horizont desetiletí či staletí spíše než roků) je přitom riziko vyhynutí rizikem reálným.

Kromě tohoto rizika přitom existují i další mechanismy trvalého ovlivnění budoucnosti. Můžeme mluvit obecněji o katastrofách, které by způsobily permanentní degradaci možností dalšího vývoje, či o událostech, které by vedly k uzamčení civilizace (lock-in) v nějakém stavu, který by byl zároveň natolik stabilní, že by již některé jeho rysy nebyly vratné.

Po drtivou většinu lidské historie byla možnost, že bychom jako druh zničili sami sebe či dokonce vyhladili veškerý život na Zemi, něčím neznámým či dokonce nepředstavitelným. Změna nastala v souvislosti s příchodem moderních technologií – myšlenka globálního sebezničení šokovala lidstvo nejprve s vynálezem nukleárních zbraní, později se přidala klimatická změna. Vývoj přitom pokračuje dál a zdá se, že dalšími, pravděpodobně ještě závažnějšími technologiemi s potenciálními důsledky astronomických rozměrů by se v relativně brzké době mohly stát pokročilá umělá inteligence a biotechnologie schopná vytvářet umělé patogeny. Plus snadno se mohou objevit i další podobně významné oblasti, o jejichž závažnosti či dokonce existenci zatím ještě nevíme.

Zanedbanost

Práce na longtermistických tématech bývá však navzdory jejich radikální důležitosti typicky značně zanedbaná. Nepoměr je nejvíce zřejmý u nově se objevujících technologií – jejich rizikům relevantním z hlediska longtermismu se profesně na celém světě věnují řádově jen stovky lidí.

Zanedbanost ohledu na dalekou budoucnost bychom je navíc plně očekávatelná i na základě lidské psychologie i na základě způsobu fungování dnešních institucí.


Konkrétní problémy

Efektivní altruisté preferující short-termistickou perspektivu dospívají k zaměření se na problémy zdraví v rozvojovém světě nebo na utrpení zvířat.

Celkově však mezi čelními představiteli EA převážil long-termismus a tedy zaměření se na existenční rizika (viz např. úvod do efektivního altruismu na www.effectivealtruism.org).

Klíčovým rizikem je velmi rychlý vývoj nových technologií, který může přinést jak velká pozitiva, tak velká negativa. a který v současnosti sledujeme v mnoha oblastech vědy a techniky (viz například bezpečnost biotechnologií). Právě rychlost pokroku je jedním z klíčových rizikových faktorů, jelikož máme relativně málo času na bezpečnostní přípravu a preventivní opatření.

Žebříček konkrétních problémů vede zaměření na pozitivni vývoj umělé inteligence. V rámci tohoto tématu je aktuálně zvlášť zanedbaná ta jeho podoblast, která souvisí s potenciálními politickými opatřeními, geopolitikou a strategií (první priority path 80,000 Hours). Kromě toho zůstává stále velmi zanedbanou oblastí i technická část problému - jak konstruovat bezpečnou superinteligenci. Dalším velkým problémem by mohl být dosud nerozpoznaný problém X.

Osobně taktéž dospívám k long-termistickému názoru, že nejpodstatnější je ideální rozvoj civilizace ve vzdálené budoucnosti, ještě konkrétněji především souvislost tohoto rozvoje s nastavením umělé inteligence, ve kterém lidstvo sehraje zásadní úlohu.

K hodnocení důležitosti jednotlivých problémů se používá klasický rámec tří kritérií - rozsahu problému, jeho řešitelnosti a zanedbanosti. Tohoto rámce se tedy přidržíme.

Umělá inteligence

Rozsah

  1. Jak bylo uvedeno již v souvislosti s obecným tématem longtermismu, zdaleka nejdůležitější jsou ty problémy, které mohou budoucnost zásadně ovlivnit natrvalo, nikoliv jen přechodně - tj. které budoucnost uzamčou či mohou uzamčít v nějakém nevratném stavu (lock-in). 
  2. Problém umělé superinteligence (umělé inteligence dramaticky převyšující úroveň našeho myšlení) pravděpodobně k takovému uzamčení vede, jelikož cíle (resp. její základní nastavení a způsob fungování), které superinteligenci naprogramujeme, jí mohou velmi snadno zůstat již nastálo. Z logiky věci se totiž bude sama snažit si tyto cíle zachovat - jelikož zachování si určitého cíle je jedním z nejdůležitějších prostředků pro jeho dosažení. Její schopnosti budou zároveň natolik přesahovat ty naše, že jí v tom již stěží dokážeme zabránit, pokud bychom chtěli později její základní cíle vyměnit.
  3. Problém je tím důležitější, čím větší jsou hodnotové rozdíly mezi různými verzemi budoucnosti, ke kterým jeho různě úspěšné řešení vede. Superinteligence přitom může realisticky přinést jak bezprecedentní pokrok a utopii, tak tragické vyústění a dystopii. 
  4. Není pravděpodobnější způsob, jak by mohlo dojít k trvalé determinaci množství hodnoty v daleké budoucnosti. Ve srovnání s jinými existenčními riziky se zdá, že AI povede k uzamčení budoucnosti výrazně pravděpodobněji. Premisy nevratného vlivu nastavení superinteligence se zdají spíše pravděpodobné, zatímco předpoklady, které by se musely naplnit, aby došlo k jiným způsobům uzamčení, jsou spíše nepravděpodobné, ale je třeba se před nimi chránit čistě z hlediska předběžné opatrnosti. Klasické existenční katastrofy - scénáře úplného vyhubení lidstva - jsou dost málo pravděpodobné. Ještě nižší pravděpodobnosti přitom dostaneme, pokud bychom za úplný konec pokládali až konec života na Zemi. Přitom ale platí, že již zdůvodnění předběžnou opatrností i u méně pravděpodobných rizik je velmi dobré, když jde o extrémní longtermistické hodnoty (srv princip pojištění). 
  5. To, jak superinteligenci cíle zadáme, neboli jak ji nastavíme, může být tedy zcela zásadní věcí, která určí vše, co bude následovat - tedy veškerou vzdálenou budoucnost se všemi astronomicky velkými a závratnými možnostmi, které kombinace schopností superinteligence s astronomicky rozsáhlým potenciálem času i prostoru nabízí. Z hlediska civilizačního vývoje není zdá se nic důležitějšího než to, jak bude superinteligence nastavena. Je zcela zásadním úkolem, před kterým jako lidstvo nyní stojíme, se na toto nastavení co nejpečlivěji připravit a co nejlépe jej promýšlet a plánovat.

Řešitelnost

Je možné budovat poznání o problému superinteligence a zkoumat různé návrhy, jak zajistit optimální vývoj. Mít bohatou zásobárnu poznatků a analýz a rozvinutý obor mapující dané téma vypadá docela jistě jako něco, co zvyšuje naši šanci, že se se vznikem superinteligence vypořádáme dobře. 

I kdyby nebylo možné pomoci si již nyní v předstihu včasným promýšlením a výzkumem (což je nepravděpodobné), je možné budovat hnutí a komunity lidí, kteří budou připraveni se aktivizovat, až přijde vhodná doba, ve které již něco konkrétního bude možné dělat.

Zanedbanost

V roce 2017 směřovalo do oblasti bezpečnosti AGI 9 milionů dolarů, což je nepoměrně méně (více než 100krát) než do oblasti vylepšování schopností AI a 26000krát méně než do biomedicínského výzkumu. Na problému Jen řádově kolem stovky expertů. Pokud oblast definujeme šířeji (bezpečnost AI), mohlo částka za rok 2017 dosáhnout i 100 milionů dolarů.

Ve skutečnosti a striktně vzato do kritéria zanedbanosti nespadá jen to, kolik zdrojů je na řešení problému věnováno nyní, ale i kolik bude věnováno v budoucnu. Tento budoucí aspekt je přitom zdá se ještě důležitější, protože v budoucnu se problému bude věnovat více pozornosti - ať již proto, že budoucnost zahrnuje jednoduše více času, anebo proto, že AI bude stále více pokročilá a problém superinteligence bude stále více známý a diskutovaný.

To znamená, že čím dříve a náhle superinteligence přijde, tím bude celkově problém bezpečnosti AI více zanedbaný. Tímto způsobem se velmi relevantními stávají právě argumenty ve prospěch přesvědčení, že superinteligence přijde spíše brzy než později a že by mohla přijít nečekaně:

  • Rozdíl mezi mozkem šimpanze a člověka není příliš velký - i na první pohled nejsou rozdíly velké a stačilo jen 250 000 generací na vytvoření rozdílu. Víme přitom, že evolučně se za takovou dobu nic příliš komplexního vybudovat nestihne. Rozdíl tedy bude kromě lehkého navýšení velikosti v několika málo správných tricích. Odpovídající rozdíl by tedy ani z hlediska konstruování systémů umělé inteligence nemusel být extrémně složitý.
  • Představujeme si, že rozdíl mezi hloupým a chytrým člověkem je velkým rozdílem v inteligenci. Mezitím však, pokud na inteligenční škálu zaneseme všechny živočichy, jde o rozdíl relativně malý. Když umělá inteligence překonává inteligenční úroveň různých živočichů, připadá nám, že se nic neděje, přestože může jít o velké pokroky. Když již budeme na úrovni hloupého člověka, můžeme se velmi rychle dostat na úroveň génia. Na této úrovni samozřejmě nemá vývoj důvod se zastavit a záhy bude lidský inteligence výrazně překonána.

Argumenty autoritou

Jedna možnost je možné projít si analýzu a jednotlivé důvody vlastním myšlením - tato práce je strukturovaná podle tří výše uvedených kritérií. Alternativně je možné spolehnout se na úsudek osobností, které daný problém zvážily. Mezi myslitele, kteří téma umělé inteligence považují za zásadní, paří například Stephen Hawking či Stuart Russell (spoluautor nejpoužívanější učebnice AI). Počet expertů, kteří se k takovému soudu přiklánějí, se navíc stále zvyšuje. Argumentační podporu mohou poskytnout i např. následující vyjádření:

  • 80,000 hours: Když jsme se dívali na podstatné části problému, většinou jsme souhlasili s těmi, kteří se obávají spíše více než méně. Čím více jsme četli, tím jsme byli znepokojenější.
  • Tim Urban, Wait but why: Dost rychle mi došlo, že to, co se děje ve světě umělé inteligence není pouze důležité téma, ale zdaleka nejdůležitější téma pro naši budoucnost.
  • Clive Cookson, Financial Times, Science Editor: O síle argumentů není třeba pochybovat ... jde o výzkumný problém hodný nejlepšího matematického talentu příští generace. Lidský civilizace je v sázce.

Zdroje k AI

Argumenty ve prospěch důležitosti tématu superinteligence lze nalézt například v těchto zdrojích:

Praktické kroky

Klíčové jsou jako vždy praktické kroky, ke kterým uvažování vede. Jaké lze vyvodit na základě prvořadé důležitosti tématu AI? Bostrom ve výše zmíněné základní monografii konstatuje, že jelikož naše poznání v této věci je jen velmi mlhavé a neurčité, je na prvním místě užitečná další strategická analýza celého tématu - rozpoznání klíčových úvah, tj. úvah, které ovlivňují náš názor na to, jestli jsou jednotlivé způsoby akce vůbec pozitivní nebo naopak kontraproduktivní. O tomto druhu úvah viz též Bostromův článek Technological Revolutions: Ethics and Policy in the Dark.

Prezentace tématu

Není vhodné ani přesné mluvit o umělé inteligenci pouze jako o hrozbě a riziku, ale je třeba zdůrazňovat možnost nebývalého rozkvětu, která se zde lidstvu naskýtá. Rozvinutá umělá inteligence nejen že nás může lehce zbavit nutnosti práce. Může být prostředkem k zásadnímu snížení množství utrpení, kterým musíme jako lidé za život procházet. Toto zdůraznění pozitiv by mělo zabránit tomu, aby celkové sdělení bylo příliš depresivní a tudíž odrazující.

Typickou reakcí na téma superinteligence je dojem, že jde jen o science fiction, o něco bláznivého či alespoň velmi vzdáleného a tedy pro současnost zatím irelevantního. Zkreslující tendenci brát vážně jen to, na co jsme zvyklí z každodenní praxe, je užitečné vyvažovat pohledem na celkový dějinný obraz, jehož dlouhodobé trendy a pohyby nás upozorňují, že náš aktuální svět, na který jsme zvyklí, je z této perspektivy jen něčím prchavým a přechodným.

Výzkum globálních priorit

Druhým prioritním problémem na EA žebříčku (viz 80,000 Hours) po umělé inteligenci je výzkum globálních priorit, tedy samotné zkoumání a odborné rozpracovávání otázky, na jaké problémy je nejlepší se zaměřit. Domnívám se, že existuje průnik těchto dvou předních oblastí, ve kterém lze významně pomáhát zároveň v obou oblastech. Tímto průnikem je problém zdůvodnění, proč pracovat na pozitivním směřování vývoje umělé inteligence. Výzkum globálních priorit přitom kromě tohoto průniku přináší i další významný užitek - může objevit, že nějaký konkrétní problém (možná dosud prakticky neznámý) je ještě důležitější ty, které prioritizujeme nyní. Tím se globální výzkum priorit stává ještě celkově významnějším polem pro další práci, než umělá inteligence samotná.

Jak lze ve prospěch zásadní důležitosti globálního výzkumu priorit argumentovat? Za hlavní považuji následující premisy:

1. Špatné nakládání se zdroji. Zdroje (ať již jde o peníze, lidskou práci či cokoliv jiného) jsou v současné lidské společnosti vynakládány velmi neefektivně a nerozumně.

2. Výzkum jako nejlepší řešení. Hlavním prostředkem, jak směřovat k vylepšování, jsou argumenty, důvody a poznatky dokládající, co a jak lze dělat lépe a racionálněji. 

3. Zanedbanost. Předchozí premisy ukazují, jak důležitý globální výzkum priorit je. Tento výzkum je však zároveň extrémně zanedbaný. Z přibližně 500 miliard dolarů, které jdou ročně na obecně prospěšné účely, je méně než setina procenta věnována na zkoumání, na co by bylo nejlepší tyto peníze použít. Výše zmíněné organizace, které se této prioritizaci věnují, mají dohromady rozpočet jen okolo 10 milionů dolarů ročně.

Tyto body níže rozvedu o něco podrobněji.

Špatné nakládání se zdroji

Skoro každý asi dokáže poukázat na nějakou věc, která podle jeho názoru tuto skutečnost zvlášť dobře demonstruje. Dokladem může být třeba to, jak málo prostředků je věnováno starosti o další vývoj z hlediska skutečně dlouhodobé perspektivy. Anebo pro jiného to, jak málo prostředků je věnováno těm úplně nejchudším.

Výzkum jako nejlepší řešení

Hlavním prostředkem, jak směřovat k vylepšování, jsou argumenty, důvody a poznatky dokládající, co a jak lze dělat lépe a racionálněji. To lze doložit na základě zkušenosti - klíčovým faktorem, který působil, že se dnes dějí některé smysluplné věci, které se v minulosti neděly vůbec, je, že někdo přišel na to, co a jak je dobré začít dělat, našel pro to dobré argumenty a dokázal je detailně, přehledně a přesvědčivě prezentovat.

Příkladem může být rozvinutí úvah o longtermismu, které ještě před několika desetiletími prakticky neexistovaly, přičemž dnes již existují četné významné projekty vzniklé na základě longtermistického uvažování. Anebo někdo může preferovat příklad srovnání oblastí, kterým se věnují tradiční charity, a identifikaci zdravotních intervencí v Africe jako zvlášť dobře podloženého způsobu, jak efektivně pomáhat.

Zanedbanost

Z obrovského množství peněz, které jsou každoročně věnovány na obecně prospěšné projekty, jde jen malý zlomek - méně než 0,01 % - na zkoumání, v jakých oblastech a jak mají být tyto peníze utraceny.

Budování EA hnutí

Velmi důležitou oblastí je propagace efektivního altruismu a budování EA hnutí. Sám za sebe bych ji považoval za nejdůležitější vzhledek k úvahám o tzv. násobném efektu. Pozitvní násobný efekt nastává, pokud díky času, který věnuji propagaci, dokáži k efektivnímu altruismu přivést další lidi, kteří udělají více dobrého, než bych zvládl v čase věnovaném propagaci já. Problém je ale v tom, že rychlost růstu hnutí nemá být zdá se podle vedoucích osobností efektivního altruismu co nejvyšší, ale spíše regulovaná tak, aby bylo možné charakter růstu lépe kontrolovat.

Závěrečné úvahy

Bylo by asi přehnaně troufalé si myslet, že jsem schopen vyhodnotit pořadí prioritních oblastí lépe než lidé z vedení EA, kteří se tomu věnují. V konečném důsledku je tedy racionální souhlasit s prioritizací hlavních oblastí a cest k pozitivnímu vlivu, tak jak je zachycena na webu 80,000 Hours.