На краю пропасти. Экзистенциальный риск и будущее человечества - Тоби Орд

моральные приоритеты меняются при появлении “не относящихся к делу альтернатив” (например, выборе А вместо Б, когда других вариантов нет, но Б вместо А, когда появляется менее привлекательный вариант В);

в ситуациях выбора возникают циклические предпочтения (в результате вы выбираете А вместо Б, Б вместо В и В вместо А);

ценность ранжируется циклически (А лучше Б, Б лучше В, а В лучше А);

утверждается, что любые исходы, которые хотя бы незначительно различаются по количеству существующих людей, не поддаются сравнению друг с другом.

В ряде недавних исследований делается попытка обосновать асимметрию через нечто более фундаментальное, как, например, в работе Frick (2014).

По крайней мере, сами по себе. Многие сторонники применения теорий, затрагивающих личность, при оценке ценности благосостояния будущих поколений совмещают это с другими теориями морали, признающими негативный характер вымирания. В таком случае их общие представления о морали не страдают от такой неочевидности, но и не противоречат утверждению, которое я пытаюсь отстоять: что было бы чрезвычайно плохо, если бы люди вымерли.

Beckstead (2013, p. 63) особенно хорошо доносит эту мысль. Аналогичным образом тому, кто считает наиболее состоятельной теорию “общего взгляда”, следует с большой осторожностью внимать ее советам при выборе вроде того, что делается при отвратительном выводе.

DoD (1981).

DoD (1981), p. 8.

DoD (1981), p. 12.

Oxnard Press-Courier (1958); DoD (1981), p. 8.

DoD (1981), p. 20.

DoD (1981), p. 21. Страшнее всего, что важнейший механизм, который не позволил одной бомбе детонировать, судя по всему, отказал на другой бомбе (Burr, 2014). Слова Макнамары приводятся в U. S. Depart-ment of State (1963).

DoD (1981), p. 22.

DoD (1981), p. 28; Broder (1989).

DoD (1981), p. 29.

Случайный ядерный взрыв был более вероятен, чем сегодня, поскольку боеприпасы с B-52 еще не удовлетворяли высоким стандартам безопасности. См. Philips (1998).

SAC (1969); Risø (1970); DoD (1981), p. 30; Philips (1998); Taagholt, Hansen & Lufkin (2001), pp. 35–43. Система раннего обнаружения имела три канала связи с США: радиосвязь через бомбардировщик B-52, дежуривший в воздухе, прямая радиосвязь и система бомбовой сигнализации. Первый был отрезан при крушении самолета. Если бы атомная бомба взорвалась, прямая радиосвязь тоже оказалась бы недоступна и тогда включилась бы система бомбовой сигнализации, из за чего происшествие стало бы неотличимо от советского ядерного удара.

DoD (1981), p. 31.

Впервые Бордн поведал эту историю японской газете в 2015 году, и затем она была опубликована в “Бюллетене ученых-атомщиков” (Tovish, 2015). Его рассказ оспаривают другие бывшие ракетчики (Tritten, 2015).

Следовательно, риск 1 в (p₁/p₂)×((1—p₂)/(1—p₁)) раз важнее, чем риск 2. Можно переписать это следующим образом: (p₁/(1—p₁))/(p₂/(1—p₂)), – и получится отношение отношения их вероятностей. Таким образом, если вы хотите, чтобы гипотетическая важность каждого риска выражалась одним числом (которое не нужно корректировать в зависимости от того, с каким риском производится сравнение), отношение вероятностей прекрасно справится с задачей.

Вам, возможно, интересно, не встает ли в этом случае вопрос о том, как отличать риски друг от друга. Например, почему в каких то ситуациях мы говорим о 90 %-ном риске, а не о двух накладывающихся друг на друга 50 %-ных рисках? Оказывается, не так уж важно, как мы разграничиваем риски. Важно здесь то, какой вопрос мы задаем. Если вы рассматриваете возможность снизить набор рисков, которые в совокупности дают 90 %-ный общий экзистенциальный риск при отсутствии других рисков, это равноценно снижению отдельного 90 %-ного риска.

Тот факт, что “большой риск” может быть набором меньших рисков, связанных друг с другом, открывает любопытные возможности. Допустим, например, что риск в этом веке составляет 10 %, а если его устранить, то весь будущий риск составит 90 %. Если бы у вас была возможность в некоторой степени снизить либо весь ближайший риск, либо весь последующий риск, вы столкнулись бы с этим эффектом, и это позволяет сделать вывод, что предотвращение более позднего риска улучшит ситуацию в девять раз. (При этом работа над будущим риском также, как правило, сопряжена с издержками, которые могут превысить это улучшение, поскольку следует ожидать, что в работе над ним может быть задействовано больше людей.)

В первом случае общий 91 %-ный экзистенциальный риск снизится на 0,9 %, до 90,1 %. Во втором случае – на 0,1 %, до 90,9 %. Этот эффект удивителен, поскольку при снижении 90 %-ного риска до 89 % в относительном отношении этот риск также меняется меньше. Чтобы интуитивно понять это, стоит помнить, что значимо здесь относительное изменение вероятности того, что катастрофа не произойдет.

Эти эффекты наблюдаются и вне зависимости от того, имеем ли мы дело с несколькими крупными рисками или со множеством мелких рисков: например, они возникают, если мы сталкиваемся со 100 независимыми рисками, каждый из которых имеет вероятность 2 %.

При этом не требуется считать, что века после катастрофы обладают нулевой ценностью, – достаточно допустить, что их ценность одинакова и ниже ценности веков до катастрофы.

Можно также сказать, что ожидаемая ценность нашего будущего при сохранении рисков равна V. Если устранить вероятность экзистенциальной катастрофы в одном веке, мы фактически даром получим безопасный век, вслед за которым начнется будущее, обладающее изначальной ценностью. Следовательно, ценность, которую мы добавляем, – это ценность века для человечества. Или же мы можем спросить, сколько лет потребуется, чтобы снова нарастить тот риск, который мы устранили. В этой примитивной модели ценность устранения риска равна ценности соответствующего количества лет.

Обратите внимание, что, говоря о ценности века для человечества, я имею в