Елена Ларина - Роботы-убийцы против человечества. Киберапокалипсис сегодня

В то время как некоторые достижения в военной технологии способствуют предотвращению войны (например, ракетно-ядерное оружие), разработка полностью автономного оружия сделает войну более вероятной и приведет к непропорциональным потерям среди мирных жителей. Поэтому полностью автономное оружие никогда не должно появиться в арсеналах вооруженных сил.

Сторонники полностью автономного оружия признали, что такие новые роботы должны были бы выполнить международное гуманитарное право. Поэтому предложили множество механизмов соблюдения гуманитарного права, которые, по мнению сторонников полностью автономного оружия, смогут предотвратить любые нарушения законов войны. Два из этих предложений будут обсуждены ниже.

3.2.1. «Нравственный регулятор» робототехника Рональда Аркина

Рональд Аркин (Ronald Arkin), робототехник из Технологического института штата Джорджия, сформулировал «самую всестороннюю архитектуру» для механизма соблюдения международного права при использовании полностью автономного оружия. Применение оружия должно быть ограничено минимально необходимым уровнем LOW (закон войны, law of war) и правилами использования летального оружия в бою ROE (rules of engagement), прежде чем оно сможет использоваться автономной системой. Он утверждает, что такие ограничения могут быть достигнуты при помощи так называемого «нравственного регулятора» (ethical governor).

Нравственный регулятор – сложное предложение, которое требует, чтобы роботы перед открытием огня использовали двухступенчатый процесс оценки ситуации. Во-первых, робот должен оценить информацию, которую он получил при помощи своих систем, и определить, запрещено или нет применение оружия в соответствии с международным гуманитарным правом и указанными выше правилами. Если нарушается требование различия (робот должен отличать живую силу противника от гражданских лиц), применение оружия блокируется. Если это требование не нарушается, подготовка к применению оружия может продолжаться, если атака цели необходима согласно оперативному приказу.

На втором шаге робот должен оценить последствия применения оружия, пользуясь тестом пропорциональности. Нравственный регулятор количественно определяет множество критериев, таких как вероятность эффективного поражения цели в военном отношении, возможность поражения гражданских лиц или гражданских объектов, основанных на технических данных.

Затем робот использует алгоритм, который объединяет статистические данные с поступающей информацией, чтобы прагматически оценить необходимость применения оружия. Робот может начать стрелять только тогда, когда он находит, что применение оружия удовлетворяет всем этическим ограничениям и минимизирует сопутствующий ущерб относительно военной необходимости уничтожения цели.

Аркин утверждает, что с нравственным регулятором полностью автономное оружие было бы в состоянии выполнить международное гуманитарное право лучше, чем люди. Например, оно могло бы получать больше информации и обработать ее быстрее, чем люди. Робот не может применить оружие под влиянием гнева или страха. Робот мог бы контролировать этическое поведение своих человеческих коллег-солдат. В то же время оптимистичный Аркин признает, что еще преждевременно определять, возможна ли реализация этого механизма в полностью автономном оружии.

3.2.2. «Сильный» искусственный интеллект

Другой, еще более амбициозный подход: автономные роботы будут соблюдать гуманитарные законы, потому что будут иметь разум, сравнимый (а, может, и превышающий) человеческий разум. Министерство обороны США определяет роботов с «сильным (истинным) искусственным интеллектом» как роботов с «подобной или большей способностью думать как человек». Защитники концепции разработки автоматизированного оружия с «сильным» искусственным интеллектом считают, что использование роботов, управляемых «сильным» искусственным интеллектом, на поле битвы приведет к меньшему количеству разрушений, станет «воспитывающей силой» во время войны и поможет цивилизации в ее борьбе против терроризма.

У таких роботов «вычислительная мощность компьютера приблизится к познавательной способности человеческого мозга». Но многие эксперты полагают, что это предложение может быть больше желаемым, чем реализуемым в действительности. Даже если бы разработка полностью автономного оружия с подобным человеку разумом стала бы возможной, у роботов отсутствовали бы некоторые человеческие качества, такие как сострадание и способность понять людей.

Согласно статье 36 Дополнительного протокола I к Женевской конвенции государства должны разрабатывать новое и модернизировать существующее оружие в соответствии с международным правом. Системы автоматизированных вооружений даже с участием человека в процессе управления должны подвергаться международному контролю.

Международный комитет Красного Креста выдвинул на первый план автономное оружие как проблемную область. Относительно статьи 36 Международный комитет написал: «Использование оружия дистанционного управления на больших расстояниях или оружия с датчиками обнаружения живых целей приводит к автоматизации поля битвы, в котором солдат играет все менее важную роль. И страшно подумать, что может случиться, если полностью автономное оружие будет действовать только по своему усмотрению. Ведь в самой совершенной компьютерной программе может быть сбой. Контроль необходим еще потому, что любую «не опасную» беспилотную систему легко вооружить, как это произошло с американским дроном Predator.

Чтобы соответствовать международному гуманитарному праву, полностью автономное оружие нуждалось бы в человеческих качествах, в которых оно «врожденно» испытывает недостаток. В частности, у таких роботов не было бы способности почувствовать и понять намерения людей. Кроме того, многих людей мысль о роботах, принимающих жизненно важные решения, находящиеся ранее в компетенции людей, приводит в ужас. Развитие автономного оружия должно быть остановлено прежде, чем оно достигнет этапа, когда люди будут полностью удалены от цепочки принятия решений.

Полностью автономное оружие сделает развязывание военных действий легче и значительно увеличит урон гражданским лицам во время военных действий. Оно неспособно выполнять основные принципы международного гуманитарного права. Оно подрывает другие, неюридические гарантии, которые защищают гражданские лица во время военных действий. Хотя полностью автономного оружия еще не существует, военная технология быстро развивается в этом направлении. И появление полностью автономного оружия (роботов-убийц) возможно в течение ближайших десятилетий.

Поэтому, прежде чем это станет свершившимся фактом, государства и ученые должны принять срочные меры, чтобы рассмотреть и отрегулировать развитие военной технологии, связанной с автономией роботов. В частности, государства должны запретить создание оружия, у которого есть полная автономия, которое само будет решать, когда применить оружие.

Авторы доклада рекомендуют:

Всем государствам:

• Запретить разработку, производство и использование полностью автономного оружия через международный всеми признанный юридический документ.

• Принять внутригосударственные законы, запрещающие разработку, производство и использование полностью автономного оружия.

• Начать мониторинг технологий, которые могут привести к полностью автономному оружию. Мониторинг должен иметь место в самом начале процесса разработки и продолжаться по фазам разработки и тестирования автоматизированного оружия и оружия с частичной автономией.

Робототехникам и другим лицам, вовлеченным в разработку автоматизированного оружия:

• Установить профессиональные нормы поведения, управляющие научными исследованиями в области автономного оружия.

Такие нормы поведения могут помочь гарантировать, что научные исследования в области автономного оружия развиваются в соответствии с международным гуманитарным правом, которое защищает гражданские лица в вооруженном конфликте. Академические и научные ассоциации могли бы спроектировать и распространить такой кодекс норм поведения. Нормы поведения для военного технического прогресса уже существуют в областях синтетической биологии и нанотехнологии.

Представленные в сборнике материалы убедительно свидетельствуют, что боевые, логистические, разведывательные, иные интеллектуальные роботы и автономные системы, находящиеся в распоряжении военных, и в особенности террористов и преступников, порождают все возрастающие риски и угрозы России, ее народу и отдельным гражданам.