Елена Ларина - Роботы-убийцы против человечества. Киберапокалипсис сегодня

Автономные системы (АС) не ограничиваются роботами или автоматическими транспортными средствами, типа Гуглмобиля. На самом деле, автономностью обладают многие типы промышленного, складского и транспортного оборудования и систем. Большинство автомобилей включает в себя автоматическую антиблокировочную систему тормозов, тяги и контроля безопасности, аварийную автоматическую систему ремней и подушек безопасности, круиз-контроль и т. п. Для военных самолетов уже долгое время применяются не только автопилоты, но и автоматические системы маневра в воздухе при обнаружении других воздушных судов или объектов, угрожающих столкновением. Автоматизация и роботизация производства, транспорта и быта стали не фантастикой, а повседневностью. Они обеспечили значительный рост производительности, экономию средств, возможность решения задач в сложных, вредных и деградировавших средах и т. п.

Различное понимание автономности и терминологическая путаница в немалой степени обязаны историческому использованию слова «автономия», для обозначения трех различных явлений и процессов:

• контроля и управления в человеко-машинных системах, где автономия является характеристикой разделения функций между человеком и машиной;

• сложности машины;

• уровня автоматизации решений.

Эти три подхода различаются между собой и отражают совершенно не связанные между собой концептуальные схемы. Однако, люди, как правило, смешивают их вместе и пытаются создать термин, пригодный на все случаи жизни. Для того, чтобы выработать с одной стороны устраивающее всех определение автономии, а с другой – не превратить его в пустую абстракцию и наделить собственным, понятным содержанием, внимательно рассмотрим все три понимания автономии.

Первый способ употребления термина «автономия» относится к взаимоотношениям между человеком и машиной в рамках гибридных человеко-машинных систем. В тех случаях, когда машины лишь частично выполняют функции управления, а частично это делает человек, их называют полуавтономными машинами. Еще используется термин «машина с человеком в петле» (имеется в виду петля прямой и обратной связей в системах управления).

Машины, которые полностью выполняют все функции, но включают человека как контролера, и предусматривают возможность вмешательства его в управление при форс-мажорной или какой-либо иной ситуации называют автономными машинами под человеческим контролем.

Те машины, которые выполняют все функции самостоятельно и не предусматривают вмешательство людей в выполнение функций, называют полностью автономными машинами, или машинами «без человека в петле». Подчеркнем, что данное понимание автономии, строго говоря, не предъявляет никаких требований к способностям машин и тем более не говорит о наличии у них искусственного интеллекта. Оно только фиксирует распределение между человеком и машиной управляющих и контрольных функций.

Термин «автономия» часто используется применительно к машинам как синоним сложности. Часто, независимо от распределения командно-контрольных функций, автоматические и автоматизированные системы характеризуются как автономные, если они способны выполнять сложные и/или разнообразные задачи и функции.

Исторически получилось так, что автоматические системы выполняли и выполняют очень простые, элементарные функции. Например, автоматическими являются тостеры и механические термостаты. С другой стороны, автоматическими являются и Гугломобили, и роботы-сборщики на конвейерах электромобилей «Тесла». Поскольку не только специалисты, но и далекие от производства люди понимают, что это принципиально разные устройства, для обозначения вторых стал использоваться термин «автономные». Кроме того, в последние годы термин «автономные» все чаще применяют для обозначения систем, предполагающих использование программ машинного обучения, в том числе так называемых систем «обучения без учителя».

Некоторые исследователи и практики предлагают использовать термин «автономные» только для машин, наделенных интеллектом. Однако такой подход лишь запутывает дело. Сегодня никому не понятно, что такое не только искусственный, но и естественный разум.

Термин «искусственный интеллект» вовсю применяется для выделения из общего ряда таких суперкомпьютеров, как Deep Blue, Watson и т. п. Однако, поскольку никому не понятно, что такое человеческий разум, а тем более психика, сознание, подсознание, то эти категории не могут использоваться не только для выработки юридически обязывающих соглашений, но и для образования стандартных общепринятых терминов. Нельзя что-то неизвестное определить через другое неизвестное. В этом плане мы считаем совершенно бесперспективной дискуссию на тему: когда компьютеры или роботы обретут разум. Поскольку мы не знаем, что такое разум в строгом смысле этого слова, то мы не можем с уверенностью сказать, когда его обретут или уже обрели компьютеры и роботы. К тому же мы не можем сказать, является ли вообще разум свойством отдельного индивидуума, либо он может быть реализован, сформирован и функционировать только в определенной общности. Пример детей, воспитывавшихся у животных, заставляет сомневаться в том, что единичный разум существует вообще. Тогда вполне может оказаться, что каждый отдельный компьютер и робот никаким разумом и сознанием не обладали и не обладают, а в системе, вполне вероятно, уже являются сознательными и разумными. Другое дело, мы должны понимать: это будут не человеческие сознание и разум, которые не вполне сможет распознать человек, если на это не будет желания иного разума. Кстати говоря, как это ни парадоксально, по этому же критерию и сетевой машинный разум и психика могут не распознать человеческий разум и психику, и считать их в этом смысле неразумными, со всеми вытекающими последствиями.

Возвращаясь к рассматриваемому подходу, подчеркнем лишь, что при использовании автономии, как синонима сложности, мы не имеем сколько-нибудь внятного не только количественного, но и фактографически определяемого разграничения автономных и неавтономных систем. Это разграничение в данном подходе становится полем произвола и выбора самостоятельно для каждого исследователя или просто человека.

В конечном счете, бессмысленно использовать термины «автономный», «полуавтономный» и «неавтономный» без указания на задачи и функции, которые автоматизируются. Каждая из функций имеет не только свой уровень сложности, но и свой уровень риска и последствий. Понятно, что совершенно различные риски возникают, если мы используем полностью автономный тостер, и боевого робота, оснащенного мощным электромагнитным оружием.

По крайней мере, на сегодняшний день любая поддающаяся автоматизации функция, так или иначе, может быть выполнена человеком или зависит от него. Поэтому в строгом формальном смысле, полностью автономных систем пока не существует. Даже автоматизированный Гугломобиль, не требующий от пассажиров навыков вождения, и сам выбирающий маршрут, тем не менее, требует от человека задания исходной и конечной точек маршрута. Правда, необходимо помнить известную поговорку «никогда не говори никогда». Нет гарантий, что в итоге не появится в той или иной сфере, причем возможно и в военной, полностью автономная система, в формальном смысле, где единственной функцией человека окажется отключение системы или ее уничтожение.

На наших глазах происходит вторжение коллективного бессознательного в научную и инженерную культурную среду. Одним из свидетельств подобного стала практика рассмотрения автономии в рамках научно-фантастического мема «человек против машины». Между тем, всем профессионалам понятно, что следует говорить не о подобном противопоставлении, а о том, какие задачи и функции в рамках системы выполняет человек, а какие – машина. В недавнем политическом документе НАТО сделан близкий вывод. В нем рекомендуется главное внимание обратить не на создание «полностью автономных систем, а на автоно-мизацию определенных функций в транспортных и боевых системах».

На наш взгляд, это наиболее перспективный подход. Изучая вопрос автономии мы, прежде всего, должны выделить конкретные функции и задачи, применительно к которым мы и определяем, что выполняется машиной, а что делается человеком. Кроме того, важно посмотреть, а что происходит в военной сфере уже сегодня. При этом мы должны помнить, что в строгом формальном плане полностью автономных систем в настоящее время на вооружении армии США и ее союзников не стоит. Зато по большей части с точки зрения функций контроля и управления распространены частично автономные роботизированные системы.