Между Галатеей и Големом

Пока человек сидел у первобытного очага, его окружал комфортный круг простых страхов, связанных с неизвестным миром за пределами родной пещеры. Когда мы вышли в мир и начали осваивать его, мы стали сами генерировать наши страхи. С тех пор, чтобы избавиться от страхов, мы находимся в бесконечной гонке самопознания и в тщетных попытках возвращения в комфортную пещеру первичного незнания.

Но на самом деле, если мы является источником наших страхов, количество этих страхов является ограниченным. И на каждом этапе развития общества — политического, социального, технологического — мы возвращаемся к тем же страхам, переосмысливая их и наполняя их современным содержанием.

Одним из наших традиционных страхов является страх оказаться во власти собственного творения, которое выйдет из-род нашего контроля. В течение последних ста лет развития автоматизации, примерно каждые пятнадцать-двадцать лет возникали волны общественного интереса к теме «восстания машин» и «порабощения человека машиной», спровоцированные очередными успехами науки и технологий, выходом очередного аналитического отчета, или громким заявлением общественного деятеля.

РИСУНОК ВИКТОРА БОГОРАДА

Не является исключением и нынешняя волна интереса к проблемам угрозы искусственного интеллекта, спровоцированная заявлениями Стивена Хокинга, Илона Маска и отчетами Института МакКинси и Кембриджского Института будущей жизни.

Как правило, опасности связанные с искусственным интеллектом, описываются в философских категориях. Экзистенциальные угрозы, которые творение несет своему создателю, мы воспринимаем в терминах привычных мифов — от прекрасной Галатеи дострашногоГолема. В принципе, это правильно, и об этом стоит рассуждать, но надо понимать и то, что реализация такого рода угроз — дело далекого будущего. Еще в 1950-х и 1960-х люди были полностью уверены в том, что необходимый для реализации наиболее апокалиптических прогнозов «машинный суперинтеллект» может быть создан в течение жизни одного поколения. Однако, этого не произошло. Так же мы далеки от этого и сегодня. Однако, сегодня мы имеем существенный прогресс в алгоритмах, которые изменили подходы к принятию решений и к управлению безопасностью. А значит, то, что мы включаем в понятие «искусственный интеллект» изменило характер угроз в сфере безопасности.

Сегодня, на волне интереса к долгосрочным экзистенциальным вызовам, стоит обсудить некоторые технические, чисто инструментальные вопросы, актуальные уже сейчас.

1

Следует отметить, что под термином «искусственный интеллект» понимают как искусственно воспроизводящую разумное поведение машину, так и исследования «интеллектуальных агентов», то есть любых устройств, которые способны воспринимать свою среду и принимать меры, которые максимизируют их шансы на успех при достижении определенной цели. То есть, машина, которая описывается термином «искусственный интеллект» способна имитировать познавательные функции, обучение и решения проблем. Если создать совершенный имитатор разумного поведения до сих пор не удалось, то алгоритмов «интеллектуальных агентов» создано уже много. На них есть смысл сконцентрироваться при обсуждении имеющихся угроз.

В любой сложной, многокомпонентной системе с высокой неопределенностью, которой также являются и системы искусственного интеллекта, традиционные потенциальные опасности включают в себя ошибки управления, уязвимость компоновки, непредсказуемые сбои и случайные события. Реализация этих угроз создает серьезные проблемы для обеспечения безопасности общества, государства, предприятий и инфраструктуры. В случае сетевых систем, оперирующих пространственно распределенными данными эти угрозы и связанные с ними риски становятся системными, которые трудно предусмотреть и минимизировать.

Неожиданные и непредсказуемые ложные блокировки персональных устройств некорректно работающими программами не несут серьезной угрозы, но сбои автономных систем вооружений, или автономных навигационных систем, основанных на искусственном интеллекте, могут иметь масштабные летальныепоследствия.

Для современных систем искусственного интеллекта характерны некоторые новые опасности, которые следует учитывать при анализе их влияния на системы принятия решений.

Как недавно выяснилось, алгоритмы машинного обучения могут развивать свои собственные предубеждения, в зависимости от данных, которые они анализируют. Например, исследователям пришлось удалить экспериментальный аккаунт Twitter, управляемый с помощью искусственного интеллекта, из-за социально неприемлемых комментариев. Некоторые поисковые алгоритмы Google также пришлось редактировать из-за появления нежелательных результатов, связанных с проявлениями расизма. Эти случаи показали, что принятие решений, полностью или частично основанных на системах искусственного интеллекта требует более тщательного анализа протоколов управления для предотвращения или исправления таких результатов.

Системы искусственного интеллекта, основанные на облачных технологиях, вызывают особое беспокойство экспертов и политиков из-за проблем контроля и управления. Некоторые эксперты предлагают для повышения надежности систем искусственного интеллекта располагать их в «песочницах» — специальных экспериментальных ячейках, отключенных от внешних систем. Однако, многие когнитивные службы уже зависят от их подключения к интернету. Например, помощник юриста ROSS, должен иметь доступ к электронным базам данных. IBM Watson обращается к электронным журналам, предоставляет свои услуги через сеть и даже преподает университетский курс через интернет. Программа экстракции данных Text Runner успешна именно потому, что она обращается к интернету и делает собственные выводы на основе анализа внешней информации.

Существует мнение, что искусственный интеллект может помочь решить проблемы кибербезопасности. Сейчас приложения на основе алгоритмов искусственного интеллекта используются для обнаружения кибератак и, в частности, потенциального мошенничества при интернет-транзакциях. Однако, сегодня мы наблюдаем соревнования алгоритмов искусственного интеллекта в обучении атакам и в защите от взломов. И только практика определит победителя.

2

Сегодня системы искусственного интеллекта уже анализируют огромное количество данных от частных телефонных приложений и физических носителей, цифровыми датчиками уже оборудованы наши приборы и одежда, а значит, безопасность наших персональных данных становится все более важным приоритетом. Системы искусственного интеллекта широко используются для наблюдения и мониторинга, в частности, для анализа данных видеонаблюдения и контента социальных сетей в целях борьбы с терроризмом, предупреждения преступности и анализа поведения. Насколько такая деятельность приведет к снижению общей конфиденциальности и как это отразится на состоянии безопасности, остается пока открытым вопросом.

3         

Видимо, существует один сектор, в котором очевиден огромный разрушительный потенциал искусственного интеллекта. Это сектор военных технологий. Оружие, основанное на использовании искусственного интеллекта, безвозвратно изменит парадигму ведения войны, что приведет к глубоким последствиям для всей сферы международной безопасности и отразится на глобальной стабильности.

Несколько лет назад начались серьезные инвестиции в системы автономного вооружение (autonomous weapon systems — AWS — это тип военного работа, предназначенный для самостоятельного поиска, выбора и атаки военных целей (людей, установок), без вмешательства оператора-человека). Еще в июле 2016-го Научный совет по обороне (Defense Science Board) Пентагона опубликовал свое первое исследование по AWS, однако до сих пор не существует консенсуса относительно того, как следует регулировать развитие этого вида вооружений.

В 2014-м международное сообщество начало обсуждать возникающие технологии летальных систем автономного вооружение (lethal autonomous weapons systems — LAWS) в рамках Конвенции Организации Объединенных Наций об обычным вооружениям. Однако до сих пор государства так и не договорились о том, как действовать в этом случае. Те, кто призывает к запрету AWS, опасаются, что люди могут быть полностью исключены из цикла принятия решений, оставив решение об использовании ударной силы машинам, с последствиями, которых мы еще не понимаем в полной мере.

Эти опасения основаны на опыте невоенного применения искусственного интеллекта. Еще свежи в памяти успехи программы AlphaGo, игрока в игруго, созданного подразделением DeepMind от Google, которая в марте 2016 победила второго по рейтингу игрока в мире. Некоторые из ходов AlphaGo озадачили аналитиков, так как они не соответствовали стандартным паттернам игры. Генеральный директор DeepMind Демис Хасабис объяснил причину этого поведения: «В отличие от людей, программа AlphaGo нацелена на максимизацию вероятности выигрыша, а не на оптимизацию прибыли». Аналитик женевского Центра политики в области безопасности Жан-Марк Рикли отмечает, что если эта бинарная логика, в которой единственное значение имеет выигрыш, а не цена победы, будет встроена в автономную систему вооружений, это приведет к нарушению принципа пропорциональности, — поскольку для алгоритма не будет различий между победами, для которых нужно убить одного противника или тысячу.

Автономные системы вооружений также повлияют на стратегическую стабильность. После 1945-го глобальный стратегический баланс определялся приоритетом оборонных систем. Взаимная способность предотвращать нападения способствовала сохранению глобальной стабильности. Теперь военная стратегия, которая предусматривает использование AWS, будет основана на тактике роения, при которой оборонительные системы противника будут перегружены сосредоточенным шквалом скоординированных одновременных атак. Это повышает риск нарушения глобального равновесия, через фактическую нейтрализацию систем обороны, на которых она до сих пор была основана. Такое изменение стратегии и тактики войны приведет к нестабильности международной конфигурации, при которой станет выгодной эскалация гонки вооружений и замена систем сдерживания на системы упреждающих ударов.

При этом следует заметить, что похоже, мы уже прошли переломный момент для запрета разработки этого вида оружия. Гонка вооружений в системах автономного оружия более чем вероятна в ближайшем будущем. Международное сообщество должно безотлагательно и серьезно решить проблему регулирования этой отрасли, поскольку после того, как будет развернута первая полностью автономная система вооружений, будет гораздо сложнее возвращаться к этому вопросу.

Этим перечнем далеко не исчерпывается список актуальных угроз имеющихся на сегодня алгоритмов искусственного интеллекта. Но приведенные угрозы позволяют представить масштаб задач, стоящих перед человечеством в этой области.

Впрочем, понимая угрозы, следует понимать и их природу.

4         

Искусственный интеллект и построенные на его основе приборы и системы вскоре будут решать простые задачи быстрее и эффективнее человека. Ведь именно для этого мы их и создаем. Но в том и состоит суть человеческого интеллекта: он не предназначен для решения простых задач. Каждая решенная нами задача создает познавательный контекст, то есть вопрос, который требует дальнейшего решения. Вот именно этого — понимания познавательного контекста — и лишен искусственный интеллект.

Должен сказать, что с наибольшим энтузиазмом мы пересказывали друг другу страшилки о порабощении человека работами, когда переносили коробки с перфокартами — общей емкостью где-то килобайт в двести — из своей университетской лаборатории на втором этаже в подвал к вычислительной лаборатории, где находилась невероятная по меркам конца 1980-х ЭВМ, мощностью менее моего нынешнего смартфона. А сейчас, — когда я избавился от потребности в бесконечных кальках, таблицах логарифмов и печатных машинках, перестал критически зависеть от наполненности фондов соседних бумажных библиотек, а процесс расчета модели требует меньше времени, чем формулировка условий — чуть попустило. Потому что наконец я могу сконцентрироваться на задаче, а не на технических возможностях ее решения.

Немецкий философ и математик Готфрид Вильгельм Лейбниц в своей работе «Новые опыты о человеческом разуме» (1704) определил миссию человеческого вида: «Мы созданы, чтобы мыслить. Нет необходимости в том, чтобы мы жили, но необходимо, чтобы мы мыслили». Именно на это направлена эволюция вычислительной техники и робототехники — на обеспечение человеку возможности сконцентрироваться на умственной деятельности. Кстати, именно Лейбниц еще в 1679-м изложил проект вычислительной машины, работающей в двоичной системе и использующей в качестве носителя информации перфокарты, а в 1703 он предложил в подробном виде двоичную арифметику (в трактате «Explicationdel’ArithmetiqueBinaire»). Следовательно, он понимал, о чем говорил.

Вычислительная техника служит нашему разуму в качестве специфических манипуляторов и специфических сенсоров, то есть для выполнения тех функций, которые мы — как биологический организм — не можем, или не хотим выполнять сами. И как служебная функция она не будет угрожать нам больше, чем мы способны угрожать себе сами.

Исходя из того, что мы имеем сегодня, можно определенно сказать лишь то, что суперинтелектуальныесистемы пока остаются только теоретической угрозой, но имеет смысл выяснить, могут ли они помочь нам создать лучшее будущее. Чтобы гарантировать, что искусственный интеллект находится в пределах, которые мы готовы установить для него, мы должны продолжать укреплять доверие к системам, которые преобразуют к лучшему нашу социальную, политическую и деловую среду, принимают решения для нас и становятся незаменимыми в области анализа и интерпретации окружающего мира.Но для этого нам нужно работать с отдельными актуальными угрозами, которые мы создаем сегодняшней технологической активностью.