Між Галатеєю і Големом

Поки людина сиділа біля первісного вогнища, її оточувало комфортне коло простих страхів, пов’язаних з невідомим світом за межами рідної печери. Коли ми вийшли у світ і почали освоювати його, ми почали самі генерувати наші страхи. З того часу, щоб позбутися страхів, ми перебуваємо в нескінченній гонитві самопізнання та в марних намаганнях повернення до комфортної печери первісного незнання.

Але насправді, якщо ми і є джерелом наших страхів, коло цих страхів є обмеженим. І на кожному етапі розвитку суспільства — політичного, соціального, технологічного — ми повертаємося до тих самих страхів, переосмислюючи їх і оновлюючи їх сучасним змістом.

Одним з наших традиційних страхів є страх опинитися під владою власного створіння, що вийде з-рід нашого контролю. Протягом останніх ста років розвитку автоматизації, приблизно кожні п’ятнадцять-двадцять років виникали хвилі громадського інтересу до теми «повстання машин» та «поневолення людини машиною», спровоковані черговими успіхами науки і технологій, виходом чергового аналітичного звіту, або гучною заявою громадського діяча.

МАЛЮНОК ВІКТОРА БОГОРАДА

Не виключенням є і поточна хвиля цікавості до проблеми загрози штучного інтелекту, спровокована заявами Стівена Хокінга, Ілона Маска, та звітами Інституту МакКінсі та Кембриджського Інституту майбутнього життя.

Як правило, небезпеки пов’язані зі штучним інтелектом, описуються в філософських категоріях. Екзистенційні загрози, які творіння несе своєму творцеві, ми сприймаємо в термінах звичних міфів — від прекрасної Галатеї до страшного Голема. В принципі, це правильно, і над цим варто розмірковувати, але треба зважувати і на те, що реалізація такого роду загроз — справа далекого майбутнього. Ще в 1950-х і 1960-х люди були повністю впевнені в тому, що потрібний для реалізації найбільш апокаліптичних прогнозів «машинний суперінтелект» може бути створений протягом життя одного покоління. Однак, цього не сталося. Так само ми далекі від цього і сьогодні. Однак, сьогодні ми маємо істотний прогрес в алгоритмах, які змінили підходи до прийняття рішень і до управління безпекою. А значить, те, що ми включаємо в поняття «штучний інтелект» змінило характер загроз у сфері безпеки.

Сьогодні, на хвилі цікавості до довгострокових екзистенційних викликів, варто обговорити деякі технічні, суто інструментальні питання, актуальні вже зараз.

1

Слід зазначити, що під терміном «штучний інтелект» розуміють як штучно відтворену розумну поведінку машини, так і дослідження «інтелектуальних агентів», тобто будь-яких пристроїв, які здатні сприймати своє середовище і вживати заходів, що максимізують його шанси на успіх при досягненні певної мети. Тобто, машина, яка описується терміном «штучний інтелект» здатна імітувати пізнавальні функції, навчання та розв’язання проблем. Якщо створити досконалий імітатор розумної поведінки досі не вдалося, то алгоритмів «інтелектуальних агентів» створено вже багато. На них є сенс сконцентруватися при обговоренні наявних загроз.

У будь-якій складній, багатокомпонентній системі з високою невизначеністю, якою також є і системи штучного інтелекту, коло традиційних потенційних небезпек включає в себе помилки управління, вразливість компонування, непередбачувані збої і випадкові події. Реалізація цих загроз створює серйозні проблеми для забезпечення безпеки суспільства, держави, підприємств та інфраструктури. У випадку мережевих систем, які оперують просторово розподіленими даними ці загрози і пов’язані з ними ризики стають системними, які важко передбачити і мінімізувати.

Неочікувані і непередбачувані помилкові блокування персональних пристроїв некоректно працюючими програмами не несуть серйозної загрози, але збої автономних систем озброєнь, чи то автономних навігаційних систем, заснованих на штучному інтелекті, можуть мати масштабні летальні наслідки.

Для сучасних систем штучного інтелекту характерні деякі нові небезпеки, які слід враховувати при аналізі їхнього впливу на системи прийняття рішень.

Як нещодавно з’ясувалося, алгоритми машинного навчання можуть розвивати свої власні упередження, в залежності від даних, які вони аналізують. Наприклад, дослідникам довелося видалити експериментальний обліковий запис Twitter, керований за допомогою штучного інтелекту, через соціально неприйнятні коментарі. Деякі пошукові алгоритми Google також довелося редагувати через появу небажаних результатів, пов’язаних з проявами расизму. Ці випадки показали, що прийняття рішень, повністю або частково заснованих на системах штучного інтелекту вимагає більш ретельного аналізу протоколів управління для уникнення або виправлення таких результатів.

Системи штучного інтелекту, засновані на хмарних технологіях, викликають особливе занепокоєння експертів і політиків через проблеми контролю і управління. Деякі експерти пропонують для підвищення надійності систем штучного інтелекту розташовувати їх в «пісочницях» — спеціальних експериментальних комірках, відключених від зовнішніх систем. Однак, багато когнітивних служб вже залежать від їх підключення до інтернету. Наприклад, помічник юриста ROSS, повинен мати доступ до електронних баз даних. IBM Watson звертається до електронних журналів, надає свої послуги через мережу і навіть викладає університетський курс через інтернет. Програма екстракції даних Text Runner успішна саме тому, що вона звертається до інтернету і робить власні висновки на основі аналізу зовнішньої інформації.

Існує думка, що штучний інтелект може допомогти вирішити проблеми кібербезпеки. Наразі додатки на основі алгоритмів штучного інтелекту використовуються для виявлення кібератак і, зокрема, потенційного шахрайства при інтернет-транзакціях. Однак, сьогодні ми спостерігаємо змагання алгоритмів штучного інтелекту в навчанні атакам і в захисті від зломів. І тільки практика визначить переможця.

2

Сьогодні системи штучного інтелекту вже аналізують величезну кількість даних від приватних телефонних додатків і фізичних носіїв, цифровими датчиками вже обладнані наші прилади та одяг, а значить, безпека наших персональних даних стає все більш важливим пріоритетом. Системи штучного інтелекту широко використовуються для спостереження та моніторингу, зокрема, для аналізу даних відеоспостереження та контенту соціальних мереж, з метою боротьби з тероризмом і попередження злочинності, та аналізу поведінки. Наскільки така діяльність призведе до зниження загальної конфіденційності і як це відіб’ється на стані безпеки, залишається наразі відкритим питанням.

3         

Мабуть, існує один сектор, в якому є очевидним величезний руйнівний потенціал штучного інтелекту. Це сектор військових технологій. Зброя, заснована на використанні штучного інтелекту, безповоротно змінить парадигму ведення війни, що призведе до глибоких наслідків для всієї сфери міжнародної безпеки і відіб’ється на глобальній стабільності.

Кілька років тому почалися серйозні інвестиції в системи автономного озброєння (autonomous weapon systems — AWS — це тип військового робота, призначений для самостійного пошуку, вибору і атаки військових цілей (людей, установок), без втручання оператора-людини). Ще в липні 2016-го Наукова рада з оборони (Defense Science Board) Пентагону опублікував своє перше дослідження з AWS, проте досі не існує консенсусу щодо того, як слід регулювати розвиток цього виду озброєнь.

У 2014-му міжнародне співтовариство почало обговорювати виникаючі технології летальних систем автономного озброєння (lethal autonomous weapons systems — LAWS) в рамках Конвенції Організації Об’єднаних Націй про звичайні озброєння. Проте досі держави так і не домовилися про те, як діяти в цьому випадку. Ті, хто закликає до заборони AWS, побоюються, що люди можуть бути повністю виключені з циклу прийняття рішень, залишивши рішення про використання ударної сили машинам, з наслідками, яких ми ще не розуміємо повною мірою.

Ці побоювання засновані на досвіді невійськового застосування штучного інтелекту. Ще свіжі в пам’яті успіхи програми AlphaGo, гравця в гру го, створеного підрозділом DeepMind від Google, яка в березні 2016 перемогла другого за рейтингом гравця в світі. Деякі з ходів AlphaGo спантеличили аналітиків, тому що вони не відповідали стандартним паттернам гри. Генеральний директор DeepMind Деміс Хасабіс пояснив причину цієї поведінки: «На відміну від людей, програма AlphaGo націлена на максимізацію ймовірності виграшу, а не на оптимізацію прибутку». Аналітик женевського Центру політики в області безпеки Жан-Марк Ріклі зазначає, що якщо ця бінарна логіка, в якій єдине значення має виграш, а не ціна перемоги, буде вбудована в автономну систему озброєнь, це призведе до порушення принципу пропорційності, — оскільки для алгоритму не буде відмінностей між перемогами, для яких потрібно вбити одного противника чи тисячу.

Автономні системи озброєнь також вплинуть на стратегічну стабільність. Після 1945-го глобальний стратегічний баланс визначався пріоритетом оборонних систем. Взаємна здатність запобігати нападу сприяла збереженню глобальної стабільності. Тепер військова стратегія, яка передбачає використання AWS, буде заснована на тактиці роїння, при якій оборонні системи супротивника будуть перевантажені зосередженим шквалом скоординованих одночасних атак. Це підвищує ризик порушення глобальної рівноваги, через фактичну нейтралізацію систем оборони, на яких вона досі була заснована. Така зміна стратегії і тактики війни призведе до нестабільності міжнародної конфігурації, за якої стане вигідною ескалація гонки озброєнь і заміна систем стримування на системи упереджувальних ударів.

При цьому слід зауважити, що схоже, ми вже пройшли переломний момент для заборони розробки цього виду зброї. Гонка озброєнь в системах автономного зброї більш ніж імовірна в найближчому майбутньому. Міжнародне співтовариство має невідкладно і серйозно вирішити проблему регулювання цієї галузі, оскільки після того, як буде розгорнуто першу повністю автономну систему озброєнь, буде набагато складніше повертатися до цього питання.

Цим переліком далеко не вичерпується перелік актуальних загроз наявних на сьогодні алгоритмів штучного інтелекту. Але наведені загрози дають змогу уявити масштаб задач, що стоять перед людством в цій галузі.

Втім, розуміючи загрози, слід розуміти і їхню природу.

4

Штучний інтелект та побудовані на його основі прилади і системи незабаром будуть вирішувати прості задачі швидше і ефективніше за людину. Бо саме для цього ми їх і створюємо. Але в тому і полягає суть людського інтелекту, що він не призначений для вирішення простих задач. Кожна вирішена нами задача створює пізнавальний контекст, тобто є запитанням, яке потребує подальшого розв’язання. От саме цього — розуміння пізнавального контексту — і позбавлений штучний інтелект.

Маю сказати, що з найбільшим ентузіазмом ми переказували один одному страшилки про поневолення людини роботами, коли переносили коробки з перфокартами — загальною ємністю десь кілобайтів у двісті — зі своєї університетської лабораторії на другому поверсі у підвал до обчислювальної лабораторії, де містилася неймовірна за мірками кінця 1980-х ЕОМ, потужністю трохи меншою за мій нинішній смартфон. А зараз, — коли я здихався потреби у нескінченних кальках, таблицях логарифмів и друкарських машинках, перестав критично залежати від наповненості фондів сусідніх паперових бібліотек, а процес розрахунку моделі вимагає менше часу ніж формулювання умов — трохи попустило. Бо нарешті я можу сконцентруватися на задачі, а не на технічних можливостях її вирішення.

Німецький філософ і математик Готфрід Вільгельм Лейбніц в своїй праці «Нові досліди про людський розум» (1704) визначив місію людського виду: «Ми створені, щоб мислити. Немає необхідності в тому, щоб ми жили, але необхідно, щоб ми мислили». Саме на це спрямована еволюція обчислювальної техніки і робототехніки — на забезпечення людині можливості сконцентруватися на розумовій діяльності. Доречі, саме Лейбніц ще в 1679-му виклав проект обчислювальної машини, що працює в двійковій системі та використовує в якості носія інформації перфокарти, а в 1703 він запропонував в докладному вигляді двійкову арифметику в трактаті «Explicationdel’ArithmetiqueBinaire». Отже, він розумів, про що казав.

Обчислювальна техніка слугує нашому розуму в якості специфічних маніпуляторів та специфічних сенсорів, тобто для виконання тих функцій, які ми — як біологічний організм — не можемо, або не хочемо виконувати самі. І як службова функція вона не загрожуватиме нам більше, ніж ми здатні загрожувати собі самі.

З того, що ми маємо сьогодні, можна визначити лише те, що суперінтелектуальні системи поки залишаються лише теоретичною загрозою, але має сенс з’ясувати, чи можуть вони допомогти нам створити краще майбутнє. Щоб гарантувати, що штучний інтелект знаходиться в межах, які ми готові встановити для нього, ми повинні продовжувати зміцнювати довіру до систем, які перетворюють на краще наше соціальне, політичне і ділове середовище, приймають рішення для нас і стають незамінними в області аналізу і інтерпретації навколишнього світу. Але для цього нам потрібно працювати з окремими актуальними загрозами, які ми створюємо сьогоднішньою технологічною активністю.