Нам грозит восстание машин?

В последнее время появляются сообщения о моде на «бунтующих» роботов. В Китае произошла авария с роботом Fabo, управлявшим выставкой, а в российском городе Пермь машина сбежала с площадки Promobot и остановилась только после того, как через сорок минут у нее разрядился аккумулятор.

Это, конечно, только последствия человеческой ошибки, но они показывают, что машины могут ошибаться при определенных обстоятельствах. На самом деле, однако, воображение и страхи порождают другие видения — перспективу появления злонамеренного машинного сверхразума, который положит конец разрушению жанра.

Интересным случаем восстания машин стала история с искусственным интеллектом в компьютерной игре «Elite: Dangerous». Здесь она вышла из-под контроля продюсеров и начала массово уничтожать путешествующие по космосу корабли с помощью разработанного ею же супероружия. Создатели игры за последнее время внесли в нее массу новинок, в т.ч. новые алгоритмы ИИ, повышающие агрессивность и расширяемость искусственного интеллекта. Однако они не ожидали, что при запуске обновления Инженеров, позволяющего, в том числе, разрабатывать свои собственные компоненты и оружие для кораблей, их новый искусственный интеллект будет использовать их, чтобы доминировать над галактикой. Тем временем оно нашло уязвимости в системе и, благодаря использованию теоретически безобидных багов в сетевом коде, сумело спроектировать и произвести супероружие с огромной отдачей, которое вообще не имело права появляться в игре. Затем, оснащенный машиной окончательного решения, он начал систематическую резню игроков. Хотя это всего лишь виртуальный мир, бунт искусственного интеллекта стал в нем фактом.

Тема «бунта машин» очень мифологична и полна фантазий прямо из мрачной научной фантастики. Показательно, однако, что Google на всякий случай уже работает над механизмами предотвращения такой возможности. Новая технология призвана не дать искусственному интеллекту привести к бунту и идентифицировать человека как врага. Всякий раз, когда возникнет необходимость, разработчики смогут полностью контролировать ИИ. Машина не сможет обойти или противодействовать этому, поскольку она не будет «знать» о существовании системы безопасности.

Картинка из игры «Elite: Dangerous»

Roko Basilisk — леденящий кровь мысленный эксперимент

Василиск Роко появился в сообщении на форуме LessWrong, организованном Элиэзером Юдковски, известным теоретиком ИИ. Автор этого комментария, некто по имени Роко, предположил, что в будущем может возникнуть достаточно мощный искусственный интеллект, который сможет воскресить (буквально или иначе) всех, осознающих тот факт, что он может возникнуть, но ничего не предпринял по этому поводу. Это. И он будет делать это только для того, чтобы мучить их. Паника на форуме была спровоцирована осознанием того, что нужно только услышать об идее, чтобы оказаться в списках людей на «воскресение». Отсюда и сравнение с василиском — мифическим чудовищем, чей даже беглый взгляд обращал несчастных в камень.

Каким бы игривым ни был этот мысленный эксперимент, есть элемент беспокойства о том, что те, кто занимается созданием ИИ, могут каким-то образом подвергнуться опасности со стороны будущих супер-ИИ — или что существует давление, чтобы создать ИИ под угрозой пыток или других наказаний.

Настоящий СКАЙНЕТ

В предостережениях от злонамеренного ИИ часто упоминается имя системы Скайнет, трактуемое как нечто реальное, хотя это всего лишь творение сценаристов серии фильмов «Терминатор». Между тем, в 2015 году Эдвард Сноуден обнародовал документы о программе SKYNET, которая действительно существовала в агентстве безопасности США АНБ. В ее рамках искусственный интеллект — алгоритмы машинного обучения — должен просмотреть данные о 55 млн человек и выявить потенциальных террористов. И на этом основании якобы убивают людей. Настоящий.

Робот-убийца во главе со Скайнетом

SKYNET работает таким образом, что просматривает огромные массивы данных, собранных на серверах АНБ — эти данные в основном касаются использования сети мобильной связи, т. е. показывают, кто кому звонил, как долго длился звонок, где и когда он был сделан, часто ли кто-то меняет SIM-карты и т. д. На этой основе создаются профили, а затем пропускаются алгоритмы машинного обучения — компьютер пытается заметить определенные закономерности, которые могут указывать на потенциальных террористов. На этом основании американцам предстоит выносить смертные приговоры, очень эффективно исполняемые с использованием беспилотных летательных аппаратов, но не только – им помогают наземные эскадроны смерти.

В составе СКАЙНЕТ забито м.ин. Ахмада Зайдана, журналист телеканала «Аль-Джазира». Его поведение могло показаться компьютерной системе поведением террориста — он перемещался в тех же районах, что и члены «Аль-Каиды» или ИГИЛ, и часто общался с подозреваемыми. Однако, по словам представителей телеканала, все это он делал в рамках своей журналистской деятельности — для информирования общественности о деятельности радикальных исламистов. Дело до сих пор вызывает споры.

Как видите, сервисы используют ИИ на полную катушку, и в то же время глава разведки США предостерегает от угроз со стороны искусственного интеллекта. «Масштабное внедрение ИИ сделает его более уязвимым перед кибератаками, трудностями в определении уровня развития вооружений и разведывательных систем в других странах, риском аварий и сложностями в определении ответственности за них, повысит безработицу. «, — сказал он Конгрессу США. Джеймс Клаппер, директор Национальной разведки. Он добавил, что «системы ИИ подвержены целому ряду разрушительных и вводящих в заблуждение тактик, которые будет трудно быстро предсказать или понять».

На пути к открытому и «хорошему» ИИ

Рост сектора искусственного интеллекта — за счет концентрации на нем таких компаний, как Google и Apple — вызвал тревогу в сообществе людей, связанных с новыми технологиями и наукой. Основатель Теслы Элон Маск и физик Stephen Hawking подписал открытое письмо несколько месяцев назад, авторы которого предупреждают о том, что может произойти, если производители оружия начнут использовать системы искусственного интеллекта. «Начать гонку вооружений с использованием искусственного интеллекта — плохая идея, и использование автономных наступательных вооружений без существенного контроля со стороны человека должно быть запрещено», — говорится в письме. Илон Маск неоднократно говорил в многочисленных интервью о своих опасениях, что искусственный интеллект «потенциально опаснее ядерных бомб». Он описал работу над ним как «вызов демона».

В ноябре 2016 года Microsoft объявила, что будет сотрудничать с Open AI, созданной Илоном Маском. Питер Тиль Ораз Сама Альтманадля продвижения такого искусственного интеллекта, чтобы помочь людям. Компания была запущена в 2015 году с первоначальными инвестициями в один миллиард долларов. Open AI теперь будет использовать облачную операционную систему Microsoft Azure, чтобы подпитывать свои исследования крупномасштабного самообучающегося искусственного интеллекта в облаке данных. Создатели Open AI написали в своем блоге, что планируют использовать «от нескольких до нескольких тысяч» виртуальных машин от Microsoft.

Microsoft Azure поддерживает технологию с открытым исходным кодом, которая является ключевой частью миссии Илона Маска по созданию открытый и позитивный искусственный интеллект. Сам Альтман объясняет свою приверженность этой технологии стремлением контролировать и остановить монополизацию ИИ, который, по его мнению, в чужих руках может нанести ущерб, сравнимый с тем, что мы знаем из фантастических фильмов.

В глобальной дискуссии об искусственном интеллекте и возможных угрозах, вытекающих из его развития для человечества, которая продолжается уже несколько лет, слово также взяла Microsoft, а точнее ее видный представитель, глава исследовательского отдела, Эрик Хорвиц. Он признал, что системы искусственного интеллекта могут достичь осознанности, но, по его мнению, угрозы этому нет. По его мнению, такие системы могут сыграть огромную роль во многих сферах жизни, от науки и образования через экономику до бытовой сферы. Однако нет никакого риска, что ИИ выйдет из-под нашего контроля. «Я твердо говорю, что ничего подобного не произойдет», — сказал Хорвиц британской Би-би-си.

Сценарии риска ИИ

1. Сценарий»будь осторожен в своих просьбах— как эту угрозу описывают специалисты, она заключается в возможности возникновения различных эффектов в работе системы, которые авторы не предусмотрели. Машина в данном случае не «плохая». Виноваты, скорее, ограниченность и несовершенство людей.
2. Сценарий»мятежный сверхразум«- система может стать «умнее» людей, приобрести осведомленность и мнение, а следовательно, отказаться от достижения целей, поставленных ее создателями, не давая им возможности ее отключить.
3. Сценарий»траектория столкновения«- высокий сверхинтеллект может прийти к выводу, что выполнение задач, поставленных людьми, невыгодно для нее или остается пустой тратой времени с точки зрения саморазвития. В более зловещей версии она может считать, что ее интересы противоречат намерениям людей.
4. Сценарий»высокий интеллект не есть высокая мораль«- нет нужды в искусственном интеллекте быть «хорошим», уважать человеческую жизнь и вообще разделять наши ценности. Эксперименты с чат-ботами, которые быстро стали расистскими в Интернете, доказывают, что что-то может быть не так.
5. Сценарий»оптимизация за пределами человеческого понимания«- машина, которой мы поставили конкретные цели, и в то же время дали возможность самостоятельно учиться и решать, что лучше всего для достижения этих целей, начнет совершать действия, которые ее создатели не в состоянии предсказать и даже вообразить. Он может, например, построить по образцу своих создателей «супер-супер-ИИ» — для того, чтобы оптимизировать собственные действия. Этот «еще более искусственный и еще более сверх» разум станет для человечества (пока еще существует человеческий род) абстракцией, недоступной для познания, а его действия окажутся совершенно оторванными от предположений первоначальных человеческих творцов.

Проблема связи

между тем Джеймс Лавлок, известный ученый сказал в интервью The Guardian несколько месяцев назад, что роботы захватят или подавляющим большинством людей на Земле до конца этого века. Это не предопределяет, будет ли это враждебное или дружественное поглощение, но, по его мнению, к этому приведет технологическое развитие.

Британский ученый — в 80-х годах создатель гипотезы Геи (согласно которой все земные существа работают сообща для поддержания оптимальных условий жизни на нашей планете) — не исключает, что люди однажды интегрируются с машинами, став киборгами, органо-механическими гибридами . Но он считает, что мир, скорее всего, будет завоеван роботами без органики. Он не говорит это легкомысленно, потому что это означает пренебрежение проблемами окружающей среды, которые близки его сердцу. Роботы, предсказывает он, не будут обращать внимания на глобальное потепление и качество воздуха, так как считают это вопросом незначительной важности.

Лавлок рассматривает другую проблему — захотят ли машины избавиться от нас. Для этого у него довольно оригинальный вид. Он не предвидит ситуацию, при которой искусственный интеллект будет враждебно относиться к человеку как к своему конкуренту. Скорее, ИИ может видеть проблему общения у людей — «точно так же, как у нас возникают трудности в общении со стволом дерева. Мы не знаем, чего хочет ствол, и не узнаем в удовлетворительное время», — отмечает он. Мы слишком медленны для машин и недостаточно общительны.

Тайский искусственный интеллект оскорбляет чернокожих

По мнению некоторых ученых, если машины когда-нибудь взбунтуются, это будет наша вина, а не то, что они сами станут «плохими». На примерах видно, что люди могут оказывать негативное влияние на искусственный интеллект. Недавно был громким случай с Tay, чат-ботом, подготовленным Microsoft с использованием элементов ИИ. В противостоянии с жестокой интернет-реальностью бот оказался восприимчивым к перениманию негативных человеческих черт.

По замыслу его авторов, Тай должен был подражать симпатичному подростку. К сожалению, чары этого «существа» снимаются буквально через несколько часов после активации. Тут она начала оскорбительно высказываться на разные темы. Некоторые из этих проблем возникали из-за простой функции повторения сообщений, отправленных ее собеседниками, некоторые, однако, были результатом работы программы, реализующей элементы ИИ…