Кабинет ужасов

Восстание машин и захват власти искусственным интеллектом. Мир полной слежки и социального контроля. Ядерная война и вырождение цивилизации. Многие мрачные видения будущего, нарисованные много лет назад, должны были случиться сегодня. А мы тем временем оглядываемся и кажется, что их и не было. Вы уверены?

Существует довольно стереотипный репертуар популярных антиутопические пророчества (по поводу черного видения будущего). Помимо наиболее распространенных, связанных с разрушением природной среды и ресурсов, распространено мнение, что новейшие технологии наносят ущерб межличностному общению, отношениям и обществу.

Виртуальное пространство обманчиво заменит реальное участие в мире. Другие антиутопические взгляды рассматривают технологическое развитие как способ увеличения социального неравенства, концентрации власти и богатства в руках узких групп. Высокие требования современных технологий концентрируют знания и навыки в узких кругах привилегированных лиц, усиливают надзор за людьми и разрушают частную жизнь.

По мнению многих футуристов, более высокая производительность и расширение видимого выбора могут нанести ущерб качеству жизни человека, вызывая стресс, ставя под угрозу рабочие места, делая нас все более материалистичными по отношению к миру.

Один из известных технологических «антиутопистов», Джеймс Глейк, приводит, казалось бы, тривиальный пример пульта от телевизора как классическое изобретение, которое не решает ни одной существенной проблемы, порождая множество новых. Глейк, цитируя историка техники Эдвард Теннер, пишет, что возможность и простота переключения каналов с помощью пульта в первую очередь служит для того, чтобы все больше и больше отвлекать зрителя.

Вместо удовлетворения люди все больше недовольны каналами, которые смотрят. Вместо удовлетворения потребностей возникает чувство бесконечного разочарования.

Будут ли машины держать нас в резервациях?

Сможем ли мы контролировать эту вещь, которая неизбежно и, вероятно, скоро появится? Над искусственным интеллектом? Если это должно быть так, как провозглашают многие антиутопические видения, то нет. (1).

Трудно контролировать то, что во много раз сильнее нас. при увеличении количества задач. Двадцать лет назад никто бы и не поверил, что они смогут читать эмоции по голосу и лицу человека гораздо точнее, чем это можем сделать мы сами. Между тем обученные на данный момент алгоритмы уже способны на это, анализируя мимику, тембр и то, как мы говорим.

Компьютеры рисуют картинки, сочиняют музыку, а один из них даже выиграл поэтический конкурс в Японии. Они давно выигрывают у людей в шахматы, изучая игру с нуля. То же самое относится и к гораздо более сложной игре Го.

оно подчиняется законам все более быстрого ускорения. То, чего ИИ достиг — с помощью человека — за последние десятилетия, удвоится в ближайшие несколько лет, может быть, всего лишь месяцев, а затем это займет всего недели, дни, секунды…

Как выяснилось в последнее время, алгоритмы, используемые в смартфонах или в аэропортах для анализа фотографий с вездесущих камер, способны не только узнавать кого-то на разных кадрах, но и определять исключительно интимные психологические особенности. Сказать, что это огромный риск для конфиденциальности, все равно, что ничего не сказать. Речь идет не о простой слежке, наблюдении за каждым шагом, а об информации, возникающей в результате самого появления человека, о его скрытых желаниях и личных предпочтениях. 

Алгоритмы могут научиться этому относительно быстро, проанализировав сотни тысяч случаев, а это намного больше, чем даже самый проницательный человек может увидеть за всю жизнь. Вооруженные таким багажом опыта, они способны просканировать человека точнее, чем даже самый опытный психолог, аналитик языка тела и жестов.

Так что настоящая леденящая душу антиутопия не в том, что компьютеры играют против нас в шахматы или го, а в том, что они могут видеть нашу душу глубже, чем кто-либо другой, чем мы сами, полные запретов и блоков в признании тех или иных склонностей.

Элон Маск считает, что по мере того, как системы ИИ начинают учиться и рассуждать во все возрастающих масштабах, «интеллект» может где-то развиваться глубоко в веб-слоях, незаметно для нас.

Согласно опубликованному в 2016 году американскому исследованию, в ближайшие 45 лет искусственный интеллект имеет 50-процентный шанс превзойти человека во всех задачах. Синоптики говорят, что да, ИИ решит проблему рака, улучшит и ускорит экономику, обеспечит развлечения, улучшит качество и продолжительность жизни, обучит нас так, что мы не сможем жить без него, но не исключено, что один день, без ненависти, только на основе логического расчета, это просто удаляет нас. Может быть, физически не получится, потому что в каждой системе стоит копить, архивировать и хранить ресурсы, которые «могут когда-нибудь пригодиться». Да, это тот ресурс, которым мы можем стать для ИИ. Охраняемые людские резервы?

Оптимисты утешают себя тем, что всегда есть возможность выдернуть вилку из розетки. Однако все не так просто. Уже сейчас человеческая жизнь стала настолько зависимой от компьютеров, что радикальный шаг против них был бы для нас катастрофой.

Ведь мы все чаще создаем системы принятия решений на основе ИИ, даем им право пилотировать самолеты, устанавливать процентные ставки, управлять электростанциями — мы знаем, что алгоритмы сделают это гораздо лучше нас. В то же время мы не до конца понимаем, как принимаются эти цифровые решения.

Есть опасения, что сверхразумные командные системы, такие как «Уменьшить пробки», могут привести их к выводу, что единственный эффективный способ выполнить работу — это… сократить население на треть или даже наполовину.

Да, стоит дать машине наиважнейшее указание типа «Прежде всего, спасите человеческую жизнь!». Однако кто знает, приведет ли тогда цифровая логика к заточению человечества или под сарай, где мы, может быть, и будем в безопасности, но на свободе — уж точно нет.

Киберпреступность как услуга

В прошлом антиутопии и образы постапокалиптического мира в литературе и кино обычно располагались в эпоху после ядерной войны. Сегодня ядерное уничтожение не кажется необходимым для катастрофы и разрушения мира, каким мы его знаем, хотя и не так, как мы себе это представляем. , это вряд ли уничтожит мир как в “Терминаторе”, где это было совмещено с ядерной аннигиляцией. Если бы она это сделала, она была бы не сверхразумом, а примитивной силой. Ведь даже человечество еще не осознало глобальный сценарий разрушительного ядерного конфликта.

Настоящий машинный апокалипсис может быть гораздо менее впечатляющим.

Кибервойна, вирусные атаки, взлом системы и программы-вымогатели, программы-вымогатели (2) парализуют и разрушают наш мир не менее эффективно, чем бомбы. Если их масштаб расширится, мы можем войти в фазу всеохватывающей тотальной войны, в которой станем жертвами и заложниками машин, хотя они и не обязаны действовать автономно, и не исключено, что за всем все равно будут стоять люди.

Прошлым летом Агентство США по безопасности киберпространства и безопасности инфраструктуры (CISA) назвало атаки программ-вымогателей «наиболее заметной угрозой кибербезопасности».

CISA утверждает, что о многих действиях, когда киберпреступник перехватывает и шифрует данные человека или организации, а затем вымогает за них выкуп, никогда не сообщается, потому что жертва платит киберпреступникам и не желает предать гласности проблемы с их небезопасными системами. На микроуровне киберпреступники часто нацеливают свои действия на пожилых людей, у которых есть проблемы с различением честного и нечестного контента в Интернете. Они делают это с помощью вредоносного ПО, встроенного во вложение электронной почты или всплывающее окно на зараженном веб-сайте. В то же время растут атаки на крупные корпорации, больницы, госорганы и правительства.

Последние были особенно мишенью из-за конфиденциальных данных, которые они хранили, и возможности заплатить большой выкуп.

Некоторая информация, например информация о состоянии здоровья, гораздо более ценна для владельца, чем другие, и может принести преступникам больше денег. Воры могут перехватывать или помещать в карантин большие блоки клинических данных, важных для ухода за пациентами, таких как результаты анализов или информация о лекарствах. Когда на карту поставлена ​​жизнь, в больнице не остается места для переговоров. Одна из американских больниц была закрыта навсегда в ноябре прошлого года после августовского теракта.

Вероятно, со временем будет только хуже. В 2017 году Министерство внутренней безопасности США объявило, что кибератаки могут быть нацелены на критически важные объекты инфраструктуры, такие как водоканалы. И инструменты, необходимые для выполнения таких действий, все чаще доступны для более мелких операторов, которым они продают комплекты программ-вымогателей, таких как программное обеспечение Cerber и Petya, и берут комиссию за выкуп после успешных атак. На основе киберпреступности как услуги.

Опасный беспорядок в геноме

Одной из популярных тем антиутопии являются генетика, манипуляции с ДНК и разведение людей — вдобавок «запрограммированных» нужным образом (властями, корпорациями, военными).

Современное воплощение этих тревог является методом популяризации Редактирование генов CRISPR (3). Механизмы, которые он содержит, в первую очередь вызывают озабоченность. форсирование желаемых функций в последующих поколениях и их потенциал распространился на все население. Один из изобретателей этой техники, Дженнифер Дудна, даже недавно призвал к мораторию на такие методы редактирования «зародышевой линии» из-за потенциально катастрофических последствий.

Напомним, что несколько месяцев назад китайский ученый Он Jiankui подвергался широкой критике за редактирование генов человеческих эмбрионов с целью их иммунизации против вируса СПИДа. Причина заключалась в том, что сделанные им изменения могли передаваться из поколения в поколение с непредсказуемыми последствиями.

Особую тревогу вызывают так называемые д (генная перезапись, генный драйв), т.е. генно-инженерный механизм, заключающийся в кодировании системы редактирования в ДНК данного индивидуума геном CRISPR/CAS9 с установкой его на редактирование данного варианта нежелательного гена. Благодаря этому потомки автоматически (без участия генетиков) перезаписывают нежелательный вариант гена на нужный.

Однако нежелательный вариант гена может быть получен потомством «в подарок» от немодифицированного другого родителя. Так что генный драйв позволяет сломать Менделевские законы наследственностикоторые говорят о том, что половина доминантных генов достается потомству от одного родителя. Короче говоря, это в конечном итоге приведет к распространению рассматриваемого варианта гена на все население.

Биолог Стэнфордского университета Кристина Смольке, еще на панели по генной инженерии в 2016 году предупредил, что этот механизм может иметь вредные и, в крайних случаях, ужасающие последствия. Генный драйв способен мутировать по мере прохождения через поколения и вызывать генетические нарушения, такие как гемофилия или гемофилия.

Как мы читаем в статье, опубликованной в Nature Reviews исследователями из Калифорнийского университета в Риверсайде, даже если драйв работает, как и планировалось, в одной популяции организма, тот же самый наследственный признак может оказаться вредным, если он каким-то образом будет введен в другую популяцию. тот же вид.

Опасность также заключается в том, что ученые создают генные драйвы за закрытыми дверями и без экспертной проверки. Если кто-то преднамеренно или непреднамеренно введет в геном человека вредный генный драйв, например тот, который разрушает нашу устойчивость к гриппу, это может даже означать конец вида homo sapiens…

Капитализм наблюдения

Версия антиутопии, которую бывшие писатели-фантасты вряд ли могли себе представить, является реальностью Интернета, и особенно социальных сетей, со всеми его широко описанными разветвлениями, разрушающими частную жизнь людей, отношения и психологическую целостность.

Этот мир раскрашивают только более новые художественные перформансы, например то, что мы могли видеть в сериале «Черное зеркало», в эпизоде ​​2016 года «Ныряние» (4). Шошана Зубофф, экономист из Гарварда, называет эту реальность полностью зависимой от социального самоутверждения и полностью «деприватизированной». надзорный капитализм (), и в то же время венцом работы Google и Facebook.

4. Сцена з «Черное зеркало» — эпизод «Ныряние»

По словам Зубоффа, Google — первый изобретатель. Кроме того, он постоянно расширяет свою деятельность по наблюдению, например, с помощью, казалось бы, невинных проектов «умного города». Пример — проект «Самый инновационный район в мире» компании Sidewalk Labs, дочерней компании Google. пристань в Торонто.

Google планирует собирать все мельчайшие данные о жизни жителей набережной, их передвижении и даже дыхании с помощью вездесущих датчиков мониторинга.

Также трудно выбрать интернет-антиутопию, о которой не может быть и речи в Facebook. Капитализм наблюдения, возможно, был изобретен Google, но именно Facebook вывел его на совершенно новый уровень. Это было сделано с помощью социальных и эмоциональных вирусных механизмов и безжалостного преследования даже тех, кто не является пользователем платформы Цукерберга.

Охраняемый ИИ, погруженный в виртуальную реальность, живущий с UBI

По мнению многих футуристов, будущее мира и технологий обозначено пятью аббревиатурами — AI, AR, VR, BC и UBI.

Читатели «МТ», наверное, хорошо знают, что они из себя представляют и из чего состоят первые три. Знакомое тоже оказывается четвертым, «ВС», когда мы понимаем, что речь идет о. А пятый? УБД – это аббревиатура понятия, означающая «универсальный базовый доход » (5). Это государственное пособие, постулируемое время от времени, которое будет предоставлено каждому человеку, освобожденному от работы, по мере развития других технологий, особенно ИИ.

5. Универсальный базовый доход — UBI

Швейцария даже выносила эту идею на референдум в прошлом году, но ее граждане отвергли ее, опасаясь, что введение гарантированного дохода приведет к наводнению страны иммигрантами. БОД также несет в себе ряд других опасностей, в том числе риск увековечения существующего социального неравенства.

Каждая из технологических революций за аббревиатурой (см. также:) – если она распространяется и развивается в ожидаемом направлении – несет огромные последствия для человечества и нашего мира, включая, конечно же, огромную дозу антиутопии. Например, считается, что он может заменить четырехлетние избирательные циклы и привести к референдумам по бесчисленному количеству вопросов.

Виртуальная реальность, в свою очередь, способна «исключить» часть человечества из реального мира. Как это произошло, например, с кореянкой Чан Джи Сон, которая после смерти дочери в 2016 году от неизлечимой болезни с тех пор встречается со своим аватаром в VR. Виртуальное пространство также порождает новые виды проблем или фактически переносит все старые известные проблемы в «новый» мир или даже во многие другие миры. В какой-то степени мы уже можем наблюдать это в социальных сетях, где бывает так, что слишком мало лайков на постах приводит к депрессии и суициду.

Пророческие сказки более или менее

В конце концов, история создания антиутопических видений также учит осторожности в формулировании предсказаний.

6. Обложка «Острова в сети»

В прошлом году снимался знаменитый научно-фантастический шедевр Ридли Скотта «Охотник за андроидами» С 1982 года. Можно обсуждать исполнение или нет многих конкретных элементов, но бесспорно то, что важнейшее пророчество относительно существования в наше время разумных, человекоподобных андроидов, во многом превосходящих людей, еще не стало реальность.

Мы были бы готовы допустить еще много пророческих хитов».Нейромантеры»то есть романы Уильям Гибсон с 1984 года, который популяризировал концепцию «киберпространства».

Однако в то десятилетие появилась чуть менее известная книга (в нашей стране почти совсем, потому что она не была переведена на польский язык), которая намного точнее предсказывала сегодняшнее время. Я говорю о романе «Острова в Сети«(6) Брюс Стерлинг с 1988 года, действие которого происходит в 2023 году. В нем представлен мир, погруженный в нечто похожее на Интернет, известное как «паутина». Он контролируется крупными международными корпорациями. «Острова в Сети» примечательны тем, что обеспечивают контроль, наблюдение и монополизацию якобы свободного Интернета.

Также интересно предвидеть боевые действия, проводимые с применением беспилотных летательных аппаратов (дронов) против сетевых пиратов/террористов. Операторы за тысячи километров с безопасными рабочими столами — откуда мы это знаем? Книга не о бесконечном конфликте с исламским терроризмом, а о борьбе с силами, противостоящими глобализации. Мир Islands in the Net также наполнен потребительскими устройствами, которые очень похожи на смарт-часы и умную спортивную обувь.

Есть еще одна книга 80-х годов, в которой, хотя некоторые события кажутся более фантастическими, она хорошо иллюстрирует наши современные антиутопические страхи. Этот “Программные обеспечения для георадаров“, История Рудьего Рукера, действие которого происходит в 2020 году. Мир, состояние общества и его конфликты кажутся невероятно похожими на то, с чем мы имеем дело сегодня. Есть также роботы, известные как бопперы, которые обрели самосознание и сбежали в города на Луне. Этот элемент еще не материализовался, но бунт машин становится постоянным рефреном черных прогнозов.

Видения нашего времени в книгах также поразительно точны во многих отношениях. Октавия Батлер, особенно вПритчи о сеятеле» (1993). Действие начинается в 2024 году в Лос-Анджелесе и происходит в Калифорнии, разоренной наводнениями, штормами и засухами, вызванными изменением климата. Семьи среднего и рабочего класса встречаются в закрытых сообществах, пытаясь сбежать от внешнего мира с помощью вызывающих привыкание наркотиков и комплектов виртуальной реальности. Появляются новые религии и теории заговора. Караван беженцев направляется на север, чтобы избежать экологического и социального коллапса. К власти приходит президент, который использует предвыборный лозунг «Сделаем Америку снова великой» (это лозунг Дональда Трампа)…

Вторая книга Батлера, «Притча о талантах«, рассказывает, как члены нового религиозного культа покидают Землю на космическом корабле, чтобы колонизировать Альфу Центавра.

***

Каков урок этого обширного обзора предсказаний и видений, сделанных несколько десятилетий назад и касающихся нашей повседневной жизни?

Вероятно, дело в том, что антиутопии случаются часто, но чаще всего лишь частично.