Автономное оружие на цензуре: можно ли доверять машинам?
Согласно отчету Пола Шарре, бывшего сотрудника Пентагона, опубликованному весной 2016 года, автономные системы вооружения могут выйти из-под контроля человека на реальном поле боя. Стоит добавить, что об этом пишет человек, который годами занимается их разработкой.
Шарре также служил солдатом в Ираке и Афганистане. В докладе основное внимание уделяется реальным, а не гипотетическим ситуациям, когда автоматизированные системы выходят из строя. Его основная теорема, повторяемая в различных формах, такова: какими бы сложными ни были автономные системы вооружения, им не хватает человеческой гибкости и понимания сложности ситуаций.
Даже у вооруженных сил США пока нет полностью автономных систем вооружения. Несколько лет назад военные захотели первые полуавтономные решения — например, ракеты ВМС США, которые, вообще говоря, сами выбирали бы цели после нескольких сотен километров полета. И этого было достаточно, чтобы оружие вызвало массу споров.
Отношения армии с передовыми электронными системами имеют долгую и непростую историю. В 2007 группа истребителей F-22 Raptor принимал участие в военных играх. Попал в серьезную аварию во время перелета через Тихий океан. Эти ультрасовременные самолеты, спроектированные так, чтобы быть невидимыми для радаров, оснащенные передовыми радиолокационными системами, новейшим вооружением и двигателем, позволяющим быстро разгоняться, не оставляя огромного конденсатного следа, не устояли перед так называемым проблема 2000 года.
Во время перелета с Гавайев на Окинаву электроника шестерки Raptor внезапно отключила всю электронику. Оказалось, что программное обеспечение перестало работать, когда самолеты пересекли линию перемены дат. Отключились топливная и навигационная системы управления, отказала связь. Попытки перезагрузить систему компьютера ни к чему не привели. К счастью для горе-летчиков-истребителей, поблизости находились самолеты-заправщики, которые снабжали их топливом и доставляли на Гавайи. К счастью, погода тоже была хорошей. Благодаря ему даже после потери самолета-заправщика «Рэпторы» могли повернуть назад и, скорее всего, найти Гавайи.
После инцидента бригадный генерал в отставке Дон Шепперд сказал: «Им нужна была помощь. Если бы они отделились от летающих танков или погода резко испортилась, у них не было бы ориентира. Перестали работать системы, отвечающие за связь и навигацию. Вероятно, самолетам придется вернуться и искать Гавайи. Плохая погода при заходе на посадку могла вызвать серьезные проблемы».
Военные давно считают, что чем больше электронных компонентов в окружающей технике, тем более ненадежной она становится. Когда мы говорим о тостере, над ним можно смеяться, но трудно представить, что будет, если им «ударить» по системам, например, в пусковых установках баллистических ракет.
В 2008 году произошли события, которые на несколько лет помешали внедрению военных роботов в армию. Несколько были переведены в Ирак автономные роботы TALON в варианте SWORDS (Special Weapons Observation Reconneissance Direct-action System), оснащенном пулеметом. Во время испытаний на месте они начали вращаться, наводя оружие на американских солдат. Перед лицом угрозы, не дожидаясь дальнейшего развития событий, вооруженные машины были отключены. Однако от идеи не отказались навсегда.
Международное движение против роботов
Впервые специалисты из многих стран сели за обсуждение запрета на использование автоматических киллеров во время Конференция ООН по разоружению в Женеве, в мае 2014 года. Разработанное в то время обращение было подхвачено Международным комитетом Красного Креста, блюстителем Женевских конвенций, то есть ряда правовых международных договоров, регламентирующих защиту раненых во время войн и гуманитарная помощь жертвам конфликтов. «Основная проблема заключается в потенциальном отсутствии контроля со стороны человека в процессе идентификации цели и принятия решения о нападении на нее, включая человека», — сказала Кэтлин Лоуанд из МККК. «Идея позволить машинам принимать решения о жизни и смерти на поле боя практически без участия человека создает законное ощущение опасности», — добавила она.
«Роботы-убийцы будут угрожать фундаментальным принципам международного права», — сказал Стив Гуз, директор отдела вооружений Хьюман Райтс Вотч. Лауреаты Нобелевской премии мира (в том числе Лех Валенса) выступили с призывом запретить использование автономных боевых роботов. «Немыслимо, чтобы люди прикладывали усилия к созданию машин, способных убивать людей самостоятельно, без вмешательства человека», — написали подписавшие.
В отчете Хьюман Райтс Вотч и ученых из Гарвардского университета, опубликованном позже, говорилось, что такие боевые роботы были бы слишком опасны. Они сами выбирали цели и убивали людей, но не могли подчиняться международному праву. Кроме того, было бы не очень понятно, кого привлекать к ответственности.
В недавних дебатах инженер-робототехник, британский профессор Ноэль Шарки он выбрал не запрет, а строгий контроль над такими устройствами. «Полный запрет не имеет смысла. На мой взгляд, важно, чтобы человек, управляющий машиной, а не сам робот, решал, в кого стрелять», — сказал он.
В слотах меньше случайных жертв?
Однако, по мнению многих экспертов, исследования в области робототехники не должны ограничиваться. Технология, используемая в производстве техники для военных, также может найти множество применений в гражданских целях. Никто не сомневается, что разного рода роботы помогают обезвреживать взрывчатые вещества, бороться со стихийными бедствиями, помогать людям перед лицом различных угроз. Автономность машин также нельзя демонизировать. За их независимость и уверенность в своих силах борются в лабораториях и центрах по конструированию роботов.
Несмотря на протесты и международные кампании, многие сторонники использования роботов-убийц твердо верят, что они сделают войны менее кровавыми, поскольку погибнет меньше солдат. Они отмечают, что роботы, не испытывая жалости, также невосприимчивы к негативным человеческим эмоциям, таким как паника, гнев и месть, которые иногда приводят к военным преступлениям.
Защитники роботов также используют аргумент о том, что достижения в военной технике привели к огромным сокращение гражданских потерь в последние полвека. Высокоточные воздушные бомбардировки во время войны в Ираке привели к гораздо меньшему количеству жертв среди гражданского населения, чем во время воздушных бомбардировок Второй мировой войны.
С точки зрения защиты гражданских лиц роботы на фронте работают лучше, чем солдаты. С помощью технологий можно будет устранить часть факторов, негативно влияющих на поведение солдат — гнев, страх, фрустрацию, когнитивную замкнутость, которые могут спровоцировать феномен самосбывающегося пророчества, — и внедрить механизм более строгого соблюдения из законов войны. Вместо принципа «сначала стреляй, а потом спрашивай» автономные системы будут следовать менее агрессивной стратегии в соответствии с принципом «не навреди без необходимости». Мы не будем делать это, воссоздавая в роботе весь процесс человеческого морального мышления, но у нас может возникнуть соблазн вписать в него принципы, содержащиеся в международном гуманитарном праве. Роботы станут этичными, когда они будут оснащены программным обеспечением, которое заставит их соблюдать законы войны.
