Состояние отношений человека и машины: все сложно

Попрощайтесь с мышью, клавиатурой и монитором. Поприветствуйте новую, более простую эру взаимодействия с компьютером — на этот раз без громоздкого оборудования, стоящего между вами и вашей цифровой информацией. Вместо того, чтобы перемещать мышь по столу, вы можете просто указать на то, что вы выбрали. Вместо того, чтобы нажимать на клавиатуру, скажите, что вы хотите. И вместо того, чтобы целыми днями пялиться в большой экран, почему бы не вывести необходимую информацию на поверхность очков или даже контактных линз?

Сенсорные экраны были одними из первых естественных интерфейсов. Как изобретение и концепция они известны уже несколько десятилетий, но не стали достаточно дешевыми и популярными. До 2007 года, когда Apple показала тачскрин iPhone’а. Теперь, когда люди привыкли к мысли, что использование мыши и клавиатуры — не единственный способ взаимодействия с компьютером, ученые совершенствуют голосовые приемы, отслеживание взгляда и даже прямое общение с мозгом.

Цель – “аппаратное исчезновение”

Вскоре после волны сенсорных экранов и технологий Microsoft предложила Kinect, что вызвало ожидания быстрого распространения жестовых интерфейсов, подобных аппаратному обеспечению, которое можно было увидеть в фильме «Особое мнение» (1). Однако после первой волны восторгов жестовый интерфейс стал вызывать сомнения. Использование движений рук для управления компьютером в конечном итоге утомляет. Если применить такое решение к другим устройствам, например к телевизорам, которое было предложено, в том числе, Toshiba, могут быть непреднамеренные и забавные последствия.

Представьте, что вы переключаете канал, взмахивая руками. Делая различные жесты, например, во время матча, мы можем непреднамеренно отдавать системе нежелательные команды. Это не очень практично. Роберт Ван, аспирант Массачусетского технологического института, разработавший компьютерную систему на основе жестов, сказал CNN в 2010 году, что также трудно использовать движения рук для манипулирования цифровыми объектами, потому что вы не можете их чувствовать.

В техническом сообществе существуют разногласия относительно того, убьют ли эти новые методы взаимодействия человека и компьютера полностью компьютерную мышь, клавиатуру и монитор или просто предложат альтернативу. В целом, ученые считают, что мышь может оказаться первой заменой оборудования в новых типах интерфейса. Клавиатуру, хотя и трудно определить как естественный способ взаимодействия, скорее всего, прослужит дольше, потому что она предполагает эффективный способ набора текста, а люди не хотят изучать совершенно новые системы.

Здравый смысл не рассматривает все это как взаимно изнуряющую конкуренцию, потому что каждый тип оборудования хорош для чего-то и не годится для чего-то другого. Использование Kinect в кабине самолета было бы полным абсурдом. Набор текста становится опасным, например, при вождении автомобиля. С другой стороны, говорить о личных делах в публичных местах — или даже вводить тогда простые голосовые команды — выглядит очень проблематично и может не получить слишком много сторонников.

Общее направление изменений в машинном интерфейсе можно уловить довольно четко — предполагается, что это эволюция в сторону естественных способов взаимодействия и общения. Дальнейшая цель в чем Pranav Мистри из Медиа-лаборатории Массачусетского технологического института, описанный в интервью CNN как «Исчезновение» компьютерного железа, что позволяет людям напрямую обращаться к информации.

— говорит. -.

Что такое скеоморфизм?

Интерфейс тесно связан с дизайном. Этот немного развивается по принципу моды, но, как правило, со временем становится более функциональным и дружелюбным. Когда первый был представлен в 1981 г. персональный компьютер IBM, он был оснащен Операционная система MS-DOS от Microsoft, что требовало ввода команд — команд для ПО. Это было сложно и скучно, и пользователю приходилось запоминать множество различных команд. Спустя три года Apple представила компьютер Макинтошкоторые популяризировали использование на персональных компьютерах графические пользовательские интерфейсы (Графический интерфейс).

Он был основан на том, что Стив Джобс видел в Xerox в 70-х (2). Некоторые считали это достижением, равным высадке человека на Луну. Однако нет никаких сомнений в том, что графический интерфейс Apple, а затем и интерфейс Windows инициировали смену парадигмы во взаимодействии с компьютерами. Пользователи начали использовать эти машины не только потому, что им это было необходимо, но и потому, что они этого хотели.

2. Графический интерфейс Xeroxa Alto z 1973 г.

Стремление к более красивым, профессиональным и привлекающим внимание визуальным эффектам стало еще одним важным стремлением производителей и разработчиков. GUI стал содержать все больше отсылок и сходств с реальными объектами и текстурами. Этот тип конструкции получил название скевоморфизм а десять лет назад он также безраздельно властвовал на рынке сенсорных экранов. Обновления визуальной системы Mac OS X, система Windows XPи даже премьера первого iPhone’а, ознаменовало этап разработки интерфейса, на котором такие элементы, как значки, были максимально реалистичными. Текстуры кожи, стеклянные поверхности и блестящие алюминиевые рамки появились на каждом пользовательском интерфейсе, от ПК до телефонов. Были отражения, градиенты и тени.

Казалось, что чем лучше дисплеи и вычислительная мощность, тем больше мы склонны подражать в наших цифровых сферах. Люди были впечатлены тем, насколько реалистично что-то может выглядеть на цифровом экране. Это казалось таким… забавным. В интерфейсе iBooks можно было листать страницы так же, как и в настоящих книгах.

Однако через несколько лет было признано, что такие интерфейсы в долгосрочной перспективе обременительны и создают чрезмерно сложную среду. Если бы все цифровые объекты имитировали реальность, у пользователя не было бы много места для визуальной стимуляции. Кроме того, мир стал казаться загроможденным. Так родилась идея плоского дизайна. Простые, чистые кнопки, без отражающих или текстурированных поверхностей, без стекла, без кожи, все упрощено (3). Скеоморфизм начал становиться устаревшим способом дизайна.

Тактильные интерфейсы были распространены уже несколько лет, а компьютеры существуют уже несколько десятилетий, что означало, что пользователи привыкли к цифровому миру и не нуждались в реальных ссылках, чтобы понять его. Плоский минималистичный дизайн быстро набирал популярность. Проекты на его основе также означали, что загрузка приложений занимала меньше времени, чем раньше, поскольку интерфейсы стали менее требовательными к графике. Помогли создать более плавный пользовательский интерфейс.

3. Скейморфная и плоская иконка приложения Instagram

Плоский дизайн стал успешным, поэтому дизайнеры уже начали экспериментировать с тем, как сделать визуальные эффекты более привлекательными, а не ограничиваться только минимализмом. Одним из примеров является система Microsoft. Он сочетает в себе то, что было полезно в скевоморфном дизайне, с элементами минимализма.

Эти новые волны в дизайне интерфейсов частично связаны с модой, а частично — с развитием новых технологий. VR-интерфейсы они входят в трехмерное пространство, что влияет на то, как они спроектированы. Использование фотографии становится дополнением к визуализации и графике в приложениях, придавая проектам человеческое измерение. Скеоморфизм снова может сыграть очень важную роль, помогая пользователям переходить и адаптироваться к новым виртуальным цифровым средам.

Естественный как голос

Если мы говорим о естественном и простом интерфейсе, то ВУИ, т.е. голосовой интерфейс (). Он разрабатывался десятилетиями. В 1952 году Bell Laboratories создала систему (первый пользовательский интерфейс с голосовым управлением), даже опередив компьютер с голосовым управлением из «Звездного пути». Однако только недавно, в эпоху вездесущих облачных вычислений, потребители получили доступ к достаточной вычислительной мощности, чтобы их голоса могли быть услышаны и интерпретированы в режиме реального времени. Так что только сегодня мы наблюдаем рождение настоящего голосового пользовательского интерфейса (4).

Хотя голос является самым древним человеческим голосом и вдобавок кажется очень естественным и простым, перевести его в мир взаимодействия с машинами оказывается непростой задачей. Люди развивали искусство разговора на протяжении тысячелетий. Это навык, который они используют инстинктивно, каждый день, большую часть своей жизни. Речь — это один из первых навыков, которым мы учимся в детстве, и один из последних, который мы теряем в старости, спустя много времени после того, как наше зрение и моторика начинают ухудшаться. Так что же стоит на пути перевода наших естественных коммуникативных тенденций в мир машин?

Даже если просодия, то есть звуковые свойства речи. Он состоит из интонации, тона, акцентов и ритма, которые придают нашему голосу уникальный характер. «Секрет человеческого голоса — в мелодиях», — пишет он. Эмма Родеро, профессор факультета коммуникаций Университета Помпеу Фабра в Барселоне. Родеро много изучал нечеловеческие голоса. По ее мнению, кроме слов, которые мы используем, в речи происходит столько всего, что компьютер сложно обучить всем нюансам.

Тем не менее, многие трудности были преодолены, и в результате растет число устройства с голосовым управлениемтакие как Apple HomePod, Google Home и Amazon Echo. Голосовые интерфейсы помогают улучшить все виды пользовательского опыта, и некоторые люди считают, что к 2020 году голос будет обеспечивать 50% всех поисковых запросов.

Все пять ведущих технологических компаний мира — Microsoft, Google, Amazon, Apple и Facebook — создали голосовых помощников (или находятся в процессе).

Siri, AI-помощник для устройств Apple iOS и HomePod, помогает более 40 миллионам пользователей в месяц, и, по данным ComScore, сегодня в каждом десятом доме в США есть умная колонка.

Alexa, пожалуй, самый известный пример этой технологии — помощник ИИ для голосовых устройств Amazon, таких как умная колонка Echo и планшет Kindle Fire. Самые популярные приложения, связанные с Alexa (называемые навыками), сосредоточены на развлечениях, переводе и обмене сообщениями, хотя пользователи также могут выполнять такие действия, как заказ поездки с Uber, воспроизведение музыки через Spotify и даже заказ пиццы через сеть Domino.

Есть и более серьезные команды. В 2016 году Bank Capital One представил функционал, благодаря которому клиенты могут голосом проверять баланс своего счета и дату платежа и даже оплачивать счет по кредитной карте. Затем PayPal пошел еще дальше, позволив пользователям совершать платежи через Siri на iOS или Apple HomePod.

ComScore утверждает в своем исследовании, что люди чаще всего используют голосовой поиск во время вождения. Обновление информации о дорожном движении в режиме реального времени становится намного проще во время вождения с помощью Google Assistant и Android Auto, хотя в любой ситуации, когда пользователь не может прикоснуться к экрану (например, во время приготовления пищи, занятий спортом или многозадачности на работе), возможность голосового взаимодействия становится ценной. …

Тем не менее, очки

Для различных типов интерфейса нужны еще функциональные, удобные и, конечно же, портативные устройства. Многие думают, что это будут своеобразные очки. Например, продукт Snapchat под названием Привязка 3 (5). К очки дополненной реальностикоторый однажды может заменить смартфон в качестве нашего вычислительного устройства. Snap 3 мало чем отличается от своих предшественников. Они стильно оформлены и оснащены несколькими HD-камерами, предлагают возможность записывать 3D-видео без помощи рук, а затем загружать их в приложение Snapchat — и это почти все. В них нельзя смотреть фильм или что-то еще. В них нет встроенных дисплеев, как в проекте китайской компании TCL, описанном в этом выпуске.

5. Снапните 3 очка Snapchat

Тем не менее, считается, что эта модель очков — предвестник устройства, которое многие из нас будут носить через десять лет в качестве основного элемента компьютерного интерфейса. Очки будущего  не должно бросаться в глаза. Они должны быть легкий и удобный – Компании, производящие их, захотят, чтобы пользователи носили их весь день.

Они могут выглядеть как обычные пластиковые украшения. Поскольку они являются модным аксессуаром, они будут доступны во многих стилях и сочетания цветов. Производители будут снабжать их на фронте тем, что не менее двух камер. У них также может быть дополнительная камера глубины резкости, что-то вроде камеры TrueDepth на новых iPhone. Эта камера обеспечит более точное воспроизведение глубины в большем количестве слоев реального мира.

Благодаря встроенному массиву микрофонов очки могут предложить виртуальный помощник Алекса или Сири. Пользователь также может иметь возможность перемещаться по просматриваемому контенту через делать жесты руки перед фронтальными камерами устройства. Камеры, направленные в глаза пользователю, смогут отслеживать то, что он просматривает и выбирает. Например, текст будет автоматически прокручиваетсякогда глаза пользователя находятся внизу. Мгновение глаза может быть «щелчком» по кнопке или ссылке. Это не фантастика. Ручка управления окуляры теперь доступны в упомянутых очках/защитных очках TCL. Все остальные решения уже существуют.

Давайте представим, что к нам подходит подруга… Ее имя и часть нашей истории контактов появляются на дисплее наших очков. В свою очередь, во время вождения автомобиля мы можем видеть появляющуюся на маршруте различную информацию. В магазине нас будут атаковать уведомления об акциях и распродажах (6).

Экскурсию по музею можно дополнить аудиорассказом и графикой о просмотренных экспонатах. Благодаря этому типу оборудования мы будем играть в игры, похожие на «Pokémon GO», в которых мы будем взаимодействовать с персонажами и объектами, расположенными или скрытыми в реальных ландшафтах или внутренних помещениях.

6. Информация дополненной реальности отображается на очках

В долгосрочной перспективе такие проекты, как Google Glass и Snap Spectacles, можно рассматривать как ранние прототипы, тщательно принятые пользователями. Эти ранние продукты прокладывают путь для тех, кто может эффективно собрать все части воедино, включая хорошо спроектированный и простой в использовании продукт, который потребители в конечном итоге оценят.

Подключаешь мозг, может сингулярность переживешь

По мнению некоторых, последним рубежом в развитии машинных интерфейсов станут решения, связывающие мозг с компьютером. Я работаю над ними уже много лет.

Год назад был представлен еще один шаг к соединению человека и машины. Три человека, парализованные ниже шеи, могли использовать таблетки любым способом, не соответствующим их потребностям. Systemu (7). Это позволяло участникам эксперимента отправлять текстовые сообщения, просматривать страницы и слушать музыку. Эта система состоит из интерфейса мозг-машина. НейроПорт, программное обеспечение, которое переводит электрические сигналы от нейронов и интерфейс, который подключается к планшету через Bluetooth.

Использование мониторинга активности требовало от участников имплантации двух крошечных субдуральных имплантатов, состоящих из массивов из 96 электродов каждый. Электроды помещали в такие места моторной коры, чтобы можно было регистрировать активность, связанную с намерением двигать конечностями. Парализованные люди должны были представить, что они двигают курсор.

В системе электрические сигналы от моторной коры передаются на декодер и преобразуются в движения курсора на экране в реальном времени. Параметры движения, такие как скорость и направление, переходят к реальному курсору. Со стороны ПО планшет выглядит так, как будто к нему подключена беспроводная мышь. Следует, однако, добавить, что некоторые вещи по-прежнему отсутствуют. В этом эксперименте использовались планшеты с несколькими пальцами, интерфейс которых пока не может имитировать. Так что нельзя было, в частности, используйте жесты увеличения и уменьшения масштаба или перетаскивания содержимого. Например, не было возможности прокрутки контента в браузере.

В фильме «Апгрейд» (2018) главный герой Грей Трейс ранен в шею, а его жена убита пулей. Трейс просыпается и обнаруживает, что он не только потерял жену, но и имеет будущее в инвалидном кресле. Однако ему вживляют компьютерный чип Stem, разработанный известным изобретателем Эроном Кином, который позволит ему снова ходить. Стем на самом деле является искусственным интеллектом, который может «разговаривать» с персонажем так, что никто другой его не услышит. Может быть, она даже сможет взять под контроль его тело… Что было дальше, можно догадаться.

В 2012 году в рамках исследовательской программы, финансируемой Американским агентством перспективных оборонных исследовательских проектов (DARPA), 52-летний мужчина Ян Шойерманн, парализованная в течение десяти лет, неспособная двигать своим телом от шеи вниз, она стала первым человеком, который использовал интерфейс мозг-машина, чтобы преодолеть собственную инвалидность. Благодаря ученым Питтсбургского университета она снова смогла двигать рукой. Но не его, а механического.

Изначально врачи провели четырехчасовую операцию, в ходе которой в мозг Яна были вживлены сотни крохотных электродов — их поместили в область, контролирующую его правую руку. Затем часть черепа заменили пластиковым материалом — чтобы кабели можно было провести к специальным штекерам в голове пациента.

DARPA финансирует исследования такого рода интерфейсов с 70-х годов, и теперь оно хотело бы реализовать концепцию, аналогичную фильму «Обновление», но без вмешательства в тело. Цель программы нехирургических нейротехнологий (N3) — устранить необходимость в электродах, кабелях и операциях на головном мозге. Доктор Аль Эмонди, который руководит программой, поручил ученым из шести ведущих исследовательских институтов США разработать оборудование, которое может считывать мысли снаружи головы — достаточно маленькое, чтобы поместиться в кепке или подголовнике. По словам Эмонди, устройство должно не только передавать информацию в мозг в понятной мозгу форме, но и передавать информацию другим способом (8).

8. Визуализация системы нехирургической нейротехнологии

Эмонди дал ученым всего четыре года, чтобы довести новую технологию из лаборатории до состояния, когда ее можно будет испытать на людях. Это, пожалуй, самый амбициозный дизайн интерфейса мозга на данный момент. Даже план Илона Маска по интерфейсу мозг-компьютер, Neuralink, по-прежнему требует рискованной операции по встраиванию чипа в мозг, хотя вместо кабелей должна использоваться форма беспроводной связи.

– говорит Эмонди Би-би-си.

За этими дверями чрезвычайно смелые перспективы.

– – добавляет материал BBC Майкл Волмец, директор по исследованиям человеческого и машинного интеллекта в Лаборатории прикладной физики Джона Хопкинса в Лореле, штат Мэриленд. –

Для достижения цели интерфейса, который работает без необходимости хирургического вмешательства на головном мозге, команды Emondi работают с комбинацией методов, таких как ультразвук, магнитные и электрические поля и свет. Проблема состоит в том, чтобы отличить полезную нейронную активность от какофонии других шумов, издаваемых мозгом.

Вы также должны быть в состоянии уловить правильные сигналы через череп и скальп. Еще одна проблема — передача информации с устройства на компьютер и предоставление необходимых ответов за доли секунды. Кроме того, интерфейсы должны иметь «высокое разрешение» и иметь достаточную «пропускную способность» или каналы связи, чтобы иметь возможность, например, управлять настоящим дроном, а не кропотливо двигать манипулятором робота.

Никто в хорошей физической форме не решил имплантировать интерфейс, чтобы играть в видеоигры, такие как «Fortnite». И никто не знает, как бы это повлияло на его поведение, изменилось бы что-то, если бы чип был не в черепе, а в кепке, например. Тот факт, что это не инвазивная технология, не означает, что она не наносит вреда вашей нервной системе. Существуют, например, различные ограничения по здоровью, которые необходимо соблюдать — например, при использовании ультразвука следует ограничивать уровень давления, а при использовании электрического поля нельзя превышать определенные уровни мощности.

По мнению некоторых, разработка мощных интерфейсов мозг-компьютер могла бы даже помочь людям выжить в гипотетической технологическая сингулярность, то есть состояние, при котором искусственный интеллект начинает превосходить человеческий и способен воспроизводить себя. Затем мы могли бы использовать такие интерфейсы, чтобы модернизировать себя и конкурировать с новыми соперниками — или даже связаться с ИИ, co Элон Маск четко указано в материалах, рекламирующих решение Neuralink.