Искусственный интеллект не следует логике научного прогресса
Технологии

Искусственный интеллект не следует логике научного прогресса

Мы много раз писали в МТ об исследователях и специалистах, которые провозглашают системы машинного обучения «черными ящиками» (1) даже для тех, кто их строит. Это затрудняет оценку результатов и повторное использование появляющихся алгоритмов.

Нейронные сети — техника, дающая нам интеллектуальных конвертирующих ботов и гениальные текстовые генераторы, способные даже создавать стихи — для сторонних наблюдателей остается непостижимой загадкой.

Они становятся больше и сложнее, обрабатывают огромные наборы данных и используют массивные вычислительные массивы. Это делает тиражирование и анализ полученных моделей затратным, а иногда и невозможным для других исследователей, за исключением крупных центров с огромными бюджетами.

Многие ученые хорошо понимают эту проблему. Среди них Жоэль Пино (2), председатель NeurIPS, главной конференции по «воспроизводимости». Эксперты под ее руководством хотят создать «контрольный список воспроизводимости».

Идея, по словам Пино, состоит в том, чтобы побудить исследователей предложить другим дорожную карту, чтобы у них была возможность воссоздать и использовать уже проделанную работу. Вы можете восхищаться красноречием нового текстового генератора или сверхчеловеческой ловкостью робота видеоигры, но даже лучшие специалисты понятия не имеют, как работают эти чудеса. Поэтому воспроизведение моделей ИИ важно не только для определения новых целей и направлений исследований, но и как чисто практическое руководство по использованию.

Другие пытаются решить эту проблему. Исследователи Google предложили «карточки моделей», чтобы подробно описать, как тестировались системы, включая результаты, указывающие на потенциальные ошибки. Исследователи из Института искусственного интеллекта Аллена (AI2) опубликовали статью, целью которой является расширение контрольного списка воспроизводимости Пино на другие этапы экспериментального процесса. «Покажи свою работу», — призывают они.

Иногда основная информация отсутствует, потому что исследовательский проект является собственностью, особенно лабораторий, работающих на компании. Однако чаще это признак неспособности описать изменяющиеся и усложняющиеся методы исследования. Нейронные сети — очень сложная область. Для получения лучших результатов часто требуется тонкая настройка тысяч «ручек и кнопок», которую некоторые называют «черной магией». Выбор оптимальной модели часто связан с проведением большого количества экспериментов. Магия становится очень дорогой.

Например, когда Facebook попытался воспроизвести работу AlphaGo, системы, разработанной DeepMind Alphabet, задача оказалась чрезвычайно сложной. Огромные вычислительные требования, миллионы экспериментов на тысячах устройств в течение многих дней в сочетании с отсутствием кода сделали систему «очень сложной, если не невозможной, для воссоздания, тестирования, улучшения и расширения», по оценке сотрудников Facebook.

Проблема видимо специализированная. Однако, если задуматься дальше, феномен проблем с воспроизводимостью результатов и функций между одним исследовательским коллективом и другим подрывает всю известную нам логику функционирования науки и исследовательских процессов. Как правило, результаты предыдущих исследований могут быть использованы в качестве основы для дальнейших исследований, которые стимулируют развитие знаний, технологий и общего прогресса.

Добавить комментарий