Милый лжец Женя Густман

В уже далеком 2014 году чатбот Eugene Goostman (Женя Густман) победил в соревнованиях по прохождению теста Тьюринга. Их организовал британский учёный-кибернетик Кевин Уоррик к 60-летию со дня смерти знаменитого математика Алана Тьюринга. За отведённые на тестирование пять минут программа убедила две трети судей в том, что они общаются с живым человеком, а не машиной, — и формально выполнила требования самого известного теста для искусственного интеллекта. IQ.HSE поговорил с одним из создателей чатбота, а ныне — разработчиком Amazon Web Services Владимиром Веселовым.

Владимир Веселов,
разработчик чатбота Eugene Goostman,
сотрудник Amazon Web Services

— С момента того громкого успеха прошло немало времени. Развивается ли проект сегодня?

— Саму технологию приобрела компания i-Free, переработав её для своих «разговорных» продуктов под маркой Just AI. Да и разработками чатботов я уже практически не занимаюсь, разве что в качестве примеров — в образовательных целях — сделал пару простых программ на JavaScript. На работе — в отделе Envision Engineering — мы занимаемся разработкой прототипов приложений для государственных структур и неправительственных организаций.

— Тогда давайте вернёмся в самое начало. Откуда появился Женя Густман и что у него «внутри»?

— Самое начало — это ещё 2001 год, когда мы с Евгением Демченко и Сергеем Уласенем занялись разработкой платформы для высокоуровнего программирования приложений. По сути, это Java-фреймворк, который позволяет описывать сложные алгоритмы с помощью довольно понятного людям языка высокого уровня. Чатботы — только один из вариантов его использования, довольно наглядный и удобный. Мы создали и другие демонстрации применения платформы — например, для страховых компаний, для расчётов выплат.

Первую версию чатбота на основе уже готовой платформы мы создали за несколько месяцев и подали его для участия в конкурсе на премию Лёбнера, став там третьими. Никаких нейронных сетей там, конечно, нет — это программа, которая основана на правилах. Для имитации речи она может пользоваться определённым набором паттернов, шаблонов построения фраз, которые связаны с конкретными фразами собеседника.

Премия Лёбнера присуждается победителям конкурса AI Loebner, в котором программы соревнуются в прохождении теста Тьюринга, в соответствии с определёнными правилами. Разработчики системы, которой это удастся, получат серебряную медаль и вознаграждение в 25 тыс. долларов. Авторам программы, которая пройдёт тест с использованием не только текстовой, но также визуальной и звуковой информации, вручат золотую медаль и 100 тыс. долларов. До сих пор эти награды не присуждались, и за первое место в ежегодном конкурсе выдается бронзовая медаль.

Алгоритм использует и другие приёмы: запоминает сказанное, чтобы не повторяться, пытается узнать и ввернуть в свою речь информацию о собеседнике. У него есть проверка грамматики, позволяющая реагировать на случайную «абракадабру». Кроме того, программа может обращаться к собственной базе данных, где собраны некоторые понятия об окружающем мире. Есть контроллер диалога — если программа не поняла полученную фразу, хотя видит, что построена она грамматически верно, она может перевести разговор на другую тему.

Жаль, что нам в силу нехватки ресурсов удалось охватить контроллером диалога всего две темы: «профессии» и «место, в котором ты живёшь». Это позволяло Жене в течение какого-то времени разговора изображать вполне нормального человека — к сожалению, не очень долго. Но для конкурсов этого достаточно: свой первый главный приз наш чатбот взял ещё в 2012 году, хотя сам тест Тьюринга тогда и не прошёл.

Мы учитывали даже задержку ответа, имитирующую процесс набора текста на клавиатуре. За те пять минут, которые по правилам конкурса 2014 года были отведены на диалог, чатбот с жюри успевали обменяться 6-12 вопросами и ответами. В конкурсах на премию Лёбнера время уже 15 минут. Поэтому в этих соревнованиях Женя обычно выдавал себя уже на 8-9 минуте, когда его база знаний иссякала и начинались слишком явные повторы, или диалог уходил в более глубокие темы.

Женя Густман и сегодня «живее всех живых». Вы можете пообщаться с чатботом по ссылке.

— Программа действительно «притворялась» Женей Густманом, одесским школьником, который плохо ориентировался в западной культуре и не слишком хорошо пользовался английским. Откуда взялся этот образ и насколько важным он стал для успеха в конкурсе 2014 года?

— Образ Густмана придумал Евгений Демченко. Поэтому его и зовут Женя. В тот момент Женя казался совершенно естественным выбором и появился без какой-либо далеко идущей мысли. Для всех нас английский — не родной, и мы не смогли бы в полной мере работать с языковыми шаблонами и фразами. Мы недостаточно знаем разговорных словечек, традицию и культуру, чтобы имитировать жителя Америки или Европы. Выбрав образ «соотечественника», мы не смогли бы адекватно наполнить ни словарь, ни базу знаний.

— Считаете ли вы сами, что тест Тьюринга в итоге был Женей пройден?

— В том варианте, который определил Тьюринг, в том, который определили организаторы соревнований, — он, безусловно, пройден. Но как это связано с сильным искусственным интеллектом? Конечно, никак. Даже сейчас, когда появились нейросети, о достижении человеческого интеллекта говорить нельзя. Их ответы неосознанны, по сути это просто статистические корреляции, найденные при глубоком обучении.

Исходный тест Тьюринга вообще не об этом, не об интеллекте. Сам Тьюринг описывал, скорее, алгоритм, позволяющий находить ответы на вопросы, пользуясь базой знаний. По его предсказаниям, в 2000 году оперативная память компьютеров должна была достигнуть гигабайта, и это позволит имитировать диалог так, что отличить его от человеческого можно будет не более чем в 70% случаев.

Организаторы конкурса опирались именно на его оригинальные работы, когда формулировали правила. А оригинальные работы говорят не об искусственном интеллекте, а о возможностях машины вести разговор. И получается, что предсказания Тьюринга сбылись: и памяти стало больше гигабайта, и диалог получается вполне естественным.

Но вот рассуждения об искусственном интеллекте лично я не очень люблю. Это напрасная трата времени. Мы занимаемся не интеллектом, наша задача — автоматизировать определённый узкий класс задач, например, вопросно-ответную систему. Как это решить, с помощью алгоритмов или нейросетей, и каких именно, — уже не так важно.

На самом деле, большой нужды в глубоком обучении для прохождения теста Тьюринга нет. Программа Mitsuku, которая много лет уверенно побеждала в конкурсе на приз Лёбнера, реализована безо всяких нейросетей, на основе классического подхода с набором правил, шаблонами и базой знаний. Даже современные голосовые помощники, я думаю, используют аналогичные решения.

Нейросети так же не могут решить проблему обобщения информации. Существующие искусственные интеллекты просто основываются на статистике, на корреляциях. Они не могут концептуализировать, учитывать контекст разговора и отношения к собеседнику. И для простого диалога и даже для прохождения теста Тьюринга это и не требуется. Но всё это понадобится для полноценного «человеческого» разговора с компьютером.
IQ
 

Авторы текста: Роман Фишман, Даниил Кузнецов

Автор текста: Кузнецов Даниил Александрович, 23 ноября, 2023 г.