Научный взгляд в глаза

Движение человеческих глаз отражает происходящие в мозге когнитивные процессы. Сегодня специалисты в области нейронаук могут с точностью до миллисекунды отследить их параметры. Видеоокулография даёт ключ к пониманию многих вещей, в том числе связанных с процессами чтения, восприятия и порождения речи. IQ.HSE поговорил с ведущим научным сотрудником Института когнитивных нейронаук НИУ ВШЭ Андреем Мячиковым о том, в чём суть метода видеоокулографии или — на научном сленге — айтрекинга, и как он используется в психолингвистических исследованиях.

Андрей Мячиков,
ведущий научный сотрудник Центра
нейроэкономики и когнитивных исследований
Института когнитивных нейронаук НИУ ВШЭ

— Что дают учёным исследования особенностей движения глаз?

— Тут стоит сказать в первую очередь о том, насколько мы контролируем движение глаз. Мы легко можем дать себе установку посмотреть в одну сторону, в другую и т.д. — такие процессы безусловно находятся под контролем человека. Но большое количество параметров движения глаз остаются за пределами сознательного доступа, мы о них даже не подозреваем.

Для учёных это важно, потому что, исследуя глазодвигательное поведение, мы можем отслеживать те процессы, которые являются имплицитными. Например, если рядом с вами вдруг будет вспышка, вы обязательно обратите на неё внимание — не потому что скажете себе: «о, я сейчас туда посмотрю». Нет, это произойдет автоматически, ведь с эволюционной точки зрения очень важно быстро реагировать на появление разных объектов — потенциальных хищников, падающих камней и т.д. То есть глаза — не только «зеркало души», это своего рода — окно в мозг.

Таким образом с помощью метода видеоокулографии или айтрекинга мы можем выявлять, отслеживать, измерять процессы выполнения разных действий и процессы восприятия, которые не находятся под прямым постоянным контролем.

У человека, по сравнению с некоторыми другими животными, достаточно плохой слух и мы не очень чувствительны к запахам, но у нас достаточно хорошее зрение. Поэтому глаза для нас — важный источник получения перцептивной информации.

Движение глаз при этом можно разбить на множество параметров. В исследованиях мы опираемся на так называемую гипотезу — eye-mind hypothesis. Она заключается в том, что есть прямая взаимосвязь между тем, куда мы смотрим и на что направлен фокус нашего внимания, с одной стороны, и тем, что обрабатывает в этот момент наш мозг, с другой. Отсюда и самое простое объяснение, зачем нужен айтрекинг как учёным, так и прикладным специалистам — инженерам, дизайнерам, архитекторам и т.д.

Например, с помощью айтрекинга можно проводить исследования с целью оптимального, то есть в легкой доступности для глаз, распределения приборов в автомобилях или в самолетах. Разработчики веб-сайтов, приложений могут использовать айтрекинг, чтобы грамотно расположить различные иконки или ссылки — так, чтобы они привлекали внимание и чтобы ими было удобно пользоваться.

— В подобных исследованиях используются в основном тепловые карты?

— Да, в прикладных исследованиях часто достаточно так называемых температурных или тепловых карт (heat maps). Они представляют собой пятно, в котором цвет варьирует от красного до зелёного, отражая приблизительно, где человек смотрит больше или меньше.

На практике это выглядит примерно так — испытуемые изучают информацию на экране компьютера, в то время как учёные записывают движение их глаз. Затем рисуется такая температурная карта, которая накладывается на страницу веб-сайта. Красные области — это места, куда смотрели больше. При этом человек не всегда может наверняка помнить, куда он смотрел, а вот карта это очевидным образом покажет.

— Наверно в фундаментальных исследованиях этого мало? Какие ещё параметры движения глаз интересуют учёных?

— В научных исследованиях, особенно психолингвистических, нас интересуют более детальные и точные параметры, в том числе, конечно, те, которые вообще не находятся под сознательным контролем. Условно мы разделяем движение глаз на статичные и динамические. Статичные — это, например, фиксация и взгляд. Условно, когда человек фиксирует какой-то объект на экране — это статичный параметр, его можно измерить с точки зрения разных компонентов. Например, как долго испытуемый смотрит на этот предмет.

Если на экране 10 предметов, и нужно найти, например, букву Х среди букв П, то мы можем измерить время поиска, время реакции, частотность фиксации — то есть, сколько раз человек возвращался к одному и тому же объекту. Можно суммировать фиксации и измерить долготу взгляда — то есть понять, сколько времени человек за весь промежуток предъявления смотрел на определённый стимул. Однако фиксации тоже не совсем статичны.

— Во время фиксации глаз также совершает движение?

— Да, если вам кажется, что вы смотрите в одну точку, это не совсем так. Наши глаза постоянно находятся в движении. В одной из наших работ, например, мы анализируем один из таких динамичных параметров фиксации, а именно окулярный дрейф. Когда мы смотрим на какой-то объект на экране, глаза на самом деле как бы дрейфует вокруг него. Данным параметром, который, естественно, не находится под контролем человека, исследователи ранее мало занимались в применении к когнитивным процессам.

Он интересен с той точки зрения, что позволяет отслеживать самые что ни на есть имплицитные процессы. То есть до того, как человек перемещает внимание и, соответственно, взгляд в какую-либо точку, уже происходят миниатюрные изменения позиции фиксации, предшествующие собственно перемещению взгляда — саккаде. Таким образом можно отделить самые начальные и имплицитные параметры смещения внимания и сопутствующие им движения глаз.

— Что такое динамические параметры движения глаз?

— В первую очередь здесь можно привести уже упомянутый пример саккад. Это быстрое согласованное движение глаз в определенном направлении. Например, если вы смотрите на курсор, я его переведу в другую точку экрана и ваши глаза переместятся на эту точку — это и будет саккада.

Данный параметр также очень интересен для исследователей. Во время эксперимента мы можем дать, например, подсказку, что справа на экране появится объект. Мозг начинает программировать эту саккаду, и можно измерять различные параметры, связанные с тем, как быстро саккада будет подготовлена и запущена.

Интересно, что во время саккады человек остаётся как бы слепым. Это связано с так называемым феноменом change blindness. Например, в одном известном эксперименте испытуемые смотрели на фотографии на экране — и по мере того как они сканировали изображение, исходное изображение менялось на изменённую версию — скажем, два человека на скамейке «менялись головами». Когда такое изменение происходило во время саккады, испытуемые часто его не замечали.

Вообще саккады представляют собой очень интересный параметр для учёных — можно считать время реакции, скорость саккады, её амплитуду и т.д. Интересно, что многие параметры саккад традиционно считаются баллистическими, то есть такими, которые невозможно изменить после запуска саккады — то есть во время саккадического полёта глаза.

Мы ещё иногда говорим «баллистические параметры саккад являются когнитивно непроницаемыми». Это значит, что они не могут отражать такие процессы, как обработка смысла или значения воспринимаемого стимула, к примеру, слова.

Однако в последнее время появились исследования, показывающие, что это не совсем так. Например, в одной из работ испытуемым нужно было прочитать и запомнить слово, смысл которого связан с верхней или нижней частью пространства. Скажем, облако или червяк. После этого предъявлялся визуальный стимул либо в соответствующей смыслу слова части экрана (скажем, в верхней части экрана после слова облако), либо в противоположной.

Такие условия мы часто называем конгруэнтными и не конгруэнтными. Так вот, когда визуальный стимул предъявлялся в конгруэнтной части экрана, саккады к этому стимулу как бы перелетали его, то есть, «приземлялись» чуть выше. Это значит, что пространственный смысл слова повлиял на амплитуду саккады, увеличив её. А ведь ранее считалось, что амплитуда саккады — как раз один из таких баллистических «когнитивно непроницаемых» параметров.

— А увеличение или сужение зрачка глаза является предметом айтрекинговых исследований?

— Да, это ещё один важный и интересный компонент движения глаз. Кроме того, что зрачок очевидно реагирует на количество света, яркость воспринимаемого сигнала и т.д., изменение его размера также коррелирует с различными когнитивными параметрами, например, со сложностью выполняемой испытуемым задачи. И нейрокогнитивная природа этого феномена пока не очень ясна. Однако само явление даёт возможность много чего исследовать, фиксируя параметры расширения и сужения зрачка, в том числе в прикладных исследованиях — при использовании тех же веб-страниц, приложений и т.п.

— В каких временных масштабах могут быть рассмотрены параметры движения глаз?

— Мы можем оценить любые параметры движения глаз на миллисекундном уровне. Технически это выглядит так: айтрекер пишет огромный текстовый файл, в котором каждая строка отражает параметры движения глаз в отдельную миллисекунду. Таким образом каждую миллисекунду мы можем видеть, находится ли глаз в фиксации или в саккаде. Если в саккаде, то можно увидеть её угол, скорость, амплитуду.

— Насколько айтрекинг доступный метод, с точки зрения проведения научных исследований?

— Это достаточно бюджетный и доступный метод. Не нужно лезть в мозг напрямую — крепить что-то на голову, помещать человека в сканер МРТ и тратить, соответственно, миллионы на то, чтобы установить необходимые приборы и обучить персонал.

Стоить отметить, что существующие сегодня технологии позволяют корегистрировать — то есть регистрировать одновременно — движение глаз и работу мозга. Мы можем отслеживать всё это на одной временной шкале с максимальной точностью — и понимать, в связи с каким процессом, происходящим сейчас в мозге, связаны сопутствующие ему движения глаз.

В целом — это очень богатая методология, которая не требует больших затрат в применении и к фундаментальным, и к прикладным, и к клиническим исследованиям. Движение глаз традиционно используют, например, как корреляты некоторых психических нарушений, нарушений работы мозга и т.д.

— Как устроены современные айтрекеры?

— Когда исследования движения глаз только начинались, это была очень болезненная история для испытуемых, потому что фактически людям надевали линзы на глаза и вставляли в глаза провода, чтобы считывать движение глазного яблока. Современные оптические айтрекеры неинвазивны. Они могут быть портативными, например, очки с записывающими устройствами, которые могут находиться где-нибудь в кармане или рюкзаке. Можно, например, отправить человека в них в магазин или предложить изучать какой-нибудь сайт.

Также айтрекеры можно установить в школах и сделать исследования с детьми. Или прийти с ними в больницу и провести эксперимент с участием пациентов, людей с ограниченной мобильностью. Здесь, возвращаясь к вопросу о доступности, мы свободны в отношении того, когда и где мы можем использовать метод. Для него не нужно много места и ряда каких-то специфических условий — например, звукоизоляции.

Если говорить непосредственно о технологиях, то есть разные методы записи движений глаз. Мы пользуемся, в первую очередь, оптическими айтрекерами. Они максимально точные, что особенно важно для психолингвистических исследований. Внешне такой прибор выглядит как компьютер, под которым находится записывающее устройство — камера. Чаще всего при этом используется поддержка для головы. Во время исследования на экране предъявляются различные стимулы и параллельно записывается движение глаз.

— У вас с коллегами недавно вышла статья о методах айтрекинга в психолингвистике. Расскажите, пожалуйста, каким образом айтрекинг используется в психолингвистических исследованиях?

— Айтрекинг традиционно использовался для анализа процесса чтения. В этом смысле мы часто исходим из того, что различные параметры движения глаз связаны с пониманием и восприятием прочитанного.

В подобных исследованиях учёным интересно, например, какие слова дольше фиксируются глазом, какие, наоборот, меньше, какие вызывают так называемые регрессивные саккады, когда слово уже прочитано, но человек возвращается к нему несколько раз, чтобы уточнить смысл, а какие слова, наоборот, пропускаются. Чем более предсказуемо слово, тем чаще оно вообще пропускается глазом.

Стоит отметить, что масса слов может никак не фиксироваться глазом, а между тем человек их прочитал — мозг как бы их подразумевает. И этот феномен очень интересен с точки зрения того, как работает система внимания и восприятия.

В исследованиях чтения с использованием метода айтрекинга можно анализировать, например, насколько та или иная фонологическая структура слова или само слово частотно (часто встречающееся) или нет. Так, слово «стол» очень частотное, а, скажем, «идиосинкразия» — нет.

Также можно анализировать длину слов, сложность, функциональность, орфографию и т.д., вплоть до синтаксиса. Допустим, насколько то или иное слово уместно в заданной синтаксической структуре или нет.

— Помимо чтения, какие области психолингвистики исследуются с применением метода айтрекинга?

— Это области, связанные с восприятием, порождением речи, а также обучением языкам и феноменом билингвизма. Приведу пример того, как проводятся исследования на восприятие речи. Человеку на экране может демонстрироваться ряд объектов и параллельно с этим предъявляться предложение, связанное с описанием этих объектов.

Допустим на экране есть мама, рама, автобус. Развертывается последовательно фраза. Предположим, «Мама…мыла…раму», а в это время мы смотрим, как человек распределяет движение глаз, воспринимая предложения об этих объектах.

На этапе, когда звучит: «Мама…мыла…», испытуемый зачастую смотрит на раму раньше, чем услышит само слово, потому что мозг делает соответствующее предсказание. А если на экран добавить какую-нибудь интересного «конкурента» — например, «ламу», которая по звучанию похожа на «раму», то мы увидим, что в течение каких-нибудь 50-100 миллисекунд эти два объекта будут соревноваться за доступ к обработке.

— Ваша диссертационная работа была посвящена порождению речи. Расскажите, пожалуйста, как проводятся исследования в этом направлении?

— Схожим образом. Здесь также используется парадигма визуального мира. Человеку предлагается какая-нибудь картинка, которую необходимо описать. На этой картинке могут быть выделены, например, взаимодействующие объекты, что-то может быть преподнесено, как более заметное, скажем, более яркое или более крупное.

Меня, например, больше всего интересовал выбор синтаксической структуры, — что становится подлежащим, что дополнением. Условно говоря, в простом предложении, например: «Мальчик поцеловал девочку», или наоборот: «Девочка поцеловала мальчика». То есть интересно, как происходит выбор при порождении речи подлежащего — кто кого поцеловал. Или вообще предложение может звучать таким образом: «Мальчик и девочка целовались». Или другой пример альтернативных структур предложения: «Петя подрался с Васей», «Вася подрался с Петей», «Петя и Вася подрались».

Выбор подлежащего может осуществляться с опорой на то, что более выделено, привлекает внимание. В исследовании, проведённом в НИУ ВШЭ вместе с Михаилом Походаем и Юрием Штыровым, мы продемонстрировали, что выбор порядка слов в русском языке осуществляется в зависимости от распределения внимания говорящего. Внимание на объект предопределяет его более раннее упоминание в предложении и вероятность того, что это слово станет ключевым членом предложения, например, подлежащим.

Условно говоря, если мы внимание говорящего сместили на мальчика, который целует девочку, то человек с большей вероятностью скажет «мальчик целует девочку», а если на девочку, то наоборот. Казалось бы тривиально, но на самом деле, с точки зрения лингвистической категории порождения языка, не совсем.

Благодаря подобным экспериментам, мы видим прямую взаимосвязь между распределением внимания говорящего и выбором порядка слов или синтаксической рамки. То есть фактически мы видим, каким образом выстраивается речь на уровне системы внимания. Если говорить о практической плоскости, то результаты подобных исследований могут использоваться в обучении языкам, написании рекламных текстов и т.д.

— Что интересного методы айтрекинга помогли понять о билингвизме?

— Есть интересное исследование американских учёных, в котором участвовали русско-английские билингвы — то есть русскоязычные люди, проживающие в США. Оно проходило следующим образом: на экране, к примеру, размещалась почтовая марка, фломастер (маркер) и ещё пара каких-то объектов. Была задана инструкция, что нужно курсором мыши переместить марку или маркер из одного квадрата в другой. Важно в данном случае то, что марка и маркер звучат практически одинаково на обоих языках.

Когда звучит инструкция на английском, например: «move the marker to the green square», в тот момент, пока человек слышит часть слова, — mar — то есть пока слово «разворачивается», можно увидеть, как глаз прыгает между маркой и маркером. В это время в лексиконе билингва происходит соревнование между этими двумя словами — до тех пор, пока мозгу не станет очевидно, что речь идёт о маркере, а не о марке.

Важно понимать, как подобные процессы протекают у монолингвов (говорящих на одном языке) и билингвов. Анализ движения глаз позволяет оценить структуру и природу монолингвистичного и билингвистического лексикона. Исследования показывают, что слова нового языка фактически встраиваются в лексикон, который уже имеется. То есть нет некоей отдельной области мозга в голове, которая хранит английские слова и области, которая хранит русские. Есть общее хранилище, куда встраиваются новые слова, в том числе с опорой на те правила, которые уже соответствуют существующему в сознании лексикону.

Таким образом, если мы уже знаем русское слово «марка», и появляется английское «marker», то оно встраивается таким образом, что слова начинают взаимодействовать. И когда есть подобное, как в эксперименте, соревнование между этими словами, можно наблюдать, как они коактивированы — то есть активированы параллельно.

— Какие в настоящее время проводятся исследования в НИУ ВШЭ с применением метода айтрекинга, в том числе в рамках стратегического проекта «Устойчивый мозг: нейрокогнитивные технологии адаптации, обучения, развития и реабилитации человека в изменяющейся среде»?

— Сейчас широкая линейка исследований проводится под руководством Анны Измайловой из Центра нейроэкономики и когнитивных исследований ИКН НИУ ВШЭ. Её интересуют процессы чтения, а также вопросы, связанные с обучением второму иностранному языку. В ходе своих исследований Анна пытается разрабатывать методики, оптимизирующие стратегии обучения второму языку, и в этих работах активно используется айтрекинг.

В НИУ ВШЭ есть уникальная научная установка (УНУ), которая работает в рамках правительственного гранта. Исследования с её использованием также включают айтрекинг. В том числе мы продолжаем заниматься исследованиями взаимосвязи между движениями глаз и вниманием, выбором порядка слов и синтаксической структуры говорящим. Помимо этого работаем в рамках проекта «Научные центры мирового уровня» (НЦМУ).
IQ

Автор текста: Селина Марина Владимировна, 14 ноября, 2023 г.