Модель из НИУ ВШЭ научилась выявлять самые токсичные онлайн-комментарии

Исследователи Высшей школы бизнеса НИУ ВШЭ создали модель, которая может автоматически выявлять токсичные комментарии, написанные на русском языке. Алгоритм определил их долю среди разных тем в социальной сети «Пикабу». Больше всего таких записей было под постами о политике. Темы безопасности и социально-экономического развития заняли второе и третье места. Результаты работы опубликованы в сборнике IEEE International Conference on Business Informatics.

Токсичная речь в онлайн-беседах может привести не только к негативным последствиям для психического здоровья, но и к насилию в реальном мире. Под токсичностью в интернете понимают грубый, неуважительный или необоснованный комментарий, который может заставить людей покинуть обсуждение или отказаться от того, чтобы делиться своей точкой зрения.

Учёные Высшей школы экономики изучили, какие темы вызывают наиболее острые комментарии, на примере социальной сети «Пикабу». Для этого была создана модель машинного обучения, которая способна автоматически определять токсичные комментарии на русском языке, а также разработана методология для категоризации постов по разным темам.

Исследователи отобрали корпус из 521 050 постов и 19 275 438 комментариев, размещенных в 2019 году. Для исследования были взяты темы, которые относятся к основным направлениям измерения субъективного благополучия: политика, здоровье, социально-экономическое развитие, безопасность, окружающая среда, возможности трудоустройства.

В отличие от предыдущих работ, ученые не только сосредоточились на тренировке модели, но и опробовали её на практике. В рамках исследования была создана модель ToxicRuBERT-TPikabu, которая может автоматически определять токсичные комментарии, написанные на русском языке. Поскольку обучение подобных нейронных сетей требует значительного количества вычислительных мощностей, авторы исследования использовали суперкомпьютер НИУ ВШЭ.

«Для классификации токсичных комментариев мы вручную разметили набор данных через Yandex.Toloka и провели эксперименты по обучению классификаторов на основе языковых моделей RuBERT и ToxicRuBERT. В наших исследованиях по классификации токсичности и настроений в русскоязычных текстах эти модели демонстрировали более высокое качество классификации, чем другие», — рассказывает соавтор исследования, аспирант департамента бизнес-информатики Высшей школы бизнеса НИУ ВШЭ Сергей Сметанин.

Анализ постов «Пикабу» показал, что наибольшая доля токсичных комментариев была под постами о политике, что вполне ожидаемо, а вот посты о безопасности и социально-экономическом развитии оказались на втором и третьем местах. Остальные темы продемонстрировали примерно одинаковые значения.

Будущие исследования могут быть связаны с изучением особенностей распространения токсичного контента. Некоторые исследования уже показывают, что такой стиль  может быть заразным: грубость и неуважение к собеседнику  со стороны одного пользователя приводят к тому, что и другие пользователи отвечают в схожем ключе.

Сметанин Сергей Игоревич

IQ

Автор текста: Солодухин Юрий Олегович, 6 октября, 2022 г.