Исследователи ВШБ создали модель для автоматического выявления токсичных комментариев, написанных на русском языке.

Результаты работы опубликованы в сборнике IEEE International Conference on Business Informatics. Токсичная речь в онлайн-беседах может привести не только к негативным последствиям для психического здоровья, но и к насилию в реальном мире. Под токсичностью в интернете понимают грубый, неуважительный или необоснованный комментарий, который может заставить людей покинуть обсуждение или отказаться от того, чтобы делиться своей точкой зрения.
 

Ученые Высшей школы экономики изучили, какие темы вызывают наиболее острые комментарии, на примере социальной сети «Пикабу». Для этого была создана модель машинного обучения, которая способна автоматически определять токсичные комментарии на русском языке, а также разработана методология для категоризации постов по разным темам.
 

Исследователи отобрали корпус из 521 050 постов и 19 275 438 комментариев, размещенных в 2019 году. Для исследования были взяты темы, которые относятся к основным направлениям измерения субъективного благополучия: политика, здоровье, социально-экономическое развитие, безопасность, окружающая среда, возможности трудоустройства.

В отличие от предыдущих работ, ученые не только сосредоточились на тренировке модели, но и опробовали ее на практике. В рамках исследования была создана модель ToxicRuBERT- TPikabu, которая может автоматически определять токсичные комментарии, написанные на русском языке. Поскольку обучение подобных нейронных сетей требует значительного количества вычислительных мощностей, авторы исследования использовали суперкомпьютер НИУ ВШЭ. «Для классификации токсичных комментариев мы вручную разметили набор данных через Yandex.Toloka и провели эксперименты по обучению классификаторов на основе языковых моделей RuBERT и ToxicRuBERT. В наших исследованиях по классификации токсичности и настроений в русскоязычных текстах эти модели демонстрировали более высокое качество классификации, чем другие», — рассказывает соавтор исследования, аспирант департамента бизнес-информатики Высшей школы бизнеса НИУ ВШЭ Сергей Сметанин.
 

Анализ постов «Пикабу» показал, что наибольшая доля токсичных комментариев была под постами о политике (вполне ожидаемо), темы безопасности и социально-экономического развития заняли второе и третье места, а остальные темы показали примерно одинаковые значения. «Будущие исследования могут быть связаны с изучением особенностей распространения токсичного контента. Некоторые исследования уже показывают, что такой стиль может быть заразным: грубость и неуважение к собеседнику со стороны одного пользователя приводят к тому, что и другие пользователи отвечают в схожем ключе», — рассказывает Сергей Сметанин.