В РФ разработали подход, помогающий нейросетям лучше распознавать юмор
ТАСС, 11 января. Российские исследователи разработали подход, который позволяет подобрать такие наборы данных для обучения языковых нейросетей, которые помогут этим системам ИИ научиться более точно распознавать юмор и отличать его от других форм контента. Об этом в четверг сообщила пресс-служба НИУ ВШЭ.
"Ученые предложили изменить подход к обучению и оценке моделей распознавания юмора. Нужны новые датасеты, более разнообразные и близкие к обычным разговорам, естественному общению. Большие языковые модели, обученные на огромных массивах данных разных типов, в среднем хорошо справляются с распознаванием юмора, и ученые предполагают, что дело именно в разнообразии данных, на которых они учились", - говорится в сообщении.
К такому выводу пришла группа российских исследователей под руководством доцента факультета компьютерных наук НИУ ВШЭ Павла Браславского при изучении того, как существующие нейросетевые алгоритмы справляются с распознаванием разных форм человеческого юмора. В ходе этих экспериментов ученые оценили, как разные подходы к обучению языковых моделей и применяемые при этом наборы данных влияют на способность нейросети отличать юмор от других форм контента.
Исследователи изучили способность распознавать юмор как у относительно простых нейросетей на базе алгоритма RoBERTa, так и у передовых больших языковых моделей, таких как ChatGPT и Flan-UL2. Помимо стандартизированных тестов на юмор, ученые проверили, смогут ли нейросети уловить юмор или его отсутствие в диалогах из произведений Льюиса Кэрролла, Чарльза Диккенса, Джерома К. Джерома, нескольких сериалов, а также в ироничных сообщениях из соцсетей.
Новый подход к обучению нейросетей
"Мы показали разным моделям "Лавку древностей" Диккенса, а это очень грустная история, и попросили оценить происходящее. Выяснилось, что некоторые модели считают, что все диалоги из литературы XIX века смешные. И даже больше: все, что слишком непохоже на новости XXI века, воспринимается ими как юмор", - пояснил один из авторов исследования Александр Баранов, чьи слова приводит пресс-служба НИУ ВШЭ.
Эта проблема, как отмечают ученые, была в большей степени характерна для алгоритмов, обученных на однообразных и объемных наборах данных. В противоположность этому нейросети, натренированные на наборах из небольших частей разных коллекций текстов, значительно успешнее справлялись с задачей распознавания юмора. По мнению исследователей, это говорит о необходимости повышения разнообразия примеров юмора при обучении языковых нейросетей.
В пользу этого, в частности, свидетельствует и то, что ChatGPT и Flan-UL2, обученные на очень больших и разнообразных наборах текстов, в среднем заметно лучше справлялись с распознаванием юмора, чем это удавалось делать узкоспециализированым нейросетям на базе алгоритма RoBERTa. Понимание этого, как надеются ученые, значительно повысит качество работы голосовых помощников и прочих систем ИИ, которые часто сталкиваются с шутками и другими проявлениями человеческого юмора.