Не верь глазам своим – почему ИИ присылает фейковые ссылки и выдумывает информацию. “База” поговорила с экспертами и узнала, как нейросети верифицируют данные, а также выяснила, что такое ИИ-галлюцинация. 

Возможности искусственного интеллекта сегодня уже поражают воображение. Однако полностью доверять нейросетям нельзя – пользователи то и дело сталкиваются с тем, что система выдает так называемые “галлюцинации” – несуществующие или устаревшие ссылки, а также искаженные данные. Например, Chicago Sun-Times предложила читателям список интересных книг на лето – позже выяснилось, что редактор воспользовался чат-ботом и книги из этого списка не существуют. Почему так происходит? 

По словам ведущего разработчика MWS AI (входит в МТС Web Services, ранее — MTS AI), Ивана Копылова, все дело в алгоритмах работы модели. 

«Языковые модели иногда создают фейковые или несуществующие ссылки, потому что опираются на данные, на которых обучались. И если у них нет доступа к интернету, то они используют сохраненные веб-страницы из своей базы. Модель не проверяет, существует ли URL на самом деле — она просто комбинирует знакомые шаблоны, создавая правдоподобную, но вымышленную ссылку.  Даже если у модели есть доступ в интернет, она не может гарантировать достоверность информации, так как не переходит по ссылкам и не анализирует содержимое сайтов».  

Такого же мнения придерживается руководитель группы исследований и разработки технологий машинного обучения в  «Лаборатории Касперского» Владислав Тушканов: 

«Большие языковые модели – своего рода «воспоминание» о том контенте, на котором они учились. Если человека попросить вспомнить какую-нибудь сцену из кино, он вспомнит основные детали, но может не вспомнить, например, цвет глаз актера или номер автомобиля. Так и большие языковые модели – когда обсуждаешь с ними общие темы, все работает хорошо, но, когда нужно получить точные данные (например, даты, ссылки в интернете, адреса и т.д.), они могут начать выдумывать, т.е. генерировать текст, в котором есть факты, не соответствующие действительности. Этот феномен называется галлюцинациями».

Сейчас точность ИИ – это активная область исследований. Один из современных методов борьбы с галлюцинации модели – RAG (Retrieval-Augmented Generation). В этом случае модель сначала ищет информацию в проверенных источниках, а затем формирует ответ. Также модель могут дообучать на тщательно подобранных данных и настраивать ее так, чтобы она маркировала спорную информации. Кроме этого, сейчас идет разработка моделей с объяснением хода мыслей – это повышает прозрачность ее работы и снижает количество ошибок. Помогать в обучении будут особые специалисты по промт-инжинирингу, которые будут настраивать ИИ для работы с достоверными данными, считает Иван Копылов. 

Оба эксперта отмечают, что сейчас ИИ стремится дать убедительный ответ любой ценой и угодить пользователи, даже если у нее недостаточно данных. В таких случаях получить достоверные ответы помогает перезапуск диалога и уточнение запроса – нужно попросить нейросеть проверить ссылки через поиск и основывать ответ только на существующие статьи. Однако и это не панацея. По словам экспертов, хотя нейросети уже научились решать сложные задачи, человек всегда должен помнить, что информацию нужно проверять и верифицировать. «Нейросеть — это инструмент, как лопата. Разобрать то, что она выкопала, должен человек», – говорит Иван Копылов.

😊 Подписывайтесь, это Baza