Пользователи нейросетей всё чаще жалуются на то, что ИИ лжет и выдумывает факты. Более того, делают нейросети это настолько уверенно и продуманно, что отличить правду от вымысла порой бывает очень непросто.

У специалистов уже появился отдельный термин – ИИ-галлюцинации – это когда на ваш запрос нейронка выдаёт текст, который выглядит правдоподобно, но содержит фейковые факты.

Феномен «лживого ИИ» по сути своей прост: в нейронке нет встроенного детектора или понимания «правды» – система просто комбинирует вероятные ответы на основе того, чему её научили. И если в данных были ошибки, противоречия или просто пробелы, – начинаются галлюцинации.

По словам специалистов, самая частая причина подобной ситуации – плохо поставленные вопросы. Чем точнее и проще запрос, тем меньше шансов, что модель уйдёт в астрал. Но даже при идеальном промте никто не отменял финальную проверку человеком. Помимо этого никто не отменял постоянную работу программистов над системам. Например, в России снижением риска галлюцинаций искусственного интеллекта занимаются специалисты ВТБ и Яндекса, и других компаний. В частности, в практике банка применяются каскадные решения, когда несколько моделей обрабатывают данные и корректируют результаты друг друга – фактически, проверяют друг-друга. Также для машинного обучения используются очищенные от ошибок тексты, в достоверности которых можно быть уверенным.

❗ Подписывайтесь, это Baza