ИИ так же самоуверен и предвзят, как и люди — показало исследование

Хотя мышление людей и систем искусственного интеллекта (ИИ) значительно отличается, новое исследование показало, что ИИ иногда принимает решения так же иррационально, как и мы. Исследование, опубликованное в журнале Manufacturing & Service Operations Management, выявило, что в почти половине рассмотренных сценариев ChatGPT продемонстрировал многие из распространенных когнитивных искажений, свойственных человеческому мышлению.

Авторы работы из пяти академических учреждений Канады и Австралии протестировали модели GPT-3.5 и GPT-4 от OpenAI, которые поддерживают работу ChatGPT. Результаты показали, что, несмотря на «впечатляющую последовательность» в рассуждениях, эти системы вовсе не застрахованы от ошибок, присущих человеку. Исследователи отмечают, что эта последовательность имеет как положительные, так и отрицательные стороны.

Исследование проверило нейросеть на известные человеческие когнитивные искажения: уклонение от риска, избыточная уверенность и эффект обладания. Вопросы касались как традиционной психологии, так и реального бизнес-контекста.

GPT-4 показал лучшие результаты в задачах с четкими математическими решениями, допуская меньше ошибок в сценариях, основанных на логике и вероятности. Однако в субъективных симуляциях, таких как выбор рискованного варианта для получения выгоды, чат-бот часто отражал присущую людям иррациональность.

«GPT-4 проявил еще большую склонность к предсказуемости и безопасности, чем люди», — отмечают исследователи.

Наиболее важно, что поведение ИИ оставалось устойчивым, независимо от формулировки вопросов — будь то абстрактная психология или бизнес-процессы. Исследование пришло к выводу, что искажения были не просто следствием запомненных примеров, но системной частью «мышления» ИИ. Удивительным оказалось то, что GPT-4 иногда усиливал человеческие ошибки. Он также продемонстрировал более выраженную склонность к вере в эффект «горячей руки» (удачные броски или ставки несколько раз подряд) по сравнению с GPT-3.5. С другой стороны, ChatGPT смог избежать некоторых человеческих искажений, таких как игнорирование базовой вероятности и ошибка неокупаемых затрат.

По мнению авторов, человеческие искажения ChatGPT объясняются обучающими данными. Эти тенденции усиливаются при доработке, особенно когда есть обратная связь со стороны человека.

 «Для получения точной и объективной помощи в принятии решений используйте GPT там, где вы доверитесь калькулятору. Однако, если исходящее решение требует стратегических или субъективных данных, человеческий надзор важен. ИИ не следует считать сотрудником, принимающим важные решения. Ему необходимы контроль и этические руководства. В противном случае мы рискуем автоматизировать ошибочное мышление, вместо его улучшения», — советует руководитель исследования Янг Чен, доцент кафедры операционного менеджмента в Ivey Business School (Канада).