Читатели оценили сгенерированные ИИ рассказы выше человеческих работ
Писатель-фантаст Марк Лоуренс провел эксперимент, результаты которого могут расстроить любителей литературы. В ходе слепого тестирования читатели не только не смогли уверенно отличить рассказы, написанные искусственным интеллектом, от произведений известных писателей, но и поставили работам ИИ более высокие оценки.
Лоуренс организовал у себя в блоге викторину с восемью короткими фантастическими рассказами объемом около 350 слов каждый. Участников просили оценить качество каждого произведения и определить, написано ли оно человеком или нейросетью. Половину текстов создал ИИ, а вторую половину – мастера жанра.
Этот пост – искренняя попытка исследовать текущее состояние дел с ИИ-писательством. Я не агитирую за искусственный интеллект и не призываю его использовать.
Результаты оказались неутешительными для защитников человеческого творчества. Из 964 участников опроса коллективное мнение правильно определило происхождение лишь трех рассказов из восьми. Три других произведения опознали неверно, а по двум оставшимся не смогли прийти к однозначному выводу. Для выборки такого размера это довольно слабый результат.
Более того, рассказ, созданный ИИ, получил наивысший рейтинг среди всех произведений. В среднем работы искусственного интеллекта оценили выше, чем тексты, написанные людьми. Особенно болезненным этот факт делает то, что среди авторов-людей были довольно известные в крагах авторы: сам Лоуренс, Дженни Вюртс, Кристиан Кэмерон и Робин Хобб.
"Я ненавижу, что ИИ может делать подобное", – честно признался Лоуренс, выражая мнение многих писателей и читателей. Автор эксперимента отметил два важных фактора, которые могли повлиять на результаты:
все участвовавшие писатели специализируются на романах, поэтому короткие рассказы не относятся к их сильным сторонам
ИИ лучше всего справляется именно с небольшими текстами, где проще сохранить внутреннюю согласованность
Проблема выходит далеко за рамки литературного эксперимента. Научно-фантастические журналы уже сталкиваются с потоком работ, созданных нейросетями, а авторы активно публикуют романы с использованием ИИ-генерации. Платформы вроде Steam и Kindle пока полагаются на честность создателей, которые должны самостоятельно сообщать об использовании искусственного интеллекта – решение, которое вряд ли можно назвать устойчивым.
Должен ли ИИ создавать художественную литературу, изображения, голоса, конкурируя с художниками в разных областях и обманывая публику? Конечно, нет. Я ненавижу эту идею, как и большинство людей. Но это уже происходит. Везде, где кто-то может обойти навыки и душевность, просто наживаясь на новых технологиях, это и будет происходить.
Эксперимент показывает фундаментальную проблему: если читатели не могут надежно распознать ИИ-контент и даже предпочитают его человеческому творчеству, то борьба с искусственно созданными произведениями путем их обнаружения и публичного порицания становится бесперспективной.
Более того, ошибочные обвинения могут навредить настоящим авторам. Индустрии потребуются более серьезные и систематические подходы для решения этой дилеммы, чем простое доверие и человеческая интуиция.