О прикладном использовании больших языковых моделей (часть 2).

Отсутствие встроенного контроля верификации выходных данных не позволяет использовать ГИИ для серьёзных научно-исследовательских работ и в рамках бизнес-операций. По умолчанию, любой сгенерированный контент от ГИИ рассматривается как фейковый, а следовательно, нет доверия к системе.

Время и ресурсы, затраченные на принудительную проверку фактов, превышают потенциальную выгоду от использования ГИИ в серьёзных задачах, которые оказывают влияние на систему принятия решений.

Вторая проблема — необучаемость и ограниченная длина контекстного окна*. Как это проявляется на практике в моих проектах?

*Контекстное окно обозначает максимальное количество токенов, которые модель может учитывать одновременно при обработке текста; грубо говоря, это глубина памяти ГИИ в рамках открытой сессии.

Не слишком сложная база данных с иерархической структурой данных требует примерно 6-7 страниц технического задания с описанием структуры данных, параметров, связей и постановки задач для анализа данных. Написание 6-7 страниц строго формализованного текста — большая работа на три часа.

Изначально ГИИ никогда не генерирует корректного результата, если постановка задачи предполагает глубину аналитики с множеством связанных переменных.

Соответственно, требуется доводка и калибровка способности ГИИ корректно интерпретировать базу данных и понимать поставленную задачу. Это ещё работа на три часа.

В итоге 6-7 часов уходит просто на то, чтобы попытаться обучить ГИИ адекватно интерпретировать структуру данных и понимать цель анализа. К этому моменту ширина контекстного окна заканчивается, но даже если удастся уложиться, происходит баг системы, который я назвал «ментальный сквиз».

В чём проявляется «ментальный сквиз»? Чем сложнее задача и чем больше количество правок вносится в интерпретатор ГИИ, тем быстрее наступает момент «глубоких галлюцинаций», когда модель полностью теряет способность к пониманию и начинает путаться в показаниях.

По мере правок качество выходного контента растёт, а потом наступает «ментальный сквиз», и качество резко обрушается, что означает — модель сломалась, несите новую, т.е. требуется новая открытая сессия и всё начинать сначала.

Я не связывался с OpenAI по данному багу и не могу сказать, связана ли эта проблема с программной составляющей или это внутренние архитектурные недостатки, однако правда в том, что разработка сложных проектов исключена полностью.

Те функции аналитики и анализа данных, которые демонстрируются в рекламных роликах ГИИ, показывают простейшие функции, которые реализуются штатным функционалом Excel за несколько секунд, тогда как написание запросов в ГИИ требует минут. Т.е. даже здесь эффективность под вопросом. Более сложные расчёты крайне неэффективны в рамках реализации через ГИИ — здесь сразу мимо.

Какая комбинация работает? То, что работало раньше: Excel + SQL + Python и теперь ГИИ, но не в рамках аналитики, а с точки зрения справочного бюро по документации/инструкциям + помощь в написании кода и формул. Причём процесс написания кода также не так однозначен.

В практическом применении ГИИ (использовал все, но остановился в итоге на ChatGPT-4 как наиболее сбалансированном) абсолютно не тянет работу с данными. Data Science, data mining, data analytics — это не про ГИИ. Текущая оценка — около 2 из 10, т.е. совсем плохо, по крайней мере, в той публичной версии, как это всё представлено.

Все надстройки в Excel на базе ChatGPT, в том числе официальная от Microsoft — полная туфта. Выглядят многообещающе, но на практике с большим набором данных и многоуровневыми зависимостями не работают так, как должны.

Свободные таблицы и автоматический структурный анализ можно делать и имеющимися ресурсами без использования ГИИ.

ГИИ не только не улучшает работу, а скорее ухудшает с точки зрения качества данных и скорости работы. В рамках анализа данных Excel + SQL + Python решают задачи на порядки быстрее, чем хвалёный ГИИ. На данном этапе ГИИ в контексте научно-исследовательской базы близок к пустому месту.