Маршрутизация обращений: автоматизация в ИТ-поддержке с помощью ИИ и языковых моделей

Передовые технологии ИИ могут не только ускорить, но и значительно повысить качество обработки обращений. Я занимаюсь в НЛМК генеративным искусственным интеллектом и расскажу, как нам совместно с ИТ‑вендором Аксеникс удалось преобразовать подход к обслуживанию ИT‑запросов поддержки пользователей через инновационный проект интеллектуальной классификации и маршрутизации.

Контекст вызова

В компанию ежемесячно поступает несколько десятков тысяч запросов через различные источники: почту, телефон, портал самообслуживания и т. д. В этих условиях обнажились ограничения традиционных методов обработки: высокая нагрузка на операторов, ручная маршрутизация, скорость обработки запросов, ошибки и человеческий фактор. Это стало поводом для поиска новых решений. Кроме того, развитие и внедрение технологий LLM создали дополнительный стимул для исследования инновационных подходов к обработке запросов.

Pешение

Аналогичные проекты по автоматизации уже успешно реализуются во всем мире и в России, особенно актуально если запросы стандартные и повторяющиеся.

Постановка задачи и ожидаемые результаты

В начальной фазе проекта были четко определены ключевые задачи и ожидаемые эффекты.

1. Автоматизация первичной классификации и маршрутизации запросов, которые поступают через почту (более половины всех запросов ежемесячно): цель — снизить нагрузку на операторов, автоматизируя процесс классификации и маршрутизации входящих обращений.

2. Ускорение обработки запросов: благодаря быстрой и точной маршрутизации обращений сервис позволит сократить время реакции на запросы пользователей.

3. Проверка гипотезы, что улучшение классификации запросов возможно с помощью интерактивного уточнения обращений модели LLM с пользователями.

4. Снижение операционных затрат: применение передовых технологий искусственного интеллекта и больших языковых моделей предназначено для минимизации рутинных задач и, как следствие, уменьшения расходов на оплату ручного труда.

Описание бизнес‑процесса

В основе процесса пользовательской поддержки лежит система ITSM System, которая управляет потоком обращений. Обращения пользователей, поступившие из различных каналов, сначала вручную классифицируются по содержанию, приоритету и другим параметрам. За это отвечают операторы контактного центра. После классификации обращения перенаправляются в соответствующие сервисные группы на второй линии для дальнейшей обработки или решения.

Роль AI‑ICS в маршрутизации обращений

Первая версия сервиса Incident Classification System (AI‑ICS). ИИ‑инструмент был разработан для автоматизации процесса классификации и маршрутизации.

• AI‑ICS анализирует и классифицирует обращения на основе их содержания, определяя нужные категории: услуга, категория, тип запроса и целевая группа.

• Обращения, классифицированные AI‑ICS, автоматически направляются либо непосредственно в соответствующие отделы, либо на дополнительную проверку в случае неуверенности системы в классификации.

Ключевыми участниками являются AI‑ICS, система ITSM System и операторы контактного центра НЛМК, работающие совместно для обеспечения эффективности и точности обработки пользовательских запросов.

Данные для обучения и тренировочный набор

Объем и источники данных

Проект использовал обширный набор данных из почти миллиона обращений, собранных за последние два года. Эти данные включали следующее:

Структура обращений

Приблизительно 50% обращений были организованы по 7 услугам, 14 категориям и 15 группам. Остальные 50% данных разделялись между 50 услугами, 107 категориями и 83 группами, сформировав в сумме около 5300 уникальных комбинаций.

Пригодность данных

Из всего массива около 79% обращений подходили для обучения и тестирования модели «как есть». Это были короткие запросы, не превышающие 500 символов. Более длинные тексты требовали предварительной обработки, включая суммирование и удаление избыточной информации.

Интеграция вложений

Значительная часть обращений (34%) содержала графические вложения. Однако испытания показали, что добавление данных, извлеченных из этих вложений, не улучшило точность модели.

Подход к реализации AI‑ICS

Разработка и деплоймент

Проект включал несколько ключевых этапов разработки и внедрения ИИ‑системы.

1. Выбор ML‑модели: определение подходящей модели для классификации и маршрутизации обращений.

2. Разработка сервиса: создание Docker‑контейнера для ML‑модели и разработка API для интеграции с ITSM‑системой.

3. Дообучение модели: непрерывное обучение модели на основе новых данных от службы поддержки.

4. Отчетность и оценка: реализация отчетной системы для анализа эффективности AI‑ICS.

5. Тестирование и оценка качества: проведение тестов и оценка результативности системы.

6. Администрирование системы: разработка инструментов для управления параметрами модели и типами обращений.

Инструменты машинного обучения

Сервис AI‑ICS использует ряд передовых технологий машинного обучения.

• PyTorch: основной фреймворк для работы с моделями.

• Pandas: инструмент для обработки и анализа данных.

• MLflow: платформа для управления машинным обучением и автоматизации пайплайнов.

• Matplotlib и Seaborn: библиотеки для визуализации данных.

• LaBSE: трансформерная модель, оптимизированная для задач классификации и маршрутизации обращений на различных языках.

Архитектура классификатора на базе модели LaBSE

Введение в большие языковые модели

Большие языковые модели, такие как GPT и BERT, революционизировали обработку естественного языка, предоставляя возможности для перевода, суммирования и ответов на вопросы. LaBSE, оптимизированная для многоязычного использования, идеально подходит для глобальных компаний с мультиязычными запросами.

Выбор модели

Выбор модели LaBSE стал результатом тщательных исследований и экспериментов. В процессе разработки AI‑ICS мы протестировали GPT2, BERT и другие трансформерные модели. Каждый из этапов включал проверку гипотез, анализ производительности и соответствия наших требований к точности и скорости обработки данных. LaBSE показала себя наиболее эффективной благодаря своей способности справляться с многоязычными задачами, легковесности, которая обеспечивала высокую скорость обработки, и способности наиболее точно классифицировать и маршрутизировать запросы. Кроме того, LaBSE продемонстрировала устойчивость к изменениям в данных и гибкость в интеграции — это стало ключевыми факторами при выборе модели для реализации проекта.

Роль LaBSE в маршрутизации обращений

В компании архитектура классификатора, базирующаяся на модели трансформера LaBSE, играет ключевую роль в процессе интеллектуальной маршрутизации обращений в IT‑поддержку. Вот как она работает.

1. Подготовка данных: сервис AI‑ICS начинает с приема данных обращений. Они включают текст самого обращения, данные о сотруднике, отправившем запрос, и специальный флаг «isSpecial». Этот флаг используется для идентификации пользователей, чьи запросы могут требовать особого внимания или ручной классификации, хотя они также включены в общий анализ для сбора статистических данных.

2. Токенизация и эмбеддинг: текст обращения и связанные с ним данные объединяются и обрабатываются с помощью токенизатора LaBSE, который преобразует текст в векторное представление. Эти векторы или эмбеддинги помогают кодировать семантическое содержание текста в формат, пригодный для машинной обработки.

3. Классификация признаков: эмбеддинги анализируются с использованием классификационных моделей, которые определяют ключевые атрибуты каждого обращения (тип услуги, категория запроса и др.). В некоторых случаях одна модель может быть задействована для определения нескольких связанных атрибутов — например, категории и услуги одновременно.

4. Возврат результатов: классификационные модели возвращают значения для каждого из признаков вместе с параметрами, которые отражают уверенность модели в каждом из прогнозов. Эти параметры помогают в дальнейшей маршрутизации запросов.

5. Маршрутизация обращения: исходя из данных о признаках и степени уверенности модели, AI‑ICS принимает решения о направлении обращения. Если уверенность высока, запрос направляется непосредственно в соответствующий отдел. Если модель выражает недостаточную уверенность или если запрос подпадает под дополнительные правила (например, запросы от VIP‑пользователей), он может быть отправлен на дополнительную ручную проверку.

Практические преимущества использования LaBSE

• Ускорение обработки: автоматизация классификации сокращает время обработки запросов.

• Повышение точности: точное определение категорий уменьшает ошибки маршрутизации.

• Снижение затрат: эффективная автоматизация уменьшает ресурсы, необходимые для ручной сортировки и обработки запросов.

Результаты работы прототипа сервиса AI‑ICS в НЛМК

Эффективность классификации

В период тестирования 61% обращений были классифицированы ИИ с установленным порогом уверенности (Confidence Threshold, CT) на уровне 0,8, а оставшиеся 39% — направлены на ручную проверку (рисунок 2).

Из обработанных ИИ 84% были точно классифицированы по атрибутам услуги, категории, типа и группы, что дает общий охват сервиса в 51,24% (84% * 61%) (рисунок 3).

Средняя доля корректно классифицированных и маршрутизированных обращений КЦ в день — 75% (рисунок 4).

Оптимизация процессов

Использование AI‑ICS позволило повысить точность классификации до 85%, уменьшить время и затраты на обработку обращений за счет уменьшения доли обращений, требующих ручной классификации. Это, в свою очередь, привело к экономии ресурсов и улучшению качества обслуживания клиентов.

Прогнозируемые результаты

Ожидается, что до 80% всех электронных обращений будут эффективно обработаны ИИ без необходимости в ручной маршрутизации, а до 84% обращений будут корректно маршрутизированы. Это подтверждает потенциал системы значительно сократить операционные расходы при сохранении высоких стандартов качества обработки запросов.

Дальнейшее развитие AI‑ICS в НЛМК: углубление автоматизации и интеграция новых моделей

Расширение возможностей ИИ

В рамках продолжающегося усовершенствования системы AI‑ICS компания активно работает над внедрением функций автоматической обработки стандартных запросов. С помощью выделения интента и последующего автоответа модель сможет самостоятельно решать типичные задачи без привлечения специалистов. Это значительно ускоряет процесс обслуживания и повышает его эффективность.

Улучшение взаимодействия с пользователями

Одной из новых функций является возможность ИИ задавать уточняющие вопросы. Это позволяет более точно классифицировать запросы и находить наиболее подходящие решения, минимизируя вероятность ошибок и увеличивая удовлетворенность клиентов.

Интеграция передовых моделей ИИ

В линейку инструментов включены новейшие модели машинного обучения, такие как LLAMA 3 и Mixtral, которые предоставляют улучшенные возможности для анализа и обработки запросов. Эти мощные модели обеспечивают более глубокое понимание контекста и способны обрабатывать сложные запросы с высокой точностью.

Планы на будущее

Компания планирует и дальше интегрировать новые технологии, чтобы снизить зависимость от человеческого фактора в процессе обработки запросов. Разработка и тестирование новых функций уже показали значительные успехи, и этот тренд сохранится — как в плане скорости обслуживания, так и в качестве обработки запросов.