Российские ученые ускорили работу искусственного интеллекта

Ученые из лаборатории исследований искусственного интеллекта (ИИ) T-Bank AI Research разработали нейросеть ReBased для ускоренной обработки длинных текстов. Об этом сообщает пресс-служба Т-Банка.

В перспективе это позволит шире применять языковые модели в бизнесе, так как сейчас их использование ограничивают высокие затраты на вычислительные мощности. Кроме того, снижение потребления энергии в области вычислений, особенно в больших центрах обработки данных, поможет уменьшить негативное влияние на окружающую среду и сократить выбросы парниковых газов.

В основе открытия лежит новая архитектура языковых моделей, названная ReBased. Архитектура в глубоком обучении — это общий план или структура, по которой строится нейронная сеть. Она определяет, какие типы слоев будут использованы (например, сверточные, рекуррентные или полносвязные) и как эти слои будут соединены между собой. Проще говоря, это как проект дома, где есть план этажей, комнаты и их соединения. Хорошо продуманная архитектура позволяет нейросети лучше решать определенные задачи, например распознавать изображения или понимать текст. Выбор подходящей архитектуры важен для эффективности и точности работы модели.

Самые распространенные языковые модели основаны на архитектуре «Трансформер», представленной в 2017 году исследователями из Google. Они хорошо зарекомендовали себя при решении практических задач, но для них требуется очень большое количество ресурсов, которые растут квадратично с удлинением текста. Для широкого практического применения необходимы менее ресурсозатратные архитектуры.

Наиболее успешные конкуренты трансформеров — последние SSM-модели (State Space Model, модели пространства состояний) Mamba, но они уступают по способности контекстного обучения, которое позволяет ИИ-агентам адаптироваться к новым задачам без необходимости повторного обучения.

Проведя анализ архитектуры Base, ученые из T-Bank AI Research оптимизировали механизм извлечения информации из текста, добавив новые обучаемые параметры, которые отвечают за оптимальный поиск взаимосвязей между частями текста. Это позволяет улучшить процесс его обработки и получать более точные ответы. Ученые также упростили алгоритм выделения текстовой информации, что привело к увеличению производительности, повышению качества работы с длинными текстами и улучшению контекстного обучения. В среднем понимание взаимосвязей в тексте в новой архитектуре стало лучше на 10%.

ReBased способна снизить издержки на использование искусственного интеллекта для специализированных задач, которые имеют конкретную область применения и требуют учета ее особенностей. Например, в медицине такой задачей может считаться классификация текстов на основе симптомов и диагнозов.

Новая архитектура, предложенная учеными, позволяет приблизить качество линейных моделей к трансформерам. Модели, в основе которых лежит ReBased, могут генерировать тексты с более низкими требованиями к ресурсам практически без потери качества.

Ученые проводили эксперименты на датасете MQAR (Multi-Query Associative Recall), который позволяет определять способность модели к контекстуальному обучению, а именно к ассоциативному запоминанию (запоминанию не связанных пар объектов), например: лицо человека — его имя.