Генеративная модель Сotype (ex.MTS AI Chat) заняла первое место в рейтинге больших языковых моделей в лидерборде бенчмарка MERA (Multimodal Evaluation for Russian-language Architectures), говорится в сообщении компании МТС.

Всего в рейтинг вошли 30 языковых моделей, которые оценивались по 17 параметрам. Показатель BPS у модели Сotype составил 0.23, PARus – достиг 0.884, а по задачам из «Что? Где? Когда?» (параметр CheGeKa) она продемонстрировала результат 0.05/0.022. В переводе на общечеловеческий это означает, что Сotype обладает наиболее полными знаниями о мире, развитыми логическими способностями и навыками причинно-следственного рассуждения и здравого смысла.

Основное назначение этой модели – работа с корпоративной информацией для решения бизнес-задач. При этом, генеративную модель Сotype создали меньше чем за год, но она смогла обойти более “взрослых” участников, например GigaChat Pro.