Microsoft выпустила самую маленькую нейросеть с продвинутым режимом «рассуждения»

Компания Microsoft выпустила Phi-4-mini-Flash-Reasoning — новую легкую языковую модель с открытым исходным кодом. Модель работает до 10 раз быстрее своего предшественника при генерации длинных ответов.

Основная проблема современных ИИ-моделей заключается в том, что для сложных логических рассуждений в длинных текстах требуются огромные вычислительные мощности, что делает их медленными и дорогими в использовании. Это ограничивает их применение в реальном времени.

Новая модель от Microsoft призвана решить эту проблему. Имея всего 3,8 млрд параметров, она специально настроена для решения сложных задач по математике и ответов на сложные вопросы.

В основе Phi-4-mini-Flash-Reasoning лежит новая гибридная архитектура Sambay. Она сочетает в себе модели пространства состояний (SSM) и традиционные слои внимания с помощью легковесного механизма Gated Memory Unit (GMU). Это позволяет эффективно использовать память между слоями, значительно снижая задержки при обработке длинных контекстов.

Несмотря на свой компактный размер, модель показывает высокие результаты. На тесте Math500 она достигла точности 92,45%, превзойдя как своего предшественника Phi-4-mini-Reasoning (91,2%), так и другие открытые модели. Модель поддерживает контекст длиной до 64 тыс. токенов и доступна на платформе Hugging Face.

Ранее сообщалось, что Microsoft вместе с OpenAI и Anthropic выделит $23 млн для обучения 400 тыс. учителей работе с ИИ.