Исследователи DeepSeek выпустили nano-vLLM — компактный движок для запуска языковых моделей

Команда исследователей DeepSeek выпустила nano-vLLM — легковесный движок для запуска языковых моделей. Проект написан с нуля на Python и занимает около 1200 строк, что меньше существующих решений. Код nano-vLLM опубликован на GitHub.

Авторы проекта отмечают, что существующие движки для запуска языковых моделей, например, vLLM, обеспечивают впечатляющую производительность. Они используют продвинутые алгоритмы и оптимизацию, что позволяет ускорить инференс. При этом кодовая база таких движков зачастую перегруженная и запутанная. Это мешает менее опытным командам модифицировать код и дорабатывать его под свои нужды.

Для решения этой проблемы команда разразработала nano-vLLM — компактный движок, который сочетает в себе высокую скорость работы и компактную кодовую базу без сложных механизмов и запутанных реализаций. При этом nano-vLLM поддерживает кэширование префиксов, тензорный параллелизм, компиляцию с torch.compile() и работу с CUDA. Всё это в 1200 строках кода на Python.

Команда проекта сравнила возможности nano-vLLM и vLLM. Для тестов использовали видеокарту RTX 4070 для ноутбуков с 8 ГБ памяти, на которой запускали модель Qwen3-0.6B. Ниже результаты:

Кому может пригодиться nano-vLLM:

• Разработчикам, которые создают пользовательские приложения на базе языковых моделей.

• Преподавателям, которые обучают инфраструктуре глубокого обучения.

• Инженера, которые развёртывают языковые модели на устройствах с ограниченными ресурсами.

Код проекта разработчики опубликовали на GitHub. Код распространяется по лицензии MIT, а в репозитории также есть инструкции по запуску.