Владеющая TikTok компания представила самую быструю нейросеть для программирования

Компания Bytedance, владелец TikTok, представила экспериментальную модель ИИ для генерации кода Seed Diffusion Preview. Вместо последовательной генерации токенов один за другим новая модель генерирует их параллельно. Благодаря этому достигается колоссальный прирост в скорости.

Seed Diffusion Preview способна генерировать более 2 тыс. токенов в секунду на графических процессорах Nvidia H20. По словам представителей компании, это в 5,4 раза быстрее предыдущих моделей. Технология основана на диффузионном подходе, который обычно применяется для создания изображений. Bytedance адаптировала его для работы с дискретными данными, такими как программный код.

Вместо того чтобы писать код строка за строкой, модель восстанавливает его из «зашумленного» состояния, заполненного специальными метками. Она генерирует сразу несколько участков кода одновременно. Несмотря на параллельный процесс, Bytedance утверждает, что качество кода остается на высоком уровне и в тестах не уступает конкурентам, особенно в задачах редактирования.

Для достижения такого результата компания применила двухэтапный процесс обучения. Сначала модель учится на коде с масками (скрытыми частями), а затем проходит этап обучения на основе правок, что заставляет ее проверять и исправлять все токены, а не только скрытые. Это позволяет избежать распространенных ошибок и лучше учитывать структуру и зависимости в коде.

Seed Diffusion Preview является прямым конкурентом аналогичной технологии Gemini Diffusion от Google. Ранее «Инк» рассказывал, что эта нейросеть способна собирать целые приложения буквально за секунду.