VK Видео добавили умные субтитры в 80% роликов

В VK Видео стало в 10 раз больше видео с субтитрами. Команда сервиса улучшила точность обработки автоматической расшифровки речи. Это сделало просмотр видео еще удобнее.

Текстовые субтитры, повторяющие речь говорящего, оформляются в виде предложений со знаками препинания и заглавными буквами. Дубляж учитывает особенности разговорной, узкоспециализированной лексики и неологизмов.

8 из 10 видео в ленте пользователя на главном экране будут с обновленными субтитрами.

Автоматический дубляж в VK Видео генерируется через ML-модели. Аудиопоток из видео обрабатывается в несколько этапов:

• сначала искусственный интеллект убирает посторонние шумы, выделяет речь и преобразует ее в слова;

• далее другие модели конвертируют расшифровку в текст;

• в конце нейросеть синхронизирует получившийся текст с аудиодорожкой.

AI-модель VK Видео допускает на 30% ошибок меньше, чем подобные модели генерации субтитров в других сервисах.

Технология работает и в профессиональных роликах, и в пользовательском контенте. Она полезна для людей с нарушениями слуха и в ситуациях, когда звук в видео включать нежелательно или его заглушают посторонние шумы, например, в метро.

Напомним, что в веб-версии VK Видео теперь доступен режим «Картинка в картинке». Также неделю назад VK сообщала, что приложение VK Видео установили 60 млн раз.

Источник: пресс-релиз ВКонтакте