«ВКонтакте» обновил видеоплеер и добавил в него функциюсоздания автоматических субтитров на русском языке, сообщила пресс-службасоциальной сети. Они формируются на базе алгоритмов машинного обучения итехнологий интеллектуального шумоподавления. При генерации текста расставляютсязнаки препинания и заглавные буквы, субтитры появляются в момент произнесенияфразы. 

Для точной расшифровки субтитров аудиопоток проходит четыре этапаобработки: 

• сначала очищается от фоновых звуков с помощью технологииинтеллектуального шумоподавления,
• затем нейросеть распознает слова и формирует текст,
• далее расставляются знаки препинания и заглавные буквы,
• после текст распределяется по кадрам благодаря методам машинногообучения.

Автогенерация субтитров создана на собственных разработках, что позволяетнастраивать их для эффективной работы, рассказал технический директор«ВКонтакте» Александр Тоболь. «Например, для создания субтитров мыусовершенствовали наши ASR-технологии и реализовали решения, которые точносинхронизируют текст с речью на видео. В будущем мы продолжим развиватьнейросетевые технологии и внедрять машинное обучение в разные сервисы'ВКонтакте'», — отметил он.

Функция доступна в экспериментальном режиме части пользователей «ВКонтакте»в популярных видеороликах и видео верифицированных сообществ как в мобильномприложении, так и в веб-версии соцсети. К концу года автоматическиесубтитры появятся в большинстве роликов соцсети.

«Яндекс» в начале сентябрядобавилрусскую озвучку к англоязычным роликам с YouTube, Vimeo и других популярныхвидеосервисов. Переведенный текст озвучивается голосом от «Яндекса» (мужскимили женским от «Алисы»), а оригинальная дорожка звучит чуть тише.