VK Видео представила NeuroHD — собственную технологию, которая в два раза повышает разрешение видео, восстанавливает детали и убирает шумы на изображении
В VK Видео появилось автоулучшение качества и разрешения видеороликов на основе собственной нейросетевой технологии NeuroHD — с её помощью пользователи в режиме реального времени автоматически могут двукратно повысить разрешение, восстановить детали и убрать появившиеся после сжатия шумы и дефекты на видео, загруженных в социальные сети ВКонтакте и Одноклассники.
Благодаря NeuroHD пользователи VK Видео смогут смотреть в высоком разрешении и любительский контент, и профессиональные ролики, которые были созданы и загружены на платформу до массового распространения камер высокой чёткости. Таким образом, в будущем высокое разрешение получит весь контент библиотеки VK Видео — а это свыше 250 миллионов видео в год, 80% из которых загружают сами пользователи социальных сетей ВКонтакте и Одноклассники.
Александр Тоболь, CTO ВКонтакте, VK Видео и VK Звонков:
«Мы заметили рост популярности фильтра „Высокое качество“ в поиске видео. Чтобы удовлетворить запрос пользователей VK Видео, мы разработали ML-технологию улучшения качества видео NeuroHD. Она обеспечивает преобразование видеороликов на real-time скорости и обладает высокой производительностью для эффективного использования вычислительных мощностей платформы и клиентских устройств. В NeuroHD нам удалось найти уникальное сочетание настроек модели, данных для обучения и инфраструктурных решений. В итоге 40 миллионов пользователей VK Видео теперь смогут смотреть видео в повышенном разрешении, даже если изначально оно таковым не являлось. Мы рассчитываем, что эта возможность станет одним из драйверов вовлечённости зрительской и авторской аудитории».
В основе NeuroHD — продвинутая нейросеть из семейства генеративно-состязательных сетей (GAN). Принцип работы таких нейросетей заключается в том, что при их обучении используется две модели. Одна из них генерирует увеличенные изображения, а другая — проверяет сгенерированные изображения, чтобы они не отличались от настоящих. При этом архитектура нейросети, разработанной командой VK Video для NeuroHD, содержит специальные элементы временной консистентности. Они позволяют использовать для улучшения кадра информацию о соседних фрагментах и таким образом получать более чёткое изображение без «плавающих артефактов». Существующие в отрасли решения, не учитывающие непрерывность видеопотока, дают малозаметный эффект: простое увеличение разрешения роликов не приводит к улучшению картинки. Именно поэтому при разработке собственной нейросетевой технологии команда VK Video сделала акцент именно на устранении артефактов сжатия.
Важную роль в обучении нейросети для достижения высокого качества видеокартинки сыграл специально сконструированный набор данных для обучения. Многомиллионная библиотека VK Видео позволила эффективно повышать разрешение видео разных форматов: профессиональных и любительских, горизонтальных и вертикальных, динамических и статичных, длиной в часы или несколько секунд.
Видео с повышенным разрешением уже доступны в ряде групп и публичных страниц ВКонтакте. Их список постоянно расширяется: администратор любого сообщества может отправить запрос, чтобы улучшить качество видео. Для этого достаточно заполнить форму.
Повышенное разрешение видео поможет оценить стриминг на сетевые медиаплееры Chromecast и AirPlay, доступный всем пользователям VK Видео. Технологии позволяют транслировать видео с мобильных устройств на экран компьютера или телевизора. Пользователи VK Видео чаще выбирают ролики с высоким разрешением благодаря более быстрому старту видео, росту качества картинки, доступного в условиях сети, а также снижению числа буферизаций. Их обеспечивает CDN-сеть VK Видео, которая стала одной из крупнейших в России.