Среди пользователей соцсетей видео пользуется гораздо большим успехом, чем картинки или текст. С развитием скорости и качества подключения к интернету растет популярность онлайн-контента и потоковых видеосервисов: YouTube, Netflix, Hulu, HBO Go, Amazon Prime.

 

Используем искусственный интеллект для улучшения качества видео

9-12 minutes

---

Среди пользователей соцсетей видео пользуется гораздо большим успехом, чем картинки или текст. С развитием скорости и качества подключения к интернету растет популярность онлайн-контента и потоковых видеосервисов: YouTube, Netflix, Hulu, HBO Go, Amazon Prime. Поэтому бренды и отдельные медиаперсоны, подхватив эту тенденцию, начали активно выпускать визуальный контент в высоком качестве, чтобы соответствовать требованиям аудитории.

Для медиасферы важно то, что изображения или видео в формате Ultra HD можно редактировать без потери качества картинки. Кстати, о технологии улучшения изображений мы уже писали в предыдущей статье. Но как же старые фильмы в низком разрешении, рекламные ролики, домашнее видео? Можно ли улучшить их качество для комфортного просмотра на современных экранах? Давайте это выясним.

Как повысить качество видео за счет разрешения  

Для начала перечислим наиболее распространенные типы разрешения и термины. Разрешение обычно приводится в формате ширина х высота экрана в пикселях:

1920 x 1080: Full HD (High Definition)
2048 x 1080: 2K (Digital Cinema)
3840 x 2160: 4K (UHD - Ultra High Definition)
4096 x 2160: 4K (Digital Cinema)
7680 x 4320: 8K (UHD)
15360 x 8640: 16K (UHD)

На сегодня общепринятый стандарт разрешения — 4K, и мы движемся в сторону 8K экранов. Youtube начал поддерживать 4K для загрузки видео еще в 2010 году — тогда многие производители начали выпускать недорогие камеры в этом формате. С тех пор дисплеи и смарт-телевизоры с поддержкой 4K значительно упали в цене и завоевали популярность. Несмотря на то, что человеческий глаз вряд ли физически может заметить разницу в картинке с качеством свыше 4K, гонка за более высоким разрешением продолжается.

Наиболее полно ощутить возможности своих экранов владельцы Ultra HD дисплеев могут при просмотре нативного 4K контента. А видео с более низким разрешением приходится растягивать на целый экран ведь, например, изображения в 1080p (Full HD) содержат всего четверть пикселей от картинки в 4K. Масштабировать изображение можно сразу на смарт-телевизоре, в медиаплеере или использовать специальные программы, чтобы улучшить качество видео.

Что умеет программа для улучшения качества видео?

В двух словах, улучшение видео (Video Enhancement) — это процесс повышения качества видеозаписи. Профессиональные видеоредакторы обычно поддерживают следующие функции:

- масштабирование (апскейл);
- улучшение освещения;
- стабилизация;
- шумоподавление;
- регулировка яркости;
- обрезка (кроп), поворот видео, зеркальное отражение;
- фильтры;
- эффекты и анимация.

Видеоредактор для улучшения качества может подарить вашей старой записи вторую жизнь. 

Увеличение видео (апскейлинг) — это процесс преобразование медиа с более низким разрешением в более высокое. Базовое масштабирование — это способ «растянуть» изображение более низкого разрешения на больший экран, что обычно сопровождается ухудшением качества и потерей деталей. Чтобы увеличить HD-изображение на 4K экран, придется заполнить дополнительные 6 миллионов пикселей. Поэтому программа для апскейла должна определить, что будет отображать каждый из этих новых пикселей, исходя из того, что показывают соседние (интерполяция).

Улучшаем видео с помощью AI: cупер-разрешение

Хотя различные алгоритмы дают разное качество изображения, интерполяция, как правило, улучшает картинку в низком разрешении. Но попытка  «дорисовать» недостающие пиксели в большинстве случаев бросается в глаза. В результате изображение занимает весь 4K экран, но может выглядеть размытым или приглушенным, или иметь артефакты (шумовые ореолы, квадратики). При увеличении разрешения видео с помощью искусственного интеллекта используется совершенно другой подход.

Получая картинку в низком разрешении, алгоритм глубокого обучения (обычно это генеративная нейронная сеть) предсказывает изображение более высокого разрешения, которое после сжатия бы выглядело, как наш оригинал на входе. Чтобы достичь такого уровня точности, нейронные сети должны быть предварительно обучены на миллионах изображений. При обработке видео низкого разрешения ИИ-модель может «дорисовать» потерянные пиксели, анализируя каждый кадр и повышая качество экспоненциально. Это дает невероятную четкость и детальность картинки, которые не сможет воссоздать ни один традиционный апскейлер: от реалистичных деталей до более чистого и плавного воспроизведения движений.  

Модели AI постоянно совершенствуются, и их точность растет с каждым циклом обучения. Кроме того, различные модели глубокого обучения могут применяться для улучшения разных типов видеоматериалов. А еще нейронные сети можно комбинировать: порой это дает поразительные результаты.

Так, искусственный интеллект помог увеличить знаменитое «Прибытие поезда на вокзал Ла-Сьота» (L'arrivée d'un train en gare de La Ciotat) до 4К. Это французский короткометражный черно-белый документальный фильм 1896 года, снятый братьями Люмьер. Несмотря на то, что исходное изображение было увеличено на 600%, алгоритм на основе AI (DAIN и Topaz Gigapixel AI) смог выдать четкое и чистое изображение без видимого зерна, артефактов и искажений. Кажется, что запись современная — только черно-белая.

Обработка видео нейросетью. Краткий обзор программ

В отличие от традиционных (не основанных на искусственном интеллекте) инструментов повышения качества видео — более сложных и порой требующих профессиональных навыков редактирования — алгоритмы искусственного интеллекта могут автоматически улучшить качество ваших видеоматериалов. Приведем несколько примеров таких решений.

DVDFab Enlarger AI — супер-разрешение с помощью нейронок

Этот сервис для улучшения видео использует технологию супер-разрешения на основе глубокого обучения и может повысить качество видео с 480p (SD) до 1080p (Full HD), и с 1080p до 4K. AI-движок на основе глубокого обучения (deep learning) изучает и анализирует видео низкого разрешения покадрово и может создавать и заполнять идентичные соседние пиксели, увеличивая кадр на 300%. В программе также используются интеллектуальные алгоритмы цветокоррекции.

DVDFab Enlarger AI основан на фреймворке TensorFlow. Для обучения нейросетей были использованы миллионы видео, фильмов и телепередач. Кроме того, программа использует новейшие технологии GPU-ускорения CUDA и cuDNN на базе графических карт NVIDIA.

PicaVue (GDFLab Video Upscaler) — восстановление видео и разрешение до 16K

GDFLab Video Upscaler — это облачный сервис для улучшения качества видео. Разработчики обещают апскейл видео и изображений до 16K за счет одновременного увеличения разрешения и качества:

• 270p ~ 360p до 720p или FHD;
• 540p до 4K UHD;
• 4K FHD до 16K.

Искусственный интеллект используется для устранения шумов и восстановления деталей, недостаточно четких на исходном изображении. Кроме того, с помощью GDFLab Video Upscaler можно восстановить старые видео — с более чистой картинкой и в лучшем разрешении. Программа может применяться для видео с камер наблюдения, съемок, социальных сетей, а также в любых сферах, связанных з видеозаписью. Пользователи могут загружать свои изображения и видео одновременно на все основные платформы: YouTube, Facebook, LinkedIn, Twitch и другие.

Topaz Video Enhance AI — реалистичные детали, сгенерированные нейросетью

Мы упоминали об этом видеоредакторе, когда писали о восстановлении документального фильма 1896 года до 4K. Topaz Video Enhance AI считается одной из лучших программ для улучшения качества видео. Он может повысить разрешение до 8K, сохраняя реалистичность деталей и плавность движений. 

Video Enhance AI может увеличивать разрешение с DVD, DSLR, игр и HD. Вы также можете улучшить качество старого видео для современного использования, например, рекламных роликов, музыкальных клипов, фильмов или записей с YouTube.

Topaz Video Enhance AI использует глубокое изучение для экстраполяции деталей из видеоматериала. Работает на основе обучения нейросети: она анализирует тысячи пар видео, чтобы установить, каким образом при сжатии теряются детали изображения. Нейросеть может сгенерировать недостающие детали и создать реалистичную картинку на основе информации из отдельно взятого видео.

Вместо вывода

Увеличение и улучшение видео с помощью AI создают эффект, который, наверное, можно сравнить с ощущениями близорукого человека, надевшего очки: оказывается, мир полон деталей, у деревьев есть листья, а дорожные знаки, вывески и номера автобусов можно легко прочитать. На данный момент Full HD и 4K — все еще самые популярные форматы разрешения для просмотра видео в интернете и на ТВ, но верхний предел качества картинки пока не установлен.

У команды Evergreen есть многолетний опыт использования TensorFlow — системы машинного обучения с открытым исходным кодом — для создания и внедрения проектов на базе AI во многих областях бизнеса.

Мы специализируемся на разработке персонализированных решений для клиентов и можем построить MVP (минимально жизнеспособный продукт) быстро и экономически эффективно, который в будущем можно развивать и масштабировать в полноценный продукт.

Если вы заинтересованы в разработке надежного решения на основе современных технологий и AI-алгоритмов для решения ваших бизнес-задач, мы готовы вам помочь. Просто позвоните нам или заполните форму, и наши специалисты свяжутся с вами для консультации.

28.07.2020

Используемые в статье картинки взяты из открытых источников и используются как иллюстрации.

Videos are much more popular among social media users than pictures or text. With the development of the speed and quality of the Internet connection, the popularity of online content and video streaming services is growing: YouTube, Netflix, Hulu, HBO Go, Amazon Prime. Therefore, brands and individual media personalities, having picked up this trend, began to actively release visual content in high quality in order to meet the requirements of the audience.

Просмотры: