Как увеличить размер видео - искусственный интеллект улучшает качество

[aeplug]

апскейлинг видео.jpg (29.06 КБ) 16949 просмотров

апскейлинг видео.jpg (29.06 КБ) 16949 просмотров

-

В эпоху наступающего 4К нам, простым монтажникам, неплохо бы знать и уметь, как растягивать видео и делать увеличение разрешения кадра желательно без потери качества, ведь вокруг все еще существует огромное количество актуальных исходников и в FullHD и даже хуже. Тут вы можете узнать несколько хороших способов, как увеличить разрешение видео и сохранить качество картинки или даже сделать его лучше, повысив четкость и добавив приятные глазу недостающие детали. В этом нам помогут современные технологии нейросетей и машинное обучение.
https://www.youtube.com/watch?v=sTr68T_Acqc
Несколько лет назад, я уже тестировал возможности, доступные на тот момент, для аналогичных целей. Хочется сказать, что современные нейронные сети работают гораздо интереснее, а результат получается качественнее.

Как увеличить размер видео

Например недавно для моего любимого Adobe After Effects и Premiere Pro появился новый плагин ScaleUp, который как раз и использует искусственный интеллект для "апскейла" видео без потери качества. Плагин ScaleUp легко применить прямо в нужной программе, у него мало настроек, результат получает гораздо лучше встроенного в After Effects старого стандартного эффекта Detail-preserving Upscale, но есть вариант поперспективнее!

ScaleUp.jpg (11.37 КБ) 16948 просмотров

ScaleUp.jpg (11.37 КБ) 16948 просмотров

К техническим недостаткам ScaleUp могу отнести то, что все ограничения хоста применяются автоматом и к плагину. Например в After Effects у меня возникли проблемы с попыткой обработать FullHD, я пытался увеличить разрешение на 400%, и программа вела себя неадекватно: фрагменты кадров путались и пропадали, периодически программа отказывала показывать превью вообще.
Для еще лучшего результата существует отдельная программа Topaz Video Enhance AI специально для работы с видеофайлами. Уже из названия становится ясно, что интеллекта там выше крыши, и за счет машинного обучения получается изменить размер видео до 600% с сохранением резкости и деталей. Иногда кажется, что программа сама додумывает недостающие части в размытых областях. Вместе с Video Enhance AI поставляется несколько моделей ИИ, разработанных для разных типов видео. Короче, хорошая программа, если у вас много старых видео исходников небольшого размера, и им требуется апскейлинг до 4К, чтобы выглядеть более менее достойно и современно.

Topaz Video Enhance AI.jpg (73.04 КБ) 16948 просмотров

Topaz Video Enhance AI.jpg (73.04 КБ) 16948 просмотров

Все эти методы апскейла с искусственным интеллектом не просто меняют масштаб изображения на более большой, из за чего растянутое видео становится размытым и мутным, а пиксели становятся весьма различимыми ступеньками. Но путем глубокого анализа картинки алгоритмы предсказывают поведение линий и дорисовывают контуры объектов в новом разрешении, чтобы улучшить качество и увеличить четкость увеличенного кадра.

Topaz Gigapixel AI.jpg (114.1 КБ) 16948 просмотров

Topaz Gigapixel AI.jpg (114.1 КБ) 16948 просмотров

К слову, компания Topaz давно занимается алгоритмами обработки изображений и повышения качества, которые она использует в создании фильтров для Photoshop. Для увеличения размера статичной картинки или фотографии у них несколько лет существует Topaz Gigapixel AI, который достигает потрясающих результатов, вытягивая из исходника даже то, чего казалось бы не было в оригинале.

Topaz JPEG to RAW AI.jpg (116.39 КБ) 16948 просмотров

Topaz JPEG to RAW AI.jpg (116.39 КБ) 16948 просмотров

Еще одна полезная программа для повышения качества - Topaz JPEG to RAW AI, она устраняет артефакты сжатия JPEG, бандинга и пытается повысить глубину цвете для последующей обработки, тоже за счет все того же ИИ и обучения. И это еще не все, но вы лучше сами посетите их сайту и изучите ассортимент. Уверен, вы сможете найти там что-нибудь и для себя, во всяком случае многие фотографы отзываются весьма положительно об этих продуктах.
Например программа Topaz Mask AI. Раньше у меня был урок про выделение объектов в Photoshop, в котором я как раз и показывал, как просто работать с ее предшественником ReMask. А теперь у нее под капотом сидит целый ИИ, и по идее все стало еще проще.

Выделение объектов в Photoshop

[aeplug]

Я хочу продолжить тему, затронутую в предыдущем ролике про качественное увеличение размера кадра у видео. Вы в комментариях надавали мне кучу самых разных советов, и сейчас я проверю самые популярные. Мне кажется, тема очень полезная и интересная, многим может пригодится, а я любопытный и не могу удержаться, чтобы не разобраться хотя бы для себя, каким метод оказывается лучше обрабатывать видео на самом деле. Заодно сравним результаты, полученные из разных программ, с помощью которых можно делать апскейлинг до 4к с сохранением четкости кадра.
https://www.youtube.com/watch?v=uxdPZ46QM3Q

Содержание с временными метками

00:41 Пропустим секвенцию через Topaz Gigapixel AI
05:13 Пару слов про Dain-App
05:49 Про увеличение размера 3D рендеров
06:23 Размера плагина ScaleUp
07:31 Так себе Red Giant Instant 4K
08:40 Бесплатная программа Video2X
09:30 Алгоритм SRMD NCNN Vulkan
11:25 Тормозной RealSR NCNN Vulkan
12:35 Анимация SRMD и сравнение
12:55 И другие сравнения RealSR и проч.
15:00 Итоги и выводы

Самый популярный совет в комментариях - экспортировать видео в секвенцию картинок и обработать в программе для статичных изображений Topaz Gigapixel AI в пакетном режиме. И тут сразу бросается в глаза, что Gigapixel тратит гораздо больше времени на обработку одного кадра, соответственно полное видео будет обрабатываться еще дольше чем в Video Enhance AI, а это будет очень неприятным сюрпризом для тех, кто жаловался на его тормознуть.

Gigapixel AI.jpg (201.52 КБ) 16764 просмотра

Gigapixel AI.jpg (201.52 КБ) 16764 просмотра

Каждый кадр сам по себе выглядит очень достойно, появились интересные глазу детали, а само изображения получило такую приятную ламповую атмосферу фотопленки. Но самый главный минус проявил себя в анимации - каждый кадр слишком сильно отличается в секвенции от соседей, и по краям объекта прыгает много неприятных артефактов увеличения от ИИ, создавая эффект небольших мазков кисти.

Старый и всеми давно позабытый в After Effects плагин Red Giant Instant 4K, который кажется даже авторы уже забросили. Во всяком случае Shooter Suite, в состав которого он входит, пропала из основного раздела на сайте Red Giant. В любом случае, интеллектом там и не пахнет - обычная зашарпленая увеличенная картинка со всеми минусами. У BorisFX тоже есть аналог - BCC Reframer и BCC UpRez, я не проверял, но даже по примерам на сайте они выглядят пустой тратой времени по качеству апскейла из прошлого века. Продавать такое в эру искусственного интеллекта и нейронных сетей уже несерьезно...

Еще посоветовал бесплатную программу Video2X, использующую машинное обучение, с помощью которой можно изменить разрешение видео несколькими разными алгоритмами waifu2x, Anime4K, SRMD и RealSR. Название некоторых как бы намекает нам, для чего эта программы была придумана - увеличение рисованного видео типа аниме и мультипликации. Вроде как, с этой задачей Video2X справляется хорошо, но нас-то интересует живое видео с кучей деталей и градиентов.

SRMD.jpg (96.81 КБ) 16764 просмотра

SRMD.jpg (96.81 КБ) 16764 просмотра

В целом SRMD мне не понравился вообще, работает он, конечно, быстро, но такого качества увеличения видео и за так не надо. А вот RealSR выглядит более интересно, результаты его работы больше напоминают Gigapixel AI по деталям и уровню "заглажености" картинки. Но его скорость меня очень расстроила... по минуте на каждый кадр! Да и артефакты на месте.

Забавно, что с появлением в широком доступе технологий искусственного интеллекта и машинного обучения такие задачи, как изменить размер видео и улучшение качества видео, выглядят уже не так грустно. Теперь растянуть видео и увеличить четкость можно сделать даже в домашних условиях, и это доступно почти каждому, кто захочет разобраться в этой теме. Ну а я надеюсь, что эти два видео урока помогут вам разобраться с апскейлом и новыми большими размерами эры 4К и выше.

[Akbaur]

Четкость никакая программа не повысит. Не следует путать четкость и резкость - это два совершенно разных параметра. Topaz работает только с прогрессивной разверткой, да и то не самым лучшим образом. А кому это надо. Да и настроек там никаких нет, всё для домохозяек сделано. Все хотят именно старые материалы обновить, а они ВСЕ чересстрочные. Особенно задолбали уже эти словечки, типа нейронные сети и искусственный интеллект ))) Наука в этом направлении находится еще в зародышевом состоянии, а уже со всех сторон трубят ИС ИНТЕЛЛЕКТ. )))) Об искусственном интеллекте можно было бы бакланить тогда, когда хотя бы с десяток лет на прилавках магазинов стояли бы квантовые компьютеры..

[aeplug]

Источник цитаты четкость и резкость

Для обычного человека разницы нет.

Источник цитаты старые материалы обновить, а они ВСЕ чересстрочные

В чересстрочных и нечего обновлять. Особенно SD. Да еще и пожатое в divx как прогрессив.

Источник цитаты типа нейронные сети и искусственный интеллект

Насчет "интеллекта" согласен, все это громкий маркетинг "для домохозяек", а "неровные сети" это просто технология. Сама по себе ничего она не гарантирует.

[Akbaur]

Источник цитаты В чересстрочных и нечего обновлять. Особенно SD. Да еще и пожатое в divx как прогрессив.

Ну не скажите, что значит нечего. Они старые, SD. Вот их и хотелось бы смотреть на современных Full HD и 4K телевизорах, а для этого их и надо растянуть с наименьшими потерями. )) У людей полно еще кинопленок.. Да и алгоритмы по преобразованию разверток есть не плохие. Чего вот Topaz не включит в состав преобразование развертки..
В свое время я делал дипломный проект по преобразованию разрешений на основе адаптивных алгоритмов с детектором движения и передискретизацией аналогового видеосигнала с повышенной частотой на основе теоремы Котельникова, которую на западе сейчас да и всегда называли теоремой Найквиста, хотя только в 90-х годах пальма первенства была отдана нашему ученому. А мы все лаптем щи хлебаем: телевизор придумал Зворыкин, кинескоп - Басов, цифровое преобразование Котельников, пипец, я уж про радио молчу. ))

[aeplug]

Источник цитаты их и надо растянуть

нечего там тянуть, особенно у "простых людей" тем более до 4к! Откуда взяться-то увеличению примерно в 10 раз!

Источник цитаты алгоритмы по преобразованию разверток есть не плохие

Не видал, например какие?

[Akbaur]

Источник цитаты нечего там тянуть, особенно у "простых людей" тем более до 4к! Откуда взяться-то увеличению примерно в 10 раз!

Вот как раз наиболее качественное повышение резкости, кроме того, выправление баланса белого на таких материалах - один из лучших способов поднять резкость. Ну и увеличивать не на весь экран, а процентов на 60 в эдаком подходящем рамочном окружении. Здесь скорее помогут не суперумные проги, а знание фотошопа и пакетная покадровая, посюжетная обработка.

Источник цитаты Не видал, например какие?

Фильтры для AviSynth, давно дело было, сейчас уже и не вспомню какие лучше, какие нет. Их там много под прогу написано. Парочка работала весьма недурственно. Очевидно, что здесь нужен детектор движения, который меняет алгоритмы в зависимости от скоротечности сюжета.

[aeplug]

Источник цитаты качественное повышение резкости

Источник цитаты баланса белого

Источник цитаты знание фотошопа и пакетная покадровая, посюжетная обработка.

Такое впечатление, что ты просто теоретизируешь и пытаешь засыпать меня умными словами. Это все ни разу на похоже на практическое применение. Я не вижу тут ни одного метода, который хотя бы можно было проверить.

[Akbaur]

Источник цитаты Такое впечатление, что ты просто теоретизируешь и пытаешь засыпать меня умными словами. Это все ни разу на похоже на практическое применение. Я не вижу тут ни одного метода, который хотя бы можно было проверить.

Прикольно. Чего тут умного, вы ни разу не проводили цветокоррекцию с помощью инструмента levels и curve от Adobe? Практически любой, особенно старый кадр становится после этого не только более правильным по цвету, но и более резким, о чем неоднократно писал Дэн Маргулис в своих замечательных книгах по фотошопу. А лучший способ поднять контурную резкость с настроенными фильтрами высоких частот в фотошопе High Pass и трудно найти . Чего тут не практичного, если поделить видеоматериал на сюжеты, сохранить их покадрово, а затем на каждый характерный кадр сюжета создать свою акцию в фотошопе, то останется только нажать на кнопку и все кадры сюжета будут обработаны . А если сюда добавить замечательную возможность фотошопа смешения каналов, ибо синий канал наиболее страдает в старых видеоматериалах, то такое преобразование уже точно не делает никакой плагин для видео. Конечно, это способ не для оцифровщика, зарабатывающего деньги на оцифровке, тут попотеть придется. Но лучшего способа обработки СВОИХ старых видеоматериалов - нет. Ну.... или дождаться квантовых компьютеров с действительно искусственным интеллектом и одной кнопкой, для практиков.. Правда прождать придется еще лет 20 минимум.

Отправлено спустя 15 минут 29 секунд:

Источник цитаты пытаешь засыпать меня умными словами

Да, и писать тупыми словами - не большое достоинство.

[aeplug]

Ерунда какая-то... Как можно сравнивать типа "ИИ", который придумывает детали и переходы на ходу и галимый High Pass.

Источник цитаты замечательную возможность фотошопа смешения каналов

А чего в ней замечательного и уникального??? After Effects умеет смешивать.

Источник цитаты синий канал наиболее страдает в старых видеоматериалах

В видео вообще кодируется YUV

Источник цитаты никакой плагин для видео

Может потому что никому это и не нужно
-
Опять ничего не понятно, какие то слова, названия, поток сознания. Что из этого можно взять и повторить? Ничего. Достал какую-то технологию из журналов 2000-х годов про компы, которую все уже давно забыли за ненадобностью. Давайтете видео по кадрам в Photoshop будем High Pass обрабатывать... А все остальные дураки значит... не догадываются, что так можно