Популярные темы Важные темы

Как увеличить размер видео - искусственный интеллект улучшает качество

  • Похожие темы
    Ответы
    Просмотры
    Последнее сообщение
Ссылки, описания, дополнительная информация для моих уроков на YouTube
Canonical Link
Аватара пользователя

Автор темы
aeplug
Санта
Санта
Сообщения: 2580
Зарегистрирован: 18 мар 2016 23:20
Откуда: С Ютуба
Благодарил (а): 16 раз
Поблагодарили: 264 раза

Как увеличить размер видео - искусственный интеллект улучшает качество


Теги:

Сообщение aeplug » 27 ноя 2020 20:12

апскейлинг видео.jpg
апскейлинг видео.jpg (29.06 КБ) 1012 просмотров
апскейлинг видео.jpg
апскейлинг видео.jpg (29.06 КБ) 1012 просмотров
-

В эпоху наступающего 4К нам, простым монтажникам, неплохо бы знать и уметь, как растягивать видео и делать увеличение разрешения кадра желательно без потери качества, ведь вокруг все еще существует огромное количество актуальных исходников и в FullHD и даже хуже. Тут вы можете узнать несколько хороших способов, как увеличить разрешение видео и сохранить качество картинки или даже сделать его лучше, повысив четкость и добавив приятные глазу недостающие детали. В этом нам помогут современные технологии нейросетей и машинное обучение.
https://www.youtube.com/watch?v=sTr68T_Acqc
Несколько лет назад, я уже тестировал возможности, доступные на тот момент, для аналогичных целей. Хочется сказать, что современные нейронные сети работают гораздо интереснее, а результат получается качественнее.

Например недавно для моего любимого Adobe After Effects и Premiere Pro появился новый плагин ScaleUp, который как раз и использует искусственный интеллект для "апскейла" видео без потери качества. Плагин ScaleUp легко применить прямо в нужной программе, у него мало настроек, результат получает гораздо лучше встроенного в After Effects старого стандартного эффекта Detail-preserving Upscale, но есть вариант поперспективнее!
ScaleUp.jpg
ScaleUp.jpg (11.37 КБ) 1011 просмотров
ScaleUp.jpg
ScaleUp.jpg (11.37 КБ) 1011 просмотров

К техническим недостаткам ScaleUp могу отнести то, что все ограничения хоста применяются автоматом и к плагину. Например в After Effects у меня возникли проблемы с попыткой обработать FullHD, я пытался увеличить разрешение на 400%, и программа вела себя неадекватно: фрагменты кадров путались и пропадали, периодически программа отказывала показывать превью вообще.
Для еще лучшего результата существует отдельная программа Topaz Video Enhance AI специально для работы с видеофайлами. Уже из названия становится ясно, что интеллекта там выше крыши, и за счет машинного обучения получается изменить размер видео до 600% с сохранением резкости и деталей. Иногда кажется, что программа сама додумывает недостающие части в размытых областях. Вместе с Video Enhance AI поставляется несколько моделей ИИ, разработанных для разных типов видео. Короче, хорошая программа, если у вас много старых видео исходников небольшого размера, и им требуется апскейлинг до 4К, чтобы выглядеть более менее достойно и современно.
Topaz Video Enhance AI.jpg
Topaz Video Enhance AI.jpg (73.04 КБ) 1011 просмотров
Topaz Video Enhance AI.jpg
Topaz Video Enhance AI.jpg (73.04 КБ) 1011 просмотров

Все эти методы апскейла с искусственным интеллектом не просто меняют масштаб изображения на более большой, из за чего растянутое видео становится размытым и мутным, а пиксели становятся весьма различимыми ступеньками. Но путем глубокого анализа картинки алгоритмы предсказывают поведение линий и дорисовывают контуры объектов в новом разрешении, чтобы улучшить качество и увеличить четкость увеличенного кадра.
Topaz Gigapixel AI.jpg
Topaz Gigapixel AI.jpg (114.1 КБ) 1011 просмотров
Topaz Gigapixel AI.jpg
Topaz Gigapixel AI.jpg (114.1 КБ) 1011 просмотров

К слову, компания Topaz давно занимается алгоритмами обработки изображений и повышения качества, которые она использует в создании фильтров для Photoshop. Для увеличения размера статичной картинки или фотографии у них несколько лет существует Topaz Gigapixel AI, который достигает потрясающих результатов, вытягивая из исходника даже то, чего казалось бы не было в оригинале.
Topaz JPEG to RAW AI.jpg
Topaz JPEG to RAW AI.jpg (116.39 КБ) 1011 просмотров
Topaz JPEG to RAW AI.jpg
Topaz JPEG to RAW AI.jpg (116.39 КБ) 1011 просмотров

Еще одна полезная программа для повышения качества - Topaz JPEG to RAW AI, она устраняет артефакты сжатия JPEG, бандинга и пытается повысить глубину цвете для последующей обработки, тоже за счет все того же ИИ и обучения. И это еще не все, но вы лучше сами посетите их сайту и изучите ассортимент. Уверен, вы сможете найти там что-нибудь и для себя, во всяком случае многие фотографы отзываются весьма положительно об этих продуктах.
Например программа Topaz Mask AI. Раньше у меня был урок про выделение объектов в Photoshop, в котором я как раз и показывал, как просто работать с ее предшественником ReMask. А теперь у нее под капотом сидит целый ИИ, и по идее все стало еще проще.


Видео уроки для After Effects http://www.youtube.com/AEPlug
Платные консультации по работе в программах

Теги:


Аватара пользователя

Автор темы
aeplug
Санта
Санта
Сообщения: 2580
Зарегистрирован: 18 мар 2016 23:20
Откуда: С Ютуба
Благодарил (а): 16 раз
Поблагодарили: 264 раза

Читаю и комментирую советы подписчиков

Сообщение aeplug » 05 дек 2020 21:28

Я хочу продолжить тему, затронутую в предыдущем ролике про качественное увеличение размера кадра у видео. Вы в комментариях надавали мне кучу самых разных советов, и сейчас я проверю самые популярные. Мне кажется, тема очень полезная и интересная, многим может пригодится, а я любопытный и не могу удержаться, чтобы не разобраться хотя бы для себя, каким метод оказывается лучше обрабатывать видео на самом деле. Заодно сравним результаты, полученные из разных программ, с помощью которых можно делать апскейлинг до 4к с сохранением четкости кадра.
https://www.youtube.com/watch?v=uxdPZ46QM3Q

Содержание с временными метками
00:41 Пропустим секвенцию через Topaz Gigapixel AI
05:13 Пару слов про Dain-App
05:49 Про увеличение размера 3D рендеров
06:23 Размера плагина ScaleUp
07:31 Так себе Red Giant Instant 4K
08:40 Бесплатная программа Video2X
09:30 Алгоритм SRMD NCNN Vulkan
11:25 Тормозной RealSR NCNN Vulkan
12:35 Анимация SRMD и сравнение
12:55 И другие сравнения RealSR и проч.
15:00 Итоги и выводы

Самый популярный совет в комментариях - экспортировать видео в секвенцию картинок и обработать в программе для статичных изображений Topaz Gigapixel AI в пакетном режиме. И тут сразу бросается в глаза, что Gigapixel тратит гораздо больше времени на обработку одного кадра, соответственно полное видео будет обрабатываться еще дольше чем в Video Enhance AI, а это будет очень неприятным сюрпризом для тех, кто жаловался на его тормознуть.
Gigapixel AI.jpg
Gigapixel AI.jpg (201.52 КБ) 827 просмотров
Gigapixel AI.jpg
Gigapixel AI.jpg (201.52 КБ) 827 просмотров

Каждый кадр сам по себе выглядит очень достойно, появились интересные глазу детали, а само изображения получило такую приятную ламповую атмосферу фотопленки. Но самый главный минус проявил себя в анимации - каждый кадр слишком сильно отличается в секвенции от соседей, и по краям объекта прыгает много неприятных артефактов увеличения от ИИ, создавая эффект небольших мазков кисти.

Старый и всеми давно позабытый в After Effects плагин Red Giant Instant 4K, который кажется даже авторы уже забросили. Во всяком случае Shooter Suite, в состав которого он входит, пропала из основного раздела на сайте Red Giant. В любом случае, интеллектом там и не пахнет - обычная зашарпленая увеличенная картинка со всеми минусами. У BorisFX тоже есть аналог - BCC Reframer и BCC UpRez, я не проверял, но даже по примерам на сайте они выглядят пустой тратой времени по качеству апскейла из прошлого века. Продавать такое в эру искусственного интеллекта и нейронных сетей уже несерьезно...
Изображение
Еще посоветовал бесплатную программу Video2X, использующую машинное обучение, с помощью которой можно изменить разрешение видео несколькими разными алгоритмами waifu2x, Anime4K, SRMD и RealSR. Название некоторых как бы намекает нам, для чего эта программы была придумана - увеличение рисованного видео типа аниме и мультипликации. Вроде как, с этой задачей Video2X справляется хорошо, но нас-то интересует живое видео с кучей деталей и градиентов.
SRMD.jpg
SRMD.jpg (96.81 КБ) 827 просмотров
SRMD.jpg
SRMD.jpg (96.81 КБ) 827 просмотров

В целом SRMD мне не понравился вообще, работает он, конечно, быстро, но такого качества увеличения видео и за так не надо. А вот RealSR выглядит более интересно, результаты его работы больше напоминают Gigapixel AI по деталям и уровню "заглажености" картинки. Но его скорость меня очень расстроила... по минуте на каждый кадр! Да и артефакты на месте.

Забавно, что с появлением в широком доступе технологий искусственного интеллекта и машинного обучения такие задачи, как изменить размер видео и улучшение качества видео, выглядят уже не так грустно. Теперь растянуть видео и увеличить четкость можно сделать даже в домашних условиях, и это доступно почти каждому, кто захочет разобраться в этой теме. Ну а я надеюсь, что эти два видео урока помогут вам разобраться с апскейлом и новыми большими размерами эры 4К и выше.
Видео уроки для After Effects http://www.youtube.com/AEPlug
Платные консультации по работе в программах


Вернуться в «Мои уроки»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей