Как увеличить размер видео - искусственный интеллект улучшает качество

Ссылки, описания, дополнительная информация для моих уроков на YouTube
Аватара пользователя

Автор темы
aeplug
Санта
Санта
Сообщения: 2802
Зарегистрирован: 18 мар 2016, 23:20
Откуда: С Ютуба
Благодарил (а): 18 раз
Поблагодарили: 274 раза
Контактная информация:

Как увеличить размер видео - искусственный интеллект улучшает качество


Теги:

Сообщение #1 aeplug » 27 ноя 2020, 20:12

апскейлинг видео.jpg
апскейлинг видео.jpg (29.06 КБ) 15164 просмотра
апскейлинг видео.jpg
апскейлинг видео.jpg (29.06 КБ) 15164 просмотра
-

В эпоху наступающего 4К нам, простым монтажникам, неплохо бы знать и уметь, как растягивать видео и делать увеличение разрешения кадра желательно без потери качества, ведь вокруг все еще существует огромное количество актуальных исходников и в FullHD и даже хуже. Тут вы можете узнать несколько хороших способов, как увеличить разрешение видео и сохранить качество картинки или даже сделать его лучше, повысив четкость и добавив приятные глазу недостающие детали. В этом нам помогут современные технологии нейросетей и машинное обучение.
https://www.youtube.com/watch?v=sTr68T_Acqc
Несколько лет назад, я уже тестировал возможности, доступные на тот момент, для аналогичных целей. Хочется сказать, что современные нейронные сети работают гораздо интереснее, а результат получается качественнее.

Например недавно для моего любимого Adobe After Effects и Premiere Pro появился новый плагин ScaleUp, который как раз и использует искусственный интеллект для "апскейла" видео без потери качества. Плагин ScaleUp легко применить прямо в нужной программе, у него мало настроек, результат получает гораздо лучше встроенного в After Effects старого стандартного эффекта Detail-preserving Upscale, но есть вариант поперспективнее!
ScaleUp.jpg
ScaleUp.jpg (11.37 КБ) 15163 просмотра
ScaleUp.jpg
ScaleUp.jpg (11.37 КБ) 15163 просмотра

К техническим недостаткам ScaleUp могу отнести то, что все ограничения хоста применяются автоматом и к плагину. Например в After Effects у меня возникли проблемы с попыткой обработать FullHD, я пытался увеличить разрешение на 400%, и программа вела себя неадекватно: фрагменты кадров путались и пропадали, периодически программа отказывала показывать превью вообще.
Для еще лучшего результата существует отдельная программа Topaz Video Enhance AI специально для работы с видеофайлами. Уже из названия становится ясно, что интеллекта там выше крыши, и за счет машинного обучения получается изменить размер видео до 600% с сохранением резкости и деталей. Иногда кажется, что программа сама додумывает недостающие части в размытых областях. Вместе с Video Enhance AI поставляется несколько моделей ИИ, разработанных для разных типов видео. Короче, хорошая программа, если у вас много старых видео исходников небольшого размера, и им требуется апскейлинг до 4К, чтобы выглядеть более менее достойно и современно.
Topaz Video Enhance AI.jpg
Topaz Video Enhance AI.jpg (73.04 КБ) 15163 просмотра
Topaz Video Enhance AI.jpg
Topaz Video Enhance AI.jpg (73.04 КБ) 15163 просмотра

Все эти методы апскейла с искусственным интеллектом не просто меняют масштаб изображения на более большой, из за чего растянутое видео становится размытым и мутным, а пиксели становятся весьма различимыми ступеньками. Но путем глубокого анализа картинки алгоритмы предсказывают поведение линий и дорисовывают контуры объектов в новом разрешении, чтобы улучшить качество и увеличить четкость увеличенного кадра.
Topaz Gigapixel AI.jpg
Topaz Gigapixel AI.jpg (114.1 КБ) 15163 просмотра
Topaz Gigapixel AI.jpg
Topaz Gigapixel AI.jpg (114.1 КБ) 15163 просмотра

К слову, компания Topaz давно занимается алгоритмами обработки изображений и повышения качества, которые она использует в создании фильтров для Photoshop. Для увеличения размера статичной картинки или фотографии у них несколько лет существует Topaz Gigapixel AI, который достигает потрясающих результатов, вытягивая из исходника даже то, чего казалось бы не было в оригинале.
Topaz JPEG to RAW AI.jpg
Topaz JPEG to RAW AI.jpg (116.39 КБ) 15163 просмотра
Topaz JPEG to RAW AI.jpg
Topaz JPEG to RAW AI.jpg (116.39 КБ) 15163 просмотра

Еще одна полезная программа для повышения качества - Topaz JPEG to RAW AI, она устраняет артефакты сжатия JPEG, бандинга и пытается повысить глубину цвете для последующей обработки, тоже за счет все того же ИИ и обучения. И это еще не все, но вы лучше сами посетите их сайту и изучите ассортимент. Уверен, вы сможете найти там что-нибудь и для себя, во всяком случае многие фотографы отзываются весьма положительно об этих продуктах.
Например программа Topaz Mask AI. Раньше у меня был урок про выделение объектов в Photoshop, в котором я как раз и показывал, как просто работать с ее предшественником ReMask. А теперь у нее под капотом сидит целый ИИ, и по идее все стало еще проще.


Видео уроки для After Effects http://www.youtube.com/AEPlug
Платные консультации по работе в программах

Теги:


Аватара пользователя

Автор темы
aeplug
Санта
Санта
Сообщения: 2802
Зарегистрирован: 18 мар 2016, 23:20
Откуда: С Ютуба
Благодарил (а): 18 раз
Поблагодарили: 274 раза
Контактная информация:

Читаю и комментирую советы подписчиков

Сообщение #2 aeplug » 05 дек 2020, 21:28

Я хочу продолжить тему, затронутую в предыдущем ролике про качественное увеличение размера кадра у видео. Вы в комментариях надавали мне кучу самых разных советов, и сейчас я проверю самые популярные. Мне кажется, тема очень полезная и интересная, многим может пригодится, а я любопытный и не могу удержаться, чтобы не разобраться хотя бы для себя, каким метод оказывается лучше обрабатывать видео на самом деле. Заодно сравним результаты, полученные из разных программ, с помощью которых можно делать апскейлинг до 4к с сохранением четкости кадра.
https://www.youtube.com/watch?v=uxdPZ46QM3Q

Содержание с временными метками
00:41 Пропустим секвенцию через Topaz Gigapixel AI
05:13 Пару слов про Dain-App
05:49 Про увеличение размера 3D рендеров
06:23 Размера плагина ScaleUp
07:31 Так себе Red Giant Instant 4K
08:40 Бесплатная программа Video2X
09:30 Алгоритм SRMD NCNN Vulkan
11:25 Тормозной RealSR NCNN Vulkan
12:35 Анимация SRMD и сравнение
12:55 И другие сравнения RealSR и проч.
15:00 Итоги и выводы

Самый популярный совет в комментариях - экспортировать видео в секвенцию картинок и обработать в программе для статичных изображений Topaz Gigapixel AI в пакетном режиме. И тут сразу бросается в глаза, что Gigapixel тратит гораздо больше времени на обработку одного кадра, соответственно полное видео будет обрабатываться еще дольше чем в Video Enhance AI, а это будет очень неприятным сюрпризом для тех, кто жаловался на его тормознуть.
Gigapixel AI.jpg
Gigapixel AI.jpg (201.52 КБ) 14979 просмотров
Gigapixel AI.jpg
Gigapixel AI.jpg (201.52 КБ) 14979 просмотров

Каждый кадр сам по себе выглядит очень достойно, появились интересные глазу детали, а само изображения получило такую приятную ламповую атмосферу фотопленки. Но самый главный минус проявил себя в анимации - каждый кадр слишком сильно отличается в секвенции от соседей, и по краям объекта прыгает много неприятных артефактов увеличения от ИИ, создавая эффект небольших мазков кисти.

Старый и всеми давно позабытый в After Effects плагин Red Giant Instant 4K, который кажется даже авторы уже забросили. Во всяком случае Shooter Suite, в состав которого он входит, пропала из основного раздела на сайте Red Giant. В любом случае, интеллектом там и не пахнет - обычная зашарпленая увеличенная картинка со всеми минусами. У BorisFX тоже есть аналог - BCC Reframer и BCC UpRez, я не проверял, но даже по примерам на сайте они выглядят пустой тратой времени по качеству апскейла из прошлого века. Продавать такое в эру искусственного интеллекта и нейронных сетей уже несерьезно...
Изображение
Еще посоветовал бесплатную программу Video2X, использующую машинное обучение, с помощью которой можно изменить разрешение видео несколькими разными алгоритмами waifu2x, Anime4K, SRMD и RealSR. Название некоторых как бы намекает нам, для чего эта программы была придумана - увеличение рисованного видео типа аниме и мультипликации. Вроде как, с этой задачей Video2X справляется хорошо, но нас-то интересует живое видео с кучей деталей и градиентов.
SRMD.jpg
SRMD.jpg (96.81 КБ) 14979 просмотров
SRMD.jpg
SRMD.jpg (96.81 КБ) 14979 просмотров

В целом SRMD мне не понравился вообще, работает он, конечно, быстро, но такого качества увеличения видео и за так не надо. А вот RealSR выглядит более интересно, результаты его работы больше напоминают Gigapixel AI по деталям и уровню "заглажености" картинки. Но его скорость меня очень расстроила... по минуте на каждый кадр! Да и артефакты на месте.

Забавно, что с появлением в широком доступе технологий искусственного интеллекта и машинного обучения такие задачи, как изменить размер видео и улучшение качества видео, выглядят уже не так грустно. Теперь растянуть видео и увеличить четкость можно сделать даже в домашних условиях, и это доступно почти каждому, кто захочет разобраться в этой теме. Ну а я надеюсь, что эти два видео урока помогут вам разобраться с апскейлом и новыми большими размерами эры 4К и выше.
Видео уроки для After Effects http://www.youtube.com/AEPlug
Платные консультации по работе в программах


Akbaur
Не Нуб
Не Нуб
Сообщения: 30
Зарегистрирован: 18 авг 2020, 15:29

Сообщение #3 Akbaur » 17 мар 2021, 18:19

Четкость никакая программа не повысит. Не следует путать четкость и резкость - это два совершенно разных параметра. Topaz работает только с прогрессивной разверткой, да и то не самым лучшим образом. А кому это надо. Да и настроек там никаких нет, всё для домохозяек сделано. Все хотят именно старые материалы обновить, а они ВСЕ чересстрочные. Особенно задолбали уже эти словечки, типа нейронные сети и искусственный интеллект ))) Наука в этом направлении находится еще в зародышевом состоянии, а уже со всех сторон трубят ИС ИНТЕЛЛЕКТ. )))) Об искусственном интеллекте можно было бы бакланить тогда, когда хотя бы с десяток лет на прилавках магазинов стояли бы квантовые компьютеры..

Аватара пользователя

Автор темы
aeplug
Санта
Санта
Сообщения: 2802
Зарегистрирован: 18 мар 2016, 23:20
Откуда: С Ютуба
Благодарил (а): 18 раз
Поблагодарили: 274 раза
Контактная информация:

Сообщение #4 aeplug » 17 мар 2021, 21:05

Akbaur писал(а):Источник цитаты четкость и резкость

Для обычного человека разницы нет.
Akbaur писал(а):Источник цитаты старые материалы обновить, а они ВСЕ чересстрочные

В чересстрочных и нечего обновлять. Особенно SD. Да еще и пожатое в divx как прогрессив.
Akbaur писал(а):Источник цитаты типа нейронные сети и искусственный интеллект

Насчет "интеллекта" согласен, все это громкий маркетинг "для домохозяек", а "неровные сети" это просто технология. Сама по себе ничего она не гарантирует.
Видео уроки для After Effects http://www.youtube.com/AEPlug
Платные консультации по работе в программах


Akbaur
Не Нуб
Не Нуб
Сообщения: 30
Зарегистрирован: 18 авг 2020, 15:29

Сообщение #5 Akbaur » 19 мар 2021, 14:34

aeplug писал(а):Источник цитаты В чересстрочных и нечего обновлять. Особенно SD. Да еще и пожатое в divx как прогрессив.

Ну не скажите, что значит нечего. Они старые, SD. Вот их и хотелось бы смотреть на современных Full HD и 4K телевизорах, а для этого их и надо растянуть с наименьшими потерями. )) У людей полно еще кинопленок.. Да и алгоритмы по преобразованию разверток есть не плохие. Чего вот Topaz не включит в состав преобразование развертки..
В свое время я делал дипломный проект по преобразованию разрешений на основе адаптивных алгоритмов с детектором движения и передискретизацией аналогового видеосигнала с повышенной частотой на основе теоремы Котельникова, которую на западе сейчас да и всегда называли теоремой Найквиста, хотя только в 90-х годах пальма первенства была отдана нашему ученому. А мы все лаптем щи хлебаем: телевизор придумал Зворыкин, кинескоп - Басов, цифровое преобразование Котельников, пипец, я уж про радио молчу. ))

Аватара пользователя

Автор темы
aeplug
Санта
Санта
Сообщения: 2802
Зарегистрирован: 18 мар 2016, 23:20
Откуда: С Ютуба
Благодарил (а): 18 раз
Поблагодарили: 274 раза
Контактная информация:

Сообщение #6 aeplug » 20 мар 2021, 00:47

Akbaur писал(а):Источник цитаты их и надо растянуть

нечего там тянуть, особенно у "простых людей" тем более до 4к! Откуда взяться-то увеличению примерно в 10 раз!
Akbaur писал(а):Источник цитаты алгоритмы по преобразованию разверток есть не плохие

Не видал, например какие?
Видео уроки для After Effects http://www.youtube.com/AEPlug
Платные консультации по работе в программах


Akbaur
Не Нуб
Не Нуб
Сообщения: 30
Зарегистрирован: 18 авг 2020, 15:29

Сообщение #7 Akbaur » 23 мар 2021, 14:43

aeplug писал(а):Источник цитаты нечего там тянуть, особенно у "простых людей" тем более до 4к! Откуда взяться-то увеличению примерно в 10 раз!

Вот как раз наиболее качественное повышение резкости, кроме того, выправление баланса белого на таких материалах - один из лучших способов поднять резкость. Ну и увеличивать не на весь экран, а процентов на 60 в эдаком подходящем рамочном окружении. Здесь скорее помогут не суперумные проги, а знание фотошопа и пакетная покадровая, посюжетная обработка.
aeplug писал(а):Источник цитаты Не видал, например какие?

Фильтры для AviSynth, давно дело было, сейчас уже и не вспомню какие лучше, какие нет. Их там много под прогу написано. Парочка работала весьма недурственно. Очевидно, что здесь нужен детектор движения, который меняет алгоритмы в зависимости от скоротечности сюжета.

Аватара пользователя

Автор темы
aeplug
Санта
Санта
Сообщения: 2802
Зарегистрирован: 18 мар 2016, 23:20
Откуда: С Ютуба
Благодарил (а): 18 раз
Поблагодарили: 274 раза
Контактная информация:

Сообщение #8 aeplug » 23 мар 2021, 21:20

Akbaur писал(а):Источник цитаты качественное повышение резкости

Akbaur писал(а):Источник цитаты баланса белого

Akbaur писал(а):Источник цитаты знание фотошопа и пакетная покадровая, посюжетная обработка.

Такое впечатление, что ты просто теоретизируешь и пытаешь засыпать меня умными словами. Это все ни разу на похоже на практическое применение. Я не вижу тут ни одного метода, который хотя бы можно было проверить.
Видео уроки для After Effects http://www.youtube.com/AEPlug
Платные консультации по работе в программах


Akbaur
Не Нуб
Не Нуб
Сообщения: 30
Зарегистрирован: 18 авг 2020, 15:29

Сообщение #9 Akbaur » 27 мар 2021, 13:40

aeplug писал(а):Источник цитаты Такое впечатление, что ты просто теоретизируешь и пытаешь засыпать меня умными словами. Это все ни разу на похоже на практическое применение. Я не вижу тут ни одного метода, который хотя бы можно было проверить.


Прикольно. Чего тут умного, вы ни разу не проводили цветокоррекцию с помощью инструмента levels и curve от Adobe? Практически любой, особенно старый кадр становится после этого не только более правильным по цвету, но и более резким, о чем неоднократно писал Дэн Маргулис в своих замечательных книгах по фотошопу. А лучший способ поднять контурную резкость с настроенными фильтрами высоких частот в фотошопе High Pass и трудно найти . Чего тут не практичного, если поделить видеоматериал на сюжеты, сохранить их покадрово, а затем на каждый характерный кадр сюжета создать свою акцию в фотошопе, то останется только нажать на кнопку и все кадры сюжета будут обработаны . А если сюда добавить замечательную возможность фотошопа смешения каналов, ибо синий канал наиболее страдает в старых видеоматериалах, то такое преобразование уже точно не делает никакой плагин для видео. Конечно, это способ не для оцифровщика, зарабатывающего деньги на оцифровке, тут попотеть придется. Но лучшего способа обработки СВОИХ старых видеоматериалов - нет. Ну.... или дождаться квантовых компьютеров с действительно искусственным интеллектом и одной кнопкой, для практиков.. Правда прождать придется еще лет 20 минимум.

Отправлено спустя 15 минут 29 секунд:
aeplug писал(а):Источник цитаты пытаешь засыпать меня умными словами

Да, и писать тупыми словами - не большое достоинство.

Аватара пользователя

Автор темы
aeplug
Санта
Санта
Сообщения: 2802
Зарегистрирован: 18 мар 2016, 23:20
Откуда: С Ютуба
Благодарил (а): 18 раз
Поблагодарили: 274 раза
Контактная информация:

Сообщение #10 aeplug » 27 мар 2021, 19:31

Ерунда какая-то... Как можно сравнивать типа "ИИ", который придумывает детали и переходы на ходу и галимый High Pass.
Akbaur писал(а):Источник цитаты замечательную возможность фотошопа смешения каналов

А чего в ней замечательного и уникального??? After Effects умеет смешивать.
Akbaur писал(а):Источник цитаты синий канал наиболее страдает в старых видеоматериалах

В видео вообще кодируется YUV
Akbaur писал(а):Источник цитаты никакой плагин для видео

Может потому что никому это и не нужно :bouaaaaah:
-
Опять ничего не понятно, какие то слова, названия, поток сознания. Что из этого можно взять и повторить? Ничего. Достал какую-то технологию из журналов 2000-х годов про компы, которую все уже давно забыли за ненадобностью. Давайтете видео по кадрам в Photoshop будем High Pass обрабатывать... А все остальные дураки значит... не догадываются, что так можно :tastey:
Видео уроки для After Effects http://www.youtube.com/AEPlug
Платные консультации по работе в программах


Вернуться в «Мои уроки»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей