Как конвертировать звук в изображение Waveform (FFmpeg)

[aeplug]

waveform.jpg (27.9 КБ) 10810 просмотров

waveform.jpg (27.9 КБ) 10810 просмотров

С помощью программы FFmpeg можно получить изображение, отображающее визуальное представление звука Waveform, которое впоследствии можно использовать для создания анимированной графики в After Effects. Например для зацикленного движения звуковой волны при создании шурешек. Ну и кончено полученную картинку можно использовать и в Photoshop для оформления тематических дизайнов при необходимости.
https://www.youtube.com/watch?v=OHJVrBrAXTg
Для работы с FFmpeg нужно знать форматы ее команд и использовать командную строку или пакетные файлы .BAT. Для себя я определил такие параметры запуска:

Код: Выделить всё

ffmpeg -i %1 -y -filter_complex "aformat=channel_layouts=mono,showwavespic=colors=#FFFFFF:scale=sqrt:s=1920x1080" -frames:v 1 waveform.png

скачать bat файл

bat.zip

(261 байт) 1414 скачиваний

bat.zip

(261 байт) 1414 скачиваний

%1 - это имя звукового файла для обработки, которое передается в bat файл при запуске (в уроке я для этого перетаскиваю файлы друг на друга). В итоге получается изображение белого цвета на прозрачном фоне, с которым легко работать в других программах. Описание параметров showwavespic можно почитать здесь: https://ffmpeg.org/ffmpeg-all.html#showwavespic
aformat=channel_layouts=mono - миксует все каналы в один, иначе они просто накладываются друг на друга прозрачными

split_channels=1 - рендерит каналы по отдельности

Вот примерно так будет выглядеть waveform для звука в формате 5.1.

audio 5.1.jpg (52.23 КБ) 10801 просмотр

audio 5.1.jpg (52.23 КБ) 10801 просмотр

colors=#FFFFFF - цвет звуковой волны
scale=sqrt - масштаб амплитуды звука, мне понравился именно sqrt
s=1920x1080 - размер готового изображения в пикселях

sox spectrogram.jpg (38.14 КБ) 10810 просмотров

sox spectrogram.jpg (38.14 КБ) 10810 просмотров

А с помощью программы SoX можно получить визуально другое распределение мощности звука по частоте, а не амплитуду громкости, которая тоже выглядит достаточно интересно и тоже может быть использована при работе над шурешками. Я сам не проверял, но команда будет подобно этой:

Код: Выделить всё

sox my.wav -n spectrogram

Обнаружилась еще одна программа для рисования спектрограмм звука - Spek – Acoustic Spectrum Analyser. Она тоже может экспортировать свой график в картинки, но без настроек размера - что на экране видите, то и сохранится.
http://spek.cc/

---

   
Полезные ссылки:

• Подборка уроков по созданию "шурешек" в After Effects
  
• FFmpeg
  https://www.ffmpeg.org/
• Несколько примеров Waveform – FFmpeg
  https://trac.ffmpeg.org/wiki/Waveform
• Generating a waveform using ffmpeg | PHP
  http://bighow.org/questions/32254818/ge ... ing-ffmpeg
• Программа для создания спектрограмм SoX - Sound eXchange
  http://sox.sourceforge.net/

[aeplug]

Владимир Волгин поделился интересным проектом для After Effects:

Адобыч, привет. Посмотрел твой урок про анализатор спектра. Хитро сделал) Но не универсально. У меня получилось сделать нечто подобное с помощью Trapcode Sound Keys и пары скриптовых выражений. Смысл простой - каждый слой - это отдельный бар анализатора.

пример.jpg (10.47 КБ) 10786 просмотров

пример.jpg (10.47 КБ) 10786 просмотров

Пробный анализатор спекта.rar

(1.1 МБ) 609 скачиваний

Пробный анализатор спекта.rar

(1.1 МБ) 609 скачиваний

выражение.jpg (12.63 КБ) 10784 просмотра

выражение.jpg (12.63 КБ) 10784 просмотра

Масштаб блоков привязан к выходу Output плагина Sound Keys, но, думаю, можно обойтись и без него. Вместо этого использовать стандартную функцию Animation -> Keyframe Assistant -> Convert Audio to Keyframes. Но с Sound Keys можно настроить более тонко форму ключей, выделить интересующие части звукового спектра.