кодирование кадров методом long gop

Про Long GOP видео кодеки

При практической работе в Премьере можно заметить что материал с разных камер по разному нагружает компьютер. DSLR обрабатывается легче чем материал с GoPro. Реальные проблемы возникают чаще всего с 4К материалом камер DJI.

получившийся лог закидываем в chrome и поиском смотрим сколько кадров всего

и сколько из них ключевых

Long GOP для Sony AX100 это всего 12 кадров (360/30), причем, если ax100 писала в режиме 100 fps, то GOP оказывается по 48 кадров, что кратно меньше увеличению скорости.

Этим методом получена следующая таблица:

Olympus E-M1, камера с высоким битрейтом, но видео обрабатывается несколько легче чем видео с квадрокоптеров. В заголовке файла заявлен GOP в 12 кадров, но прямой анализ данных показывает, что все кадры I (т.е. ключевые). Вялость работы на таймлайне объясняется тем, что Премьер в любом случае распаковывает несколько кадров в буфер, и этот процесс вступает в конкуренцию с процессом отображения кадра из буфера на экране. Тут срабатывает еще такая особенность, P и B кадры распаковать легче чем I, т.е чтобы проиграть IBBP видео нужно меньше ресурсов чем для All-I.

Если программа не успевает обрабатывать видео, то нужно или увеличивать процессорную мощность, или использовать декодирование видео с помощью GPU.

Источник

Что такое XAVC S

Формат XAVC Sony используется всё большим количеством профессиональных видеокамер. Почему же они выбирают ещё один формат? Наверное, для этого были веские причины. В профессиональной видео-индустрии прогресс движется настолько быстро, что невозможно ни секунды задержаться на месте. Будь оно так, мы бы всё ещё использовали Digital Betacam.

Но факт есть факт, что разрешение 4K не поддерживалось должным образом ни одним из существующих форматов. Необходимо было что-то новое, чтобы улучшить качество и удобство наряду со сведением к минимуму требований к видео битрейту (а следовательно, и к хранению на носителе). Вот лишь один пример: существующие кодеки на основе H.264 не справляются с кодированием 1080 50p/60p. А это режим, который всё чаще используется в современном кинопроизводстве.

Конечно, некоторые эксперты отмечают, что новый формат может оказаться попыткой Sony сделать его собственностью своих камер. Это небезосновательно, ведь каждая компания хочет заставить клиентов покупать только собственные продукты, но потратив время на изучение подробностей о XAVC, становится ясно, что это подлинный технический прогресс, который даёт реальные преимущества пользователям, который является достаточно гибким, чтобы шагать в ногу со временем.

С 2012 года большинство систем нелинейного монтажа обеспечили встроенную поддержку для нового формата, и это также распространяется на большую часть новой линейки камер Sony.

Рассмотрим немного теоретической подоплёки. Кодек XAVC основан на H.264, но идея, что H.264 останется единственным стандартизированным кодеком не сработала на практическом уровне. Есть десятки настроек и оптимизаций и принципиально различных параметров, которые могут быть установлены в соответствии с характеристиками камеры или способом использования, и это явилось той причиной, почему Sony решили разработать свой собственный набор кодеков, который называется XAVC.

H.264 можно представить себе в виде набора строительных блоков – инструментария, которым воспользовалась Sony для создания своей XAVC экосистемы. Она изменила алгоритмы, сделав их более эффективными, и добавила препроцессор, подготавливающий видео перед процессом кодирования. Всё это означает, что когда берётся лучшее из других кодеков, результат получается более эффективным и удобным для пользователя. Более того, XAVC S был построен с использованием новейших технологий кодирования, уровня 5.2, что гарантирует ещё большую эффективность.

Кодек XAVC спроектирован для масштабирования битрейта от 15 Мбит/с до 960 Мбит/с. Это охватывает любую вероятную частоту кадров (кроме ультра медленного движения) и включает в себя и HD, и 4К.

Захват и обработка
Предыдущие версии H.264 были предназначены в первую очередь для обработки, а не захвата видео. Это привело к неэффективности и трудности масштабирования высоких битрейтов. Например, тип H.264, предназначенный для Blu-Ray и спутникового вещания, никогда не будет идеальным для камер. Обратившись к основным блокам формата, Sony смогла сделать кодек, который в равной степени хорошо чувствует себя в камерах и в пост-продакшн, и приносит обоим ощутимую пользу.

Доступность в потребительском и профессиональном вариантах
Форрмат XAVC является профессиональным, помещённым в MXF OP1a контейнер – стандартный для вещательных платформ. XAVC-S – потребительский вариант формата, находящийся в контейнере MPEG-4. XAVC-S всегда 8-битный, но в отличие от AVCHD, он заточен под 4K.

Он также отличается от профессионального XAVC лучшей работой на низких битрейтах и предназначен для коротких, менее сложных рабочих процессов, которые типичны для производства любительских фильмов. На рисунке показано, что при скорости до 440 Мбит/с формат может служить промежуточной нишей между форматами визуального сжатия без потерь (HDCAM-SR, MPEG4 SStP) и обычным-привычным MPEG2:

Доступность Long-GOP и IntraFrame (только I-кадр)

Это означает, что взято лучшее из обоих миров: очень эффективный, низкий битрейт кодека для случая стеснённости в месте хранения, и более расслабленный, InraFrame-кодек, когда хватает места и пропускной способности, или если при редактировании гибкость имеет первостепенное значение.

Что подразумевают эти термины? Кодеки Long-GOP (GOP – группа изображений) используют предсказывание движения между кадрами, чтобы воссоздать последовательность изображений при декомпрессии. Т.е. нет необходимости хранить материал, который повторяется на каждом кадре, даже если в нём есть движение. Кодеки Long-GOP могут сжимать намного больше, чем компрессоры IntraFrame.

IntraFrame буквально значит «внутри кадра». Даже один кадр IntraFrame-видео может быть точно распакован без ссылок на другие кадры. IntraFrame не так эффективен, как Long-GOP, но с некоторыми вариантами кодека гораздо лучше подходит для редактирования, особенно если нужно двигаться назад и вперёд с точностью до одного кадра. Также более эффективен с точки зрения мощности компьютера, потому что нам не нужно декодировать все окружающие кадры (от ключевого до ключевого), чтобы увидеть один кадр в середине! Но благодаря формату XAVC, разница между Long-GOP и IntraFrame становится намного меньше.

Простое декодирование как Long-GOP, так и IntraFrame

Кодек XAVC требует больше вычислительной мощности, чем MPEG-2, или, например, ProRes, но эти накладные расходы скоро исчезнут на фоне постоянно возрастающей мощности компьютеров. И хорошая новость заключается в том, что нет никакой разницы в вычислительных усилиях, необходимых для декодирования Long-GOP или IntraFrame XAVC. Это реально хорошая новость для редактирования видео, поскольку означает возможность «прыгать» по шкале времени практически без потери производительности.

Большая вычислительная мощность, используемая для кодирования Sony XAVC, означает нивелирование разницы между качеством видео Long-GOP и IntraFrame. Следовательно, нужное нам качество изображения можно получить на низких битрейтах, экономя значительное место на носителях.

Лучшее качество на меньшем пространстве
Если взять, к примеру, кодеки ProRes и DNxHD, то это кодеки, с которыми легко редактировать видео, потому что они относительно просты и используют низкий коэффициент сжатия. Они дают отличное качество за счёт предоставления для обработанного видео немного большего места на носителе. Более же сложные алгоритмы, используемые в XAVC, улучшают качество при том же битрейте. Хотя формат Sony нуждается в большей вычислительной мощности, XAVC IntraFrame обеспечит, вероятно, то же самое качество, что и ProRes, только займёт вполовину меньше пространства при оптимальных условиях. А работа с меньшими файлами как раз и компенсирует чуть большую вычислительную нагрузку.

Динамическая оптимизация покадрового качества
XAVC-кодек оптимизирует кадр за кадром, и во время этого процесса он записывает метаданные, чтобы помочь декодерам распознать используемую в процессе кодирования оптимизацию. Так непрерывно XAVC максимизирует качество, но делает это не столь динамично, чтобы зря терялось пространство. Покадровые метаданные также помогают при нелинейном воспроизведении, что является одним из факторов одинаково успешного использования как Long-GOP, так и IntraFrame.

Предкодирование перед кодированием
Предварительное кодирование или подготовка медиа данных означает, что XAVC-кодек может делать свою работу более эффективно. В Sony XAVC предварительный кодер встроен в аппаратный чип, но он также является и частью программного кодека XAVC – т.е. нет никакой разницы между материалом, который был закодирован аппаратно или программно. Предварительно кодирование производится как для 4К, так и для записей с высокой частотой кадров.

Чипсеты
Чипсеты Sony работают одинаково хорошо и с MPEG2, и с XAVC. Они используются в большинстве современных камер Sony, и легко модернизируются под XAVC. Более того, Sony недавно заявила, что она никогда не будет отказываться от поддержки старых кодеков в своих чипсетах.

Это не H.265!
Можно задаться вопросом, а разве не H.265 должен стать окончательным и величайшим кодеком? Безусловно, у него есть больший потенциал, чем у кодеков предыдущих поколений, но он нуждается и в значительно большей вычислительной мощности для кодирования и декодирования, чем кодеки H.264.

В конечном счёте, кто-то, вероятно, создаст практическую реализацию кодека H.265, что будет более эффективной, чем H.264, но пока говорить об этом очень рано. H.264 чрезвычайно широко используется. Нужно время, чтобы исследовать и усовершенствовать новую технологию, это сейчас как раз и делается в жизненном цикле H.264.

Резюме

Со времени появления H.264 мощность компьютеров резко возросла. Формат XAVC имеет дополнительные технологические особенности, улучшающие удобство работы с кодеком, а спецификация формата Sony является достаточно всеобъемлющей, чтобы оставаться современной долгое время.

Решение Sony о создании формата XAVC может озадачить и привести в ярость потенциальных пользователей в первое время. Но правда заключается в том, что, вероятно, никогда не будет единого, универсального формата для всех типов камер и оборудования, и всех типов пользователей. Кроме того, скорее всего Sony лучше знает, как работают камеры – в конце концов, они проектируют их с нуля, делая даже свои собственные датчики. Поэтому, однозначно, есть здравый смысл в том, что они должны были разработать свой вариант известного кодека XAVC-S, который нам предстоит использовать, в том числе и при оцифровке архивного домашнего видео.

Источник

Кодирование кадров методом long gop

Настройка кодера

Настройка кодеров, используемых в профессиональном телерадиовещании сводится к выбору параметров кодирования. Дорогие кодеры, такие как: Ateme, Ericsson, Harmonic предлагают большее количество настраиваемых параметров, бюджетные: Sumavision, PBI, Wellav и другие — меньшее, но главную задачу – кодирование, выполняют и те, и другие. Рассмотрим настройки кодирования видео и аудио, которые встречаются у ТВ кодеров.

Выбор источника видео и аудио

Источником видео или аудио служит физический интерфейс, с помощью которого мы подаем на кодер сигнал, который необходимо компрессировать.

Чаще всего за выбор источника отвечает поле Source, Video Input или же просто Input. В зависимости от модели кодера, выбираем из следующих источников:

Звук подается на кодер как вложенный (embedded/PCM) в SDI или HDMI, или через отдельные специальные интерфейсы.

Кодирование видео

Настройки кодирования видео заключаются в выборе кодека, битрейта и разрешения картинки. Остальные же параметры служат для тонкой настройки кодирования.

Video PID – идентификатор видео в транспортном потоке

Codec, Video Encoder Type – пункт определяет тип используемого видеокодека. Возможные значения:

Picture Resolution, Frame size, Video Format – задаем разрешение видео, которое ходим иметь в выходном потоке. Разрешение видео может быть настроено вручную или же выбрано из стандартных соотношений. Приведем в пример часто используемые.

Frame rate и Frame Type – частота кадров и тип кадров (interlaced или progressive) соответственно. Часто выбираются вместе с разрешением видео, например, 576i25 означает, что выбрано разрешение 720×576, i – interlaced чересстрочная развертка и частота кадров 25 кадров в секунду. Или же 1080p60, означает разрешение видео 1920×1080, p – progressive прогрессивная развертка, и 60 кадров в секунду.

Bitrate, rate, video rate – скорость кодирования или как чаще употребляется битрейт видео, то есть количество данных, которое будет занимать видео в транспортном потоке. Выбирается он в зависимости от качества кодера и сложности картинки. Для кодеров Sumavision, PBI и Wellav, для видео со средней динамикой сцен, новости, тв-шоу и т.д. SD видео достаточно использовать 3 Мбит/с, для FULL HD 6 Мбит/с. Для таких программ как спорт, динамичное кино и пр. для SD достаточно 5Мбит/с, для FULL HD 8Мбит/с. Если вы используете дорогостоящие и мощные решения, такие как Ateme, Ericsson, Harmonic, то можно понизить битрейт на 1-2 Мбит/с, без потери качества. Если же ограничений в полосе пропускания нет, то чем выше битрейт, тем лучше качество видео и соответственно достаточно использовать, например, для SD 5-8 Мбит/с, для FULL HD 10-15Мбит/с. Стоит оговориться, что данные значения приведены для кодирования с помощью кодека MPEG-4 AVC H.264. При использовании MPEG2 рекомендуется увеличить указанные битрейты на 1-2 Мбит/с, а при использовании HEVC их можно аналогично уменьшить.

Bitrate mode, rate control – определяет тип управления скоростью кодирования или битрейтом. Обычно доступны следующие варианты.

GOP Structure – структура GOP (Group of Pictures или «структура группы кадров»), то есть определенная последовательность I ключевых, P разностных и B двунаправленных кадров. В сжатом видеопотоке стандартов MPEG-2, MPEG-4 используются кадры трёх основных типов: I-кадры (от англ. Intra pictures), P-кадры (от англ. Predicted pictures) и B-кадры (от англ. Bi-predictive pictures или Bi-directional pictures). Если у вас нет жестких требований к структуре GOP, используйте значение по умолчанию.

GOP Size – размер GOP, количество кадров от I до I включительно. Если сцены содержат частую смену освещения, быстрое движение, смены цветов, то лучше выбирать более короткую структуру GOP. Чем больше длина GOP, тем сильнее сжатие, но увеличение длины GOP уменьшает качество материала.

Closed GOP – каждая группа изображений начинается с ключевого I-кадра (I-frame). Закрытые (Closed) GOP не включают кадры, вычисленные из кадров предыдущей GOP.

Кодирование Аудио

Audio PID – идентификатор звука в транспортном потоке

Audio Encoding mode, Codec – тип сжатия звука.

Bitrate – скорость кодирования звука.

Sample Rate – частота дискретизации звука аналого-цифровым преобразователем.

Language – язык звуковой дорожки. Выбранное значение записывается в описательный дескриптор аудио потока.

Audio Volume – регулировка уровня громкости.

Вывод транспортного потока

Вывести получившийся результат чаще всего можно на два интерфейса, это IP и ASI.

ASI – для этого интерфейса обычно задается выходной битрейт потока, который включает видео, аудио и вспомогательные данные. Необходимо заметить, что битрейт должен превышать сумму заданных битрейтов для видео и аудио, иначе кодируемый поток просто не влезет в отведенную полосу пропускания, в результате чего будем наблюдать артефакты.

IP – в данном разделе выбираем протокол передачи потока: UDP/RTP Multicast/Unicast, RTSP, RTMP, HLS. Заполняем адрес потока и порт, или же ссылки на CDN и запускаем вещание.

Источник

Что такое группа видеокадров и что необходимо учитывать при настройке кодера

Группа видеокадров (ГВК или GOP — group of pictures) представляет собой набор последовательных изображений и определяет порядок, в котором расположены intra (I) и inter (P и B) кадры.

GOP часто обозначается двумя числами, например M = 3, N = 12. М указывает расстояние между двумя опорными кадрами (I или P), а N определяет расстояние между двумя полными изображениями (I-кадрами). Например, для M = 3 и N = 12, структура GOP будет выглядеть так: IBBPBBPBBPBBI.

I (IDR) кадры

I-кадры сжимаются независимо от каких-либо других кадров видеопоследовательности. IDR-кадр — подвид I-кадра, он же ключевой кадр. Именно с него начинается декодирование всего потока. Все кадры, которые находятся между двумя IDR-кадрами, не могут ссылаться на кадры вне этого промежутка.

Иногда при смене плана сцены текущий и предыдущий кадры различаются настолько сильно, что в начале новой сцены выгоднее использовать I-кадр вместо P или B. Кодеры умеют реагировать на такие изменения — такая возможность называется «обнаружение смены сцен» (scene change detection или SCD).

P- и B-кадры

P- и B-кадры используются, чтобы кодировать изменения в текущем кадре относительно предшествующих кадров. Наиболее универсальная структура последовательности P- и B-кадров: 2–3 B-кадра на один P-кадр.

B-кадры, как правило, в несколько раз меньше P-кадров. При этом каждый B-кадр добавляет дополнительную задержку из-за буферизации и переупорядочивания кадров. Чем больше P- и B-кадров используется, тем выше коэффициент сжатия.

Советы по настройке кодера для телевещания

Длина. Длинные GOP применяют в файлах, либо в ОТТ-вещании (например, когда длина GOP в секундах равна продолжительности сегмента). Для лайв-вещания рекомендуется сделать GOP поменьше по нескольким причинам. Например:

Структура. Иерархический (пирамидальный) GOP обеспечивает лучшее качество картинки. Этот режим позволяет B-кадрам ссылаться друг на друга. Адаптивное количество B-кадров подходит для кодирования высокодинамических видеорядов со сложным движением. В моменты сложного движения используется большее количество P-кадров и структура GOP изменяется.

Обнаружение смены сцен. Большинство кодеров детектируют изменение плана сцены и автоматически вставляют в сцену полный I-кадр. Но, если контент имеет частые смены планов (например, новости), то вставка полных кадров может привести к изменению GOP структуры. Это создаст дополнительную задержку потока на несколько секунд. Если буфер приёмного устройства переполнится, то зрители увидят стоп-кадры и рассыпание видео (обнаружение смены сцен можно увидеть на рис. 1).

Среднее значение encode ratio (avg) для всего потока, I-, P- и B-кадров. Показывает во сколько раз сжато исходное видео. C его помощью можно проверить, насколько хорошо отработал кодер в целом и выдержал ли требуемые пропорции avg[EncRatio(I)]

Посмотреть подробную информацию о видеопоследовательности и провести глубокий анализ качества видео вы можете с помощью приложений для видеоанализа StreamEye Studio.

Источник

Своя видео-платформа — ffmpeg и качество кодирования видео. Part 2

_{Lenna любит хорошо выглядеть — фотомодель в конце концов. Ходят легенды, что добавление её в заголовок статьи, связанной с обработкой визуальных данных даёт +5 к шансу на плюсы.}

Продолжаю раскрывать особенности работы видео сервисов. Сегодня заметки про параметры кодирования и их выбор.

Большинство кодеков предлагают достаточно сбалансированные значения по умолчанию, позволяя получить нормальный результат без долгого подбора параметров. Однако, когда речь идёт о большом архиве видеоматериала, об ограничениях на битрейт, соображениях совместимости с оборудованием клиента и разумном желании сохранить качество оригинала, всё становится интереснее.

К сожалению, волшебной кнопки «скодировать совсем хорошо» не предусмотрено. Как и аналога caniuse для параметров кодирования. Придётся разбираться в особенностях работы кодеков.

Вводная часть: профили

Настроек и параметров у H264 такое количество, что сами разработчики для того, чтобы в них не запутаться, решили сделать список профилей — «хороших» конфигураций для разных целей. Стандартных профилей определили много; дополнительно, устанавливая собственные параметры кодирования, вы, фактически, создаёте собственный профиль, запутывая всех окончательно. Так что, к сожалению, получилось как всегда.

Изначально профили создавались для определения, будет ли проигрываться итоговое видео на нужном типе устройств, однако сейчас какого-то однозначного разделения проигрывателей по типам устройств и профилям нет.

На практике я бы выделил, по уровню ресурсоёмкости декодирования, три группы параметров:

Теперь к отдельным параметрам.

Цветовое пространство

Выбор цветового пространства практически не влияет на эффективность кодирования; этот параметр можно было бы оставить на выбор кодека (он важен при обработке сырых, некодированных данных), если бы не одна особенность: многие плееры весьма специфически обрабатывают информацию о цветовом пространстве, так что у большой части пользователей видео может отображаться с искажениями цвета (в основном зелёного).

Чтобы сохранить цвета для большинства плееров, разные H264 видео нужно кодировать в разных пространствах:

Фреймрейт

Если ваш источник — не стримы игр или экшн-видео, то имеет смысл ограничить верхнее значение фреймрейта 25-30 кадрами — чем их меньше, тем больше остаётся данных для описания отдельного кадра. Уменьшать это значение лучше кратно — так, чтобы пропуск кадров был равномерным, иначе от видео может возникнуть ощущение подтормаживания.

Есть ещё такая вещь, как переменная частота кадров. Работать с VFR неудобно по двум причинам: во-первых, это даёт пики битрейта на участках с высокой частотой, которые мгновенно опустошают буфер; во-вторых, VFR усложняет составление плана конвертации, заставляя использовать Q-параметры (о них я писал в первой статье).

GOP size

Группы изображений — блоки, в пределах которых одни изображения могут ссылаться на данные других. Увеличение размера GOP повышает эффективность кодека в обмен на повышение требований к памяти. Большие значения особо эффективны для файлов с однотипными, циклическими движениями (вы же понимаете, о чём я). Также, при больших значениях могут возникнуть проблемы с перемоткой видео, т.к. нужно будет восстановить больший объём данных.
Название параметра, также, как и единицы измерения, могут отличаться от кодека к кодеку — смотрите документацию.

Slices

Для ускорения декодирования (и кодирования) видео можно разделить на части более низкого разрешения. Идея в том, что обработать четыре видео с разрешением, например, 1280×720 проще, чем одно, но 2560×1440. Имеет смысл при разрешениях выше FHD. Чем больше частей, тем ниже эффективность кодека. Также, использование такого разделения упрощает многопоточную обработку.

Анаморфные пиксели

35%!), либо вообще получить что-то сплющенное по горизонтали.

Контроль битрейта

Есть три основных режима работы кодеков, связанных с битрейтом:

Для онлайн проигрывания (да и для стриминга) хорошо подходит constrained VBR, т.к. он даёт лучшее, чем CBR, качество и позволяет уместить поток в интернет-канал.

Выбор maxrate/minrate зависит от канала клиента, разброс больше 20% лучше не делать.

Многопроходное кодирование

Распределение данных по файлу в VBR-режиме предсказать сложно, кодекам приходится угадывать, что получается не всегда. В многопроходном режиме кодек сперва составляет карту требующегося битрейта, а потом кодирует. Таким способом улучшается качество видео в сложных и динамических сценах (пример. Обратите внимание на количество «муарных» элементов и количество переходов между сценами). Так как при первом проходе кодек только анализирует исходный файл, вопреки распространённому мнению, обработка в таком режиме требует времени больше не в два раза, а только на 10-15%.

Для разных типов исходного материала подготовлено несколько пресетов, подстраивающих некоторые базовые параметры кодирования — такие, как уровни деблокинг-филитра, параметры психовизуальной оптимизации. Использование этих пресетов улучшает восприятие видео и хорошо работает, если вы заранее знаете тип источника, или у вас структурированный набор видео (в случае массовой обработки).

Формат пикселей

Формат и битность сильно влияют на то, как сжимаются и разжимаются файлы, в каком виде теряется качество. Основные параметры, которые описывает пиксельный формат:

Чересстрочность

Чересстрочность придумали для удвоения воспринимаемой частоты кадров минимальными затратами — битрейт и разрешение те же, а частота выше. Однако, при быстром движении становятся заметны зубцы — строки предыдущего кадра. Избавиться от эффекта, не отбрасывая кадры и не уменьшая вертикальное разрешение, можно фильтрами, но они уменьшат чёткость. Если видео будет проигрываться в браузере, чересстрочность лучше отфильтровать при кодировании, т.к. реалтайм-фильтрация на клиенте даст не лучшие визуальные результаты.

Собираем всё вместе

Разумеется, в одной статье всё охватить не получилось, но уверен, этого материала будет достаточно для улучшения качества многих видео.

Читайте документацию и экспериментируйте.

В дополнение к примеру из прошлой статьи, я узнал о ещё одной инсталяции моего кода — клик. Примеры в статье постарался брать с этих сайтов, но не смотря на это:
_{*Я не имею прямого отношения к авторам упоминаемых сайтов и могу не разделять их взгляды и мнение. Решения о том, кому и как предоставляется доступ к коду я комментировать не могу.}

Источник