Современное состояние и перспективы развития систем видеокомпрессии (Часть 1)

Передача и прием телевизионных программ является примером информационных коммуникаций, осуществляемых посредством системы связи. Модель системы связи, разработанная Клодом Шенноном, предполагает наличие источника информации, который отправляет сообщение получателю (рис. 1). Сообщение представляет собой обобщенное понятие, включающее все виды передаваемых данных в любой форме: от текстов писем и числовых результатов измерений до речи, музыки и телевизионных изображений.
Сообщение поступает в систему связи в виде сигнала. Сигнал — это физическое представление сообщения, отображающее последовательность значений некоторого параметра сообщения. Выходной сигнал системы связи воспроизводит сообщение, которое принимает получатель информации.
В аналоговых системах связи сигнал, представляющий сообщение, является непрерывной последовательностью значений определенного параметра сообщения. Такой электрический сигнал называется аналоговым, поскольку он служит копией или аналогом сообщения. Сообщения, подобные музыке или речи, по своей природе являются одномерными непрерывными процессами, которые естественно отображаются с помощью непрерывных аналоговых сигналов. Телевизионные изображения, напротив, представляют собой двумерные непрерывные данные, требующие специального аналогового кодирования, такого как модуляция яркости и цвета в стандартах вроде PAL или NTSC, для преобразования в одномерный сигнал передачи. Однако с развитием цифровых технологий многие системы ТВ перешли к дискретному кодированию, где изображения разбиваются на пиксели, квантуются и сжимаются (например, с использованием стандартов MPEG), обеспечивая более эффективную передачу и хранение данных.

Изображения, передаваемые посредством телевизионных систем, представляют собой многомерные континуальные процессы. Например, статичное черно-белое изображение описывается двумерной функцией двух пространственных координат. Передача таких сообщений в телевизионной системе связана с дискретизацией. Сигнал, несущий информацию об изображении (видеосигнал), формируется в результате развертки или разложения изображения на множество строк. Динамичное изображение — это трехмерная функция яркости, зависящая от двух пространственных координат и времени. Для передачи движущихся изображений процесс разложения повторяется с частотой кадров. Воспроизводимое на выходе системы телевизионное изображение представляет собой последовательность кадров, в каждом из которых картинка строится в растровой форме. Изображение кажется непрерывным трехмерным процессом благодаря инерционности зрительного восприятия человека.
Цифровые системы связи и дискретизация непрерывных сигналов

В цифровых системах связи для передачи сообщений используются дискретные сигналы, принимающие конечное множество значений. Необходимость использования дискретных сигналов предопределяется тем, что все цифровые системы имеют ограниченное быстродействие и могут работать лишь с конечными объемами данных, представленных с конечной точностью. Дискретное представление естественно при отображении сообщений в виде последовательностей дискретных символов, выбираемых из конечного алфавита. Примерами таких дискретных сообщений, называемых данными, являются телеграммы, письма, последовательности чисел или машинные коды.

Для передачи непрерывных сообщений через цифровую систему связи аналоговые сигналы, отображающие непрерывные сообщения, должны быть подвергнуты дискретизации и квантованию. Дискретизация означает преобразование сигнала как непрерывной функции времени в дискретную последовательность значений. Целью квантования является замена непрерывного диапазона значений сигнала конечным рядом дискретных уровней, называемых уровнями квантования. В процессе квантования значения сигнала округляются до ближайшего уровня квантования. Значения дискретизированного и квантованного сигнала в каждый момент времени совпадают с одним из уровней квантования, номер которого кодируется, например, с помощью двоичного кода. Сигнал, несущий последовательность полученных чисел — кодовых слов, и является цифровым. Аналого-цифровое преобразование можно трактовать как трансформацию континуального сообщения в поток данных.

Преобразование цифрового сигнала в непрерывный сигнал, форма которого представляет собой передаваемое сообщение, выполняется в цифро-аналоговом преобразователе. В системе связи, обобщенная схема которой показана на рис. 1, аналого-цифровое преобразование непрерывного первичного сигнала, отображающее континуальные сообщения в дискретную последовательность чисел, задаваемых с конечной точностью, выполняется кодером источника. Числа на выходе кодера источника объединяют в группы, называемые кодовыми словами источника.

Кодовые слова источника могут подаваться непосредственно на вход модулятора системы связи при условии, что уровень шумов и искажений, вносимых каналом связи, невелик. Если канал связи выполнен в виде кабельной линии, модулятор преобразует каждый символ кодового слова в соответствующий электрический или оптический импульсный сигнал. Для передачи сообщений в свободном пространстве используются модулированные электромагнитные колебания — радиоимпульсы. Затем последовательность импульсов передается по каналу. Демодулятор преобразует последовательность импульсных сигналов в кодовые слова. Декодер источника выполняет цифро-аналоговое преобразование и восстанавливает непрерывный сигнал, интерпретируемый получателем как сообщение.

При значительных уровнях шума и существенных искажениях в канале связи кодовые слова на выходе демодулятора могут содержать ошибки. Восстановление кодовых слов, передаваемых по каналу связи, достигается за счет специального кодирования, называемого канальным, которое позволяет обнаруживать и исправлять ошибки. Кодовые слова источника обрабатываются кодером канала (см. рис. 1), в котором рассчитываются специальные проверочные символы, добавляемые к входным кодовым словам. Слова на выходе кодера канала называют кодовыми словами канала. Тот факт, что кодовые слова канала содержат большее количество символов, чем слова источника, означает, что кодер канала вводит некоторую избыточность в поток данных. Декодер канала использует избыточность кодовых слов канала для обнаружения и исправления ошибок в принятом кодовом слове.
Кодек видеокомпрессии в цифровых системах связи

Использование цифровых технологий позволяет неограниченно увеличивать точность представления таких континуальных процессов, как изображение. Параметры, характеризующие качество воспроизводимого изображения в цифровых системах записи и передачи сигналов, могут значительно превосходить те значения, которые были типичными для аналоговых систем. Цифровые технологии позволяют не только значительно улучшить параметры систем, но и расширить их функциональные возможности. Однако внедрение цифровых технологий порождает новые проблемы. Полоса частот цифровых сигналов значительно больше полосы их аналоговых предшественников. Использование широкополосных каналов, обладающих необходимой пропускной способностью, может оказаться технически невозможным. Это может быть также экономически невыгодным, поскольку стоимость канала связи увеличивается с ростом пропускной способности.

Эффективным способом решения такой проблемы является кодирование, имеющее целью компактное представление цифрового сигнала путем сжатия, или компрессии. Компрессия подразумевает сжатие данных, такое, что более дешевые средства передачи с низкой пропускной способностью могут выполнить задачу обмена телевизионными программами в цифровой форме при условии, что качество воспроизводимого изображения соответствует заданным требованиям. Преобразование сигнала в цифровую форму и его компактное представление с использованием компрессии потока цифровых данных — две основные задачи, решаемые в процессе кодирования источника (рис. 2). Выходной сигнал аналого-цифрового преобразователя подвергается специальной обработке с помощью кодера компрессии, в результате которой уменьшается скорость потока и становится возможным передавать цифровые данные в канале с меньшей пропускной способностью. Обратное преобразование, восстанавливающее полный цифровой сигнал изображения, выполняется в декодере компрессии, входящем в состав декодера источника.

Развитие цифрового телевизионного вещания неразрывно связано с совершенствованием методов и технических средств видеокомпрессии, или сжатия, потоков цифровых видеоданных. Видеокомпрессия позволяет экономно расходовать самый дорогой ресурс систем коммуникаций и информационных систем — пропускную способность каналов связи. Без видеокомпрессии цифрового телевизионного вещания как глобальной информационной системы не существовало бы сейчас по простой причине — оно было бы слишком дорогим. Все чаще компрессированные видеоданные передаются по сетям передачи данных. Аппаратные и программные средства сетей строятся в соответствии с уровневой архитектурой, являющейся формой функциональной модульности. Сложная система строится как взаимосвязанное множество модулей, взаимодействующих друг с другом. На каждом иерархическом уровне следующий, более низкий уровень рассматривается как "черный ящик" с некоторым функциональным описанием, которое используется на заданном уровне.

Кодер и декодер компрессии представляют собой пару паритетных модулей одного уровня. Они взаимодействуют друг с другом для обеспечения обмена сообщениями при меньшей скорости потока цифровых данных, чем на более высоком уровне (этим более высоким уровнем системы является уровень аналого-цифрового и цифро-аналогового преобразования). Взаимодействие кодера и декодера компрессии регулируется нормативными документами — стандартами (в технике сетей передачи данных такие документы называются протоколами). Обмен информацией между кодером компрессии и аналого-цифровым преобразователем (а также между декодером компрессии и цифро-аналоговым преобразователем), то есть взаимодействие модулей разных уровней, также определяется специальными нормативными документами, называемыми интерфейсами.

Взаимодействие кодера и декодера компрессии является виртуальным (оно показано на схеме рис. 2 пунктирной линией). На самом деле оно происходит при посредстве модулей более низкого уровня. Выходной сигнал кодера компрессии, как показано на рис. 1, подвергается канальному кодированию, модуляции, передается по физическому каналу связи, затем выполняется демодуляция и канальное декодирование. Но при анализе кодека компрессии (пары "кодер–декодер") нет необходимости знать детали процессов канального кодирования и модуляции, достаточно иметь функциональное описание следующего, более низкого уровня, определяемое соответствующим интерфейсом (в рассматриваемом примере это интерфейс кодера компрессии с канальным кодером и интерфейс декодера компрессии с канальным декодером). Все детали скрыты в "черном ящике" подсистемы канального уровня, задаваемой только функциональным описанием. Но эта подсистема также может быть разбита на модули, описываемые с помощью соответствующих протоколов и интерфейсов. Такая декомпозиция продолжается до уровня, на котором происходит передача данных посредством электрических импульсов, то есть до уровня физического канала связи.

Стандартизация протоколов и интерфейсов позволяет реализовать преимущества функциональной модульности, связанные с возможностью использования в проектируемых системах модулей, созданных и отработанных ранее. Стандартизованные модули действующих систем можно легко заменить новыми функционально эквивалентными модулями, которые, например, дешевле и надежнее. Стандартизация функционального описания кодеков обеспечивает все более расширяющуюся область применения систем видеокомпрессии.

Цифровой сигнал, полученный в результате аналого-цифрового преобразования, отображает некоторую аппроксимацию исходного непрерывного сигнала. На выходе цифровой телевизионной системы человек видит аппроксимацию исходного континуального изображения. Указанная аппроксимация, точность которой зависит от интервала дискретизации и количества уровней квантования, всегда связана с появлением шумов и возникновением искажений (частотных, нелинейных, а также некоторых специфических искажений). Однако аналого-цифровое преобразование выполняется в цифровой системе связи только один раз. Нужно также иметь в виду, что точность аппроксимации непрерывных процессов в цифровых системах может неограниченно увеличиваться. Закон Мура, в соответствии с которым вычислительные ресурсы цифровых систем (быстродействие процессоров и объемы памяти) возрастают в два раза каждые 18 месяцев, остается справедливым уже на протяжении нескольких десятилетий, поэтому тезис о неограниченном увеличении точности представления континуальных процессов (таких, как изображение и звук) в цифровых системах не кажется слишком фантастическим.
Представление изображений в современном телевидении

В современном телевидении изображение представляется последовательностью кадров, следующих друг за другом со строгой периодичностью, определяемой частотой кадров. Кадр описывается массивом элементов изображения, или пикселов, находящихся в узлах прямоугольной сетки, горизонтальные линии которой образуют ТВ-строки (рис. 3). Каждый пиксел цветного изображения имеет три компонента, которым соответствуют сигналы красной R, зеленой G и синей B составляющих изображения. Другой возможный набор компонентов цветного изображения — яркостный сигнал Y и два цветоразностных сигнала Cr и Cb. Таким образом, с информационной точки зрения каждый кадр изображения представляет собой три прямоугольных матрицы отсчетов изображения. Структура дискретизации, при которой все три компонента изображения дискретизируются одинаковым способом, обозначается как 4:4:4.

Количество пикселов в строке и, соответственно, четкость изображения определяются частотой дискретизации видеосигнала. Частота дискретизации является гармоникой строчной частоты, что обеспечивает неподвижную ортогональную структуру отсчетов ТВ-изображения. При цифровом представлении значение видеосигнала в каждом пикселе выражается двоичным кодовым числом, количество битов которого определяет число уровней квантования и, соответственно, точность цифрового представления. Интерфейсы для передачи цифрового сигнала предполагают последовательную передачу кодовых слов, несущих информацию об отсчетах изображения.

Емкость памяти, необходимой для хранения данных одного компонента одного полного кадра изображения, можно вычислить, перемножая число битов кодового слова, описывающего компонент изображения, и число пикселов в кадре. Например, для стандарта HD (1920x1080 пикселов на кадр, 8 бит на компонент в формате 4:4:4) это составит около 5 Мбит на кадр для одного компонента, что подчеркивает важность компрессии для эффективного хранения и передачи данных. В современных системах, таких как 4K или 8K, эти объемы значительно возрастают, делая видеокомпрессию (например, стандарты H.264, H.265 или AV1) неотъемлемой частью телевизионных технологий.

Представление изображений в ТВ В современном телевидении изображение представляется последовательностью кадров, следующих друг за другом со строгой периодичностью, определяемой частотой кадров. Кадр описывается массивом элементов изображения, или пикселов, находящихся в узлах прямоугольной сетки, горизонтальные линии которой образуют ТВ-строки (рис. 3). Каждый пиксел цветного изображения имеет три компонента, которым соответствуют сигналы красной R, зеленой G и синей B составляющих изображения. Другой возможный набор компонентов цветного изображения– яркостный сигнал Y и два цветоразностных сигнала Cr и Cb. Таким образом, с информационной точки зрения каждый кадр изображения представляет собой три прямоугольных матрицы отсчетов изображения. Структура дискретизации, при которой все три компонента изображения дискретизируются одинаковым способом, обозначается как 4:4:4. Количество пиксе лов в строке и, соответственно, четкость изображения определяются частотой дискретизации видеосигнала. Частота дискретизации является гармоникой строчной частоты, что обеспечивает неподвижную ортогональную структуру отсчетов ТВ-изображения. При цифровом представлении значение видеосигнала в каждом пикселе выражается двоичным кодовым числом, количество битов которого определяет число уровней квантования и, соответственно, точность цифрового представления. Интерфейсы для передачи цифрового сигнала предполагают последовательную передачу кодовых слов, несущих информацию об отсчетах изображения. Емкость памяти, необходимой для хранения данных одного компонента одного полного кадра изображения, можно вычислить, перемножая число битов кодового слова, описывающего компонент изображения, и число пикселов в кадре. 

Скорость потока цифровых видеоданных, проходящих через интерфейс и несущих сведения об одном компоненте ТВ изображения, можно найти, перемножая объем данных одного кадра и частоту кадров. Скорость полного потока видеоданных, переносящих компонент изображения, можно также найти, перемножая длину кодового слова, описывающего один отсчет изображения, и частоту дискретизации. Приведенные ниже примеры показывают требования к интерфейсам, используемым для передачи потока цифровых видеоданных при структуре дискретизации и квантовании с расходом 10 битов на отсчет, что позволяет иметь до 1024 уровней квантования. Для хранения одного полного кадра цифрового ТВ-изображения стандартной четкости (576 активных строк, 720 активных элементов в строке, частота кадров 25 Гц) при отношении сторон кадра 4:3 необходима память емкостью 16,2 Мбит. Это соответствует скорости потока 405 Мбит/с при частоте дискретизации 13,5 МГц. Один полный кадр цифрового ТВ-изображения стандартной четкости (576 активных строк, 960 активных элементов в строке, частота кадров 25 Гц) при отношении сторон кадра 16:9 имеет объем 21,6 Мбит. Скорость потока равна 540 Мбит/с при частоте дискретизации 18 МГц. Для передачи ТВ-изображения в формате высокой четкости 1080/50i (чересстрочная развертка изображения при полном числе активных строк в кадре, равном1080, частоте полей 50 Гц и частоте кадров 25 Гц) требуется установить скорость потока на уровне 2,227 Гбит/с. Наивысшими качественными показателями характеризуется изображение в формате системы телевидения высокой четкости 50p. Эта система определяется следующим набором основных пара метров: число активных строк–1080,число отсчетов в активной части строки– 1920 (отношение сторон изображения– 16:9), разложение– построчное, час тота кадров– 50 Гц, отношение сторон элемента изображения– 1:1 (квадратный пиксел). Та кой формат часто обозначают также как 1080/50p или просто 1080p. Он обеспечивает очень высокое качество изображения, но отличается высокой скоростью потока данных при передаче. Цифровой поток видео данных имеет скорость 4,455 Гбит/с.

Избыточность и виды видеокомпрессии

Выше были приведены оценки ёмкости памяти и скорости передачи видеоданных в современном ТВ. Но соответствуют ли приведённые значения ёмкости памяти, необходимой для хранения кадра, количеству информации в изображениях? Как будет показано ниже, представление изображений в виде последовательности кадров, каждый из которых описывается массивом пикселей, является избыточным для изображений, типичных для ТВ-вещания. Избыточность означает, что скорость потока видеоданных можно сократить без ухудшения точности описания передаваемого изображения, то есть без снижения его качества. В общем случае различают структурную, статистическую и психофизическую избыточность.

Структурная избыточность обусловлена наличием интервалов гашения по строке и кадру в соответствии с правилами развёртки изображения. Для устранения структурной избыточности можно, например, уменьшить примерно на 25% тактовую частоту и заполнить интервалы гашения данными активной части строк и кадров. Такое преобразование потока данных представляет собой форму сокращения скорости потока видеоданных, или видеокомпрессию. Интервалы гашения можно также использовать для передачи дополнительной информации, например сигналов звукового сопровождения, телетекста и т. п.

Статистическая избыточность растрового представления связана со свойствами типичных телевизионных сюжетов. Большая часть изображения одного кадра обычно приходится на области, имеющие постоянную или мало меняющуюся в пространстве яркость, а резкие световые переходы и мелкие детали занимают малую долю площади изображения. Коэффициент корреляции соседних элементов изображения, описывающий статистическую связь между яркостями этих элементов, близок к единице. Изображения соседних кадров в телевидении обычно очень похожи друг на друга, даже при съёмке движущихся объектов. Переходы от сюжета к сюжету встречаются редко. Межкадровая разность на значительной части площади изображения обычно близка к нулю. Коэффициент корреляции соседних кадров также близок к единице.

Высокая корреляция означает, что яркость и цветность элемента типичного ТВ-изображения можно предсказывать с большой вероятностью, если знать значения пикселов, окружающих предсказываемый в пространстве и во времени. Пере дав величину одного пиксела, можно отказаться от передачи соседнего, поскольку величина пере данного пиксела является хорошим предсказанием для следующего пиксела, располагающегося рядом с переданным в пространстве или во времени. Можно ограничиться передачей ошибки предсказания, которая представляет собой разницу между фактическим значением и предсказанным (рис.4). Для типичных изображений ошибка предсказания обычно мала, поэтому для ее передачи требуется меньшее количество битов кодового слова, благодаря чему можно уменьшить скорость потока передаваемых видеоданных. Возможность сокращения скорости потока является следствием избыточности растрового представления изображений, которая проявляется в связи со статистикой типичных телевизионных сюжетов и может быть названа статистической избыточностью. Ее можно разделить на пространственную избыточность, которая обусловлена корреляционными связями между элементами одного кадра изображения, и временную избы точность, которая появляется вследствие высокой корреляции соседних кадров. Описанный способ кодирования, или компрессии, в процессе которой можно добиться сокращения избыточности представления изображения и уменьшения объема передаваемых данных, известен под названием дифференциальной импульсно-кодовой модуляции (ДИКМ). Процедура сокращения избыточности представления с использованием ДИКМ является обратимой. При декодировании для восстановления элемента изображения нужно к предсказанию– значению первого пиксела– прибавить переданную ошибку предсказания (см. рис. 4). В процессе кодирования не вносятся искажения, и при декодировании полностью восстанавливается исходное изображение. Подобное кодирование, при котором сокращается скорость потока видеоданных без искажений изображения, называют компрессией без потерь, или математически точной компрессией. Важным достоинством компрессии без потерь является то, что повторное кодирование декодированного изображения с целью устранения избы точности также не вызывает искажений. Неоднократное применение компрессии без потерь не приводит к накоплению искажений. Однако достигаемая в настоящее время степень математически точной компрессии, показывающая пропорции исходного и кодированного объема данных, невелика, обычно она не превышает 2:1. Значительные резервы для сокращения скорости цифрового потока представляет использование свойств зрения. Степень компрессии можно увеличить, если в процессе кодирования, уменьшающего скорость потока данных, допускается появление некоторых искажений, которые, однако, не замечаются наблюдателями или зрителями. Например, шумы квантования хорошо различаются глазом в виде ложных контуров на участках изображения с постоянной или плавно меняющейся яркостью. Однако они мало заметны на резких перепадах яркости и на областях изображения с высокой детальностью. Искажения изображения не заметны глазу в течение нескольких десятых долей секунды после резкой смены сюжета. Вводя квантование разностного сигнала (рис.5) и допуская появление незаметных зрителю артефактов и искажений в окрестности крутых перепадов яркости изображения, можно добиться в процессе кодирования более значительной компрессии видеоданных. Возможность такой компрессии можно трактовать как наличие психофизической избыточности в представлении изображения, поскольку оригинальное и декодированное изображения оцениваются зрителем как эквивалентные, что можно рассматривать как психофизически точную передачу видеоданных. Степень компрессии, в процессе которой устраняется психофизическая избыточность и которая может быть названа компрессией без визуальных

потерь, сильно зависит от характеристик изображения, она может находиться в диапазоне 5:1…10:1. Повторное применение такой компрессии может приводить к накоплению искажений. Степень компрессии можно увеличить до больших значений, вводя более грубое квантование разностного сигнала, но это приведет к появлению искажений и артефактов, которые заметны зрителю. Такое кодирование называют компрессией с визуальными потеря ми. Степень видеокомпрессии с визуальными потеря ми также зависит от характеристик изображения, она может достигать десятков и даже сотен. Повторное применение этой компрессии приводит к накоплению искажений. 

Алгоритмы видеокомпрессии 

На рисунке выделены три блока, для которых ниже демонстрируется вычисление дискретного косинусного преобразования (ДКП) яркостного компонента изображения. В результате такого преобразования получается матрица коэффициентов — амплитуд базисных косинусоидальных функций (волн) различных частот, из которых может быть составлен блок элементов изображения. Для большинства блоков типичных изображений лишь небольшая часть этих коэффициентов имеет значительную величину. Если в пределах блока яркость изображения изменяется незначительно (что происходит часто из-за высокой корреляции соседних элементов), то существенными оказываются только постоянная составляющая и несколько низкочастотных базисных функций. Постоянная составляющая размещается в левом верхнем углу блока коэффициентов ДКП, где черный цвет соответствует максимальному значению. Примером служит блок №1 (рис. 7). Блок изображения, где яркость изменяется, например, по вертикали, может быть преимущественно составлен из базисных косинусоидальных волн, "бегущих" в вертикальном направлении. Амплитуды таких волн расположены в левом столбце матрицы ДКП, а амплитуда самой высокочастотной горизонтальной волны — в левом нижнем углу. Этот случай иллюстрирует вычисление ДКП для блока №2 (рис. 8). Блок №3, содержащий яркую точку блика на бусинке (рис. 9), складывается из косинусоидальных волн всех направлений: горизонтальных, вертикальных и диагональных (амплитуда самой высокочастотной диагональной волны указывается в правом нижнем углу матрицы ДКП). Амплитуды высокочастотных составляющих для многих блоков изображения очень малы или равны нулю. Передача коэффициентов ДКП вместо значений яркости элементов изображения позволяет сократить скорость передачи данных, поскольку можно просто исключить нулевые коэффициенты. На приемной стороне этого уменьшенного объема данных достаточно для полного восстановления исходного блока изображения на основе переданных коэффициентов преобразования. Этот метод сокращения избыточности видеосигнала основан на статистических свойствах изображения и не вызывает искажений, за исключением ошибок округления при вычислении ДКП. Чтобы минимизировать эти ошибки, коэффициенты ДКП вычисляются с большей точностью, чем значения яркости изображения. Например, если элементы изображения представлены 8-разрядными словами, то ДКП дает массив 11-разрядных коэффициентов.