06 디지털 영상신호의 개념 : 영상 디지털신호의 압축

6.3.7 영상 디지털신호의 압축
아날로그 영상신호를 디지털 영상신호로 변환하면서 새로운 도전과 여러 발전 가능성이 개발되고 있다. 아날로그에서는 영상신호를 압축해서 전송하거나 저장한다는 것은 상상도 할 수 없었던 일이다. 그러나 디지털의 또 하나 특징은 압축할 수 있다는데 있다. 디지털화하면서 같은 값을 가진 데이터를 전송하거나 저장하는 데 반복해서 기록하고 전송할 필요가 없다.
일례를 들어 HDTV에서 전체의 영상이 완전한 흰색(White)이라면 디지털신호인 1개의 픽셀(Pixel)은 R, G, B 각각 255/255/255인 FF/FF/FF로 표시될 수 있다.

1 Line 주사선(Scanning Line)의 정보를 전송이나 저장을 위하여 FF/FF/FF를 1920 픽셀에 대응되는 숫자만큼 1920번 사용을 반복하지 않고, FF/FF/FF × 1920이라는 영상신호 데이터를 저장하거나 전송하는 것으로 충분하다. 이러한 방법이 일종의 디지털 압축 방식이다. 압축의 메리트는 운용비용(Running Cost)과 유지보수비용(Maintenance Cost)의 절감 등의 실현이 있으며, 다음과 같은 조건들을 만족하여야 한다.
1. 영상이나 음향의 질이 높아야 한다.
2. 영상의 움직임에 의한 영향이 없어야 한다.
3. 속도의 변화, 재생에 지장이 없어야 한다.
4. 편집점의 선택에 제한이 없어야 한다.
이러한 조건을 만족시키기 위해서는 압축비율이 높은 것보다 낮아야 좋지만 앞으로 기술의 발전에 따라서 해결될 수 있을 것이다. 영상의 압축은 주로 한 필드나 프레임을 중심으로 이루어져야 편집점을 자유롭게 선택하는 것이 가능하다. 새로운 디지털 압축방법이 속속 개발되고 있는데 그 중 몇 가지 방법을 소개하도록 한다.

(1) 시간적 중복성을 이용한 압축
TV방송 영상을 보면 1초당 30장(Frame)씩 연속적으로 변화를 갖고 있다. 따라서 이 매우 빠른 속도로 변화를 갖지 않는다면 서로 인접한 영상 간에는 시간적으로 많은 중복된 영상을 갖게 된다. 이 시간적 중복성을 이용하여 압축하는 방법을 프레임 간(間) (Interframe) 압축이라고 한다.
다시 말하면 1초당 30장의 그림을 연속적으로 전송해야 할 것을 연속된 프레임이나 필드 사이에 변화된 내용만을 축출하여 보내주고, 공통된 데이터와 같이 사용한다면 상당한 전송 정보량을 줄일 수 있다.
이러한 방법이 있다면 완벽한 영상의 전달을 할 수 있게 된다. 왜냐하면 중복되는 정보량은 전송할 필요가 없기 때문이다. 그러나 정적인 영상의 시간적 중복성을 이용한 압축방식에서 별문제가 없지만 빠르게 움직이는 영상의 정보 전달은 늦어져 부자연스럽게 되고 전송 중 오류가 발생하기 쉬워 전혀 다른 프레임 전달이될 수 있다.

이를 연속 프레임 간에 이루어진다고 해서 프레임 간 압축(Interframe Compression)이라고 한다.
이 압축 기술은 연속적인 프레임 사이의 차이를 계산해서 휘도(Y)와 색차신호(r-y, b-y)의 정보를 전달한다. 휘도(Y)신호는 4개의 정보 블록과 색차신호 각각2개의 정보 블록으로 샘플링하여 4 : 2 : 2로 정의하고 있다.

(2) 공간적 중복성을 이용한 압축
영상화면의 한 프레임 중에는 많은 양의 공간적 중복성을 갖고 있는 경우가 많다. 파란 하늘, 흰 종이와 같이 어느 일정한 블록(8×8) 부분의 색상과 밝기는 동일하다. 따라서 이 부분을 구성하고 있는 화소(Pixel)들은 공간적으로 연관되어 있다.
이 화소들의 블록을 비교하여 동일한 휘도와 색차신호의 정보를 모두 보낼 필요가 없기 때문에 첫 번째 정보만 보내고 몇 번 반복되는지 그 정보만 보내면 된다.
복잡한 수학연산인 DCT(Discrete Cosine Transform)는 그 데이터 블록의 각 화소값들을 시간영역에서 주파수영역으로 변환시킨다. 그 변화과정은 블록 내의 화소들 사이에 존재하는 연관성을 이용한다. 중간과정의 설명을 생략하고 결과적으로 서로 인접한 부분에 변화가 거의 없으면 주파수 변환 후에 낮은 주파수 항들이생성된다.
반면에, 변화가 심한 부분을 포함하는 부분은 주파수영역에서 높은 주파수 항이 많이 나타난다. 여기까지는 데이터의 어떠한 감소도 발생하지 않고 있으며, 다만 수학적인 연산에서 필수 불가결한 반올림에서 오는 손실밖에 없다.
디지털화하는 과정 중에 양자화가 필요한데 실제 데이터 감소가 일어난다. 아날로그로 구성된 영상의 밝기는 많은 단계로 표시되겠지만 인간의 시각으로는 약 256단계 정도의 표현이면 충분하다고 한다.

따라서 DCT 과정의 출력 계수를 부호화하는 데 필요한 값의 범위는 정해진 수의 단계로 제한될 수 있다. 간단한 예로어떤 영상의 주파수영역으로 변환된 결과가 1.75, 3.42, 7.98 등이면 이들 집합을 만들 때 반올림하여 2, 3, 8 등으로 집합하여 양자화한다면 더 적은 정보로 전달될
수 있다.
결론적으로 연속된 영상들 사이에 중복되는 데이터를 빼고 그 차이만을 전송한다. 이러한 압축은 여러 프레임을 비교한 것이 아니고 1프레임 내에서 생성되므로 프레임 내(內) 압축이라 한다.

(3) 통계적 중복성을 이용한 압축
TV방송 영상화면에는 규칙적으로 반복되는 정보가 상당히 많이 포함되어 있다. 따라서 디지털신호에서는 아날로그의 Line Blanking, Field Blanking 신호를 전송할 필요가 없어 전송 데이터량이 줄 수 있으며, 동기를 위하여 Line 동기, Frame 동기를 표시하는 코드만 전송하게 된다. 그 외에도 여러 가지 DCT, 양자화 등에서 만들어지는 데이터의 같은 값이 빈번하게 일어난다. 예로 영문자를 전송할 때 가장 빈도수가 많은 E자를 가장 짧은 bit(점 하나)로 부호화할 수 있다면 전송 데이터를 줄일 수 있다. 이러한 방법이 통계적 중복성을 이용한 압축기술이다.
소니 회사에서는 DCT(Discrete Cosine Transforms)를 베이스(Base)로 새로운 압축기술을 채용하고 있다. 처음에 한 장의 그림을 격자(망) 모양으로 구획을 정하고 만들어진 블록(Block) 하나하나를 압축할 단위로 한다. 이 작은 블록은 영상의 밝기와 색의 강약으로 되어 있으며, 영상의 종방향과 횡방향 각각의 파형집합으로 표시할 수 있다.

영상의 정보는 시간적인 변화로 표현하는 방법과 여러 가지 주파수와의 합성으로 표현하는 방법이 있으며, 시간영역의 표현으로부터 주파수영역의 표현으로 변환(Transform)하는 것이 DCT이다. 이렇게 영상을 DCT 처리를 함으로써 원래 화소의 레벨 표현이 주파수 성분마다 계수값으로 변환된다.
이렇게 되면 영상은 상당히 낮은 주파수에 해당하는 성분이 대부분이고 높은 주파수 성분의 에너지는 극히 적은 것을 알 수 있다. 따라서 고역 주파수 성분을 저역 주파수 성분보다 거칠게 표현하여도 인간의 눈은 시각 특성상 그 차이를 분별하기 어렵다.

이와 같은 특성을 이용하여 고역 성분의 분해를 낮게 억제하는 것이 1단계 압축이다.
2단계 압축은 데이터의 압축이다. 얻어진 데이터 중 가장 많이 나타나는 데이터의 전송을 가장 작은 값의 신호로 처리한다. 우리가 영문에서 가장 많이 사용되는 글자를 ‘E’라 하고, 가장 적게 사용되는 글자를 ‘Q’라고 한다. E자 정보는 가장 간단한 비트신호를 사용하고, Q자 정보는 가장 큰 비트신호로 처리한다면 전체적인신호처리 속도를 높일 수 있다. 영상에서도 같은 원리를 적용하여 전체 데이터량을 억제할 수 있다.
대략적인 설명이지만 이것이 DCT에 의한 압축이다. 동일한 영상을 압축한 것을 원본에 음향 등을 추가하기위한 더빙(Dubbing)을 몇번씩 실행하여도 화질의 열화가 생기지 않는다.