12 장 MPEG 비디오 부호화 Ⅱ - MPEG-4, 7 과 그 이후

1. 12장 MPEG 비디오 부호화 Ⅱ - MPEG-4, 7과 그 이후 12.1 MPEG-4의 개요 12.2 MPEG-4의 객체지향 비주얼 부호화 12.3 MPEG-4의 합성 객체 부호화 12.4 MPEG-4 객체 유형, 프로파일 및 레벨 12.5 MPEG-4 Part10/H.264 12.6 MPEG-7 12.7 MPEG-21 멀티미디어시스템

2. 12.1 MPEG-4의 개요 • MPEG-4: 더 새로운 표준. 압축 외에도, 사용자 상호 작용에 큰 관심을 가짐. • MPEG-4는 새로운 객체지향 부호화(object-based coding)를 채택함으로써 이전 표준과는 다름: • 고 압축률을 제공할 뿐만 아니라, 또한 디지털 비디오 합성, 조작, 인덱싱, 검색에 유리. • 그림 12.1은 MPEG-4 비디오가 비주얼 객체에 대해 간단한 연산에 의하여 어떻게 합성되고 조작되는지를 설명. • MPEG-4 비디오를 위한 비트율은 이제 5kbps에서 10Mbps까지 넓은 범위를 포함. 멀티미디어시스템

3. 그림 12.1: MPEG-4 비디오의 합성과 조작 멀티미디어시스템

4. MPEG-4의 개요(계속) • MPEG-4(그림 12.2(b))는 완전히 새로운 표준: (a) 원하는 오디오 비주얼 장면을 만들기 위해 미디어 객체를 합성. (b) 서비스의 질(QoS: Quality of Service)을 보장하면서 전송하기 위해 미디어 데이터의 실체를 위한 비트스트림을 다중화하고 동기화함. (c) 수신측에서 오디오비주얼 장면과 상호작용 ᅳ오디오 및 비디오 압축을 위해 진보된 부호화 모듈과 알고리즘의 툴 박스를 제공. 멀티미디어시스템

5. 그림 12.2: MPEG 표준들의 상호작용 비교: (a) MPEG-1과 2의 기준 모델(점선으로 표시된 상호작용은 MPEG-2에 의해서만 제공); (b) MPEG-4 기준 모델 멀티미디어시스템

6. MPEG-4의 개요(계속) • MPEG-4 비주얼 비트스트림의 계층적 구조는 아주 비디오 객체 지향적이므로, MPEG-1과 MPEG-2의 그것과는 매우 다름. 그림 12.3: MPEG-4 비주얼 비트스트림에서 장면의 비디오 객체 지향적인 계층적 기술 멀티미디어시스템

7. MPEG-4의 개요(계속) 1. 비디오 객체 시퀀스(VS) ᅳ 2차원 또는 3차원, 자연적 또는 합성인 객체를 포함하는 완전한 MPEG-4 비주얼 장면을 전달. 2. 비디오 객체(VO) ᅳ 장면의 배경 또는 객체에 해당되는 임의의 (직사각형이 아닌) 형태가 될 수 있는 장면내의 특정한 객체. 3. 비디오 객체 계층(VOL) ᅳ (다중 계층의) 스케일러블 부호화를 지원하는 방법에 용이. 한 비디오 객체(VO)는 스케일러블 부호화에서 여러 개의 비디오 객체 계층들 (VOLs)을 가질 수 있고, 스케일러블 부호화가 아닌 경우에는 단일의 비디오 객체 계층(VOL)을 가짐. 4. 비디오 객체 평면의 그룹(GOV) ᅳ 비디오 객체 평면들이 함께 그룹화 되어 있음.(단계는 선택적임) 5. 비디오 객체 평면(VOP) ᅳ 특정한 순간에서 비디오 객체의 스냅사진. 멀티미디어시스템

8. 12.2 MPEG-4의 객체지향 비주얼 부호화 • MPEG-1 과 MPEG-2는 VOP 개념을 지원하지 않음. 따라서, 그들의 부호화 방법은 프레임-기반(frame-based)으로 일컬어짐.(또한, 블럭-기반 부호화(blocks-based coding)로 알려져 있음) • 그림 12.4(c)는 블럭-기반 부호화를 위해 두 가능한 매치가 작은 예측 오차를 야기하는 하나의 가능한 예를 실행. • 그림 12.4(d)는 각각의 VOP가 임의의 형상이고, 이상적으로 현실의 객체 움직임과 일치하는 유일한 움직임 벡터를 얻는 것을 보여줌. VOP 기반 부호화 대 프레임 기반 부호화 멀티미디어시스템

9. 그림 12.4: 블록 기반 부호화와 객체 지향 부호화의 비교 멀티미디어시스템

10. VOP 기반 부호화 • 또한 MPEG-4 VOP 기반 부호화도 움직임 보상 기술을 이용: • 프레임내 부호화된 VOP는 I-VOP로 불림. • 프레임간 부호화된 VOP들은 만약 순방향 예측만이 이용되면 P-VOPs로 불리고, 만약 양방향 예측이 이용되면 B-VOPs로 불림. • VOP들에 대한 새롭게 나타난 어려운 점: 임의의 형상을 가진다는 것인데, VOP의 질감뿐만 아니라 형상 정보도 부호화되어야 함. 주목: 여기서 질감은 실질적으로 VOP내에서 최소의 회색도(또는 색도)값인 비주얼 내용을 언급함. 멀티미디어시스템

11. VOP 기반 움직임 보상(MC) • MPEG-4에서 움직임 보상 기반 VOP 부호화는 역시 세 단계를 포함: (a) 움직임 예측 (b) 움직임 보상 기반 예측 (c) 예측 오차의 부호화 • 현재(목표) VOP의 VOP내 화소만이 움직임 보상에서 매칭되기 위해 고려됨. • 움직임 보상을 쉽게 하기 위해, 각 VOP는 많은 매크로블럭들(MBs)로 나눔. 매크로블럭들은 휘도 영상에서 16×16과 색도 영상에서 8×8이 기본값. • 움직임 보상의 첫 번째 두 단계: 채워넣기와 움직임 벡터 부호화 멀티미디어시스템

12. MPEG-4는 각각의 VOP를 위한 직사각형의 경계 상자를 정의.(자세한 것은 그림 12.5를 참조) • 완전하게 VOP내에 있는 매크로블럭은 내부 매크로블럭(Interior Macroblocks)으로 불림. VOP의 경계에 걸쳐있는 매크로블럭은 경계 매크로블럭(Boundary Macroblocks)으로 불림. • 목표 VOP에서 모든 화소가 매칭되는 것을 돕고 변환 부호화(예, DCT)에서 직사각형 블럭의 강제적인 요구사항을 맞추기 위해 채워 넣기의 전처리 단계는 움직임 예측에 앞서 기준 VOP들을 적용함. 주목: 채워 넣기는 기준 VOP에서만 일어남. 멀티미디어시스템

13. 그림 12.5: VOP의 경계 상자와 경계 매크로블럭 멀티미디어시스템

14. I. 채워 넣기 • 기준 VOP에서 모든 경계 매크로블럭들을 위해, 수평 반복 채워 넣기가 먼저 수행되고 수직 반복 채워 넣기가 뒤따름. • 그 뒤에, VOP의 밖에 있지만 하나 이상의 경계 매크로블럭들에 이웃한 모든 외부 매크로블럭(Exterior Macroblocks)들에 대해 확장 채워 넣기가 적용. 그림 12.6: MPEG-4에서 기준 VOP들을 위한 채워 넣기 순서 멀티미디어시스템

15. 알고리즘 12.1 수평 반복 채워 넣기: • 다음의 수직 반복 채워 넣기 알고리즘은 유사한 방법으로 실행. 멀티미디어시스템

16. 예제 12.1: 반복 채워 넣기 그림 12.7: 기준 VOP의 경계 매크로블럭에서 반복 채워 넣기의 예: (a) VOP내의 원 화소, (b) 수평 반복 채워 넣기 후, (c) 뒤따르는 수직 반복 채워 넣기. 멀티미디어시스템

17. II. 움직임 벡터 부호화 • C(x+k, y+l)는 목표 VOP내 매크로블럭의 화소로 두고, R(x+i+k, y+j+l)은 기준 VOP내 매크로블럭의 화소로 두자. • 두 매크로블럭 사이의 차분을 측정하기 위한 절대 차분의 합(SAD)은 다음과 같이 정의될 수 있음: N ᅳ 매크로블럭의 크기. C(p, q)가 목표 VOP내의 화소일 때 Map(p, q) = 1이고, 그렇지 않으면 Map(p, q) = 0 임. • 최소 SAD를 주는 벡터(i, j)가 움직임 벡터 MV(u, v)로 채택됨: p ᅳ u와 v를 위해 최대로 허용할 수 있는 크기.

18. 질감 부호화 • MPEG-4에서 질감 부호화는 다음과 같은 기반으로 할 수 있음: • DCT 혹은 • 형태 적응적인 DCT(SA-DCT) • I-VOP에서 VOP의 각 매크로블럭에서 화소의 회색도 값은 JPEG에서 수행되는 것과 유사하게 DCT와 뒷따르는 VLC를 이용하여 바로 부호화됨. • P-VOP 또는 B-VOP에서, 움직임 보상 기반 부호화를 이용. ᅳ그것은 DCT와 VLC에 보내지는 예측 오차임. I. DCT 기반 질감 부호화 멀티미디어시스템

19. 내부 매크로블럭들을 위한 부호화는: • 각 매크로블럭은 휘도 VOP에서 16×16이고, 색도 VOP에서 8×8임. • 각 매크로블럭에서 6개의 8×8블럭들로부터 예측 오차는 전형적인 움직임 예측 단계 뒤에 얻어짐. • 경계 매크로블럭들을 위한 부호화는: • VOP밖의 목표 VOP에서 경계 매크로블럭의 부분을 위해, 이상적으로 예측 오차는 VOP안에서 영에 가깝기 때문에 영이 DCT에게 보내진 블럭에 채워짐. • 움직임 보상 후에, 목표 VOP내의 질감 예측 오차를 얻음. 멀티미디어시스템

20. II. 경계 매크로블럭들을 위한 형상 적응적인 DCT(SA-DCT) 기반 부호화 • 형태 적응적인 DCT(SA-DCT)는 경계 매크로블럭들을 위한 또 다른 질감 부호화 방법. • 그것의 효율성 때문에, SA-DCT는 MPEG-4 버전 2에서 경계 매크로블럭 부호화를 위해 채택. • 그것은 1차원 DCT-N 변환과 그것의 역변환 IDCT-N을 사용: • 1차원 DCT-N: • 1차원 IDCT-N:

21. SA-DCT는 2차원 DCT이고 그것은 1차원 DCT-N의 두 번 반복을 통해서 분리 가능한 2차원 변환으로 계산됨. • 그림 12.8은 형상 적응적인 DCT(SA-DCT)를 이용하여 경계 매크로블럭을 위한 질감 부호화 과정을 설명함. 멀티미디어시스템

22. 그림 12.8: 형상 적응적인 DCT(SA-DCT)를 이용한 경계 매크로블럭들을 위한 질감 부호화 멀티미디어시스템

23. 형상 부호화 • MPEG-4는 이진(binary)과 회색도(gray scale)의 두 가지 형태의 형상 정보를 지원. • 이진 형상 정보는 VOP의 직사각형 경계 상자와 같은 크기의 이진 맵(또한 이진 알파맵으로 알려진) 형태를 가질 수 있음. • 비트맵에서 1(불투명) 또는 0(투명)의 값은 화소가 VOP의 안인지 밖인지를 나타냄. • 회색도 형상 정보는 실제적으로 0(완전하게 투명)부터 255(불투명)까지 범위의 회색 값을 갖는 형상 투명도로 참조. 멀티미디어시스템

24. I. 이진 형상 부호화 • BABs(이진 알파 블록: Binary Alpha Blocks): 이진 알파 맵을 더 효율적으로 부호화하기 위해, 그 맵은 16×16 블럭으로 나누어짐. • 경계 BABs는 윤곽선을 포함하고 따라서 VOP를 위한 형상 정보를 포함. ᅳ이진 형상 부호화의 대상이 됨. • 두 가지 비트맵 기반 알고리즘: (a) 수정된 수정된 READ(MMR: Modified Modified READ) (b) 내용-기반 산술 부호화(CAE: Context-based Arithmetic Encoding) 멀티미디어시스템

25. 수정된 수정된 READ(MMR) • MMR은 기본적으로 상대적 요소 주소 명명(READ: Relative Element Address Designate) 알고리즘의 단순화 부류. • READ 알고리즘은 이전과 현재 라인에서 다섯 화소 위치를 확인함으로써 시작: • a0: 부호화기와 복호화기 모두에게 알려진 마지막 화소 값; • a1: a0오른쪽으로의 전이 화소; • a2: a2오른쪽으로의 두 번째 전이 화소; • b1: 이전 부호화된 라인에서 색이 a0에 반대인 첫 번째 전이 화소; • b2: 이전 부호화된 라인상에서 b1오른쪽으로의 첫 번째 전이 화소. 멀티미디어시스템

26. 수정된 수정된 READ(MMR)(계속) • READ 알고리즘은 이 화소들의 상대적인 위치를 검사함으로써 동작: • 언제든지, 부호화기와 복호화기 모두 a0, b1, b2의 위치를 아는 반면에 a1과 a2의 위치는 부호화기만 알 수 있음. • 세 가지 부호화 모드가 이용: 1. 만약 이전 라인과 현재 라인의 런-길이가 유사하다면, a1과 b1 사이의 거리는 a0와 a1 사이의 거리보다 훨씬 더 작아야 함. 수직모드는 a1 - b1으로 현재 런-길이를 부호화함. 2. 만약 이전 라인이 유사한 런-길이를 갖지 않으면, 현재 런-길이는 1차원 런-길이 부호화를 이용해서 부호화함. ᅳ수평모드. 3. 만약 a0 ≤ b1 < b2 < a1이면, 경로 모드에 있다는 것을 가리키는 부호어(codeword)를 단순히 전송하고 b2아래의 위치로 a0를 나아가게 하고 부호화 과정을 계속함. 멀티미디어시스템

27. 실제 구현을 위해 READ 알고리즘을 일부 간략화 할 수 있음. • 예를 들어, 만약 ∥a1 - b1∥ < 3 이면, 그것은 수직 모드를 적용할 수 있다는 것을 나타내기에 충분함. • 또한 오류 전파를 막기 위해, k개의 라인마다 일반적인 런-길이 부호화를 이용해서 부호화된 라인이 적어도 하나는 포함하도록 k-인자가 정의됨. • 이러한 수정은 G3표준에서 사용된 수정된 READ (Modified READ) 알고리즘을 구성. MMR(수정된 수정된 READ)알고리즘은 단순히 k-인자에 의해 강요된 제한을 제거함. 멀티미디어시스템

28. CAE(내용-기반 산술 부호화) 그림 12.9: 경계 BAB(이진 알파 블럭)내 화소를 위한 CAE의 내용. (a) 인트라-CAE, (b) 인터-CAE. 멀티미디어시스템

29. CAE(계속) • 어떤 특정한 내용(예, 모두 0이거나 1)이 다른 것보다 더 빈번히 나타남. 일부의 이전 통계치를 가지고 이웃 화소의 수를 k라고 할 때, 각각 2k개 내용의 일어날 확률을 나타내기 위해 확률표를 만들 수 있음. • 각 화소는 그것의 내용을 위한 확률 값을 찾기 위하여 표를 참조할 수 있음. CAE는 단순히 각 BAB에서 16×16 화소를 순차적으로 주사하고 궁극적으로 그 BAB를 위한 단일의 부동소수점을 가지는 수를 유도하기 위해 산술 부호화를 적용. • 인터-CAE 모드는 인트라-CAE의 자연스러운 확장: 그것은 목표와 참조 알파맵 모두를 포함. 멀티미디어시스템

30. II. 회색도 형상 부호화 • 여기서 회색도(gray-scale)는 질감이 아닌 형상의 투명도(transparency)를 기술하기 위해 사용. • MPEG-4에서 회색도 형상 부호화(gray-scale shape coding)는 위에서 기술한 질감 부호화와 같은 기술을 이용. • 알파 맵과 블럭 기반 움직임 보상을 이용하고, DCT에 의한 예측 오차를 부호화함. • 모든 화소가 VOP내에 있지 않기 때문에 경계 매크로블럭은 이전처럼 채워 넣기가 필요. 멀티미디어시스템

31. 정적 질감 부호화 • MPEG-4는 정적 객체의 질감을 위한 웨이블릿 부호화를 이용. • MPEG-4 정적 질감 부호화에서 서브밴드 부호화는 다음과 같은 방법으로 실행됨: • 가장 낮은 주파수를 갖는 서브밴드는 DPCM을 이용하여 부호화됨. 각 계수의 예측은 세 이웃을 기반으로 함. • 다음 서브밴드의 부호화는 다중스케일 제로 트리 웨이블릿 부호화 방법을 기반으로 함. • 다중 스케일 제로 트리는 모든 계수의 위치를 더 잘 추적하기 위하여 가장 낮은 주파수 서브밴드의 각 계수를 위한 부모-자식 관계 트리를 가짐. • 또한 양자화의 정도는 데이트율에 영향을 미침. 멀티미디어시스템

32. 스프라이트 부호화 • 스프라이트(sprite)는 더 큰 그래픽 영상 또는 영상의 집합 내에서 자유롭게 주위를 움직일 수 있는 그래픽 영상. • 배경으로부터 전경 객체를 구분하기 위해, 우리는 스프라이트 파노라마(sprite panorama)의 개념을 소개: 한 비디오 프레임의 순서에 걸쳐있는 정적 배경을 기술하는 정지 영상. • 큰 스프라이트 파노라마 영상은 비디오 순서의 시작에서 오직 한 번만 부호화되어 복호화기로 보내질 수 있음. • 복호화기가 개별적으로 부호화된 전경 객체와 지금까지의 카메라 움직임을 기술하는 매개변수를 받을 때, 그것은 효율적인 방법으로 장면을 재구성 할 수 있음. • 그림 12.10은 비디오 프레임의 순서로부터 꿰매진 파노라마 영상인 스프라이트를 보여줌. 멀티미디어시스템

33. 그림 12.10: 스프라이트 부호화. (a) 배경의 스프라이트 파노라마 영상, (b) 블루스크린 영상내의 전경 객체(피리 부는 사람) (c) 합성된 비디오 장면 * Simon Fraser University Pipe Band에서 제공한 피리 부는 사람 영상 멀티미디어시스템

34. 전역 움직임 보상(GMC) • “전역(Global)” - 카메라 움직임으로 인한 전체적인 변화(팬(pan), 틸트(tilt), 회전(rotation), 줌(zoom)) GMC(Global Motion Compensation)가 없는 이것은 아주 많은 수의 중요한 움직임 벡터를 가져오는 원인이 됨. • GMC 알고리즘 내의 네 가지 주요 구성요소: • 전역 움직임 예측 • 와핑(warping)과 블렌딩(blending) • 움직임 궤도 부호화 • LMC(지역 움직임 보상: Local Motion Compensation) 또는 GMC의 선택 멀티미디어시스템

35. 전역 움직임은 스프라이트 S와 전역 움직임 보상된 영상 I' 사이의 차분 제곱의 합을 최소화 함으로써 계산됨: • 전체 영상에 걸친 움직임은 다음과 같이 정의한 여덟 개의 매개변수를 사용한 원근움직임 모델에 의해 매개 변수화 됨:

36. 12.3 MPEG-4의 합성 객체 부호화 • 2차원 매쉬(2D mesh): 다각형 조각을 이용한 2차원 평면 영역의 모자이크(또는 분할): • 다각형의 정점들은 매쉬의 노드(node)라고 부름. • 가장 대표적인 매쉬는 모든 다각형이 삼각형인 삼각형 매쉬(triangular mesh). • MPEG-4 표면은 두 가지 형태의 2차원 매쉬를 이용 : 균일 매쉬(unform mesh)와 Delaunay 매쉬 • 2차원 매쉬 객체 부호화는 간결. 매쉬의 모든 좌표 값은 반화소 정밀도로 부호화됨. • 각각의 2차원 매쉬는 매쉬 객체 평면(MOP: mesh object plane)으로 여겨짐. 2차원 매쉬 객체 부호화 멀티미디어시스템

37. 그림 12.11: 2차원 매쉬 객체 평면(MOP) 부호화 과정 멀티미디어시스템

38. I. 2차원 매쉬 기하학 부호화 • MPEG-4는 다른 3각 측량 구조를 가지는 네 가지 형태의 균일 매쉬를 허용. 그림 12.12: 균일한 매쉬의 4가지 유형 멀티미디어시스템

39. 정의: 만약 D가 Delaunay 3각 측량이라면, 그것 중의 어떤 삼각형 tn = (Pi, Pj, Pk)∈D는 tn의 외접원이 그것의 내부에 어떤 다른 노드 점 Pl을 포함하지 않는다는 속성을 만족함. • 비디오 객체를 위한 Delaunay 매쉬는 다음의 단계에서 얻을 수 있음: 1. 매쉬의 경계 노드를 선택함: 다각형은 객체의 경계를 근사화하는데 이용. 2. 내부 노드를 선택함: 객체 경계 내에 있는 특징점(예, 가장자리 점 또는 모서리)은 매쉬를 위한 내부 노드로 선택되어짐. 3. Delaunay 3각 측량을 실행함: 제한된 Delaunay 3각 측량은 다각형 경계를 제한으로 사용하여 경계와 내부 노드에서 실행됨. 멀티미디어시스템

40. 제한된 Delaunay 3각 측량 • 내부 가장자리는 새로운 삼각형을 형성하기 위해 먼저 더해짐. • 그 알고리즘은 그것이 국부적으로 Delaunay인 것을 확신하기 위해 각각 내부의 가장자리를 검사할 것임. • 가장자리 를 공유하는 두 삼각형 (Pi, Pj, Pk)와 (Pj, Pk, Pl)이 주어지고, 만약 그것의 내부에서 (Pi, Pj, Pk)가 Pl를 포함하거나 (Pj, Pk, Pl)이 Pi를 포함한다면, 는 국부적으로 Delaunay가 아니고 새로운 가장자리 에 의해 교체될 것임. • 만약 Pl이 정확하게 (Pi, Pj, Pk)의 외접원에 있게 된다면(따라서 Pi또한 정확하게 (Pj, Pk, Pl)의 외접원에 있게 된다면), Pi또는 Pl이 네 개의 노드 사이에 가장 큰 x 좌표를 가질 때만 는 국부적으로 Delaunay로 간주됨.

41. 처음 위치 (x0, y0)를 제외하고, 다음의 모든 좌표는 차분이 부호화됨. ᅳ 즉, n ≥ 1일 때, 그 뒤에 dxn, dyn는 가변 길이 부호화됨. 그림 12.13: Delaunay 매쉬: (a) 경계 노드(P0 ~ P7)과 내부 노드(P8 ~ P13). (b) 제한된 Delaunay 3각 측량에 의해 얻어진 삼각형 매쉬.

42. II. 2차원 매쉬 움직임 부호화 • 새로운 매쉬 구조는 오직 인트라-프레임에서만 생성될 수 있고, 그것의 3각 위상 기하학은 다음의 인터-프레임에서 변경되지 않을 것임. ᅳ 2차원 매쉬 움직임 예측에서 1대 1사상을 시행함. • 어떤 MOP 삼각형 (Pi, Pj, Pk)을 위해, 만약 Pi와 Pj를 위한 움직임 벡터가 MVi와 MVj로 알려지면, 예측 Predk은 반화소 정밀도로 반올림되어 Pk의 움직임 벡터를 위해 생성될 것임: 예측 오차 ek는 다음과 같이 부호화됨:

43. 그림 12.14: 2차원 매쉬 움직임 부호화를 위한 MOP 삼각형의 폭 우선 순서 멀티미디어시스템

44. 그림 12.15: 2차원 객체 애니메이션을 위한 매쉬 기반 질감 매핑 멀티미디어시스템

45. 12.3.2 3차원 모델 기반 부호화 • 비디오에서 사람 얼굴과 몸의 빈번한 출현 때문에, MPEG-4는 얼굴 객체(face objects)와 몸 객체(body objects)를 위한 특별한 3차원 모델을 정의함. • 이러한 새로운 비디오 객체를 위한 잠재적인 몇 가지의 응용분야는 원격 회의, 인간-컴퓨터 인터페이스, 게임, 전자상거래를 포함. • 얼굴 또는 몸 객체의 표면이 명암(shaded)을 나타내거나 질감-사상(texture-mapped)될 수 있도록 MPEG-4는 와이어프레임(wireframes)의 범위를 뛰어 넘음. 멀티미디어시스템

46. I. 얼굴 객체 부호화와 애니메이션 • MPEG-4는 VRML 컨소시엄에 의해 개발된 일반 기본 얼굴 모델을 채택. • 얼굴 애니메이션 매개변수(FAPs:Face Animation Parameters)는 원하는 애니메이션(원본 “무표정” 얼굴로부터 유도)을 이루기 위해 기술될 수 있음. • 게다가, 얼굴 정의 매개변수(FDPs: Face Definition Parameters)는 개개의 얼굴을 더 잘 묘사하기 위해 기술될 수 있음. • 그림 12.16은 FDPs를 위한 특징 점을 보여줌. 애니메이션에 의해 영향을 받을 수 있는 특징 점(FAPs)은 꽉 찬 원으로 보여지고 영향을 받지 않는 다른 것들은 빈 원으로 보여짐. 멀티미디어시스템

47. 그림 12.16: 얼굴 정의 매개변수를 위한 특징 포인트(FDPs). (치아(teeth)와 혀(tongue)를 위한 특징 포인트는 보이지 않음.) 멀티미디어시스템

48. II. 몸 객체 부호화와 애니메이션 • MPEG-4 버전 2는 얼굴 객체로의 자연스러운 확장인 몸 객체(body objects)를 도입. • VRML 컨소시엄내의 휴머노이드 애니메이션(H-Anim)그룹과 작업하여, 기본 자세를 가지는 일반적인 가상 인간 몸을 채택. • 기본자세는 정면을 향하는 발, 손바닥이 안으로 향하고 옆쪽에 팔을 두고 서 있는 자세. • 296 몸 애니메이션 매개변수(BAPs: Body Animation Parmeters)가 있음. MPEG-4에 순응하는 어떤 일반적인 몸에 적용될 때, 그것들은 같은 애니메이션을 생성할 것임. 멀티미디어시스템

49. 상당히 많은 BAPs는 몸의 다른 부분을 연결하는 관절 부분을 기술: 척추, 어깨, 쇄골, 팔꿈치, 손목, 손가락, 엉덩이, 무릎, 발목, 발가락 ᅳ 각각의 손에만 25개 정도의 자유도이고, 몸에는 186개 정도의 자유도를 가짐. • 몇몇 몸의 움직임은 세부적인 다중 등급 내에서 기술할 수 있음. • 특정한 몸을 위해, 몸 정의 매개변수(BDPs: Body Definition Parameters)는 몸 차원, 몸 표면 기하학, 그리고 선택적으로 질감을 위해 명시될 수 있음. • BAPs의 부호화는 FAPs의 그것과 유사함: 양자화와 예측 부호화가 이용되고, 예측 오차는 산술 부호화에 의해 더욱 압축됨. 멀티미디어시스템

50. 12.4 MPEG-4 객체 유형, 프로파일 및 레벨 • MPEG-4에서 프로파일(Profiles)과 레벨(Levels)의 표준화는 두 가지 주요 목적을 가짐: (a) 구현된 시스템 간의 상호 동작성을 보장 (b) 표준에 대한 순응 시험을 허용 • MPEG-4는 비주얼 프로파일과 오디오 프로파일 뿐만 아니라 그것의 시스템 부분에서 그래픽 프로파일, 장면 묘사 프로파일, 객체 묘사 프로파일도 명시. • 객체 유형(object type)은 비디오 객체를 생성하고 장면을 결합하는 방법을 만들기 위해 필요한 도구들을 정의하여 소개함. 멀티미디어시스템