第六章 多媒体技术基础

1. 第六章 多媒体技术基础

2. 多媒体基础知识 • 多媒体信息处理 • 多媒体计算机系统 • 多媒体技术应用 • 动画制作基础

3. 6.1 多媒体技术的基本概念 • 媒体（Medium）是信息的表现形式或传 播的载体。在计算机领域有如表现形式: 1. 用以存储信息的实体，如磁带、磁盘、 光盘和半导体存储器。 2.信息的载体，如数字、文字、声音、图形 和图像。 • 多媒体：多媒体就是指文本、声音、图形、图像和动画等信息载体中的两个或多于两个的组合成的人—机交互信息交流和传播媒体。

4. 多媒体技术：指运用计算机进行综合处理多媒体信息（文本、声音、图形、动画、图像等）的技术，包括给各种信息建立逻辑连接，进而集成一个具有交互性的系统。多媒体技术：指运用计算机进行综合处理多媒体信息（文本、声音、图形、动画、图像等）的技术，包括给各种信息建立逻辑连接，进而集成一个具有交互性的系统。 • 超媒体 是一种网状的结构形式。结构中节点中的数据可以为文字、图形、图像、声音、动画、动态视频、计算机程序或它们的组合。

5. 多媒体信息的类型 • 文本（text)：是用得最多的一种符号媒体形式，由数字、字母及专用符号组成。 • 超文本是一种文本，与传统的文本文件相比主要差别是，传统文本是以线性方式组织的，而超文本是以非线性方式组织的。图形：描画出物体的轮廓、形状或外部的界限。 • 图形（Graphics）指利用相关的绘图软件提供的绘图功能绘制直线、圆、圆弧、任意曲线等组成的形状。

6. 图像（Image） ：能为人类视觉系统所感知的信息形式或人们心目中的有形想像。可由扫描仪、数字照相机、摄像机等设备进行画面录入，数字化后以位图形式存储。 • 音频（Audio） ：包括音乐、话语及各种动物和自然界发出的各种声音。属于听觉类媒体，其频率范围大约在20Hz～20kHz之间。

7. 视频（Video） ：一系列的静态图像或图形在一定时间内连续变化的结果。通常可通过录像带、摄像机、影碟机等视频信号源设备获取。 • 动画（Animation） ：利用人的视觉暂留特性，当一系列图形或图像的画面按一定的时间在人的视线中经过时，人脑所产生物体运动的印象。

8. 多媒体技术的基本特性 • 多样性 多媒体是多种单媒体，如文本、图形、动画、图像、声音的整合。也就是指信息媒体的多样化或多维化。

9. 多媒体技术的基本特性（续） • 交互性 在多媒体系统中，除了操作上控制自如之外，在媒体综合处理上也可以随心所欲，这种交互操作也必然要求多媒体具有实时性，要求整个系统的软硬件系统都能实时响应。 • 从数据库中查找某人的相貌、声音及文字材料，这是初级交互应用。 • 通过交互特性使用户介入到信息过程中，不仅仅是提取信息，这是中级交互应用。 • 当我们完全地进入到一个与信息环境一体化的虚拟信息空间中时，这是高级交互应用。

10. 多媒体技术的基本特性（续） • 集成性 • 多媒体技术能将各种不同的媒体信息有机地进行同步组合成为一个完整的多媒体信息。 • 能把不同的媒体设备集成在一起，形成多媒体系统。 在硬件上，具有能够处理多媒体信息的高速并行处理机系统、大容量的存储、适合多媒体、多通道的输入输出能力及外设、宽带的通信网络接口。 在软件上，有集成一体化的多媒体操作系统，适合多媒体信息管理和使用的软件系统、创作工具和高效的应用软件等。

11. 多媒体技术的基本特性（续） • 实时性 由于多媒体技术是研究多种媒体集成的技术，其中声音及活动的视频图像是与时间密切相关的，这就决定了多媒体技术必须要支持实时处理。如播放时，声音和图像都不能出现停顿现象。

12. 多媒体信息处理的关键技术 • 多媒体数据压缩/解压缩技术 • 多媒体数据存储技术 • 多媒体专用芯片技术 • 多媒体输入/输出技术 • 多媒体软件技术 • 多媒体通信技术 • 虚拟现实技术

13. 多媒体信息处理的关键技术 1．多媒体数据压缩/解压缩技术 多媒体信息数字化后的数据量非常庞大，必须对数据进行压缩编码，既可节省存储空间，又可提高传输效率，使得计算机能够实时处理和正常播放视频和音频信息。

14. 多媒体信息处理的关键技术 2．多媒体数据存储技术 多媒体数据量非常大，如何实现大容量信息的存储是多媒体技术关键所在，实现这一技术主要还是依靠数据的压缩和解压缩技术，利用数据压缩技术，在一张CD-ROM光盘上能够存取70多分钟全运动的视频图像或者十几个小时的语言信息或数千幅静止图像。

15. 多媒体信息处理的关键技术 3．多媒体专用芯片技术。 多媒体信息的处理需要大量的计算，只有采用专用芯片，才能取得满意的效果。多媒体计算机专用芯片可归纳为两种类型：一种是固定功能的芯片；另一种是可编程的数字信号处理器（DSP）芯片。

16. 多媒体信息处理的关键技术 4．多媒体输入与输出技术 多媒体输入/输出技术包括媒体变换技术、媒体识别技术、媒体理解技术和媒体综合技术。

17. 多媒体信息处理的关键技术 5．多媒体软件技术 多媒体软件技术主要包括：多媒体操作系统、多媒体素材采集与制作技术、多媒体编辑与创作工具、多媒体数据库技术、超文本/超媒体技术和多媒体应用开发技术。

18. 多媒体信息处理的关键技术 6．多媒体通信技术 多媒体通信技术包含语音压缩、图像压缩及多媒体的混合传输技术。

19. 多媒体信息处理的关键技术 7．虚拟现实技术 虚拟现实就是利用计算机技术生成的一个逼真的视觉、听觉、触觉及嗅觉等的感觉世界，用户可以用人的自然技能对这个生成的虚拟实体进行交互考察。

20. 多媒体技术的应用领域 • 流媒体：以将音频、视频等多媒体文件能在Internet上以实时、无需下载等待的流式传输方式进行播放的技术。 • 互联网直播 • 视频点播 • 模式识别 • 远程教育 • 视频会议 • MIS系统

21. 多媒体技术的发展趋势 • 多媒体技术的网络化发展趋势 • MPEG-4 • 蓝牙技术-低功率、短距离的无线连接技术的别称 • 多媒体终端的部件化、智能化和嵌入化发展趋势 • 文字识别 • 语音识别 • 嵌入式多媒体系统

22. 6.2 多媒体信息处理 一、数字音频 数字音频是指用一系列的数字来表示音频信号，即把模拟音频信号转换成有限个数字表示的离散序列，从而实现音频数字化。 在这一处理技术中，要考虑采样、量化和编码的问题。 音频信号数字化过程如下: (1)选择采样频率，进行采样； (2)选择分辨率，进行量化； (3)编码形成声音文件。

23. 1. 采样（sampling） • 采样就是把时间上连续的信号，通过抽取样本，变成在时间上不连续的信号序列，即A/D模数转换，其功能是将模拟信号变换成数字信号。根据采样定理，采样的频率至少高于信号最高频率的2倍。采样的频率越高，声音“回放”出来的质量也越高，但是要求的存储容量也越大。 • 在多媒体中，对于音频，最常用的有三种采样频率：44.1kHz；22.05kHz；11.025kHz。其中22kHz和44kHz采样频率是最常采用的频率。

24. 采样示例

25. 2.量化 • 将采样后得到的音频信息数字化的过程称为量化。它是指把采样所得的值（通常为反映某一瞬间声波幅度的电压值）数字化，即用二进制来表示模拟量。用来表示一个电压模拟值的二进数位越多，音频的分辨率也越高。 • 国际标准的语音编码采用8位，即可有256个量化级。在多媒体中，对于音频，分辨率(量化的位数)可采用16位，它对应65536个量化级。

26. 3.编码 • 数字化的波形声音是一种用二进制表示的串行比特流，它遵循一定的标准或规范进行编码，其数据是按时间顺序组织的。 • 一般说来，要求声音的质量越高，则量化级数和采样频率也越高，为了保存这一段声音的相应的文件也就越大，即要求的存储空间越大。声音通道的个数表明声音记录是只产生一个波形（单声道）还是产生两个波形（立体声双声道）。立体声的声音有空间感，但需要两倍的存储空间。

27. 对于单声道，决定数字录音文件大小的公式为：对于单声道，决定数字录音文件大小的公式为： S=R×D×(r/8)×1 • S表示文件大小，单位为字节； • R表示采样速率，单位为kHz，也可叫采样频率； • D表示录音的时间，单位为秒； • r表示分辨率，单位为二进制位（bit），如8位、16位等； 式中的数字1表示对应的单声道。公式中的“除以8”是为了把二进制位换算成以字节作为单位，一个字节等于八位二进制位。 • 对立体声，决定数字录音文件大小的公式与单声道的情况类似（仍以字节为单位），如下式所示： S=R×D×(r/8)×2 其中各符号的含义与上式相同，惟一不同的是乘以数字2，表示对应立体声，也就是说，立体声的文件大小为单声道的两倍。

28. 例如，如果采样速率为441kHz，分辨率为16位，立体声，上述条件符合CD质量的红皮书音频标准，消费者级的音频压缩盘即按此录制。在录音的时间长度为10秒时，文件的大小S为:例如，如果采样速率为441kHz，分辨率为16位，立体声，上述条件符合CD质量的红皮书音频标准，消费者级的音频压缩盘即按此录制。在录音的时间长度为10秒时，文件的大小S为: S=(44100×10×16/8)×2=1764kB • 对音频的数字化来说，在相同条件下，立体声比单声道占的空间大、分辨率越高则占的空间越大、采样速率越高则占的空间越大。总之，对于音频的数字化要占用很大的空间，因此，对音频数字化信号进行压缩是十分必要的。 • 在多媒体技术中，存储声音信息的常用文件格式主要有：WAV文件、VOC文件、MIDI文件、AIF文件、SNO文件和RMI文件等。

29. 常用的声音压缩标准 • MPEG-1：运动图像专家组1991年制订的数字存储运动图像及伴音编码标准。 MPEG-1标准适用于VCD等数字存储介质。在影像格式方面，由于受到CD传输速率(1.5Mb／s)的限制，其影像分辨率比现行电视要差些。在声音格式方面，用256kb／s速率可进行与CD相同音质的立体声编码。

30. MPEG-2标准 MPEG-2是MPEG-1的扩充、丰富和完善。 MPEG-2标准的视频数据速率为4.15Mb／s，能提供720×480(NTSC)或720×576(PAL)分辨率的广播级质量的视像，适用于包括宽屏幕和高清晰度电视(HDTV)在内的高质量电视广播。

31. MPEG-4 由运动图像专家组定义。适用于窄带可视电话，通过语音与图像的合成，利用分数几何、计算机显示与人工智能技术以最少量的数据来建立精确的画面，是交互式基于内容的压缩标准

32. 声音文件存储格式 1. WAV文件 WAV文件也称为波形文件，是Windows所使用的标准数字音频，文件的扩展名是WAV。它是对实际声音进行采样所得到的数据。使用波形文件能够记录和重现各种声音，从不规则的噪声到美妙的音乐。波形文件最大的缺点就是文件太大，不适合长时间记录声音。

33. 2. MIDI文件 MIDI是Musical Instrument Digital Interface（乐器数字接口）的缩写，MIDI文件的扩展名为MID。 MIDI文件不对音乐进行采样，而是对音乐的每个音符记录为一个数字，所以与波形文件相比文件要小得多，可以满足长时间音乐的需要。MIDI标准规定了各种音调的混合及发音，通过输出装置可以将这些数字重新合成为音乐。

34. 3.CD Audio文件 扩展名为CDA，唱片采用的格式，无法编辑，文件长度大。 4.MPEG-3文件 扩展名为MP3，压缩率大。 5.Real audio文件 扩展名为RA和RM。高压缩量比，极小的失真。 6.WMA文件 Windows Media Audio文件。压缩比及音质方面均超过了MP3。

35. 二、图形和图像 图像的分类：位图和矢量图 • 位图图像是指在空间和亮度上已经离散化的图像。位图式图像是由许多点组成的，这些点称为像素。每个像素可以具有不同的颜色和亮度，像素也是能独立地赋予颜色和亮度的最小单位。位图图像适用于逼真照片或要求精细细节的图像。

36. 矢量图是用一系列计算机指令来描述的，一幅图由一系列图元组合而成。矢量图是用一系列计算机指令来描述的，一幅图由一系列图元组合而成。 • 图形是一种抽象化的图像，是把图像按某个标准进行分析而产生的结果。它不直接描述数据的每一点，而是描述产生这些点的过程和方法。通常，将图形称之为矢量图形。

37. 屏幕分辨率是指监视器整个显示屏分辨率。 如用640×480表示屏幕分辨率（VGA标准）。其中640指的是在每一条水平扫描线上显示出640个点（即象素），或者换句话说，每一条水平扫描线是由640个点构成的虚线；而480指的是一个屏上总共有480条水平扫描线

38. 图像分辨率 图像分辨率表明了图像要用多少像素组成一幅图像。 例如320×240的图像和640×480的图像在屏幕上所点的区域在相差了一倍。

39. 图像色彩深度 位图中记录每个像素点所占的位数，它决定了彩色图像中可出现有最多顏色数。 • 色彩类型 • (1) RGB 模式：用红(R)、绿(G)、蓝(B)三基色来描述颜色的方式叫 RGB 模式。 • (2) CMYK 模式：该模式是一种基于四色印刷的印刷模式，是相减混色模式。C 表示青色，M 表示品红色，Y表示黄色，K表示黑色。 • (3) HSB 模式：该模式是利用颜色的三要素来表示颜色的，H 表示色调，S 表示饱和 度，B 表示亮度

40. 图像数据的容量 图像数据量=图像的总像素×图像色彩深度/8(Bbyte) • 图像压缩 由于图像的数据量很大，需经过压缩后再进行存储和传输。如果采用无损压缩，压缩比不会太高。采用有损压缩，则可能对图像的质量有影响，通常采用一种折衷的方案。在图像压缩中，要考虑实时性问题，压缩和解压都需要时间，为了减少压缩时间，通常采用硬件来完成，这样可以缩短由压缩和解压带来的延迟。

41. 常用图像的文件格式 （1） BMP格式(*.bmp) （2） GIF 格式(*.gif) （3） JPG格式(*.jpg) （4） PSD 格式(*.psd) （5） TIFF格式(*.tif)

42. 三、视频 视频是连续的随时间变化的一组图像，又称运动图像或活动图像。（24帧/秒，25帧/秒，30帧/秒） 视频采集卡负责将模拟信号数字化，并直接对数据进行压缩，编码成数字视频文件保存在硬盘上。

43. 视频文件 • 影像视频文件 • AVI格式：音频视频交错格式，将视频和音频交织在一起进行同步播放。 • MOV文件格式：是QuickTime for Windows所使用的视频文件格式。MOV文件同AVI格式文件一样使用Intel公司的Indeo视频压缩技术把视频和音频信号混合交错在一起。

44. MPG文件：是最新的数字视频标准文件，也称为系统文件或隔行数据流，是采用MPEG方法进行压缩的全运动视频图像。许多视频处理软件（如CorelDRAW等）都支持该文件格式。MPG文件：是最新的数字视频标准文件，也称为系统文件或隔行数据流，是采用MPEG方法进行压缩的全运动视频图像。许多视频处理软件（如CorelDRAW等）都支持该文件格式。 2.流媒体格式 • RealMedia格式(*.ram、*.rmm、*.rmvb、*.ra、*.rm、*.rp、*.rt) • WMV格式(*.WMV) • Windows Media(*.asf)格式

45. 视频压缩 • MPEG-1(1992年正式发布的数字电视标准)、 • MPEG-2(数字电视标准)、 • MPEG-4(1999年发布的多媒体应用标准) • MPEG-7(多媒体内容描述接口) • MPEG-21(多媒体框架，管理多媒体商务)。

46. 6.3 多媒体计算机系统 一、多媒体输入输出设备 • 数码相机 将模拟图像输入转换为数字图像的设备。 用数码照相机拍照时，进入照相机镜头的光线聚焦在CCD（数码照相机的成像部件，CCD芯片上光敏元件的密度决定了最终成像的分辨率。）上。当照相机判定已经聚集了足够的电荷（即相片已经被合适地曝光）时，就“读出”在CCD单元中的电荷，并传送给模数转换器，模数转换器把每一个模拟电平用二进制数量化。从模数转换器输出的数据传送到数字信号处理器中对数据进行压缩后存储在照相机的存储器中。

47. 数码摄像机 可以直接生成数字视频信息保存到数字格式的磁带存储设备，也能将数字视频信息保存到大容量的XD和SD卡或光盘、硬盘等存储设备上。

48. 二、多媒体计算机软件系统 • 多媒体操作系统 又称多媒体核心系统。具有实时任务调度、多媒体数据转换和同步控制机制，对多媒体设备的驱动和控制以及具有图形和声像功能的用户接口等。

49. 多媒体素材制作软件及多媒体函数库 为多媒体应用程序进行数据准备的，作为开发环境的工具库，供开发者调用。 • 多媒体创作工具与开发环境 在多媒体操作系统上进行开发的软件工具，用于生成多媒体应用软件。 • 多媒体外部设备驱动程序的接口程序 直接与计算机硬件相关，完成设备初始化、设备的打开和关闭设备操作，基于硬件的压缩/解压缩、图像快速变换及功能调用等。

50. 6.5 多媒体技术应用 • 在网页中使用图像 利用Frontpage2000在网页中加入图像的操作如下： ① 新建一个空白网页，把光标定位在网页的开始位置。 ② 打开“插入”菜单，选择“图片”菜单项。 ③ 在此对话框中单击“浏览”按钮，出现一个“选择文件”对话框。 ④ 在“选择文件”对话框的文件列表中选择某个图像文件，然后单击“确定”按钮，或直接双击该图像文件，该图像即被加入到网页中。