主讲：夏洪文

1. 主讲：夏洪文

2. 课程简介 多媒体技术是一门理论与实践结合紧密的课程，也是我们教育技术学专业的一门基础性课程。 本课程的主要内容分为9个部分： 第一部分：多媒体技术概述。主要介绍了多媒体、多媒体技术、多媒体系统的概念，介绍了多媒体技术的基本特征、历史、关键技术和应用等。 第二部分：多媒体计算机系统。介绍了几个典型的多媒体系统，主要介绍了多媒体计算机的硬件配置和输入/输出设备。

3. 课程简介 第三部分：多媒体接口部件。主要介绍了声卡。显示卡、视频采集卡、AD/DA转换器、调制解调器的结构、工作原理与应用。 第四部分：音频媒体及应用。主要介绍了音频媒体数字化原理与应用，包括PCM编码原理、MPEG数字声音压缩编码、电子音乐合成MIDI等。 第五部分：图像与视频媒体应用。主要介绍了图像与图像的数字化过程、视频与视频信号的数字化过程、JEPG与MPEG压缩标准等。

4. 课程简介 第六部分：超文本与超媒体。主要介绍了超文本与超媒体系统特征、要素、层次模型与系统设计，介绍了超文本与超媒体系统的教育应用、超文本与超媒体系统目前所存在的问题与发展前景。 第七部分：虚拟现实及其应用。主要介绍了虚拟现实的定义、特征、构成与分类、关键技术与设备，介绍了虚拟现实的建模语言和虚拟现实的教育应用。 第八部分：多媒体网络技术及其应用。主要介绍了多媒体信息传输技术、流式媒体技术和多媒体网络教学环境。 第九部分：多媒体软件开发。主要介绍了多媒体教学软件开发环境、多媒体教学软件开发流程和多媒体教学软件开发立项，本章还以网络课件开发为例，探讨了多媒体课件开发的流程与管理。

5. 第1章 多媒体技术概述 媒体和多媒体的概念 多媒体标准和系统

6. 1.1 媒体和多媒体的概念 • 媒体 • 多媒体 • 多媒体分类和描述 • 数字媒体

7. 1.1.1 媒体 • “媒体（medium）” 又称载体或介质，指信息传送和存储的最基本的技术和手段 。 • 可分为感知媒体（perception medium）、表示媒体（representation medium）、表现媒体（presentation medium）、存储媒体（storage medium）和传输媒体（transmission medium）五类。

8. 1.1.1 媒体 • 感知媒体：指人的感觉器官所能感觉到的信息的自然种类。如声音、图形、图像、动画、电影和文本等。人的感觉包括视觉、听觉、触觉、嗅觉、味觉等。感知媒体帮助人类感知环境的信息。目前，人类主要靠视觉和听觉来感知环境的信息。触觉作为一种感知方式也慢慢引入到计算机中。 • 人类从外部世界获取信息的70%~80%是从视觉获得，10%从听觉获得，其余的10%从触觉、嗅觉和味觉获得。

9. 感知媒体例：文本 中国甲骨文字 释文 旬壬申夕月有食 说明     远在三千年前我国即有关于天文方面的记录，本片甲骨是当时月食的记录。这说明我国具有悠久的文明历史。 象形文字：foot(埃及） 汉字：水（唐朝怀素、东晋王羲之及周朝石鼓文）

10. 感知媒体例：图形和图像 图像 图形

11. 感知媒体例：动画和视频 视频 动画 还有：音频、音视频等

12. 1.1.1 媒体 表示媒体：指被交换的数据类型，它们定义信息的特性。表示媒体的特性用信息的计算机内部编码表示，例子有语音PCM编码、图像JPEG编码、文本ASCII编码和乐谱等。

13. 1.1.1 媒体 • 表现媒体：指为人们再现信息的物理工具和设备（输出设备），或者指获取信息的工具和设备（输入设备）。如显示器、扬声器、打印机等输出类显现媒体，以及键盘、鼠标器、扫描器等输入类表现媒体。

14. 1.1.1 媒体 • 存储媒体：指存储数据的物理介质，如纸张、磁盘、光碟等。

15. 1.1.1 媒体 • 传输媒体：指传输数据的物理媒介，如双绞线、同轴电缆、光缆、无线电链路等传输媒体。

16. 传输媒体：电缆 （a）双绞线 （b）同轴电缆

17. 传输媒体：光纤

18. 传输媒体：无线

19. 1.1.2 多媒体 • “多媒体（multimedia）”一词大约在1960-1965年开始使用，其中“multi”是“许多”的意思。术语“多媒体”的原意是指“通过计算机、电视、电话等散布和表现用图形、动画、音频、视频、文本等格式编码的信息”。 • 多媒体= 多种媒体数据+ 一系列交互

20. 多媒体= 多种媒体数据+ 一系列交互 • 多种媒体数据：多种源的、多种类型的和多种格式的数据（multisource, multitype and multiformat data）的集合。 • 多媒体成分之间的交互：由复杂的关系组成。如果没有这些关系，多媒体只能是音频数据、视频数据与其他数据的简单集合。

21. 交互 • 交互是人类获取信息、掌握知识的重要途径 • 看见的信息人们只能记住20% • 听见的信息人们只能记住30% • 既看见同时又听见的信息人们能记住50% • 既看见同时又听见并且也参与的信息人们能记住80%

22. 1.1.2 多媒体 • 多媒体技术涉及许多方面，其中最重要的有多媒体信号处理技术、多媒体数据存储技术、传输技术、表现技术、安全技术等。 • 一般所说的“多媒体”，不仅指多种媒体信息本身，而且指处理和应用多媒体信息的相应技术，因此“多媒体”常被当作“多媒体技术”的同义词。

23. 1.1.2 多媒体 • 区分一个应用或系统是否是多媒体应用或多媒体系统的三条主要标准： • 媒体的数目 • 支持多媒体的类型 • 媒体的集成化程度 • 支持处理多种媒体，其中至少包含一种时间相关媒体，以及支持多种类型媒体集成化处理，是衡量是否属多媒体应用和系统的标准。

24. 1.1.3 多媒体分类和描述 • 从人类感知角度划分，媒体可以分成听觉媒体、视觉媒体、触觉媒体、嗅觉媒体和味觉媒体等五大类。 • 听觉媒体又称为可聆听（Audio）媒体，视觉媒体又称为可视（Visual）媒体。现在多媒体包含的主要是可听和可视两大类。

25. 多媒体的描述 • 值（Value） • 表现域（presentation domain），又称为表现空间（presentation space） • 表现维（presentation dimension）

26. 多媒体描述 • 值：不同媒体形式的信息都是用“值”来表示 • 表达值可以是一序列连续值或者一个单值序列。 • 不同媒体形式的信息其表示一般也是不同的 • 自包含的量或物理量（例如温度、味觉、嗅觉） • 符号（例如文字符号，手势） • 表现域： • 媒体需要在一定的表现域中才能表现。 • 可以是时间域，空间域，或时间-空间域。 • 示例：超文本（Hypertext）的表现空间是网络空间或赛伯空间（Cyberspace）。立体电影需要四维时空域，即X、Y和Z轴，再加上时间轴。 • 表现维：每一个表现空间有一个或多于一个的表现维 • 示例：声音，一维；图片，2维

27. 1.1.3 多媒体分类和描述 • 如果媒体的显示域是一个连续域，这种媒体一般称为模拟媒体（analog medium）或连续媒体（continuous medium）。 • 如果媒体的显示域是一些离散的点，这种媒体一般称为离散媒体（discrete medium）。 模拟媒体例：时间和幅度均连续 离散媒体例：时间和幅度均不连续

28. 1.1.3 多媒体分类和描述 • 按照显示域里的时间维，媒体被分为非时间媒体或离散媒体与时间媒体或连续媒体两类。 • 非时间媒体或时间离散媒体。它们由不依赖于时间的信息组成。 • 时间媒体或时间连续媒体。其显示要求随时间变化连续地播放 。

29. 时间离散媒体

30. 时间连续媒体

31. 1.1.3 多媒体分类和描述 • 从网络连接的角度，媒体可以分为非实时媒体和实时媒体两大类。 • 根据应用的不同，上述时间离散媒体既可能是非实时的，也可能是实时的。

32. 媒体类型 非实时类 实时类 数据 图像 文本 离散的 连续的 容许时延的 文本方式聊天 及时消息 气象报告 不容许时延的 远程桌面应用 交互式音频/视频 流式音频/视频 不容错的 媒体的网络分类

33. 1.1.4 数字媒体 • 在多媒体技术中，绝大多数数字媒体是对模拟媒体进行适当处理而得到的。

34. 1.1.4 数字媒体 处理大致分为两步： 第一步：对模拟媒体在显示域进行采样（sampling），形成离散媒体。 第二步：对离散媒体的表达值（即第1步得到的样本值）进行量化（quantization）。 离散媒体 模拟媒 体输入 采样 量化 数字媒 体输出

35. 采样 • 如果对模拟信号，每隔相等的一小段时间采样一次，这种采样称为均匀采样(uniform sampling)；否则称为非均匀采样。通常采用均匀采样。

36. 量化 • 连续幅度的离散化通过量化来实现，就是把信号的强度划分成一小段一小段，并用某种准则（例如四舍五入）将其数值表示出来。如果幅度的划分是等间隔的，就称为线性量化，否则称为非线性量化。

37. 模拟-数字转换的两个问题 • 采样频率(fs)：每秒钟需要采集多少个信号样本 • 量化精度：每个信号样本的比特数b/s(bit per sample)应该是多少

38. 奈奎斯特理论（Nyquist theory） 采样频率不应低于模拟信号最高频率的两倍，这样就能把以数字表达的信号还原成原来的信号，这叫做无损数字化（lossless digitization） fs ≥ 2f 或者Ts ≤ T/2 其中f为被采样信号的最高频率，T为被采样信号的最低周期，fs称为采样频率，Ts为采样间隔。

39. 奈奎斯特理论解释 • 模拟信号可看成是由许许多多正弦波组成的，一个振幅为A、频率为f的正弦波至少需要两个采样样本表示，因此，如果一个信号中的最高频率为fmax，采样频率最低要选择2fmax。 • 示例：电话话音的信号频率约为3.4 kHz，采样频率通常选为8 kHz

40. 工程实现问题 • ADC和DAC • ADC（Analog-Digital Convert） • DAC（Digital-Analog Convert） • 模拟运动图像的数字化：首先是在时间维上采样，得到静止图片。然后对每幅图片在水平方向采样（X轴），得到行图像。然后对每个行图像采样（Y轴）。最后对得到的每个样值进行量化。 • 其他问题： • 性能方面：如带宽、存储容量、处理能力等 • 质量方面：实时性（real time）、容错（error tolerance）和同步（synchronization）等

41. 1.2 多媒体标准和系统 • 多媒体标准 • ISO的MPEG系列、MHEG、JPEG系列，ITU-T的音频标准G.711/G.721/G.722/G.723/G.728，IEFT的RSVP、DiffServ、IPv6，W3C的HTML、XML、XHTML等标准 • 多媒体系统的概念 • 多媒体系统及特性、分类、元素

42. 1.2.1 多媒体标准 • 什么叫做标准？ • 所谓标准是记录在案的一致意见（documented agreements），包含技术规范或其他被一致地用作规则（rules）、指南或角色定义的精确的准则，以便保证材料、产品、过程和服务合乎各自的目的。 • 有很多组织机构开发和发布与多媒体技术有关的协议，包括国际组织，区域组织，政府机构，企业事业和研究单位等。

43. 多媒体标准化组织 • 国际标准化组织（ISO，International Organization for Standardization） • ITU-T • 因特网协会 • W3联盟 • 中国的官方标准化组织

44. ISO • 一个涉及范围很广的开发标准的国际机构 • 一个自愿的、无条约的组织 • 会员是由各成员国指定的标准化组织，再加上没有选举权的观察组织组成。 • 目前共有146个国家参加了该组织。虽然ISO不是一个政府机构，但有70％以上的ISO会员是政府的标准研究机构或依法组建的团体，其他会员大多数与各国的行政管理机构有密切联系。 • 包含150多个技术委员会，600多个分委员会，1,500多个工作组

45. ISO（续） • ISO于1946年组建以来，已在广泛的领域发布了12,000多个标准，超过300,000页，涉及从螺纹到太阳能等各种各样的东西。 • 著名的开放系统互连（OSI，Open Systems Interconnection）参考模型就是ISO提出的标准。 • ISO的目标是推动标准化及其相关活动的发展，以促进国际间的贸易和服务往来，并发展智力、科学、技术和经济等各领域的活动合作。

46. ISO标准的开发原则 • 一致意见（Consensus）。即考虑所有利害关系方的意见，包括制造厂，销售商和用户，消费群体，测试实验机构，政府机构，工程行业和研究组织。 • 工业界（Industry-wide）。寻求全面的解决方案，以满足世界范围的工业界和消费界要求。 • 自愿（Voluntary）。国际标准是市场驱动的，因此基于市场上所有利害关系方的自愿参与。

47. ISO标准的开发过程 • 第一阶段：标准的提出 • 标准的需要通常由一个工业工作部门提出，这个部门将此需求与一个国家成员体进行交流。后者向ISO提出一个总的工作项建议。当识别到真正需要一个国际并就此正式达成一致意见时，第一阶段就开始了，包括定义该未来标准的技术范围。这个阶段通常有一个工作组完成，工作组由来自对该主题感兴趣的有关国家的专家组成。

48. ISO标准的开发过程（续） • 第二阶段：实现一致意见 • 当就该标准覆盖的各技术方面达成一致意见后，就进入第二阶段。在此阶段，各国就该标准的细节规范进行协商。这是实现一致意见的阶段。 • 最后阶段：ISO标准 • 包括正式批准形成的国际标准草案，以及作为ISO国际标准出版。国际标准草案需分发给国家成员体进行表决。发布一项国际标准，至少需要75%的参与表决的国家成员体投票赞成。

49. ISO标准经历的六个步骤 • 建议阶段（Proposal stage）：一个新的工作项目被指派到合适的技术委员会，该技术委员会再将其分配给合适的工作组。 • 预备阶段（Preparatory stage）：工作组准备工作草案。当工作组认为那些被提到的问题已经有了最佳的技术解决方案后，才会考虑下一步的工作草案。在这个阶段，草案会被提交给该工作组的上级委员会，从而进入寻求一致意见阶段。

50. ISO标准经历的六个步骤（续） • 委员会阶段（Committee stage）：一旦委员会草案第一稿形成，就要在ISO中央秘书处登记，并将其分发给感兴趣的成员，以期得到推荐及技术上的评议。直至委员会成员就其技术内容一致同意后，才会考虑后续的委员会草案。一旦达成一致，该文件才能作为国际标准草案(Draft International Standard，DIS)提交。 • 质询阶段（Enquiry stage）：ISO中央秘书处向全体ISO成员体发行该DIS，已发行的DIS需要经过5个月的投票和建议期。如果有三分之二以上的大多数赞同，且反对票不超过总票数的四分之一，则该DIS被批准作为最终国际标准草案(Final Draft International Standard，FDIS)提交。如果未能达到审批标准，则该DIS文件会返回给原工作组，以便进一步研究，而修订过的文档会再一次作为DIS发行，以便再次投票和建议。