ç¬¬ 6 ç« å¤šåª’ä½“çš„æ—¶é—´è¡¨ç¤ºä¸ŽåŒæ¥

第6章多媒体的时间表示与同步 • 6.1 多媒体同步的基本概念 • 6.2 时间模型 • 6.3 时间的规范与表示 • 6.4 多媒体同步的表示方法 • 6.5 时间同步与系统支持

6.1 多媒体同步的基本概念

6.1.1 同步的基本概念 • 多媒体是在不同应用环境中文本、图像、声音、视频等各种媒体的集成。既然需要将这些媒体安排在一起表现，就有一个先来后到的关系。这个关系就是同步关系，系统对各个媒体对象按照这个关系进行的控制过程，就是同步。 • 同步的过程与时间有着密切的关系，大多数同步都建立在时间的基础上。

6.1.1 同步的基本概念 • 基于时间的媒体（Time-based Media，时基媒体）或时间依赖媒体（Time-dependent）： • 媒体与时间有着强烈的依赖关系，在采样、传输和回放表现时更需要以时间为参照系进行有序的组织。 • 多媒体同步或合成（Orchestration）： • 组织时基的、非时基的多种媒体序列通过传输、合成并达到某种表现效果。这个过程既包含表现过程，也包含多媒体信息的传输过程；既可以用于并发或顺序的数据流布局，也可以用于对所产生的外部事件进行安排。

6.1.1 同步的基本概念 • “世界报道”时间线表示

6.1.2 同步的种类 • 1．应用同步 • 应用层同步又称表现同步，或交互同步。这一类同步是从用户应用的角度出发而进行的同步，重点在于表现与交互。 • 2．合成同步 • 合成同步又称为“媒体之间的同步” 。这种同步涉及到不同类型的媒体数据，侧重于它们在合成表现时的时间关系的描述。 • 3．现场同步 • 现场同步也属于媒体间的同步。它要表现出同一个应用中数据源方与表现方之间存在的实际同步关系，也既端–端之间的同步关系。 • 4．系统同步 • 又称“媒体内部的同步” 。

6.1.3 同步的分层服务模型 • 对于多媒体的应用来说，同步是建立在不同的分层的基础上的。不同层次的同步依据不同的接口机制来保证，如下图所示。

6.2 时间模型

6.2.1 时间依赖的定义 • 时间依赖的定义 • 时间依赖数据在时间上的唯一性是十分重要的。多媒体数据的时间依赖性有时很难具体描述。 • 根据各种媒体及其表现特性确定时间的依赖关系。 • Static静态的－没有时间依赖 • Discrete离散的－单一元素 • Transient短暂的－一时的 • Natural或Implied自然/蕴含的－真实世界中的时间依赖 • Synthetic综合的、合成的－人工产生的时间依赖 • Continuous连续的－在时间上连续 • Persistant持续的－在数据库中维持的

6.2.1 时间依赖的定义 • 表现及应用生命周期 • 持续对象－存在于整个应用周期 • 非持续对象－动态建立并且用后丢弃 • 短暂对象－出现很短，不需操纵 • 静态对象－长期存在 • 数据采集 • 自然：真实时间－记录时间关系，存储 • 人工：综合时间关系（合成） • 实况：不能进行时间操作 • 媒体 • 连续媒体 • 离散媒体

6.2.2 时间的概念模型 • 时间点和时间段 • 时间点－－瞬时，时间的零长度运动，例：4:00pm • 时间段－－两个时间点之间的区间 • 时间关系 • 时间关系有十三种：before, starts, meets, overlaps, during, finishes, equals • 除equals外，其余六种都有逆关系，共十三种。 • 连续媒体：meets，非连续媒体：before • 基于时态区间的建模（TIB建模）可以勾画出复杂的时间线表示

6.2.2 时间的概念模型

6.3 时间的规范与表示

6.3.1 时间规范 • 时间规范的目的是为了向在创建时和合成过程中所要求同步的数据对象提供一种时间关系的表达手段。 • 这种时间规范可以存储起了，并用于从存储中重放合成的多媒体对象。

6.3.2 相对时间规范与绝对时间规范 • 1．时态瞬时 • 绝对时间参考系：以Video作为绝对时间参考。本来Image和Audio没有时间关系，但都以Video作参考后，Image和Audio也有了关系。 • 以时间轴作为参考对象，编辑时某些时间关系会丢失。如取消参考对象，则无时间关系了，无法同步。 • 相对时间参考系：相对于绝对时间轴（World Time）。失步可用丢弃的方法进行校正。

6.3.2 相对时间规范与绝对时间规范 • 2．时态区间 • 基于时态区间（TIB）可用于建立多媒体表现模型，如：HyTime，ODA，扩展ODA，…… • 层次化方法 • ai: 单一媒体 • 用户输入 • 延迟 • 只在ai的起始点或结束点确定同步。 • 参考点方法 • 系统只在动作流的固定参考点才检查同步，如AVI同步。

（a）层次图 （b）层次图的执行过程参考点方法

6.3.2 相对时间规范与绝对时间规范 • 3．并行与顺序关系 • 用于时间依赖媒体的公共表示方法，可以只用并行和顺序的关系来表示。 • 引入计时器T，将原来在时间上的许多差别都归纳进了计时器的采用。 • 用串行和并行表示时间关系如下图。 • 这种定义要求数据元素的一致性表示，用于消除时间上的重叠。 • 可以通过把大的区间分解成大小一致的小区间，将非周期性表示转换为周期性的表示。

6.4 多媒体同步的表示方法

6.4.1 基于图形的表示法 • 具有形象直观地说明同步语义的优势，适合于可视的、基于图形的多媒体表现的表示。 • 基于图形的表示法有： • 时间线 • 流图 • Petri网 • 时间层次法 • 最著名的是OCPN方法 • 在Petri网基础上，增加了延时值和资源值等

6.4.1 基于图形的表示法 • 1．Petri网的定义 • CPN = {T,P,A}， • T = {t1,t2,…,tn}, • P = {P1,P2,…,Pm}, • A：{T×P}Ｕ{P×T}→I， • I = {1,2,…} • T代表变迁集合，P代表库所集合，A代表有向弧集合。 • 2．标记Petri网（Marked PetriNet: MPN）的定义 • CMPN = {T,P,A,M}, • M：P→I＇，I＇＝{0,1,2,…}。

6.4.1 基于图形的表示法 • 3．OCPN（Object Composite Petri-Net：对象合成网）的定义 • COCPN = { T, P, A, D, Re, M} • D：P→R（实数集） • Re：P→{r1,r2,r3,…,rk} • D是从库所集合到实数（持续时间）的映射，Re是从库所集合到资源集合的映射。 • 4．OCPN模型 • 两个对象的时间合成能够基于顺序的和并行的两种时间关系发生。给定两个对象，则在时间上存在13种关系。OCPN能够捕捉用于说明不同对象计时和显示需求的任何时间关系，如下图所示。其中，Pd是延时计时。

6.4.1 基于图形的表示法 • 5．统一OCPN模型 • 对于任何两个原子进程和它们的时间关系，存在相应的OCPN模型。反过来也为真，对于任何OCPN模型能够惟一确定相应的时间关系。为了便于存储和检索多媒体数据，可对形式进行简化，采用统一OCPN模型，如下图所示，这个模型用于表示任何时间关系。

6.4.1 基于图形的表示法 • 下图是“世界报道”例子的OCPN表示法。这个OCPN捕获了全部时间关系，可以在前向和逆向两个方向上模拟。

6.4.2 基于脚本的表示法 • 脚本（script）可用来表示特定领域内的特定问题。一个脚本其实就是一个具有专门结构的框架。脚本具有强烈的逻辑结构性和时序表现性，因而利用脚本概念来对多媒体表现进行建模，是一种很好的途径。 • 1．几个表现的概念 • 表现：表现意味着一次活动。 • 演员：通过各种媒体进行传播信息的实体。 • 角色：多媒体表现环境中的各种资源。 • 活动：由多媒体表现环境中预定义的多媒体表现的空间和时间序列，而引起发生的事件。 • 场景：各种角色的活动编排组合构成的多媒体空间表现环境。

6.4.2 基于脚本的表示法 • 2．脚本的同步关系 • Petra Hoepner等人提出了相应的算子集合，运用该集合中的算子，可以规范地描述多媒体对象之间的同步及同步机制的语义。可以用它们来将原子活动构造成合成活动，将一元活动构造成包含同步关系的n元活动。 • 比较常用的算子： • A∧B 并行后决 • A∨B 并行先决 • A∶B 串行 • A | B 可选的 • Ai* 重复 • N∶A 并发

6.4.2 基于脚本的表示法 • 3．脚本语言的表示 • （1）事件 • 事件是对象间特殊的信息传递机制，是协调活动和资源，使之有序化的任意分散的时间点。 • （2）情节 • 情节是预定义的多媒体对象表现的空间和时间序列，可以是静态的，也可以是动态的。 • （3）场 • 场是对象、活动、事件、情节的有机组合，是组成脚本的信息单元。 • （4）实现方法 • 实现方法应该与具体系统有关，不同的系统对脚本的实现方法也不一样。一般包括以下一些内容：管理数据，对象列表，时态合成，方法。

6.4.3 交互和同步 • 当一个人与多媒体系统交互时，应用必须能够使用户和外部世界同步。这种同步可以采用多种方法做到，如启动或停止一个对象的表现、提出对某一数据库的查询、对象的浏览、或者其他不可预见的用户起始动作等。对于连续媒体系统，用户交互也蕴含了对信息顺序形式的随机存取。 • 在多媒体中，其他重要的时间顺序还包括在CSCW中多个用户的协调。在这里要重点考虑对于共享对象的并发控制及分布数据资源的管理。

6.5 时间同步与系统支持

6.5 时间同步与系统支持 • 6.5.1 概述 • 实时系统的最后期限――硬。 • 多媒体数据表现的最后期限－－软。 • 但多媒体表现有其独特的性质，具有实时播放的性质。数据需要根据预先确定的时间表从存储中提交出来，一个对象的表现能够持续在整个时间段中。

6.5.2 系统支持的有关问题 • 1．时间表示的数据结构 • 为了支持基于时间的表示，多媒体系统应能识别某种合适的数据结构。 • 适合于应用 • 适合TAC功能特性 • 适合于用对象编辑进行对象演变 • 适合于通过数据库索引和查询进行有效的检索 • 基于语言或基于图形的表示技术不能指明合适的数据结构。 • 用Petri网和关系数据库模型将规范方法映射到一个数据库模式。此时，时间区间和关系将被用一种非结构化格式，或以结构化的格式中的Petri网的时间线表示法描述出来。

6.5.2 系统支持的有关问题 • 2．数据压缩的影响 • 压缩后，在所要求同步的流之间识别出同步关系十分困难。 • 3．同步的系统支持 • 为支持时间依赖媒体，多媒体系统必须具有对存储设备进行处理的潜力。包括通过跨网做到的数据分布能力，和在计算机网络资源管理下对时间依赖数据的支持。 • 4．同步异常 • 数据迟到时，丢掉一些数据，或改变播放速率 • 数据丢失时采用重建技术，用一定的值替换流中的丢失数据 • 数据不可用时，延长前面单元的播放时间

ç¬¬ 6 ç« å¤šåª’ä½“çš„æ—¶é—´è¡¨ç¤ºä¸ŽåŒæ­¥