GB/T 20090.12-2015 信息技术 先进音视频编码 第12部分：综合场景
- 名 称：GB/T 20090.12-2015 信息技术 先进音视频编码 第12部分：综合场景 - 下载地址1
- 下载地址：[下载地址1]
- 提 取 码：
- 浏览次数：3
发表评论 加入收藏夹 错误报告目录| 新闻评论（共有 0 条评论） |
资料介绍
ICS 35. 040 L 71
中 华 人 民 共 和 国 国 家 标 准
GB/T 20090. 12—2015
信息技术 先进音视频编码
第 12部分 :综合场景
Information technology—Advanced coding ofaudio and video—
Part12: Syntheticscene
2015-12-10发布 2016-08-01实施
中华人民共和国国家质量监督检验检疫总局中 国 国 家 标 准 化 管 理 委 员 会
发
布
GB/T 20090. 12—2015
GB/T 20090. 12—2015
前 言
GB/T 20090预计分为以下 13个部分 :
— 第 1部分 :系统 ;
— 第 2部分 :视频 ;
— 第 3部分 :音频 ;
— 第 4部分 :符合性测试 ;
— 第 5部分 :参考软件 ;
— 第 6部分 :面向数字版权管理的可信解码器与访问协议 ;
— 第 7部分 :面向交互应用的视频编解码 ;
— 第 8部分 :在 IP 网络上传输 AVS;
— 第 9部分 :AVS文件格式 ;
— 第 10部分 :移动语音和音频 ;
— 第 11部分 : 同步文本 ;
— 第 12部分 :综合场景 ;
— 第 13部分 :可重构视频编码工具集 。
可能还会增加其他后续部分 。
本部分为 GB/T 20090的第 12部分 。
本部分按照 GB/T 1. 1—2009给出的规则起草 。
请注意本文件的某些内容可能涉及专利 。本文件的发布机构不承担识别这些专利的责任 。
本部分由全国信息技术标准化技术委员会(SAC/TC28)提出并归 口 。
本部分起草单位 :北京大学 、中国科学院计算技术研究所 、北京邮电大学 。
本部分主要起草人 :牟伦田 、陈建平 、李甲 、霍龙社 、丁亚强 、田永鸿 、陈熙霖 、王雷 、黄铁军 、高文 。
信息技术 先进音视频编码
第 12部分 :综合场景
1 范围
GB/T 20090的本部分规定了综合场景的架构 、表示与视频驱动的综合场景 。其中 ,综合场景表示主要规定了用于场景表示的事件 、指令与元素 。
本部分适用于数字电视广播 、因特网流媒体 、多媒体通信等综合媒体应用 。
2 规范性引用文件
下列文件对于本文件的应用是必不可少的 。凡是注 日期的引用文件 ,仅注 日期的版本适用于本文件 。凡是不注日期的引用文件 ,其最新版本(包括所有的修改单)适用于本文件 。
W3C 可伸缩矢量图极小档[Scalable Vector Graphics(SVG) Tiny1. 2 Specification]
注: 可以从以下网址获得:http://www. w3. org/TR/SVGTiny12/
W3C 同步多媒体集成语言[Synchronized Multimedia Integration Language(SMIL 3. 0)]注: 可以从以下网址获得:http://www. w3. org/TR/smil/
W3C 层叠样式表[Cascading Style Sheets Level2 Revision1(CSS2. 1)Specification]
注: 可以从以下网址获得:http://www. w3. org/TR/CSS21/
W3C 文档对象模型 3 级核心[DocumentObjectModel(DOM)Level3 Core Specification]注: 可以从以下网址获得:http://www. w3. org/TR/DOM-Level-3-Core/
W3C XML事件(XML Events2:An Events Syntax for XML)
注: 可以从以下网址获得:http://www. w3. org/TR/xml-events2/
W3C XML标识符 1. 0(xml:idVersion 1. 0)
注: 可以从以下网址获得:http://www. w3. org/TR/xml-id/
W3C XML链接语言[XML Linking Language(XLink) Version 1. 0]
注: 可以从以下网址获得:http://www. w3. org/TR/xlink/
3 术语和定义
下列术语和定义适用于本文件 。
3. 1
综合媒体 rich media
由音频 、视频 、图形 、文本 、动画等多种媒体数据组成的动态可交互集合 ,支持按照预订的时间 、空间布局同步呈现各种媒体 ,并支持用户交互 。
注 : 综合媒体是富媒体(rich media)的一种实现形式 。
3.2
综合场景 syntheticscene
描述综合媒体中各媒体时间 、空间布局的数据 。
3.3
媒体时间轴 media timeaxis
表示承载综合场景或其他媒体流的传输或系统内时间的一个时间轴 。
GB/T 20090. 12—2015
3.4
场景时间轴 scene timeaxis
表示场景内时间的一个时间轴 。
3.5
场景单元 sceneunit
场景流中可独立访问的一段数据 。
4 缩略语
下列缩略语适用于本文件 。
CSS 层叠样式表 (Cascade StyleSheet)
DOM 文档对象模型 (DocumentObjectModel)
SMIL 同步多媒体集成语言 (Synchronized Multimedia Integration Language)
SVG 可伸缩矢量图 (Scalable Vector Graph)
5 架构
综合场景架构见图 1。虚线矩形内为综合场景的内容 ,包括场景指令与场景树 。 虚线箭头表示从各种媒体数据中分析得到的内容结果 ,可用于丰富综合场景的内容及支持基于内容的交互 。
图 1 综合场景架构
从综合场景传递的时间与空间信息来看 ,综合场景主要由两部分组成 :描述各媒体元素时间同步的部分 ,采用 SMIL并做相应扩展 ;描述各媒体元素空间布局的部分 ,采用 SVG并做相应扩展 。
6 场景表示
6. 1 概述
多媒体呈现是包括场景表示和各种媒体内容的集合 ,多媒体内容可包括图片 、音频 、视频和文本等 ,而场景表示则是由文字 、图形 、动画 、互动等元素以及元素间的时空布局所组成 。
场景表示主要考虑以下几个方面 :
a) 场景中的元素在空间上如何组织 , 即可视元素的空间布局 ;
b) 场景中的元素在时间上如何组织 , 即各元素间如何同步 ,何时开始 、何时结束 ;
c) 场景中的元素如何支持交互 ,例如某一个图片对点击做出响应 ;
d) 场景变化如何发生 。
6.2 与 SVG和 SMIL 的关系
场景树的构建基于 W3C 的 SVG规范 。 可利用 SVG 定义的元素及其属性构建一个场景 ,也可根据需要 在 场 景 中 加 入 扩 展 定 义 的 元 素 和 属 性 。 SMIL 既 体 现 于 SVG 对 SMIL 的 继 承 , 也 体 现 在 对SMIL 的直接引用 。
6.3 时间模型
时间模型分为媒体时间(media time) 和场景时间(scene time) 两个概念 。场景时间是一个相对时间 ,任何场景时间都从该场景开始建立的时刻算起 ,初值都为 0。媒体时间可为绝对时间 , 与场景时间无关 。综合场景时间模型见图 2。
图 2 综合场景时间模型
示例 :某一事件 x 的媒体时间是 a,对应新场景建立的媒体时间是 b,则 x在该新场景中的场景时间就是(a-b) 。
6.4 执行模型
当场景流输入时 ,通过场景解析器对其进行解析 ,得到的各场景单元送入场景树管理器 ,构建完整的场景树 ,最后在终端完成场景呈现 。综合场景执行模型见图 3。
图 3 综合场景执行模型
执行模型中各处理说明如下 :
a) 场景解析 :从输入的场景流中解析出场景单元 ;
b) 场景树管理 :根据输入的场景单元构建场景树 ,并执行场景指令 、处理所有事件 、确定所有开始和结束时间 ;
c) 场景呈现 :呈现场景内容 ,例如图片 、图形 、文字等 。
6.5 事件
6.5. 1 SVG事件
事件主要指在场景呈现过程中用户所做出的一些动作 , 比如鼠标事件 、键盘事件 、遥控器事件 、场景界面大小改变的事件等 ,还有一些由时间所触发的事件 ,如开始(begin)和结束(end) 。
示例 :
该事件表示元素 movie1结束时 ,执行相应操作 conditional1。
引 自 SVG 的事件元素见表 1。
表 1 SVG事件
6.5.2 扩展事件
本部分定义的事件元素见表 2。
表 2 扩展事件
6.5.3 事件的监听对象
事件的监听主要是指监听真事件 , 即由用户做出的动作 。每一个事件都有监听对象以响应该事件 。事件的 监 听 对 象 由 listener属 性 来 指 定 , 只 要 在 listener属 性 中 指 定 的 对 象 上 发 生 该 事 件 , 就 执 行handler属性定义的操作 。
示例 :
当 rect1或者 image1元素上发生鼠标双击事件 ,执行相应操作 delete1。
......
6.6 指令
6.6. 1 Add
语义 :增加一个新值到目标元素的目标属性 。
属性列表 :
a) ref: 目标元素的 id值 ;
b) value:被增加的常数 ;
c) operandElementId:被增加的常数所对应的源元素的 id值 ;
d) operandAttributeName:被增加的常数所对应的源元素的属性 ;
e) attributeName:进行增加操作的目标元素的目标属性 。
功能描述 :根据目标元素的目标属性值的类型确定 Add指令的实现 ,见表 3。
被增加的常数的类型通常需要与目标元素的目标属性值的类型一致 , 除非可以被强制转换成同 一类型 。如果同时存在属性 operandElementId和 operandAttributeName,则表明被增加的值来自其他元素的属性 。
表 3 Add指令的实现
示例 :
元素 id1的 x属性值增加 56,如果该属性不存在 ,则为 id1加上该属性 。
6.6.2 Clean
语义 :清空 groupID对应的存储区域 。对应的内存空间的元素属性数据将被清除 。
属性列表:groupID:群组标识符 。
示例 :
清空 groupID为 g1的场景区域 。
6.6.3 Delete
语义 :删除目标元素或 其 子 元 素 , 或 者 删 除 目 标 元 素 或 其 子 元 素 的 目 标 属 性 。 当 指 令 中 没 有 at- tributeName属性时 ,表示删除目标元素或其子元素 ;否则 ,表示删除元素属性 。
属性列表 :
a) ref: 目标元素的 id值 ;
b) index:被删除的目标元素的子元素索引 。该属性缺省则表示删除目标元素 ;
c) attributeName:被删除的目标属性 。该属性缺省则表示删除目标元素或其子元素 。
功能描述 :Delete功能描述见表 4。
表 4 Delete功能描述
示例 :
第一个 Delete指令将删除 id为 rect1元素的 rx属性 ,第二个 Delete指令将删除整个 rect1元素 。
6.6.4 Insert
语义 :在目标元素中插入一个子元素或在其目标属性的值序列中插入一个值 。
属性列表 :
a) ref: 目标元素的 id,缺省情况下 ,插入的目标元素是 SVG svg元素 ;
b) index:在目标元素中插入一个子元素的情况下 ,表示插入子元素在目标元素的子元素序列中的位置 ,默认为子元素序列的尾部 ;在目标元素的 目标属性的值序列中插入一个值的情况下 ,表示插入值在目标属性值序列中的位置 ,默认为值序列的尾部 ;
c) attributeName:插入操作发生的目标元素的 目标属性名称 。默认值是 “children”,表示在目标元素中插入一个子元素 ;否则 ,表示在目标属性的值序列中插入一个值 ;
d) value:插入的常数值 。
示例 :
向 group1元素中插入一个子元素 rect1。
< Insert ref= "#group1">
6.6.5 NewScene
语义 :开始呈现一个新的场景 。所有目前正在呈现的场景将被停止 , 资源被释放 ,并被替换成指定场景 。场景时间重置为 0。
属性列表 :无属性 。
子元素 :构成新场景初始状态的单个 SVG svg元素 。
示例 :开始一个新场景 ,呈现 svg元素中的内容 。
< svg width= "200" height= "200" viewbox= "0 0 100 100">
......
6.6.6 Replace
语义 :替换元素或属性 。
替换元素指将目标元素替换为一个新的元素 。ref属性指定将被替换的 目标元素 。将替换该元素以及所有实例 ,包括被 SVG use所引用的所有实例 。
替换属性指将目标元素的目标属性替换为一个新的值 。 attributeName属性指定将被替换的 目标属性 ,value属性指定用于替换的新值 。替换指令也可以把目标元素的目标属性替换成另外一个元素的属性中包含的值 ,用于替换的值由 operandElementId 和 operandAttributeName属性指定 。在这种情况下 ,属性值的类型通常需要一致 ,除非可以被强制转换成同一类型 。
下列属性不能被替换 :id、by、from、to、values、type、xml:space和 fill。这个限制可以用替换整个元素的方法来绕过 。
属性列表 :
a) ref: 目标元素的 id值 ;
b) index:将被替换的属性值在目标属性值序列中的位置 。该属性缺省则表示整体替换目标属性的值 ;
c) attributeName:进 行 替 换 操 作 的 目 标 元 素 的 目 标 属 性 。 该 属 性 缺 省 则 表 示 替 换 整 个 目 标元素 ;
d) value:用于替换属性值的常数 ;
e) operandElementId:替换属性采用的源元素的 id值 ;
f) operandAttributeName:替换属性采用的源元素的属性 。
示例 :
将元素 rect1的属性 x 的值替换为 20。
6.6.7 Restore
语义 :恢复由 Save指令保存的元素属性 ,并替换当前场景中对应的属性 。如果被保存的元素属性和将被替换的属性类型不匹配 ,那么该指令将被忽略 。
属性列表 :
—groupID:群组标识符 。
6.6. 8 Save
语义 :保存当前场景中被选择的元素属性到内存中 。 被保存的属性值是 DOM 值 。 groupID可以
让同一元素在不同时间保存到不同内存位置 。
属性列表 :
a) groupID:群组标识符 ;
b) elements:元素 id列表 ;
c) attributes:属性名称列表 ,按照在列表中出现的顺序 , 每个元素 id与一个属性名称一一对应 ,所有二元组<元素 id,属性名称>声明了需要保存的属性 。
6.7 元素
6.7. 1 基本信息
每个元素都应有一个标识符属性 :id,其他属性可从父元素的属性继承 ,见 CSS2. 1。
对于动画元素 ,如 set、animate、animateColor和 animateTransform ,不再作为某个可动画元素的子元素 ,而是通过添加一个 xlink:href属性来指定可动画元素 。对于 animateMotion元素 , 由于本身已经
使用了 xlink:href属性 ,需通过添加 ref属性来指定可动画元素 。
以下各条中以 SVG开头的元素 ,其定义见 SVG Tiny1. 2;以 SMIL开头的元素 ,其定义见 SMIL 3. 0;其余元素由本部分定义 ,其属性主要来自对 SVG Tiny1.2 中相应属性的引用 。
6.7.2 a
该 SVG a元素声明了一个简单链接 ,链接对象可以是一个网页资源 、一个文档或者一个元素 。该链接的响应对象为该元素的任一子元素 。
6.7.3 set
该 SVG set元素设定了可动画元素在动画过程中的一段指定时间内的值 。
6.7.4 animate
该 SVG animate元素描述了可动画元素在动画过程中一些属性的变化 ,如长 、宽或起始位置等 。
示例 :
在 5 s 的时间内将矩阵 myRect的宽度从 20变化到 40。
6.7.5 animateColor
该 SVG animateColor元素描述了可动画元素在动画过程中其填充或绘画颜色的变化 。
6.7.6 animateTransform
该 SVG animateTransform 元素描述了可动画元素在动画过程中其形状或位置的变化 。
6.7.7 animateMotion
该 SVG animateMotion元素描述了可动画元素在动画过程中运动轨迹的变化 。
6.7. 8 image
该 SVG image元素描述了在指定位置呈现一幅图片 。通过属性可以控制图片的大小和位置 。
6.7.9 audio
该 SMIL audio元素描述了在指定时刻播放一段音频 。
6.7. 10 video
该 SMIL video元素描述了在指定时刻播放一段视频 。该元素一般作为其他元素的子元素 。通过父元素或更上一级的元素来触发该视频的播放 。
示例 :
在第 5 s时将视频 v4插入到元素 root中 ,并播放 。
< Insert ref= "# root">
6.7. 11 line
该 SVG line元素描述了直线的呈现 。
6.7. 12 circle
该 SVG circle元素描述了圆的呈现 。
6.7. 13 ellipse
该 SVG ellipse元素描述了椭圆的呈现 。
6.7. 14 rect
该 SVG rect元素描述了矩形的呈现 。该矩形可以是带圆角的 。
6.7. 15 polygon
该 SVG polygon元素描述了多边形的呈现 。
6.7. 16 polyline
该 SVG polyline元素描述了复合线的呈现 。
6.7. 17 stop
该 SVG stop元素指定了一种颜色渐变的结束位置 。该元素是 SVG linearGradient和 SVG radial- Gradient元素的子元素 。
6.7. 18 linearGradient
该 SVG linearGradient元素描述了对一个对象使用填充或绘画的动作进行颜色的线性变化 。
示例 :
以颜色渐变的方式对一个矩形区域进行填充 。
< stop offset= "5% " stop-color= "#F60"/>
< stop offset= "95% " stop-color= "#FF6"/>
呈现结果如下 :
6.7. 19 radialGradient
该 SVG radialGradient元素描述了对一个对象使用填充或绘画的动作进行颜色的辐射变化 。
6.7.20 g
该 SVG g元素描述了一个对场景对象的组合 。
6.7.21 defs
该 SVG defs元素描述了一组被预定义的场景元素 。该元素中定义的元素对象不能被直接呈现 ,只能被其他元素引用 。
6.7.22 desc
该 SVG desc元素描述了对一个场景的文字说明 。
6.7.23 text
该 SVG text元素描述了文本的呈现 。子元素中可以包括 SVG tspan元素和 SVG textPath元素 。
6.7.24 textPath
该 SVG textPath元素描述了一段文本的呈现路径 。根据路径的不同 ,可呈现出各种效果 。
示例 :
根据呈现路径的定义 ,呈现出特定效果的文本 。
We go up,then we go down,then up again
呈现结果如下 :
6.7.25 tspan
该 SVG tspan元素描述了对一段文本或该文本中的所有字符进行的特别处理操作 , 如旋转 、改变呈现位置或颜色等 。该元素只能作为 SVG text元素的子元素 。
6.7.26 path
该 SVG path元素描述了一条呈现路径 。该路径可包括直线 、圆曲线 、椭圆曲线和贝塞尔曲线 。
6.7.27 mpath
该 SVG mpath元素描述了元素动画过程中特定元素的运动轨迹 。
6.7.28 svg
该 SVG svg元素表示一个 SVG文档片段 ,从该元素开始到该元素结束中间是对 SVG 的继承 。
6.7.29 use
该 SVG use元素描述了对 SVG defs元素中预定义的元素的引用 。
示例 :
use元素引用一个已定义的 rect元素并呈现出来 。
6.7.30 title
该 SVG title元素描述了一段文字提示 , 当鼠标移动到某个元素对象上时就呈现相应的文字提示 。
6.7.31 switch
该 SVG switch元素用于 对 其 直 接 子 元 素 按 顺 序 评 估 以 下 属 性 值: requiredFeatures、requiredEx- tensions和 systemLanguage。如果子元素的描述都支持这些需要的特征 、扩展和系统语言 ,那么子元素会被呈现 ,否则会被跳过 。
6.7.32 script
该 SVG script元素描述了一些场景更新 , 由事件或时间触发执行 。该元素的子元素为指令元素 。
示例 :
5 s后删除 image1。
< script id= "script1" begin= "5 s">
6.7.33 textArea
该 textArea元素允许用户在场景呈现时输入请求信息 ,服务器接受请求并返回处理结果 。
属性列表 :
a) x:文本框左上角的横坐标 ;
b) y:文本框左上角的纵坐标 ;
c) width:文本框的宽度 ;
d) height:文本框的高度 ;
e) mono:单行标识 ,取值“true”表示单行 ,取值“false”表示多行 ;
f) maxlength:文本框允许输入的最大字符数 ;
g) background:文本框的背景颜色 ,如果该属性缺省 ,则表示白色 ;
h) editable:文本框可编辑标识 ,如果该属性缺省 ,则表示可编辑 ;
i) font-size:文本框的字体大小 ;
j) font-style:文本框的字体样式 ;
k) font-color:文本框的字体颜色 ;
l) replacechar:用来替代文本框输入的显示字符 。
子元素 :
—border:文本框的边框属性 。
示例 :
生成一个多行的文本框 ,如果文本框的高度不够 ,会生成一个滚动条 。
6.7.34 border
该 border元素描述了边框类型 。
属性列表 :
a) line-width:边框的宽度 ;
b) line-color:边框的颜色 。
6.7.35 event
该 event元素描述了场景呈现时出现的事件 。
属性列表 :
a) name:事件名称 ;
b) handler:处理该事件的元素 ,通常为某个 conditional元素 。可包含多个处理操作 ,不同的处理操作之间以逗号或空格隔开 ;
c) listener:事件监听对象 。如果该属性缺省 ,则表示只要该场景上发生该事件 ,就执行相应的处理操作 。
示例 :
当 object1或 object2上发生鼠标单击事件时 ,执行操作 conditional1和 conditional2。
6.7.36 resource
该 resource元素描述了场景中用到的媒体资源 ,包括图片 、音频和视频 。该元素使得资源文件的
描述和资源文件的使用分离开 。
属性列表 :
a) resourceID:资源元素的标识符 ;
b) resourceType:资源类型 ,该属性只有三个值 :“image”、“audio”和“video”;
c) url:资源元素的 URL地址,可以指向本地也可以指向远程地址 。
示例 :
描述场景中用到的媒体资源 。
6.7.37 conditional
该 conditional元素描述了事件发生后需要做出的处理 。
属性列表 :
a) begin:执行处理操作的时间 ;
b) enabled:该处理是否能够被执行 。该属性缺省 ,表示能够被执行 。
子元素 :
— 指令元素 。
示例 :
在 5 s时执行两个命令 ,一个是删除元素 id6,另一个是在元素 id1中插入图片 image3。
< Insert ref= "# id1">
6. 8 元素属性
由本条定义的元素的属性见表 5。其属性列表中的部分属性来自对 SVG Tiny1. 2及 XML Events 2相应属性的引用 。本条采用的由 SVG Tiny1. 2 和 SMIL 3. 0 定义的元素的属性分别见 W3C发布的相应规范的最新版本 。
由本条定义的元素的 schema参见附录 A。
表 5 元素属性
7 视频驱动的综合场景
7. 1 概述
视频驱动的综合场景是综合场景的一个特例 , 即以视频为依托 ,定义综合场景中其他事件 、元素等基元的交互及呈现 。视频驱动的综合场景凸显了视频的特殊性 ,其目的在于满足以视频为中心的应用对综合场景的需求 。 同时 ,视频驱动的综合场景充分考虑了与前述的一般综合场景框架的兼容 。
根据 6. 1对一般综合场景的定义 ,需要针对以下要点来定义视频驱动的综合场景 :
a) 场景中的元素如何依托于视频流进行同步 , 即视频驱动的时间同步模型 ;
b) 场景中的元素如何依托于视频流进行组织 , 即视频驱动的元素空间布局 ;
c) 如何与依托于视频呈现的元素进行交互 ;
d) 如何依托视频 ,对场景进行更新 。
7.2 时间模型
与 6. 3定义的综合场景的时间模型相比 ,在视频驱动的综合场景中 ,媒体时间与场景时间都需要以视频时间(video time)为依托 , 即除视频外的综合场景其他元素 ,其呈现时间的定义都应以视频时间为参考基准 。为此 ,保持场景时间(scene time)的定义 ,而将媒体时间轴(media time)与视频时间轴(video time)对齐 。 即 ,任一综合场景的建立和销毁应以视频的起始和终止时间为参考时间 。
7.3 执行模型
与 6. 4定义的综合场景的执行模型相比 ,在视频驱动的综合场景中 ,综合媒体元素将依托于视频内容进行呈 现 。 例 如 , 由 音 视 频 流 和 场 景 流 构 成 的 复 合 流 中 解 析 出 视 频 、音 频 流 作 为 主 流 ( master stream) ,并在终端解码呈现 ;而由视频 、音频之外的其他综合媒体元素构成的场景流 ,如链接 、图像 、文本等 ,将会作为附属于视频流的次流(slave stream) 。 在将该场景流输入场景解析器进行解析后 ,这些综合媒体元素将依托于视频内容进行呈现 。
视频驱动的综合场景的执行模型见图 4。该模型包含了一个流解复合模块 , 以解决兼容问题 。 即在获得包括视频流 、场景流的复合流后 ,不支持综合场景解析的视频解码器也可以正常播放视频内容 ;而对支持综合场景解析的解码端 ,可对视频流与场景流进行同步呈现 。
注意 :与一般的综合场景流不同 ,复合流中的视频流是不应缺的 , 而场景流是可选的 。对分离出的视频流 ,使用视频解码器对其进行解码和播放 。如果同时存在场景流 ,则将其输入场景解析器 , 以对当前的综合场景维持一个场景树 ,并对该场景树进行管理和呈现 。
图 4 视频驱动的综合场景执行模型
7.4 呈现模型
在本条定义的一般综合场景框架下 ,不同的综合场景元素的呈现只与呈现终端有关 。 而在视频驱
动的综合场景中 ,其他元素将需要依托于视频流进行呈现 ,见图 5。
图 5 视频驱动的综合场景呈现模型
除视频元素外 ,其他可见元素(链接 、文本 、图像等)均通过视频叠加的方式呈现给用户 。 即可见元素只呈现于视频层之上的虚拟掩码(virtual mask)层上 。该虚拟掩码的大小与视频内容大小一致 ,其内容可对用户不可见 。此外 ,虚拟掩码层并不随复合流传输 ,而是由综合场景解析器生成 。虚拟掩码层上将具有以下两种区域 :
a) 热区(hotspot) :对应于综合场景中元素的区域 ;
b) 视频区(video spot) :对应于视频内容 、且不对应于综合场景元素的区域 。
7.5 扩展事件
视频驱动的综合场景扩展事件见表 6。
表 6 视频驱动的综合场景扩展事件
表 6 (续)
7.6 扩展元素
interactionUnit元素描述了视频驱动的综合场景中的一个交互单元(热区) 。该元素的 schema参见附录 A。
属性列表 :
a) x:交互单元起点 X轴坐标 ;
b) y:交互单元起点 Y轴坐标 ;
c) width:交互单元宽度 ;
d) height:交互单元高度 ;
e) rotate:旋转角度 ;
f) begin:生效时间 ;
g) end:失效时间 ;
h) visibility:场景元素可见标志 。该属性缺省表示呈现场景元素 。
子元素 :
— event:交互单元响应的事件及相应的处理操作 。
示例 :
由两个交互单元构成的虚拟掩码 。其中一个交互单元在 rect1监听到 单 击 事 件 后 在 视 频 video1播 放 时 间 为 5 s 时插入图片 imageID1,在 8 s时删除该图片 ;另一个交互单元在 rect2监听到单击事件后在视频 video1播放时间为 5 s时插入文本 textID1,在 8 s时删除该文本 。
< Insert ref= "# video1">
< Insert ref= "# video1">
Hello,out there!
< text id= "#textID1"/>
< interactionUnit id= "interactionUnit1" x= "500" y= "300" width= "50" height= "50" begin= "5 s" end= "8 s" visibility= "visible">
< event name= "click" listener= "# rect1" handler= "# conditional1, #conditional2"/>
< event name= "click" listener= "# rect2" handler= "# conditional3, #conditional4"/>
附 录 A
(资料性附录)
综合场景元素 schema
本附录是对综合场景中元素的描述性说明 ,该描述性说明按照标准 schema语法结构来组织 。本schema不包括 SVG Tiny1. 2 中定义的元素的 schema描述 , 只对本部分定义的元素(包括指令) 进行描述 。
该 schema 由以下 URI来描述 :cn:org:avs:schema:SyntheticScene。
〈? xml version= "1.0" encoding= "UTF-8"?〉
〈schema xmlns="http://www.w3.org/2001/XMLSchema"
xmlns:SyntheticScene= "cn:org:avs:schema:SyntheticScene"
xmlns:ns1= "cn:org:avs:schema:SyntheticScene"
xmlns:ns2="http://www.w3.org/TR/SVGMobile12/relaxng"
targetNamespace = "cn:org:avs:schema:SyntheticScene"
elementFormDefault = "qualified" attributeFormDefault= "unqualified"〉
〈 element name= "BaseObject" type= "SyntheticScene:BaseObjectType"/〉
〈complexTypename= "BaseObjectType" abstract= "true"〉
〈attribute name= "id" type= "string" use= "required"/〉
〈/complexType〉
〈 element name= "BaseCommand" type= "SyntheticScene:BaseCommandType"/〉
〈complexTypename= "BaseCommandType" abstract= "true"〉
〈complexContent〉
〈 extensionbase= "SyntheticScene:BaseObjectType"〉
〈attribute name= "ref" type= "string"/〉
〈/extension〉
〈/complexContent〉
〈/complexType〉
〈 element name= "event"〉
〈complexType mixed= "true"〉
〈attribute name= "name" type= "SyntheticScene:eventEnumType"/〉
〈attribute name= "handler" type= "string"/〉
〈attribute name= "listener" type= "string"/〉
〈/complexType〉
〈/element〉
〈 simpleTypename= "eventEnumType"〉
〈restrictionbase= "string"〉
〈 enumeration value= "focusin"/〉
〈 enumeration value= "focusout"/〉
〈 enumeration value= "activate"/〉
< sequence>
< sequence>
〈 element name= "textArea"〉
〈complexType mixed= "true"〉
〈complexContent〉
〈 extensionbase= "SyntheticScene:BaseObjectType"〉 〈 sequence〉
〈 element ref= "SyntheticScene:Border"/〉 〈/sequence〉
〈attribute name= "x" type= "float"/〉
〈attribute name= "y" type= "float"/〉
〈attribute name= "width" type= "float"/〉
〈attribute name= "height" type= "float"/〉
〈attribute name= "mono" type= "boolean"/〉
〈attribute name= "maxlength" type= "float"/〉
〈attribute name= "background" type= "string"/〉
〈attribute name= "editable" type= "boolean"/〉
〈attribute name= "font-size" type= "integer"/〉
〈attribute name= "font-style" type= "string"/〉
〈attribute name= "font-color" type= "string"/〉
〈attribute name= "replacechar" type= "string"/〉 〈/extension〉
〈/complexContent〉 〈/complexType〉
〈/element〉
〈 element name= "Border" type= "SyntheticScene:BorderType"/〉 〈complexTypename= "BorderType"〉
〈complexContent〉
〈 extensionbase= "SyntheticScene:BaseObjectType"〉 〈attribute name= "line-width" type= "integer"/〉
〈attribute name= "line-color" type= "string"/〉 〈/extension〉
〈/complexContent〉 〈/complexType〉
〈 element name= "resource"〉
〈complexType mixed= "true"〉
〈complexContent〉
〈 extensionbase= "SyntheticScene:BaseObjectType"〉 〈attribute name= "resourceID" type= "string"/〉 〈attribute name= "resourceType"
type= "SyntheticScene:resourceEnumType"/〉
〈attribute name= "url" type= "string"/〉 〈/extension〉
〈/complexContent〉
〈/complexType〉 〈/element〉
〈 simpleTypename= "resourceEnumType"〉
〈restrictionbase= "string"〉
〈 enumeration value= "text"/〉
〈 enumeration value= "image"/〉
〈 enumeration value= "audio"/〉
〈 enumeration value= "video"/〉
〈/restriction〉 〈/simpleType〉
〈 element name= "conditional"〉
〈complexType〉
〈complexContent〉
〈 extensionbase= "SyntheticScene:BaseObjectType"〉
〈 sequence〉
〈 element ref= "SyntheticScene:BaseCommand" minOccurs= "0" maxOccurs= "unbounded"/〉
〈/sequence〉
〈attribute name= "begin" type= "string"/〉
〈attribute name= "enabled" type= "boolean"/〉 〈/extension〉
〈/complexContent〉
〈/complexType〉 〈/element〉
〈 element name= "InteractionUnit"〉
〈complexType mixed= "true"〉
〈attribute name= "x" type= "integer"/〉
〈attribute name= "y" type= "integer"/〉
〈attribute name= "width" type= "integer"/〉
〈attribute name= "height" type= "integer"/〉
〈attribute name= "rotate" type= "integer"/〉
〈attribute name= "begin" type= "string"/〉
〈attribute name= "end" type= "string"/〉
〈attribute name= "visibility" type= "string"/〉
〈/complexType〉 〈/element〉
〈/schema〉
