GB/T 40768-2021 视频流与时空信息融合编码规范

　　ICS 07 . 040 A 75

　　中 华 人 民 共 和 国 国 家 标 准

　　GB/T 40768—2021

　　视频流与时空信息融合编码规范

　　Specificationsforvideostream andspatial-temporalinformationfusionencoding

　　2021-10-1 1 发布 2021-10-1 1 实施

　　国家市场监督管理总局国家标准化管理委员会

　　发

　　布

　　GB/T 40768—202 1

　　GB/T 40768—202 1

　　前 言

　　本标准按照 GB/T 1 . 1—2009 给出的规则起草。

　　请注意本文件的某些内容可涉及专利。 本文件的发布机构不承担识别这些专利的责任。

　　本标准由中华人民共和国 自然资源部提出。

　　本标准由全国地理信息标准化技术委员会(SAC/TC 230)归口 。

　　本标准起草单位：中测新图(北京)遥感技术有限责任公司、浙江中测新图地理信息技术有限公司、中测新图(北京)低空数码测绘技术有限公司、自然资源部测绘标准化研究所、南京师范大学、杭州海康威视数字技术股份有限公司。

　　本标准主要起草人：李英成、薛艳丽、孙新博、王凤、任亚锋、闾国年、朱祥娥、周良辰、马聪丽、刘沛、廖明、叶冬梅、谢明强。

　　GB/T 40768—202 1

　　引 言

　　视频在军事侦查、公共场所监视、交通违章监控等方面的应用相对成熟，但受空间定位、时间同步、远程传输等技术的限制，视频数据多用于 目标的动态监视，无法实现基于视频数据的 目标空间定位与量测。

　　随着导航定位、智能识别以及高速通信技术的发展，视频数据获取的时效性、准确性都得到了空前发展，人们逐渐由基于视频图像的侦查、监视应用，向基于视频的空间量测方向发展。 将空间信息与视频数据通过时间关联对应，实现视频空间量测的方法较为普遍，但存在视频与时空信息编码内容不确定、编码方式不统一、编码产品输出不规范等问题，为此，特制定本文件。

　　GB/T 40768—202 1

　　视频流与时空信息融合编码规范

　　1 范围

　　本标准规定了视频流与时空信息融合编码的数据内容、融合编码要求、融合编码方式以及融合编码产品分级。

　　本标准适用于机载、地面移动与静止状态下获取的视频流与时空信息融合编码。

　　2 术语和定义

　　下列术语和定义适用于本文件。

　　2.1

　　视频流 videostream

　　由时间序列的静态图像形成的连续数据流。

　　2.2

　　视频时空信息 spatiotemporalinformationofvideo

　　视频帧获取时刻的时间、位置、姿态信息和传感器参数。

　　2.3

　　时间戳 timestamp

　　量测和记录某一对象状态时的时间值。

　　[GB/T 27918—2011,定义 4 . 53]

　　2.4

　　融合编码 fusionencoding

　　输入的图像样本流与时空信息合并成一个数据实体，并产生压缩位流的过程。

　　2.5

　　封装 encapsulate

　　从未受保护的帧构造为受保护的帧。

　　注 1 ：本文件特指将已经编码后的视频流与时空信息按照一定的格式要求形成一个文件的过程。

　　注 2：改写 ISO/IEC/IEEE 8802-11:2018,定义 3 . 1 . 68 。

　　3 基本规定

　　3 . 1 时间系统

　　在机载、地面移动状态下获取的视频流宜选择协调世界时(Coordinated Universal Time, UTC) 时

　　间系统;在地面静止状态下获取的视频流可选择协调世界时，亦可选择北京时间。

　　3 . 2 空间基准

　　空间基准包括坐标系统、高程基准和姿态信息，并应符合下列要求：

　　a) 坐标系统宜采用 2000 国家大地坐标系;

　　b ) 高程基准宜采用 1985 国家高程基准。

　　GB/T 40768—202 1

　　4 融合编码

　　4 . 1 融合编码内容

　　融合编码内容应包括视频流和时空信息，其中视频流是由时间序列的静态图像组成，时空信息包括基本要素信息和变化信息，具体构成如下：

　　a) 基本要素信息：包含时间系统、空间基准、视频传感器参数等内容，可根据应用需求选择基本要素信息种类，具体见表 1 ;

　　b ) 变化信息：包含帧号(可选)、日期、时间、经纬度、高度、横滚角、俯仰角、旋偏角，具体见表 2 。

　　注：松耦合编码方式包含帧号，紧耦合编码方式可包含帧号。

　　表 1 基本要素表

　　表 2 变化信息表

　　GB/T 40768—202 1

　　表 2(续)

　　4 . 2 融合编码要求

　　视频流与时空信息融合编码应符合下列要求：

　　a) 在融合编码过程中视频流关键帧与空间信息应保持同步;

　　b ) 在保持原有编码标准(如 MPEG-4 、H . 264 、H . 265 等)或封装格式(如 AVI、MP4 等)基础上开展融合编码;

　　c) 应最大限度地保持时空信息原始观测精度;

　　d) 每一帧图像或一定间隔图像都应融合编码时空信息;

　　e) 视频流中应融合编码一个基本要素信息和一系列变化信息。

　　4 . 3 融合编码方式

　　视频流与时空信息的融合编码宜采用下列方式：

　　a) 松耦合融合编码：视频流与时空信息分别存储，通过时间戳建立视频流与时空信息的外部映射关系，实现视频流数据逐帧或分段时空信息映射的融合编码方式，成果样例参见附录 A。

　　b ) 紧耦合融合编码：紧耦合融合编码方式有下列两种：

　　1) 参照视频编码标准(如 MPEG-4 、H . 264 、H . 265 等)进行，在编码过程中将获取的时空信息实时写入视频流，形成带有时空信息的视频流码流。 成果样例参见附录 B。

　　2) 参照视频封装格式(如 AVI、MP4 等)进行，在封装过程中将获取的时空信息实时写入视频流，形成带有时空信息的视频流文件。 成果样例参见附录 C。

　　4 . 4 融合编码成果

　　4 . 4 . 1 融合编码成果包含基本要素和融合了时空信息的视频流两类信息。

　　4 . 4 . 2 按选用的融合编码方式，以及视频流中融合编码的定位定姿数据精度，将视频流时空信息融合编码成果分为一级、二级以及通用型三个等级，见表 3 。

　　表 3 融合编码成果分级表

　　GB/T 40768—202 1

　　附 录 A

　　(资料性附录)

　　融合编码外部映射文件样例

　　A.1 视频流与时空信息分别存储，通过时间戳建立视频流与时空信息的外部映射关系，实现视频流数据逐帧或分段时空信息映射的融合编码方式。

　　A.2 外部映射文件主要包括基本要素信息和变化信息，用于描述视频帧所对应的时空信息。 格式描述如下：

　　第一行：基本要素信息

　　第二行：基本要素信息 ID,之间采用逗号隔开

　　第三行：基本要素信息具体数值

　　第四行：变化信息

　　第五行：变化信息名称

　　第六行：变化信息具体数值

　　A.3 外部映射文件具体样例如下：

　　a) 基本要素信息：1 , 2 , 3 , 4 , 5 , 6 , 7 , 8 , 9 , 10 , 11 , 12 , 13 , 14 , 15

　　UTC , CGCS2000 HVD1985 , 1 920 , 1 080 ,2 . 59 ,2 . 59 ,0 . 052 3 , -0 . 005 18 , 34 . 824 8 , 34 . 824 8 , -4 . 605 84e-006 , 1 . 000 548e-007 , 6 . 151 1e-010 , 1 . 501 19e-005 , 3 . 372 84e-005

　　b ) 视频流时空信息融合编码：帧号，日期，时间，经度，纬度，高度，横滚角，俯仰角，旋偏角1 , 20190724 ,051524556 , 116 . 325 41 , 39 . 982 14 ,43 . 5 , - 1 . 2 , -5 . 3 , - 179 . 7

　　2 , 20190724 ,051524556 , 116 . 325 41 , 39 . 982 14 ,43 . 5 , - 1 . 0 , -6 . 0 , - 179 . 9

　　…

　　GB/T 40768—202 1

　　附 录 B

　　(资料性附录)

　　视频流与时空信息融合编码样例

　　B.1 常用的视频编码标准主要包括 MPEG-4、H . 264、H . 265、AVS 等 。 以 H . 264 编码标准为例进行说

　　明。H.264 的功能分为两层：视频编码层(VCL, Video Coding Layer) 和网络提取层 (NAL, Network Abstraction Layer) , H.264 码流结构示意图见图 B.1。

　　图 B.1 H.264 码流结构示意图

　　B.2 网络提取层单元又包括多种类型，类型标签存储在网络提取层单元头文件中，用于识别网络提取层单元不同类型，网络提取层单元类型描述见表 B. 1 。

　　表 B.1 网络提取层单元类型描述

　　GB/T 40768—202 1

　　B.3 为避免时空信息的冗余，在第一个 SEI结构中写入基本要素信息，在其余的 NAL单元序列的 SEI结构中只写入视频帧对应的时空信息。

　　a) 第一个 SEI结构信息样例如下：

　　1 UTC , 2 CGCS2000 HVD1985 , 3 1920 , 4 1 080 , 5 2 . 59 , 6 2 . 59 , 7 0 . 052 3 , 8 - 0 . 005 18 ,

　　9 34. 824 8 , 10 34. 824 8 , 11 -4 . 605 84e-006 , 12 1 . 000 548e-007 , 13 6 . 151 1e-010 , 14 1 . 501 19e-005 , 15 3 . 372 84e-005

　　b ) 其余 SEI结构写入时空信息：

　　20190724 ,051524556 , 116 . 325 41 , 39 . 982 14 ,43 . 5 , - 1 . 2 , -5 . 3 , - 179 . 7 ;

　　20190724 ,051524558 , 116 . 325 41 , 39 . 982 14 ,43 . 5 , - 1 . 0 , -6 . 0 , 179 . 9 ;

　　……

　　……

　　GB/T 40768—202 1

　　附 录 C

　　(资料性附录)

　　视频流与时空信息封装融合编码样例

　　C.1 常见的视频封装格式有 AVI、MP4、MKV、ASF、RMVB等，以 AVI视频封装格式为例。

　　C.2 AVI数据格式包括三部分，信息块、数据块和索引块。

　　C.3 AVI文件采用 RIFF(Resource Interchange File Format, 资源互换文件格式)，RIFF 块包含一系

　　列子块，其中常用的子块 ID 为“LIST”。AVI 三个子块的表述如下：

　　a) 信息块：ID为“hdrl”的“LIST”块，主要用来定义 AVI文件的格式信息;

　　b ) 数据块：ID为“movi”的“LIST”块，主要用于存储音视频流数据;

　　c) 索引块：ID为“idxl”的子块，主要用于定义“LIST_movi”块的索引数据，是可选块。

　　C.4 在 LIST_hdrl信息块中扩展 LIST_strl子块，其中 strh 结构主要用于描述时空数据流属性信息，用于表示与视频流的对应关系，其结构定义见图 C. 1 。

　　图 C.1 AVI视频融合编码文件格式示意图

　　C.5 LIST_strl子块下的结构包含基本要素信息，示例如下：

　　1 UTC , 2 CGCS2000 HVD1985 , 3 1920 , 4 1 080 , 5 2 . 59 , 6 2 . 59 , 7 0 . 052 3 , 8 -0 . 005 18 , 9 34 . 824 8 , 10 34. 824 8 , 11 -4 . 605 84e-006 , 12 1 . 000 548e-007 , 13 6 . 151 1e-010 , 14 1 . 501 19e-005 , 15 3 . 372 84e-005

　　C.6 在 LIST_movi数据块中扩展时空数据，融合编码时空数据样例为：

　　20190724 ,051524556 , 116 . 325 41 , 39 . 982 14 ,43 . 5 , - 1 . 2 , -5 . 3 , - 179 . 7 ;

　　20190724 ,051524558 , 116 . 325 41 , 39 . 982 14 ,43 . 5 , - 1 . 0 , -6 . 0 , 179 . 9 ;

　　…

　　GB/T 40768—202 1

　　参 考 文 献

　　[1] GB/T 7408—2005 数据元和交换格式 信息交换 日期和时间表示法

　　[2] GB/T 20090 . 2—2013 信息技术 先进音视频编码 第 2 部分：视频

　　[3] GB/T 27918—2011 地理信息 基于位置服务 参考模型

　　[4] GB/T 29842—2013 卫星导航定位系统的时间系统

　　[5] GB/T 30288—2013 卫星导航定位坐标系统

　　[6] ISO/IEC/IEEE 8802-11 : 2005 Information technology—Telecommunications and informa- tion exchange between systems—Local and metropolitan area networks—Specific requirements—Part 11 : Wireless LAN medium access control (MAC) and physical layer (PHY) specifications

　　[7] ISO/IEC 14496-15 : 2017 Information technology—Coding of audio-visual objects—Part 15 : Carriage of network abstraction layer(NAL) unit structured video in the ISO base media file format

　　[8] ISO/TS 19129 : 2009 Geographic information—Imagery, gridded and coverage data frame- work

　　[9] ISO/IEC 14496-10 : 2010 Information technology—Coding of audio-visual objects—Part 10 : Advanced video coding

　　[10] ITU H.265 : 2014 High efficiency video coding