T/AI 116.3-2024 信息技术 数字视网膜系统 第3部分：端子系统

ICS 35.020
CCS L70
团体标准
T/AI 116.3—2024
信息技术 数字视网膜系统 第3部分：端子系统
Information technology - Digital retina systems -Part 3: End subsystem
2024 - 11 -29发布2024- 11 -29实施
中关村视听产业技术创新联盟 发布

目 次
前言 ................................................................................ II
引言 ............................................................................... III
1 范围 ............................................................................... 1
2 规范性引用文件 ..................................................................... 1
3 术语和定义 ......................................................................... 1
4 缩略语 ............................................................................. 1
5 总体架构 ........................................................................... 1
5.1 概述 .......................................................................... 1
5.2 参考架构 ...................................................................... 2
6 技术要求 ........................................................................... 3
6.1 控制单元 ...................................................................... 3
6.2 计算单元 ...................................................................... 5
6.3 视频处理单元 .................................................................. 6
6.4 其他要求 ...................................................................... 6
附录A （资料性） 服务接口描述 ........................................................ 8
A.1 控制单元服务接口............................................................... 8
A.2 计算单元服务接口............................................................... 8
A.3 视频处理单元服务接口........................................................... 9
A.4 数据定义 ..................................................................... 13
T/AI 116.3—2024
II
前 言
本文件按照GB/T 1.1—2020《标准化工作导则 第1部分：标准化文件的结构和起草规则》的规定起草。
本文件是T/AI 116《信息技术 数字视网膜系统》的第3部分。T/AI 116已经发布了以下部分：
——第1部分：系统结构和通信协议；
——第3部分：端子系统。
请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。
本文件由新一代人工智能产业技术创新战略联盟AI标准工作组提出。
本文件由中关村视听产业技术创新联盟归口。
本文件起草单位：鹏城实验室、中国科学院计算技术研究所、天翼视联科技有限公司、浙江大华技术股份有限公司、华为技术有限公司、天翼数字生活科技有限公司、中兴通讯股份有限公司、杭州海康威视数字技术股份有限公司、北京云天励飞科技有限公司、北京大学、清华大学、杭州博雅鸿图视频技术有限公司。
本文件主要起草人：王耀威、纪雯、郑清芳、陈鹏、周运红、袁锦宇、白鑫贝、孔维生、梅海波、张亚兰、贾立鼎、罗传飞、杨晓玲、温春江、刘海军、贾霞、任文奇、陈锋、王志芳、饶雪、刘树军、熊雪菲、蒋冬梅、朱文武、高文、赵海英、崔晓冉。
T/AI 116.3—2024
III
引 言
数字视网膜系统是面向海量视频数据高效处理而提出的新型端边云协同计算架构，采用“特征实时汇聚、视频按需调取、模型在线更新”的新应用范式，能够更好地支撑智慧安防、智能交通、智能制造、自动驾驶等领域的视频大数据分析处理应用。
数字视网膜端子系统承担信息感知和智能化分析的工作，不仅输出人眼可视的视频流，还可以输出用于机器分析的特征流，从而缓解后台的数据处理压力。同时，数字视网膜端子系统支持通过软件方式定义具体功能，且模型可在线更新，能够灵活适应场景变化的需求。
数字视网膜端子系统具有全局统一的时空信息和设备ID，输出的视频流和特征流包含唯一的设备ID、同步的时间信息和精准的空间信息，能够满足城市级应用中端边云协同任务的数据同步、协同计算、联合优化和关联分析等需求，并支持终端的移动化应用场景。
T/AI 116《信息技术 数字视网膜系统》拟由11个部分构成：
——第1部分：系统结构和通信协议。目的在于确立数字视网膜系统的参考架构、功能要求、通信流程和数据接口等内容。
——第2部分：算法模型仓库。目的在于确立算法模型的封装、管理、调度等功能与接口要求，实现对不同算力单元、不同软件框架、不同算法模型、不同计算目标等的可变支持。
——第3部分：端子系统。目的在于确立数字视网膜端子系统的基本结构和技术要求。
——第4部分：边子系统。目的在于确立数字视网膜边子系统的逻辑架构、技术要求和数据接口。
——第5部分：云子系统。目的在于确立数字视网膜云子系统的参考架构、技术要求、数据接口和服务能力。
——第6部分：端边云协同。目的在于确立数字视网膜端子系统、边子系统和云子系统之间协同工作的内容、机制和接口，为端、边、云子系统协同工作的实现提供参考准则。
——第7部分：测试规范。目的在于确立数字视网膜系统中的算法模型仓库、端子系统、边子系统、云子系统、端边云协同等部分的测试内容和测试方法。
——第8部分：系统总体度量及评价体系。目的在于确立数字视网膜系统在建设、验收和使用过程中的系统总体评价准则。
——第9部分：存储系统。目的在于确立数字视网膜系统中存储系统设计与部署的基本要求。
——第10部分：应用指南。目的在于确立数字视网膜系统在实际部署实施时的基本要求，为数字视网膜系统的典型行业应用提供参考方案。
——第11部分：安全与隐私保护。目的在于确立数字视网膜系统在安全、隐私保护等方面的基本要求。

T/AI 116.3—2024
1
信息技术 数字视网膜系统 第3部分：端子系统
1 范围
本文件确立了数字视网膜端子系统的总体架构，并规定了功能、通信、接口等方面的要求。
本文件适用于数字视网膜端子系统的方案设计和设备研发。
2 规范性引用文件
下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。
T/AI 116.1—2021 信息技术 数字视网膜系统 第1部分：系统结构和通信协议
3 术语和定义
T/AI 116.1—2021中界定的以及下列术语和定义适用于本文件。
3.1
计算引擎 computing engine
为算法提供运行环境和计算能力，根据算法的计算规则对数据进行处理和分析，并返回计算结果的模块或单元。
4 缩略语
下列缩略语适用于本文件。
AVS：音视频编码标准（Audio Video coding Standard）
BDS：北斗卫星导航系统（BeiDou Navigation Satellite System）
GPS：全球定位系统（Global Positioning System）
JPEG：联合图像专家组（Joint Photographic Experts Group）
MJPEG：移动联合图像专家组（Motion Joint Photographic Experts Group）
MPEG：动态图像专家组（Moving Picture Experts Group）
OSD：屏幕显示（On-Screen Display）
PNG：可移植网络图形（Portable Network Graphics）
USB：通用串行总线（Universal Serial Bus）
UTC：协调世界时（Universal Time Coordinated）
5 总体架构
5.1 概述
根据T/AI 116.1—2021中的规定，数字视网膜端子系统（以下称端子系统）主要负责场景信息的采集和分析，支持与其他子系统之间的协同交互。
T/AI 116.3—2024
2
5.2 参考架构
数字视网膜端子系统主要包括控制单元、计算单元、视频处理单元、服务接口以及基于服务接口开发的算法，参考架构见图1。
图1 数字视网膜端子系统参考架构图
端子系统各个模块的主要功能如下：
a)
控制单元主要负责端子系统的管理和控制，控制流的接收与处理，算法模型的下载与更新，以及时间、位置等信息的传输，主要的功能子模块包括算法模型管理、系统管理、时空信息管理和协同管理。各子模块功能描述如下：
1)
算法模型管理：主要负责端子系统算法全生命周期的管理，以及模型的更新、校验和加载等，实现功能定义；
2)
系统管理：主要负责基本的系统运行、操作、维护、存储等方面的管理，包括系统登录/注销、配置、控制、日志等，以及控制流的接收与处理；
3)
时空信息管理：主要负责端子系统时间和空间信息的获取和校准；
4)
协同管理：主要负责与其他子系统之间协同工作相关的管理。
b)
计算单元主要负责算法的运行，以及特征流和结果流的输出，主要的功能子模块包括计算引擎和结果封装。各子模块功能描述如下：
1)
计算引擎：主要负责提供算法运行环境和计算能力；
2)
结果封装：主要负责对算法输出的结果数据进行打包和输出，包括结构化数据、特征数据、图片数据等。
c)
视频处理单元主要负责视频、图像数据的采集、处理、编码和输出，主要的功能子模块包括图像获取、图像处理、视频编码和图像编码。各子模块功能描述如下：
1)
图像获取：主要负责获取图像数据；
T/AI 116.3—2024
3
2)
图像处理：主要负责对非压缩图像（如YUV、RGB图像）进行处理；
3)
视频编码：主要负责对视频数据进行压缩编码和打包输出；
4)
图像编码：主要负责对图像数据进行压缩编码。
d)
服务接口：为算法提供统一的端子系统能力服务接口。
6 技术要求
6.1 控制单元
6.1.1 系统管理
6.1.1.1 登录鉴权和注销
登录和注销要求如下：
a)
端子系统在接入系统时，应进行登录鉴权；
b)
端子系统在停止使用或重启时，应进行注销；
c)
登录和注销通信流程应符合T/AI 116.1—2021中8.2的规定，其中登录方应是端子系统，服务方应是边子系统或云子系统；
d)
登录接口应符合T/AI 116.1—2021中9.2.1的规定；
e)
注销接口应符合T/AI 116.1—2021中9.2.2的规定。
6.1.1.2 状态上报
状态上报要求如下：
a)
应支持定时上报端子系统的运行状态、设备时间、空间位置信息等状态信息至边子系统或云子系统；
b)
状态上报通信流程应符合T/AI 116.1—2021中8.7的规定,其中状态上报方应是端子系统，状态接收方应是边子系统或云子系统；
c)
状态上报接口应符合T/AI 116.1—2021中9.2.4的规定。
6.1.1.3 远程配置
远程配置要求如下：
a)
应支持响应边子系统或云子系统下发的配置指令，启用、禁用或变更相应的系统配置，包括视频分辨率、视频编码格式、状态上报时间间隔等；
b)
远程配置指令通信流程应符合T/AI 116.1—2021中8.3的规定,其中配置接收方应是端子系统，配置下发方应是边子系统或云子系统；
c)
远程配置接口应符合T/AI 116.1—2021中9.3.1的规定；
d)
应支持存储设备配置信息。
6.1.1.4 设备控制
设备控制要求如下：
a)
应支持响应边子系统或云子系统下发的控制指令（例如重启指令、关机指令、设备控制等），实现相应的控制操作；
b)
控制指令通信流程应符合T/AI 116.1—2021中8.8的规定，其中控制指令接收方应是端子系统，控制指令下发方应是边子系统或云子系统；
T/AI 116.3—2024
4
c)
设备重启接口应符合T/AI 116.1—2021中9.3.8的规定；
d)
设备关机接口应符合T/AI 116.1—2021中9.3.9的规定；
e)
设备控制接口应符合T/AI 116.1—2021中9.3.10的规定；
f)
宜支持存储调焦、缩放、转动等设备控制信息。
6.1.1.5 升级管理
升级管理要求如下：
a)
应支持对端子系统的固件或某一应用软件进行升级；
b)
端子系统升级完成后，应正常运行，并与其他系统保持正常通信；
c)
端子系统升级失败时，应返回升级前且正常运行的软件版本。
6.1.2 时空信息管理
6.1.2.1 时间同步
时间同步要求如下：
a)
应支持通过自动获取或手动设置的方式对端子系统的时间进行同步，以获得与边子系统、云子系统同步的时间信息；
b)
宜支持卫星授时、网络授时等方法进行时间信息的同步，或支持通过远程设置的方式设置时间信息；
c)
端子系统与边子系统、云子系统的时间失步应小于1秒（s）；
d)
应支持视频流、特征流、结果流的时间同步，T/AI 116.1—2021中9.2.6定义的图片、特征和算法结果上报数据中的时间信息应与对应的视频数据时间信息保持一致；
e)
应提供获取设备时间信息的服务接口，接口定义参见附录A.1.1和A.1.2。
6.1.2.2 空间位置定位
空间位置定位要求如下：
a)
应支持通过自动或手动的方式对端子系统进行空间位置定位，获得端子系统的空间位置信息并通过T/AI 116.1—2021中9.2.1、9.2.4的接口上报该位置信息至边子系统或云子系统；
b)
宜支持内置GPS/BDS模块获得空间绝对位置信息，或通过远程设置的方式设置空间位置信息；
c)
T/AI 116.1—2021中9.2.6定义的图片、特征和算法结果上报数据中的空间位置信息应与对应的视频图像采集位置信息保持一致；
d)
应提供获取设备空间信息的服务接口，接口定义参见附录A.1.3。
6.1.3 算法模型管理
6.1.3.1 算法模型下载和更新
算法模型下载和更新要求如下。
a)
应支持从边子系统或云子系统下载和更新算法模型。
b)
应支持算法模型的全量更新和增量更新。
c)
下载或更新算法模型的流程包括以下三种。
1)
边子系统或者云子系统向端子系统发送算法模型下发指令，端子系统根据指令请求下载或者更新算法模型。算法模型下载或更新流程应符合T/AI 116.1—2021中8.5的规定，其中接收方应是端子系统，下发方应是边子系统或云子系统。算法模型下载或更新接口应符合T/AI 116.1—2021中9.3.3的规定。
T/AI 116.3—2024
5
2)
当边子系统或云子系统向端子系统发送功能定义指令时，若该功能相应的算法模型在本地未下载或有新版本，端子系统应主动对算法模型进行下载或更新。
3)
端子系统宜支持向边子系统或云子系统查询并拉取算法模型。算法模型拉取流程应符合T/AI 116.1—2021中8.5的规定，其中接收方应是端子系统，下发方应是边子系统或云子系统。算法模型查询接口应符合T/AI 116.1—2021中9.2.5的规定。
6.1.3.2 算法模型校验
算法模型校验要求如下：
a)
应支持对下载算法的完整性进行验证；
b)
应支持检查下载算法模型的信息，保证算法的可运行性。
6.1.3.3 功能定义
功能定义要求如下：
a)
应支持响应边子系统或云子系统下发的功能定义指令，并根据指令中的信息对相应的算法进行运行或停止，实现功能的变更；
b)
在进行功能变更时，应不影响其他功能的正常运行；
c)
宜支持配置是否输出视频流、特征流、结果流等；
d)
功能定义指令通信流程应符合T/AI 116.1—2021中8.4的规定，其中指令接收方应是端子系统，指令发送方应是边子系统或云子系统；
e)
功能定义接口应符合T/AI 116.1—2021中9.3.2的规定。
6.1.3.4 算法模型信息维护
算法模型信息维护要求如下：
a)
应支持对已下载算法模型信息（如名称、版本、适用平台、授权信息等）的查询；
b)
应支持对已下载算法运行状态的实时更新，状态包括但不限于运行、停止、异常、完成等。
6.1.3.5 算法模型删除
应支持对已下载算法模型进行删除，并释放其占用的存储空间。
6.1.4 协同管理
应支持与其他子系统之间的协同机制。
6.2 计算单元
6.2.1 计算引擎
计算引擎要求如下：
a)
应支持根据算法提供的信息在算法运行时分配相应的资源，在停止、卸载时应释放占用的资源；
b)
应支持特征提取算法的运行，宜支持特征编码；
c)
应支持动态切换运行新的算法；
d)
应为算法的运行提供专用计算加速资源；
e)
宜支持对算法运行状态的查询。
6.2.2 结果封装
T/AI 116.3—2024
6
结果封装要求如下：
a)
应支持对结构化数据和非结构化数据输出、打包，并传输到边子系统或云子系统；
b)
结构化数据上报接口应符合T/AI 116.1—2021中9.2.6的规定；
c)
非结构化数据上报接口应符合T/AI 116.1—2021中9.2.7的规定；
d)
数据打包上报接口应符合T/AI 116.1—2021中9.2.8的规定；
e)
宜提供发送结构化和非结构化数据的服务接口，用于向边/云子系统发送算法结果、特征、图片、视频片段等数据，接口定义参见附录A.2.1。
6.3 视频处理单元
6.3.1 图像获取
应支持获取至少一路图像数据。
6.3.2 图像处理
图像处理要求如下：
a)
应提供获取非压缩图像数据的接口，接口定义参见附录A.3.2；
b)
应支持非压缩图像的缩放、裁剪和格式转换，并提供非压缩图像缩放、裁剪和格式转换的服务接口，接口定义参见附录A.3.3；
c)
宜支持进行图像效果的控制；
d)
应支持OSD叠加功能。
6.3.3 视频编码
视频编码要求如下：
a)
应支持至少一种视频格式的压缩编码，例如MJPEG、MPEG-4、H.264、H.265、AVS2、AVS3等；
b)
宜支持视频转码功能；
c)
宜提供获取压缩视频数据服务接口，接口定义参见附录A.3.1；
d)
应支持将视频数据打包成压缩视频流，并传输到边子系统或云子系统，传输流程和协议应符合T/AI 116.1—2021中8.6的规定。
6.3.4 图像编码
图像编码要求如下：
a)
应支持至少一种压缩图像格式的压缩编码，例如JPEG、PNG等；
b)
应提供图像编码服务接口，接口定义参见附录A.3.4。
6.4 其他要求
6.4.1 网络通信
网络通信要求如下：
a)
应提供网络通信接口，以实现与其他子系统之间的通信交互；
b)
应支持网络断线恢复后自动重连。
6.4.2 存储
存储要求如下：
a)
应具备算法数据的存储能力；
T/AI 116.3—2024
7
b)
宜具备断网数据缓存能力，包括视频数据、算法结果数据、特征数据、图片数据等。当网络恢复后，自动完成缓存数据的传输；
c)
宜支持通过USB接口或存储卡接口连接外部存储媒体。
T/AI 116.3—2024
8
附 录 A （资料性） 服务接口描述
端子系统服务接口主要包括控制单元服务接口、计算单元服务接口、视频处理单元服务接口。
A.1 控制单元服务接口
A.1.1 设备本地时间获取接口
设备本地时间获取接口描述见表A.1。
表A.1 设备本地时间获取接口的描述
名称
描述
输入
输出
备注
DRS_Ctrl_GetLocalTime
获取设备的本地时间
无
设备本地时间，包括年、月、日、时、分、秒、毫秒、时区，参见附录A.4.1
无
A.1.2 Unix时间戳获取接口
Unix时间戳获取接口描述见表A.2。
表A.2 Unix时间戳获取接口的描述
名称
描述
输入
输出
备注
DRS_Ctrl_GetUnixTime
获取Unix时间戳
无
Unix时间戳，参见附录A.4.2
无
A.1.3 设备位置获取接口
设备位置获取接口描述见表A.3。
表A.3 设备位置获取接口的描述
名称
描述
输入
输出
备注
DRS_Ctrl_GetLocation
获取设备位置
无
设备实时的位置信息，包括经度、纬度，参见附录A.4.3
无
A.2 计算单元服务接口
A.2.1 算法结果发送接口
算法结果发送接口描述见表A.4。
T/AI 116.3—2024
9
表A.4 算法结果发送接口的描述
名称
描述
输入
输出
备注
DRS_Alg_SendResultData
发送算法结果，包括结构化和非结构化的算法结果数据
算法结果封装数据，包含算法信息、时空信息、算法结果数据等，参见附录A.4.9
成功时返回0；失败时返回错误码
无
A.3 视频处理单元服务接口
A.3.1 获取压缩视频数据
A.3.1.1 压缩视频数据通道信息获取接口
压缩视频数据通道信息获取接口描述见表A.5。
表A.5 压缩视频数据通道信息获取接口的描述
名称
描述
输入
输出
备注
DRS_Video_GetCompressedChanInfo
获取设备提供的所有压缩视频数据通道信息，如支持H.264、H.265、AVS3等视频压缩数据的通道信息
无
设备提供的所有压缩视频数据通道信息，包括通道ID、通道支持的数据格式、最大分辨率、帧率、通道是否可用等
无
A.3.1.2 开启压缩视频数据通道接口
开启压缩视频数据通道接口描述见表A.6。
表A.6 开启压缩视频数据通道接口的描述
名称
描述
输入
输出
备注
DRS_Video_OpenCompressedChan
根据DRS_Video_GetCompressedChanInfo返回的通道信息，申请打开一个压缩视频数据通道 请求打开的视频ID、通道ID、通道数据格式、分辨率等信息
打开视频流的视频ID，以及通道信息，包括通道ID、通道的数据格式、分辨率和帧率等；
失败时返回错误码
无
A.3.1.3 压缩视频数据获取接口
压缩视频数据获取接口描述见表A.7。
T/AI 116.3—2024
10
表A.7 压缩视频数据获取接口的描述
名称
描述
输入
输出
备注
DRS_Video_GetCompressedFrame
获取压缩视频数据，包括数据格式、分辨率和时间戳等信息和视频数据
需要获取压缩视频数据的通道ID、请求的帧数、等待超时时长
压缩视频数据和视频信息；
超时或失败时返回错误码
无
A.3.1.4 压缩视频数据释放接口
压缩视频数据释放接口描述见表A.8。
表A.8 压缩视频数据释放接口的描述
名称
描述
输入
输出
备注
DRS_Video_ReleaseCompressedFrame
释放通过DRS_Video_GetCompressedFrame获取的压缩视频数据
通过DRS_Video_GetCompressedFrame获取的压缩视频数据
成功时返回0；失败时返回错误码
通过DRS_Video_GetCompressedFrame获取的压缩视频数据使用完毕后，调用DRS_Video_ReleaseCompressedFrame进行释放
A.3.1.5 关闭压缩视频数据通道接口
关闭压缩视频数据通道接口描述见表A.9。
表A.9 关闭压缩视频数据通道接口的描述
名称
描述
输入
输出
备注
DRS_Video_CloseCompressedChan
关闭指定压缩视频数据通道
DRS_Video_OpenCompressedChan返回的通道ID
成功时返回0；失败时返回错误码
当数据通道不再使用时，调用DRS_Video_CloseCompressedChan关闭该通道
A.3.2 获取非压缩图像数据
A.3.2.1 非压缩图像数据通道获取接口
非压缩图像数据通道获取接口描述见表A.10。
T/AI 116.3—2024
11
表A.10 非压缩图像数据通道获取接口的描述
名称
描述
输入
输出
备注
DRS_Video_GetUnCompressedChanInfo
获取设备提供的所有非压缩图像数据通道信息，如支持YUV、RGB等数据格式的通道信息
无
设备提供的所有非压缩图像数据通道信息，包括通道ID、通道支持的数据格式、最大分辨率、帧率、通道是否可用等
无
A.3.2.2 开启非压缩图像数据通道接口
开启非压缩图像数据通道接口描述见表A.11。
表A.11 开启非压缩图像数据通道接口的描述
名称
描述
输入
输出
备注
DRS_Video_OpenUnCompressedChan
根据DRS_Video_GetUnCompressedChanInfo返回的通道信息，申请打开一个非压缩图像数据通道
请求打开的视频ID、通道ID、通道数据格式、分辨率等信息
打开视频流的视频ID，以及通道信息，包括通道ID、通道的数据格式、分辨率和帧率等；
失败返回错误码
无
A.3.2.3 非压缩图像数据获取接口
非压缩图像数据获取接口描述见表A.12。
表A.12 非压缩图像数据获取接口的描述
名称
描述
输入
输出
备注
DRS_Video_GetUnCompressedFrame
获取非压缩图像数据和信息，包括数据格式、分辨率和时间信息等
获取非压缩图像数据的通道ID、请求的帧数、等待超时时长
该通道请求帧数的非压缩图像数据和信息；
超时或失败时返回错误码
无
A.3.2.4 非压缩图像数据释放接口
非压缩图像数据释放接口描述见表A.13。
T/AI 116.3—2024
12
表A.13 非压缩图像数据释放接口的描述
名称
描述
输入
输出
备注
DRS_Video_ReleaseUnCompressedFrame
释放通过DRS_Video_GetUnCompressedFrame获取的非压缩图像数据
通过DRS_Video_GetUnCompressedFrame获取的非压缩图像数据
成功时返回0；失败时返回错误码
当获取的非压缩图像数据不再使用时，调用DRS_Video_ReleaseUnCompressedFrame进行释放
A.3.2.5 关闭非压缩图像数据通道接口
关闭非压缩图像数据通道接口描述见表A.14。
表A.14 关闭非压缩图像数据通道接口的描述
名称
描述
输入
输出
备注
DRS_Video_CloseUnCompressedChan
关闭指定非压缩图像数据通道
通道ID
成功时返回0；失败时返回错误码
当数据通道不再使用时，调用DRS_Video_CloseUnCompressedChan关闭该通道
A.3.3 图像数据转换
A.3.3.1 图像数据转换接口
图像数据转换接口描述见表A.15。
表A.15 图像数据转换接口的描述
名称
描述
输入
输出
备注
DRS_Video_ConvertData
图像数据的转换，包括图像格式转换、图像裁剪和缩放
源图像数据和信息，目标图像格式、图像裁剪信息、目标分辨率信息等
目标图像数据和信息；失败时返回错误码
无
A.3.4 图像编码
A.3.4.1 图像编码接口
图像编码接口描述见表A.16。
T/AI 116.3—2024
13
表A.16 图像编码接口的描述
名称
描述
输入
输出
备注
DRS_Video_EncodeImage
对给定源图像数据进行指定格式编码，如JPEG、PNG等
源图像数据和编码参数
指定编码格式编码的图像数据和图像信息；
失败时返回错误码
无
A.3.4.2 编码图像资源释放接口
编码图像资源释放接口描述见表A.17。
表A.17 编码图像资源释放接口的描述
名称
描述
输入
输出
备注
DRS_Video_ReleaseEncImage
释放通过DRS_Video_EncodeImage返回的编码后数据
通过DRS_Video_EncodeImage返回的图像编码数据
成功时返回0；
失败时返回错误码
无
A.4 数据定义
A.4.1 设备本地时间
设备本地时间数据结构见表A.18。
表A.18 设备本地时间数据结构
名称
标识符
类型
长度
备注
毫秒
MSec
int
4字节
秒
Sec
int
4字节
分
Min
int
4字节
时
Hour
int
4字节
日
Day
int
4字节
月
Mon
int
4字节
年
Year
int
4字节
时区偏移（秒）
TZOffset
int
4字节
相对0时区的UTC正负时间偏移
A.4.2 Unix时间戳
Unix时间戳数据结构见表A.19。
T/AI 116.3—2024
14
表A.19 Unix时间戳数据结构
名称
标识符
类型
长度
备注
秒
Sec
long
8字节
毫秒
MSec
long
8字节
A.4.3 设备空间位置信息
设备空间位置信息数据结构见表A.20。
表A.20 设备空间位置信息数据结构
名称
标识符
类型
长度
备注
经度
Longitude
double
8字节
纬度
Latitude
double
8字节
A.4.4 算法结果信息
算法结果信息数据结构见表A.21。
表A.21 算法结果信息数据结构
名称
标识符
类型
长度
备注
算法结果类型
ResultType
int
4字节
0：人脸 1：人体
2：车辆 3：物品
4：场景；类型支持扩展
算法结果大小
ResultSize
int
4字节
算法结果数据
ResultData
由算法自定义数据类型格式
A.4.5 图像信息
图像信息数据结构见表A.22。
表A.22 图像信息数据结构
名称
标识符
类型
长度
备注
图像格式
ImageFormat
string
小于8字节
宽度
Width
int
4字节
水平像素值
高度
Height
int
4字节
垂直像素值
拍摄时间
CreateTime
string
小于24字节
图像处理标志
ImageProcFlag
string
1字节
0：图像未处理
1：图像经过处理
图像大小
ImageSize
int
4字节
单位byte
图像数据
ImageData
二进制数据
T/AI 116.3—2024
15
A.4.6 特征信息
特征信息数据结构见表A.23。
表A.23 特征信息数据结构
名称
标识符
类型
长度
备注
左上角X坐标
LeftTopX
int
4字节
左上角Y坐标
LeftTopY
int
4字节
右下角X坐标
RightBtmX
int
4字节
右下角Y坐标
RightBtmY
int
4字节
特征大小
FeatureSize
int
4字节
单位byte
特征数据
FeatureData
二进制数据
A.4.7 视频片段信息
视频片段信息数据结构见表A.24。
表A.24 视频片段信息数据结构
名称
标识符
类型
长度
备注
视频文件格式
FileFormat
string
小于10字节
视频编码格式
VideoEncodingFormat
string
小于10字节
音频标志
AudioFlag
int
4字节
0：无音频，1：含音频
音频编码格式
AudioEncodingFormat
string
小于10字节
题名
Title
string
小于128字节
视频资料名称
内容描述
ContentDesc
string
小于1024字节
视频内容简要描述
视频长度
VideoLen
int
4字节
单位为秒
视频开始时间
BeginTime
string
小于24字节
视频结束时间
EndTime
string
小于24字节
时间误差
TimeErr
int
4字节
视频标识时间减去实际本地绝对时间的值，单位为秒
宽度
Width
int
4字节
水平像素值
高度
Height
int
4字节
垂直像素值
视频大小
VideoSize
long
8字节
视频数据
VideoData
二进制数据
A.4.8 算法结果对象
算法结果对象数据结构见表A.25。
T/AI 116.3—2024
16
表A.25 算法结果对象数据结构
名称
标识符
类型
长度
备注
经度
Longitude
double
8字节
纬度
Latitude
double
8字节
时间戳
TS
long
8字节
对象类型
ObjectType
int
4字节
0：算法结果信息
1：图片信息
2：特征信息
3：视频片段信息
4：图片数据
5：特征数据
6：视频片段数据
对象数据
ObjectData
当ObjectType等于0时，该字段数据类型为Algorithm_Result_Information，见表A.21；
当ObjectType等于1时，该字段数据类型为Image_Information,见表A.22；
当ObjectType等于2时，该字段数据类型为Feature_Information，见表A.23；
当ObjectType等于3时，该字段数据类型为Video_Slice_Information，见表A.24；
当ObjectType等于4或5或6时，该字段数据为二进制数据
A.4.9 算法结果封装
算法结果封装数据结构见表A.26。
表A.26 算法结果封装数据结构
名称
标识符
类型
长度
描述
视频ID
VideoID
string
20字节
视频流ID
通道ID
ChannelID
int
4字节
图像帧数据通道ID
算法ID
AlgID
int
4字节
算法版本
AlgVersion
string
小于20字节
算法结果对象个数
ResultNum
int
4字节
算法结果对象数据
ResultObjects
array
Algorithm_Result_Object定义见表A.25
保留字段
Reserved
int
4字节
保留字段