GB/T 42382.1-2023 信息技术 神经网络表示与模型压缩 第1部分：卷积神经网络

　　ICS 35 . 040 CCS L 71

　　中 华 人 民 共 和 国 国 家 标 准

　　GB/T 42382 . 1—2023

　　信息技术 神经网络表示与模型压缩

　　第 1 部分 : 卷积神经网络

　　Information technology—Neural network representation and model compression—

　　part 1 : Convolutional neural network

　　2023-03-17 发布 2023-10-01 实施

　　国家市场监督管理总局国家标准化管理委员会

　　

　　发

　　

　　布

　　GB/T 42382 . 1—2023

　　目 次

　　前言 Ⅲ

　　引言 Ⅳ

　　1 范围 1

　　2 规范性引用文件 1

　　3 术语和定义 1

　　4 缩略语 4

　　5 约定 4

　　5 . 1 规则 4

　　5 . 2 算术运算符 4

　　5 . 3 逻辑运算符 5

　　5 . 4 关系运算符 5

　　5 . 5 位运算符 5

　　5 . 6 赋值 5

　　5 . 7 数学函数 6

　　5 . 8 结构关系符 7

　　5 . 9 解析过程和解码过程的描述方法 7

　　6 神经网络模型的语法和语义 7

　　6 . 1 数据结构 7

　　6 . 2 语法描述 9

　　6 . 3 语义描述 15

　　7 压缩过程 75

　　7 . 1 多模型 75

　　7 . 2 量化 80

　　7 . 3 剪枝 102

　　7 . 4 结构化矩阵 105

　　8 解压过程(解码表示) 112

　　8 . 1 多模型 112

　　8 . 2 反量化 118

　　8 . 3 反稀疏化/反剪枝操作 128

　　8 . 4 结构化矩阵 131

　　9 数据生成方法 138

　　9 . 1 定义 138

　　9 . 2 训练数据生成方法 139

　　9 . 3 多模型 145

　　9 . 4 量化 150

　　9 . 5 剪枝 169

　　I

　　GB/T 42382 . 1—2023

　　9 . 6 结构化矩阵 176

　　10 编解码表示 184

　　10 . 1 神经网络模型权重压缩位流的语法和语义 184

　　10 . 2 权重压缩位流的语法描述 189

　　10 . 3 权重压缩位流的语义描述 212

　　10 . 4 权重压缩位流解析过程 222

　　10 . 5 权重压缩位流解码 233

　　11 模型保护 241

　　11 . 1 模型保护定义 241

　　11 . 2 模型加密过程 242

　　11 . 3 模型解密过程 243

　　11 . 4 密文模型数据结构定义 245

　　附录 A (资料性) 专利列表 246

　　参考文献 247

　　Ⅱ

　　GB/T 42382 . 1—2023

　　前 言

　　本文件按照 GB/T 1 . 1—2020《标准化工作导则 第 1 部分:标准化文件的结构和起草规则》的规定起草 。

　　本文件是 GB/T 42382《信息技术 神经网络表示与模型压缩》的第 1 部分 。 GB/T 42382 已经发布了以下部分:

　　— 第 1 部分:卷积神经网络 。

　　本文件由全国信息技术标准化技术委员会(SAC/TC28)提出并归口 。

　　本文件起草单位:北京大学 、鹏城实验室 、深圳市海思半导体有限公司 、赛灵思电子科技(北京)有限公司 、杭州海康威视数字技术股份有限公司 、北京百度网讯科技有限公司 、深圳市腾讯计算机系统有限公司 、华为技术有限公司 、厦门大学 、中国电子技术标准化研究院 、中国科学院自动化研究所 、浙江大学 、中国科学技术大学 、上海交通大学 、清华大学 、中关村视听产业技术创新联盟 。

　　本文件主要起草人: 田永鸿 、杨帆 、纪荣嵘 、单弈 、陈光耀 、燕肇一 、郑侠武 、浦世亮 、谭文明 、李哲陽 、彭博 、钟刚 、赵恒锐 、段文鸿 、胡浩基 、李翔 、骆阳 、王炜 、许奕星 、李慧霞 、林绍辉 、王培松 、赵依 、胡晓光 、郑辉煌 、蒋佳军 、马金成 、程健 、江帆 、朱文武 、汪小娟 、高文 、黄铁军 、赵海英 、马珊珊 。

　　Ⅲ

　　GB/T 42382 . 1—2023

　　引 言

　　神经网络的表示和模型压缩是人工智能技术体系的重要组成部分 , 是国民经济各行业应用人工智能的前提 。然而 , 多源算法平台不能协同工作 , 模型不可以相互转换 , 制约了人工智能技术的传播和应用 。为了保证人工智能技术的跨平台可操作性 , 提升模型复用效果 , 本标准将对神经网络的表示和模型压缩进行规范 , 带动人工智能产业的健康 、快速发展 。 GB/T 42382 旨在确立适用于卷积神经网络 、大规模预训练网络及图神经网络的神经网络表示与模型压缩的规范 , 拟由三个部分组成:

　　— 第 1 部分:卷积神经网络 。 目的在于确立适用于卷积神经网络的表示与模型压缩标准 。

　　— 第 2 部分:大规模预训练模型 。 目的在于确立适用于大规模预训练网络的模型表示 、模型压缩及模型传输标准 。

　　— 第 3 部分:图神经网络 。 目的在于确立图数据和图神经网络表示 , 确定图神经网络模型的编码格式标准 。

　　本文件的发布机构提请注意 , 声明符合本文件时 , 可能涉及到 6 、7 、8 、9 、10 、11 与《神经网络表示标准框架结构》(专利号:201810575097 . 7) ;7 . 1 . 4 、8 . 1 . 3 、9 . 3 . 2 与《基于神经网络差分的量化方法及系统》 (专利 号 : 201910478617 . 7) ; 7 . 2 、8 . 2 、9 . 4 与《一 种 基 于 参 数 范 数 的 神 经 网 络 量 化 方 法》(专 利 号 : 201810387893 . 8) ;7 . 4. 2 、8 . 4. 2 、9 . 6 . 2 与《一 种 神 经 网 络 计 算 方 法 和 装 置》(专 利 号 : PCT/CN2018/ 101598) ;7 . 1 . 3 、8 . 1 . 2 、9 . 3 . 1 与《一种神经网络模型 、数据处理方法及处理装置》(专利号: PCT/CN2019/ 085885) 、《一种神经网络模型 、数据处理方法及处理装置》(专利号:201810464380 . 2) ;7 . 2 . 3 . 3 、7 . 2 . 4. 3 、8 .

　　2 . 3 . 3 、8 . 2 . 4. 3 、9 . 4. 1 . 1 、9 . 4. 2 . 1 与《Neural Network Quantization Method using Multiple Refined Quan- tized Kernels for Constrained Hardware Deployment》(专利号: PCT/EP2019/053161) ; 9 . 2 . 2 与《图像生成方法 、神经网络的压缩方法及相关装置 、设备》(专利号:201910254752 . 3) ; 7 . 2 . 4. 1 、8 . 2 . 4. 1 、9 . 4. 2 . 2与《模型训练方法 、装置 、存储介质和程序产品》(专利号: PCT/CN2019/129265) ;7 . 2 、8 . 2 与《神经网络模型和训练方法和装置》(专利号: CN202010144315 . 9) 、《神经网络模型的量化方法和装置》(专利号: CN202010143782 . X) 、《神经网络模型的量化方法和装置》(专利号: CN202010144339 . 4) 、《神经网络模型压缩方法以及装置》(专利号 : CN201610943049 . X) ; 6 . 2 、6 . 3 与《DEEP LEARNING PROCESSING APPARATUSAND METHOD, DEVICE AND STORAGE MEDIUM》(专利号: US17/017 , 600) ; 7 .

　　4 、8 . 4 与《 NEURAL NETWORK DATA PROCESSING APPARATUS, METHOD AND ELEC- TRONIC DEVICE》(专利号: US16/893 , 044) ;7 . 2 、8 . 2 、9 . 4 与《基于多比特神经网络非线性量化的深度神经网络压缩方法》(专利号:201910722230 . 1) ; 7 . 3 、8 . 3 、9 . 5 与《一种基于结构化剪枝的高效图像分类方法》(专利号:201910701012 . X) ;7 . 3 、8 . 3 、9 . 5 与《一种基于增量正则化的神经网络结构化稀疏方法》 (专利号:201910448309 . X) ; 11 与《一种模型数据的处理方法 、装置及设备》(专利号:201911230340 . 2) ; 7 . 2 . 3 . 4 、7 . 2 . 4. 4 、7 . 2 . 4. 5 与《一 种 应 用 有 界 线 性 整 流 单 元 的 全 整 数 神 经 网 络 系 统 》(专 利 号 : 2019104537988) ; 7 . 4 、8 . 4 、9 . 6 与《基于张量分解的深度卷积神经网络的加速与压缩方法》(专利号 :

　　201610387878 . 4) 相关专利的使用 。

　　本文件的发布机构对于该专利的真实性 、有效性和范围无任何立场 。

　　该专利持有人已向本文件的发布机构承诺 , 他愿意同任何申请人在合理且无歧视的条款和条件下 ,就专利授权许可进行谈判 。该专利持有人的声明已在本文件的发布机构备案 , 相关信息可以通过以下联系方式获得:

　　专利持有人:北京大学 、华为技术有限公司 、北京百度网讯科技有限公司 、厦门大学 、浙江大学 、赵恒锐 、中科院自动化研究所

　　Ⅳ

　　GB/T 42382 . 1—2023

　　地址:北京市海淀区颐和园路 5 号理科 2 号楼 2604 室 邮编:100871;北京市上地信息路 3 号华为

　　大厦 邮编:100085;北京市海淀区上地十街 10 号百度大厦 邮编:100085;福建省厦门市思明区厦门大学

　　信息学院 邮编:361005;浙江省杭州市西湖区浙大路 38 号浙江大学玉泉校区 邮编:310000;安徽省合肥市蜀山区中国科学技术大学西区 邮编:230027;北京市海淀区中关村东路 95 号 邮编 : 100190

　　联 系 人:黄铁军

　　通讯地址:北京大学理科 2 号楼 2641 室

　　电子邮件: tjhuang@pku. edu. cn

　　电话 : +8610-62756172

　　请注意除上述专利外,本文件的某些内容仍可能涉及专利 。本文件的发布机构不承担识别专利的责任 。

　　V

　　GB/T 42382 . 1—2023

　　信息技术 神经网络表示与模型压缩

　　第 1 部分:卷积神经网络

　　1 范围

　　本文件规定了卷积神经网络离线模型的表示与压缩过程 。

　　本文件适用于各种卷积神经网络模型的研制 、开发 、测试评估过程 , 以及在端云领域的高效应用 。注 : 对于本文件规定的表示与模型压缩方法不要求机器学习框架原生支持 , 可以通过转换 、工具包等形式支持 。

　　2 规范性引用文件

　　下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款 。其中 , 注 日期的引用文件 , 仅该日期对应的版本适用于本文件;不注日期的引用文件 , 其最新版本(包括所有的修改单)适用于本文件 。

　　GB/T 5271 . 34—2006 信息技术 词汇 第 34 部分:人工智能 神经网络

　　3 术语和定义

　　下列术语和定义适用于本文件 。

　　3.1

　　编解码表示 codec representation

　　使用压缩技术减少模型的规模 。

　　注 : 具体定义参考编解码表示 , 见第 10 章 。

　　3.2

　　层 layer

　　神经网络中的分级结构 。

　　注 : 每个网络层包含多个个算子 , 例如输入层 , 卷积层 , 全连接层 。

　　3.3

　　参考随机向量 reference random vector

　　整个网络共存的基础符号向量 。

　　3.4

　　多重 INT4 量化 multiple INT4 quantization

　　一种量化的方式 , 将一个张量量化为多个 INT4 张量的组合的量化方式 。

　　3.5

　　封装表示 encapsulation representation

　　支出安全信息和身份验证等接口 。

　　注 : 具体定义参考模型保护 , 见第 11 章 。

　　3.6

　　分块结构化矩阵 block structured matrix

　　可以分为多个块 , 且每个分块均按照某种规律排列的矩阵 。

　　1

　　GB/T 42382 . 1—2023

　　3.7

　　分块循环矩阵 block circulant matrix

　　每个分块为循环矩阵的矩阵 。

　　3.8

　　共享权重 shared weight

　　共享权重值 shared weight value

　　共享权重张量 shared weight tensor

　　一个神经网络处理多个不同任务 , 多个任务共享的权重部分 。

　　3.9

　　共享偏置 shared bias

　　共享偏置向量 shared bias vector

　　用一个神经网络处理多个不同任务 , 多个任务共享的偏置部分 。

　　3 . 10

　　卷积神经网络 convolutional neural network

　　一种前馈神经网络 , 在其至少一层中使用卷积 。

　　注 : 是人工智能应用中代表的深度学习算法 , 定义参见 ISO/IEC DIS22989 :2022 。

　　3 . 1 1

　　紧凑表示 compact representation

　　输出通过多种神经网络紧凑表示算法压缩后的序列化格式 。

　　示例 : 结构化矩阵 、多模型间权重共享 、稀疏编码的稀疏矩阵 、权重量化的量化表 、低秩分解的分解矩阵和二值神经网络的位表示 。

　　注 : 具体定义参考压缩过程 、解压过程 、数据生成方法 , 见第 7 章 ~第 9 章 。

　　3 . 12

　　基础符号向量 basic symbol vector

　　包括整个网络共存的基础符号向量 , 以及每层对应的基础符号向量 , 其中 , 每层对应的基础符号向量是以某约定规则从网络的基础符号向量中获得 。

　　3 . 13

　　校正输入向量 correct input vector

　　网络层的输入向量中的元素与扰动向量中对应位置的元素相乘 , 所得到的向量 。

　　3 . 14

　　结构化矩阵 structured matrix

　　一类特殊的矩阵 , 可以通过使用较少的数据以及一定的排列规律 , 构成完整的矩阵 。

　　3 . 15

　　卷积核粒度量化 convolution kernel granularity quantization

　　一种量化的方式 , 对于卷积层权重 , 以输出 channel切分 , 逐个 3D卷积核进行的量化方式 。

　　3 . 16

　　可互操作表示 interoperable representation

　　对神经网络的语法定义 、支持的运算操作定义和权重格式(整型 、浮点型和定点型)的定义 。

　　注 : 具体定义参考神经网络模型的语法和语义 , 见第 6 章 。

　　3 . 17

　　量化尺度因子 quantitative scale factor

　　原始张量与量化后的张量的缩放比例 。

　　2

　　GB/T 42382 . 1—2023

　　3 . 18

　　模型压缩 model compression

　　减小神经网络模型规模 , 提高神经网络模型运行和传输效率的方法。

　　3 . 19

　　模型 model

　　对应完成单个或多个任务的神经网络。

　　3 . 20

　　偏置 bias;offset

　　偏置向量 bias vector;offset vector

　　基于参考值的系统性偏差。

　　注 : 具体定义参见 ISO/IEC 2382 :2015 。

　　3 . 21

　　权重 weight

　　权重张量 weight tensor

　　连接权重 connection weight;connection strength;synaptic weight

　　一个系数 , 在它与其他输入值结合前 , 乘以人工神经元的输入值。

　　注 : 具体定义参见 GB/T 5271 . 34—2006 。

　　3 . 22

　　权重聚合维度 weight aggregation dimension

　　共享权重张量和特有权重向量进行拼接的维度。

　　3 . 23

　　任务 task

　　用神经网络实现某种功能。

　　示例 : 如图像超级分辨率 , 图像降噪。

　　3 . 24

　　扰动向量 disturbance vector

　　扰动符号向量

　　将随机向量扩展 , 使其维数为网络层输入向量的维数 , 所得到的符号向量。

　　3 . 25

　　神经网络表示 neural network representation

　　表示神经网络的基本语法 、语义 、运算 、超参数 、码流定义方法。

　　3 . 26

　　随机向量 random vector

　　随机符号向量

　　单个网络层对应的基础符号向量。

　　3 . 27

　　特有权重 unique weight

　　特有权重值 unique weight value

　　特有权重张量 unique weight tensor

　　用一个神经网络处理多个不同任务 , 对任一任务而言 , 其不共享的权重部分。

　　3 . 28

　　特有权重列表 unique weight list

　　用一个神经网络处理多个不同任务 , 除共享权重值以外的部分 , 也是多个任务不共享的权重部分的组合。

　　3

　　GB/T 42382 . 1—2023

　　3 . 29

　　特有偏置 specific offset vector

　　特有偏置向量

　　用一个神经网络处理多个不同任务 , 对任一任务而言 , 其不共享的偏置部分 。

　　3 . 30

　　特有偏置向量列表 list of unique offset vectors

　　用一个神经网络处理多个不同任务 , 除共享权重值以外的部分 , 也是多个任务不共享的权重部分的组合 。

　　3 . 31

　　循环矩阵 circulant matrix

　　循环矩阵是结构化矩阵的一种 , 排列规则为当前行/列为前一行/列的循环移位 。

　　4 缩略语

　　下列缩略语适用于本文件 。

　　CNN:卷积神经网络(Convolutional Neural Network)

　　DNN:深度神经网络(Deep Neural Network)

　　PQ:乘积量化(Product Quantization)

　　5 约定

　　5 . 1 规则

　　本文件中使用的数学运算符和优先级与 C语言使用的类似 。但对整型除法和算术移位操作进行了特定定义 。 除特别说明外 , 约定编号和计数从 0 开始 。

　　5 . 2 算术运算符

　　算术运算符定义见表 1 。

　　表 1 算术运算符定义

　　算术运算符

　　定义

　　+

　　加法运算

　　—

　　减法运算(二元运算符)或取反(一元前缀运算符)

　　×

　　乘法运算

　　ab

　　幂运算 , 表示 a 的 b 次幂 。也可表示上标

　　/

　　整除运算 , 沿向 0 的取值方向截断 。例如 , 7/4 和 —7/—4 截断至 1 , —7/4 和 7/—4 截断至 —1

　　÷

　　除法运算 , 不做截断或四舍五入

　　除法运算 , 不做截断或四舍五入

　　自变量 i 取由 a 到b(含 b)的所有整数值时 , 函数 f(i)的累加和

　　a%b

　　模运算 , a 除以 b 的余数 , 其中 a 与 b 都是正整数

　　4

　　GB/T 42382 . 1—2023

　　5 . 3 逻辑运算符

　　逻辑运算符定义见表 2 。

　　表 2 逻辑运算符定义

　　逻辑运算符

　　定义

　　a&&b

　　a 和 b 之间的与逻辑运算

　　a|| b

　　a 和 b 之间的或逻辑运算

　　!

　　逻辑非运算

　　5 . 4 关系运算符

　　关系运算符定义见表 3 。

　　表 3 关系运算符定义

　　关系运算符

　　定义

　　>

　　大于

　　> =

　　大于或等于

　　<

　　小于

　　< =

　　小于或等于

　　= =

　　等于

　　! =

　　不等于

　　5 . 5 位运算符

　　位运算符定义见表 4 。

　　表 4 位运算符定义

　　位运算符

　　定义

　　&

　　与运算

　　|

　　或运算

　　~

　　取反运算

　　a≥b

　　将 a 以 2 的补码整数表示的形式向右移 b位 。仅当 b取正数时定义此运算

　　a冬b

　　将 a 以 2 的补码整数表示的形式向左移 b位 。仅当 b取正数时定义此运算

　　5 . 6 赋值

　　赋值运算定义见表 5 。

　　5

　　GB/T 42382 . 1—2023

　　表 5 赋值运算定义

　　赋值运算

　　定义

　　=

　　赋值运算符

　　++

　　递增 , x++相当于 x=x+1 。 当用于数组下标时 , 在自加运算前先求变量值

　　— —

　　递减 , x——相当于 x=x—1 。 当用于数组下标时 , 在自减运算前先求变量值

　　+ =

　　自加指定值 , 例如 x+ =3 相当于 x=x+3 , x+=(—3)相当于 x=x+(—3)

　　— =

　　自减指定值 , 例如 x— =3 相当于 x = x—3 , , x—=(—3)相当于 x = x— (—3)

　　5 . 7 数学函数

　　数学函数定义见式(1)~式(10) 。

　　Abs(x …………………………( 1 )

　　式中:

　　x — 自变量 x 。

　　ceil(x) =「x …………………………( 2 )

　　式中:

　　x — 自变量 x 。

　　clip1(x)=clip3(0 , 2 BitDepth —1 , x) …………………………( 3 )

　　式中:

　　x — 自变量 x ;

　　BitDepth — 编码样本精度 。

　　clip3(i , j , x …………………………( 4 )

　　式中:

　　x — 自变量 x ;

　　i — 下界 ;

　　j — 上界 。

　　Median(x , y, ≈)=x+y+≈—Min[x , Min(y, ≈)]—Max[x , Max(y, ≈)] ……( 5 )式中:

　　x — 自变量 x ;

　　y — 自变量 y ;

　　≈ — 自变量 ≈ 。

　　Min(x , y …………………………( 6 )

　　式中:

　　x — 自变量 x ;

　　y — 自变量 y 。

　　Max(x , y …………………………( 7 )

　　6