JJF 2379-2026 行人重识别(ReID)算法测评方法
- 名 称:JJF 2379-2026 行人重识别(ReID)算法测评方法 - 下载地址2
- 类 别:计量标准
- 下载地址:[下载地址2]
- 提 取 码:
- 浏览次数:3
发表评论
加入收藏夹
错误报告
目录| 新闻评论(共有 0 条评论) |
资料介绍
中华人民共和国国家计量技术规范
JJF 2379—2026
行人重识别( ReID)算法测评方法
Evaluation Method for Person Re-identification Algorithm
2026-01-24 发布 2026-07-24 实施
国 家 市 场 监 督 管 理 总 局 发 布
JJF 2379—2026
行人重识别( ReID)算法
测评方法
Evaluation Method for Person Re-identification
Algorithm
→→→→→→→、
→→→→→→→、
→→→→→→→→→→→→→→→→→、
→→→→→→→→→→→→→→→→→、
JJF 2379—2026
归 口 单 位: 全国数字计量技术委员会
主要起草单位: 中国计量科学研究院
之江实验室
浙江省质量科学研究院
参加起草单位: 中国烟草总公司郑州烟草研究院
本规范委托全国数字计量技术委员会负责解释
JJF 2379—2026
本规范主要起草人:
崔伟群(中国计量科学研究院)
杨穷千(之江实验室)
骆 蕾(浙江省质量科学研究院)参加起草人:
张建锋(之江实验室)
黄丹丹(之江实验室)
王亭亭(中国计量科学研究院)
苗 芊(中国烟草总公司郑州烟草研究院)
JJF 2379—2026
目 录
引言 ( Ⅱ )
1 范围 ( 1 )
2 引用文件 ( 1 )
3 术语和定义 ( 1 )
4 概述 ( 3 )
5 数字量具要求 ( 3 )
5.1 数字量具分类 ( 3 )
5.2 数字量具通用要求 ( 3 )
5.3 全特性数字量具 ( 4 )
5.4 拍摄角度数字量具 ( 4 )
5.5 光照数字量具 ( 5 )
5.6 分辨率数字量具 ( 6 )
5.7 遮挡数字量具 ( 6 )
6 测评条件 ( 7 )
7 测评项目与测评方法 ( 7 )
7.1 测评项目 ( 7 )
7.1.1 平均精度均值 ( 7 )
7.1.2 处理效率 ( 8 )
7.2 测评方法 ( 8 )
8 测评结果表达 ( 8 )
8.1 测评数据处理 ( 8 )
8.2 测评记录 ( 9 )
8.3 测评报告 ( 9 )
附录 A 行人重识别算法( ReID )测评原始记录 ( 10)
附录 B 行人重识别( ReID )算法测评报告格式 ( 12)
Ⅰ
JJF 2379—2026
引 言
JJF 1001—2011 《通用计量术语及定义》 与 JJF 1059. 1—2012 《测量不确定度评定与表示》 共同构成支撑本规范制定工作的基础性系列规范 。
本规范主要参考了 GB/T 41864—2022 《信息技术 计算机视觉 术语》 的技术要求编制而成 。
本规范为首次发布 。
Ⅱ
JJF 2379—2026
行人重识别( ReID ) 算法测评方法
1 范围
本规范规定了行人重识别算法的数字量具构建方法 、测评指标 、测评方法 、结果表述等内容 。本规范适用于行人重识别算法综合性能的测评 。
2 引用文件
本规范引用了下列文件:
JJF 1001—2011 通用计量术语及定义
GB/T 41864—2022 信息技术 计算机视觉 术语
凡是注日期的引用文件 , 仅注日期的版本适用于本规范 ; 凡是不注日期的引用文件 ,其最新版本(包括所有的修改单) 适用于本规范 。
3 术语和定义
GB/T 41864—2022 界定的及以下术语和定义适用于本规范 。
3. 1 行人重识别算法 person re-identification algorithm
给定一个行人目标 , 从不同时刻或多个摄像机所拍摄的视频或图像中寻找出该行人的算法 。
注:
1 行人重识别可以跨姿态 ,常用于公共安防的刑侦工作以及图像检索等场景。
2 类似技术也可以应用于其他目标的以图搜图中 ,如车辆、箱包等。
[来源: GB/T 41864—2022 , 3. 6. 6. 5 ,有修改]
3. 2 数字量具 digit measuring instrument
具有所赋量值及测量不确定度 , 使用时以固定格式复现或提供一个或多个量值及测量不确定度的数据集 、算法软件或装置 。
3. 3 查询图像集 query set
数字量具内由待查询行人图像构成的图像数据集 。
3. 4 检索图像集 gallery set
数字量具内由被检索行人图像构成的图像数据集 。
注 :查询图像集与检索图像集共同构成数字量具。
3. 5 正样本 positive sample
检索图像集内与所输入的待查询行人图像包含同一目标行人的样本 。
注 :对应于查询图像集内的每一张待查询行人图像 ,检索图像集内均有其对应的正样本。
3. 6 负样本 negative sample
检索图像集内不包含所输入的待查询行人图像目标行人的样本 。
1
JJF 2379—2026
注 :对应于查询图像集内的每一张待查询行人图像 ,检索图像集内均有其对应的负样本。
3. 7 特征匹配 feature matching
一种通过计算特征间相似度来确定物体或图像间相近关系的过程 。
[来源: GB/T 41864—2022 , 3. 5. 1. 12]
3. 8 前 K 检索结果 top-K search result ;top-K
对 于 输 入 的 待 查 询 行 人 图 像 , 算 法 输 出 的 带 有 排 序 的 检 索 结 果 中 前 K 个 样 本 的集合 。
注 :K 最大取值为检索图像集样本总数。
3. 9 精度 precision
预测类别为正样本的集合中真实样本为正样本的比率 。
注 :精度一般每一类分别计算。
[来源: GB/T 41864—2022 , 3. 9. 8]
3. 10 召回率 recall
被正确预测的正样本占全部真实正样本的比率 。
注 :召回率和精度一般具有反比关系 ,一方升高时另一方趋于降低。
[来源: GB/T 41864—2022 , 3. 9. 20 ,有修改]
3. 11 精度- 召回率曲线 precision recall curve
精度
1.0
0.9
0.8
0.7
0.6
0.5
将不同参数 K 取值下的精度作为召回率的函数得到的曲线 , 如图 1 所示 。
I I I I I I
0.0 0.2 0.4 0.6 0.8 1.0
召回率
图 1 精度- 召回率曲线图
[来源: GB/T 41864—2022 , 3. 9. 9 ,有修改]
3. 12 平均精度 average precision
精度- 召回率曲线下方与坐标轴所构成区域的面积 。
3. 13 平均精度均值 mean average precision
对于不同类别的平均精度计算平均值得到的性能评价指标 。 [来源: GB/T 41864—2022 , 3. 9. 15]
2
JJF 2379—2026
3. 14 处理效率 processing efficiency
在给定软硬件环境下 , 被测算法对给定的测试集处理每亿像素数( px ) 所用的平均时长 ,单位为 s/109 px。
4 概述
行人重识别是在跨摄像头 、跨场景下利用计算机视觉技术在图像集或视频序列中检索特定行人的技术 。其工作原理为: 给定一张待查询行人图像 , 将其与检索图像集中所有图像逐一进行特征匹配 , 并根据特征的相似度排序输出检索结果 。该技术已被广泛应用于失踪者定位 、犯罪跟踪 、行人视频检索等智能监控 、智能安防领域 。
5 数字量具要求
5. 1 数字量具分类
本规范结合行人重识别算法在实际应用场景中常受到的干扰因素分析 , 分类建立了用于行人重识别算法测评的数字量具 , 见图 2 。全特性数字量具涵盖来源于室内外不同季节 、光照 、拍摄角度 、遮挡 、分辨率等情景的图像数据 ,其包含光照数字量具 、拍摄角度数字量具 、遮挡数字量具与分辨率数字量具的所有数据以及其他数据 , 其中其他数据不再用于单独测评 。
全特性数字量具
拍摄角度
数字量具
光照
数字量具
遮挡
数字量具
分辨率
……
数字量具
图 2 行人重识别算法数字量具分类
5. 2 数字量具通用要求
所有数字量具均应满足以下要求:
a) 性别分布: 男 、女比例分布保持约 1 ∶ 1;
b) 年 龄 分 布 : 其 中 0~15 岁 约 占 : 20% , 16~59 岁 约 占 : 60% , 60 岁 及 以 上 约占: 20%;
c) 图像格式: 格式为 jpg 、bmp 、png 、jpeg 等;
d) 图像标注: 标注信息应包含行人编号 、 图像采集设备编号 、拍摄角度 、平均亮度 、遮挡比例 、分辨率等信息;
e) 图像采集: 每个行人图像来源于不少于 5 台图像采集设备 , 图像分辨率不低于
64 px×128 px , 图像采集设备镜头中心设置距地面高度为 2 m~ 3. 5 m , 上下俯仰角小于 10° , 左右偏转角小于 10° , 如图 3 所示;
3
JJF 2379—2026
镜头中心
架设
高度
2 m~3.5 m
地面
4
水平线
<10。
上下
俯仰角
镜头中心
水平线
左右偏转角
<10。镜头中心
/
图 3 摄像机架设示意图
f) 图像数量: 每组数字量具行人数量不少于 500 , 每个行人图像数不少于 10 张 。
5. 3 全特性数字量具
全特性数字量具要求见表 1 , 全特性数字量具涵盖来源于室内外不同季节 、天气 、光照 、拍摄角度 、遮挡 、分辨率等丰富场景的图像数据 。
表 1 全特性数字量具
编号
参数
分布要求
占比
标准不确定度应优于
1
拍摄角度
0°~360°
100%
8.7 °
2
平均亮度
30~255
100%
31
3
遮挡
0%~80%
100%
5.8%
4
分辨率
图像分辨率不低于 64 px×128 px
100%
1.7×103 px
注 :本规范中平均亮度通过图像平均灰度值表示。
5. 4 拍摄角度数字量具
涵盖行人不同角度如正面 、侧面 、背面等情况下的图片数据 , 行人在图像中的角
JJF 2379—2026
度可如图 4 所示进行计算 , 图中行人颜色由深黑色变为浅灰色对应其由正面逐渐转向背面 。拍摄角度数字量具要求见表 2。
正面
0。 0。 0。
60。 300。
120。 240。
5
45。
0。315。
侧面
90。 90。
60。
270。 270。 300。
120。 180。 180。 180。240。背面
图 4 拍摄角度示意图
表 2 拍摄角度数字量具
编号
参数
分布要求
占比
标准不确定度应优于
1
拍摄角度
正面
0°~60°
30%
8.7 °
300°~360°
侧面
60°~90°
40%
90°~120°
240°~270°
270°~300°
背面
120°~180°
30%
180°~240°
2
平均亮度
90~130
100%
12
3
遮挡
0%~20%
100%
5.8%
4
分辨率
图像分辨率大于 96 px×192 px
100%
1.7 × 103 px
5. 5 光照数字量具
涵盖拍摄于不同光照条件下的图像数据 ,光照数字量具要求见表 3。
表 3 光照数字量具要求
编号
参数
分布要求
占比
标准不确定度应优于
1
拍摄角度
0°~60°
100%
8.7 °
300°~360°
JJF 2379—2026
表 3 光照数字量具要求(续)
编号
参数
分布要求
占比
标准不确定度应优于
2
平均亮度
30~70
20%
12
70~150
60%
23
150~255
20%
31
3
遮挡
0%~20%
100%
5.8%
4
分辨率
图像分辨率大于 96 px×192 px
100%
1.7×103 px
5. 6 分辨率数字量具
涵盖分辨率分布不均图像数据 ,分辨率数字量具要求见表 4。
表 4 分辨率数字量具要求
编号
参数
分布要求
占比
标准不确定度应优于
1
拍摄角度
0°~60°
100%
8.7 °
300°~360°
2
平均亮度
90~130
100%
12
3
遮挡
0%~20%
100%
5.8%
4
分辨率
64 px×128 px~96 px×192 px
20%
1.2×102 px
96 px×192 px~384 px×480 px
30%
3.5×102 px
384 px×480 px~672 px×768 px
30%
5.9×102 px
图像分辨率大于 672 px×768 px
20%
1.7×103 px
5. 7 遮挡数字量具
涵盖行人被遮挡的图像数据 ,遮挡数字量具要求见表 5。
表 5 遮挡数字量具计量要求
编号
参数
分布要求
占比
标准不确定度应优于
1
拍摄角度
0°~60°
50%
8.7 °
300°~360°
50%
2
平均亮度
90~130
100%
12
3
遮挡
0%~20%
25%
5.8%
20%~40%
25%
40%~60%
25%
60%~80%
25%
4
分辨率
图像分辨率大于 96 px×192 px
100%
1.7×103 px
6
JJF 2379—2026
6 测评条件
测评时被测方需提供以下资料:
a) 测试所需运行环境 、配置参数 、配置接口等描述文件;
b) 被测算法可执行文件;
c) 其他支撑文件 , 如用户手册等 。
7 测评项目与测评方法
7. 1 测评项目
7. 1. 1 平均精度均值
采 用 平 均 精 度 均 值 ( mean average precision , mAP) 作 为 衡 量 算 法 检 索 准 确 性 的指标 。
对于算法输出的带有排序的检索结果中前 K 个样本的集合 , 其对应前 K 检索结果精度计算见公式(1), 前 K 检索召回率计算见公式(2)。
pK (1)
rK (2)
式中:
pK ——前 K 检索结果精度;
nP - K——前 K 检索结果中的正样本数;
nP ——检索图像集内正样本总数;
rK ——前 K 检索召回率 。
平均精度( average precision ,AP) 计算见公式(3)。
式中:
p (r )——精度- 召回率曲线 。
由于算法输出结果离散 , 定义对于每个查询图像 ,算法共输出 n 个排序查询结果,其对应 AP 计算见公式(4)。
式中:
AP ——每个查询图片对应的平均精度;
n ——检索图像集 gallery 图像总数;
rK - 1 ——前 K - 1 检索召回率 。
则平均精度均值计算见公式(5)。
7
JJF 2379—2026
式中:
mAP——查询图像集 query 中所有图片的平均精度均值;
m ——查询图像集 query 中的图像总数;
APi ——查询图像集 query 中第 i 张图像的平均精度 。
7. 1. 2 处理效率
采用处理效率(processing efficiency ,pe )作为衡量算法检索速度的指标 。
处理效率 pe 计算见公式(6)。
式中:
pe ——处理效率 , s/109 px;
tf ——检索结果输出的系统时刻 , s;
ta ——开始测试的系统时刻 , s;
resq(i)uery ——查询图像集 query 中第 i 张图像的总像素数;
resg(j)allery——检索图像集 gallery 中第j 张图像的总像素数 。
7. 2 测评方法
行人重识别算法测评方法为将行人重识别算法对全特性数字量具 、拍摄角度数字量具 、光照数字量具 、遮挡数字量具以及分辨率数字量具分别进行独立测评 , 共 5 组测评实验 , 每组重复 3 次 ,对多次测评值取平均值作为测评结果 。
以全特性数字量具为例 ,其测评流程如下:
a) 在给定硬件设备内依据测试资料配置运行环境;
b) 依据接口文档要求规范配置被测算法;
c) 被测算法对指定数字量具进行测量: 依次进行图像数据与模型导入 、 图像预处理 、图像特征提取 、特征匹配 、特征相似度排序等操作;
d) 依据 7. 1 内容输出被测算法对全特性数字量具的平均精度均值 mAP 、处理效率pe 以及可视化检索结果 。
重复上述步骤 c) ~步骤 d), 分别测试光照数字量具 、拍摄角度数字量具 、遮挡数字 量 具 与 分 辨 率 数 字 量 具 对 应 输 出 的 平 均 精 度 均 值 与 处 理 效 率 : mAP1 、 mAP2、 mAP3 、mAP4 ;pe1 、pe2 、pe3 、pe4 。
8 测评结果表达
8. 1 测评数据处理
所有的数值应先计算 ,后基于四舍五入原则修约至小数点后两位 。
8
JJF 2379—2026
8. 2 测评记录
测评记录宜尽可能详尽的记载过程测量数据 , 如: 精度 、召回率 、平均精度等及最终计算结果 ,测评记录格式示例见附录 A 。
8. 3 测评报告
算法测评结果通过测评报告表达 ,测评报告至少包含以下信息:
a) 标题 , 如“ 测评报告”;
b) 证书的唯一性标识(如编号);
c) 申请测评单位名称与地址;
d) 被测算法的描述与明确标识(如算法编号);
e) 测评实验室的名称与地址;
f) 进行测评的地点(如与测评实验室的地址不同);
g )进行测评的日期;
h) 本规范的标识 ,包括名称及编号;
i) 测评所用数字量具信息 , 包括: 数字量具编号 、所包含行人数量 、 图像采集设备数量 、查询图像集图像数量 、检索图像集图像数量;
j) 测评软硬件信息;
k) 测评所提交的资料清单;
l) 测评结果的说明;
m )测评证书签发人的签名 、职务或等效标识 , 以及签发日期;
n) 测评结果仅对被测对象有效的声明;
o) 未经实验室书面批准 ,不得部分复制证书的说明 。
测评报告示例的内页格式见附录 B。
9
JJF 2379—2026
附录 A
行人重识别算法( ReID ) 测评原始记录
行人重识别算法( ReID )测评原始记录(推荐性) 如表A . 1~表 A . 6 所示 。
表 A. 1 测评基本信息及资料审查
申请编号
算法名称
版本号
申请单位名称
申请单位地址
联系人
电话
传真
测评单位
测评地址
依据的技术文件(代号和名称)
测评人
审核人
测评日期
提交资料清单
资料名称
是否提交
备注
1) 运行环境 、配置参数描述
2) 被测算法模型可执行文件
3) 其他支撑文件
测评硬件设备参数
测评软环境参数
表 A. 2 测试用数字量具信息
数字量具
数字量具编码
ID
Cam
Query
Gallery
全特性数字量具
子数字量具
拍摄角度
数字量具
光照
数字量具
分辨率数字量具
遮挡
数字量具
表 A. 3 精度与召回率原始记录格式
query 样本编号
检索结果排序
1
2
3
……
n
1
2
10
JJF 2379—2026
表 A. 3 精度与召回率原始记录格式(续)
query 样本编号
检索结果排序
1
2
3
……
n
3
……
m
注 :精度与召回率原始记录以 “ .xlsx 、.xls 、.csv ” 等文件格式保存并作为附件给出 ,命名规则为 Recall/Precision _ (算法名称) _ (数字量具编码)。 表格中的值为对 query 的第 i 个样本算法返回的前K 检索结果的精度或召回率。
表 A. 4 平均精度原始记录格式
query 样本编号
1
2
3
……
m
AP
注 :评价精度原始记录以 “ .xlsx 、.xls 、.csv ” 的文件格式保存并作为附件给出 ,命名规则为AP _ (算法名称) _ (数字量具编码)。 表格中的值为对 query 的第 i 个样本所计算得出的平均精度值。
表 A. 5 平均精度均值原始记录格式
数字量具
数字量具编码
mAP
全特性数字量具
子数字量具
拍摄角度数字量具
光照数字量具
分辨率数字量具
遮挡数字量具
表 A. 6 算法处理效率原始记录格式
数字量具
数字量具编码
query
(px)
gallery
(px)
ta
tf
pe
(s/109 px)
全特性数字量具
子数字量具
拍摄角度
数字量具
光照
数字量具
分辨率数字量具
遮挡
数字量具
11
JJF 2379—2026
附录 B
行人重识别( ReID ) 算法测评报告格式
报告编号:
算法名称及版本号 :
申请单位名称 :
申请单位地址 :
测评单位:(盖章)
测评 : 审核 : 批准 :
日期 : 日期 : 日期 :
第 页 共 页
12
JJF 2379—2026
1. 测评基本信息
报告编号
算法名称
版本号
申请单位名称
申请单位地址
联系人
电话
传真
测评单位
测评地址
依据的技术文件(代号和名称)
测评人
审核人
测评日期

