GB/T 37036.7-2023 信息技术 移动设备生物特征识别 第7部分：多模态

　　ICS 35 . 240 . 01 CCS L 67

　　中 华 人 民 共 和 国 国 家 标 准

　　GB/T 37036 . 7—2023

　　信息技术 移动设备生物特征识别

　　第 7 部分 : 多模态

　　Information technology—Biometrics used with mobile devices—

　　part 7 : multi-modal

　　2023-03-17 发布 2023-10-01 实施

　　国家市场监督管理总局国家标准化管理委员会

　　

　　发

　　

　　布

　　GB/T 37036 . 7—2023

　　目 次

　　前言 I

　　引言 "

　　1 范围 1

　　2 规范性引用文件 1

　　3 术语和定义 1

　　4 总体框架 2

　　4 . 1 融合层级 2

　　4 . 2 技术架构 2

　　5 业务流程 3

　　5 . 1 概述 3

　　5 . 2 样本级融合 3

　　5 . 3 特征级融合 4

　　5 . 4 分数级融合 5

　　5 . 5 决策级融合 6

　　6 功能要求 8

　　6 . 1 总体要求 8

　　6 . 2 多模态特征采集模块 8

　　6 . 3 多模态特征存储模块 8

　　6 . 4 多模态特征比对模块 9

　　7 注册失败率和识别响应时间 9

　　7 . 1 多模态识别注册失败率 9

　　7 . 2 多模态识别响应时间 9

　　8 安全要求 9

　　8 . 1 总体要求 9

　　8 . 2 多模态信息采集安全 9

　　8 . 3 多模态信息存储安全 9

　　8 . 4 多模态信息使用安全 9

　　参考文献 10

　　GB/T 37036 . 7—2023

　　前 言

　　本文件按照 GB/T 1 . 1—2020《标准化工作导则 第 1 部分:标准化文件的结构和起草规则》的规定起草 。

　　本文件是 GB/T 37036《信息技术 移动设备生物特征识别》的第 7 部分 。 GB/T 37036 已经发布了以下部分:

　　— 第 1 部分:通用要求 ;

　　— 第 2 部分:指纹 ;

　　— 第 3 部分:人脸 ;

　　— 第 4 部分:虹膜 ;

　　— 第 6 部分:指静脉 ;

　　— 第 7 部分:多模态 ;

　　— 第 8 部分:呈现攻击检测 。

　　请注意本文件的某些内容可能涉及专利 。本文件的发布机构不承担识别专利的责任 。

　　本文件由全国信息技术标准化技术委员会(SAC/TC28)提出并归口 。

　　本文件起草单位:支付宝(中国)网络技术有限公司 、中国电子技术标准化研究院华东分院 、人力资源和社会保障部信息中心 、新大陆数字技术股份有限公司 、北京旷视科技有限公司 、中国电子技术标准化研究院 、浙江省标准化研究院 、蚂蚁科技集团股份有限公司 、北京中科虹霸科技有限公司 、北京曙光易通技术有限公司 、北京得意音通技术有限责任公司 、北京眼神智能科技有限公司 、联想中天科技有限公司 、上海商汤智能科技有限公司 、小米科技有限责任公司 、多尼斯智能科技(东莞)有限公司 、北京尊冠科技有限公司 、华为终端有限公司 、西安凯虹电子科技有限公司 、北京邮电大学 、北京万里红科技有限公司 、北京奇虎科技有限公司 、江苏威尔曼科技有限公司 、建信金融科技有限责任公司 、武汉虹识技术有限公司 、浙江大学 、惠州学院 、广东九联科技股份有限公司 、深圳市铭图创新科技有限公司 、国网区块链科技(北京)有限公司 、紫光同芯微电子有限公司 、广东中科臻恒信息技术有限公司 。

　　本文件主要起草人:林冠辰 、钟陈 、宋继伟 、彭晋 、王文峰 、王智飞 、蔡春水 、梅敬青 、李亮 、蒋建平 、陈继东 、郎俊奇 、高健 、刘倩颖 、朱东锋 、马晨光 、邱晗若 、李星光 、张亚浩 、郑方 、杨春林 、李扬 、蒋慧 、朱亚军 、魏大利 、王思善 、黄贵玲 、胥建民 、何召锋 、张小亮 、杨占金 、张屹 、顾群 、刘丽娟 、易开军 、张秉晟 、罗中良 、何强 、龚琼 、李清顺 、王栋 、赖华添 、杨敬锋 。

　　I

　　GB/T 37036 . 7—2023

　　引 言

　　GB/T 37036《信息技术 移动设备生物特征识别》拟由 9 个部分构成 。

　　— 第 1 部分:通用要求 。 目的在于确立移动设备生物特征识别的技术架构 、通用流程和要求 。

　　— 第 2 部分:指纹 。 目的在于确立移动设备在指纹生物识别方面的流程和要求 。

　　— 第 3 部分:人脸 。 目的在于确立移动设备在人脸生物识别方面的流程和要求 。

　　— 第 4 部分:虹膜 。 目的在于确立移动设备在虹膜生物识别方面的流程和要求 。

　　— 第 5 部分:声纹 。 目的在于确立移动设备在声纹生物识别方面的流程和要求 。

　　— 第 6 部分:指静脉 。 目的在于确立移动设备在指静脉生物识别方面的流程和要求 。

　　— 第 7 部分:多模态 。 目的在于确立移动设备在多模态生物识别方面的流程和要求 。

　　— 第 8 部分:呈现攻击检测 。 目的在于规定移动设备呈现攻击检测要求 。

　　— 第 9 部分:测试方法 。 目的在于描述移动设备不同类型生物特征识别的功能和性能测试方法 。 《信息技术 移动设备生物特征识别》第 1 部分给出了总体架构 , 提出了通用的要求;后续部分根据

　　生物特征识别技术在移动设备上的发展情况 , 针对指纹 、人脸 、虹膜 、声纹 、指静脉等具体模态提出具体要求 , 最后从安全和性能出发 , 对呈现攻击检测以及性能测试做出了规范 , 指导产品的落地与评估 。

　　多模态识别技术是移动设备生物特征识别的重要技术之一 , 为提高移动设备生物特征识别的安全性 、性能以及用户体验提供很好的技术解决方案 , 并且已经广泛用于各种应用场景 、包括移动支付 、电子政务 、电子医保等 。本文件给出移动设备生物特征识别多模态识别技术要求 。

　　"

　　GB/T 37036 . 7—2023

　　信息技术 移动设备生物特征识别

　　第 7 部分:多模态

　　1 范围

　　本文件规定了移动设备多模态识别系统总体框架 、业务流程 、功能要求 、性能要求以及安全要求 。本文件适用于移动设备上多模态识别系统设计 、研发 、生产 、测试和应用 。

　　2 规范性引用文件

　　下列文件中的内容通过文中的规范性引用而构成文件必不可少的条款 。 其中 , 注 日期的引用文件 , 仅该日期对应的版本适用于本文件;不注日期的引用文件 , 其最新版本(包括所有的修改单)适用于本文件 。

　　GB/T 36460 信息技术 生物特征识别 多模态及其他多生物特征融合

　　GB/T

　　37036 . 1—2018

　　信息技术

　　移动设备生物特征识别

　　第

　　1 部分:通用要求

　　GB/T

　　37036 . 2—2019

　　信息技术

　　移动设备生物特征识别

　　第

　　2 部分:指纹

　　GB/T

　　37036 . 3—2019

　　信息技术

　　移动设备生物特征识别

　　第

　　3 部分:人脸

　　GB/T

　　37036 . 4—2021

　　信息技术

　　移动设备生物特征识别

　　第

　　4 部分:虹膜

　　GB/T

　　37036 . 5—2023

　　信息技术

　　移动设备生物特征识别

　　第

　　5 部分:声纹

　　GB/T

　　37036 . 6—2022

　　信息技术

　　移动设备生物特征识别

　　第

　　6 部分:指静脉

　　GB/T 40660—2021 信息安全技术 生物特征识别信息保护基本要求

　　3 术语和定义

　　下列术语和定义适用于本文件 。

　　3.1

　　移动设备 mobile device

　　可接入网络的小型 、可手持使用的信息技术产品 。

　　注 : 本文件中的移动设备是指通用移动智能终端 , 如手机 、平板式计算机等 。 3.2

　　模式 mode

　　生物特征项(3 . 3)的类型 、传感器类型和处理方法的组合 。

　　[来源: GB/T 5271 . 37—2021 , 3 . 2 . 5] 3.3

　　生物特征项 biometric feature

　　从生物特征样本中提取的用于比对的数值或标记 。

　　注 1 : 生物特征项是完整的生物特征项提取的输出 。

　　注 2 : 该术语的使用与其在模式识别和数学领域的使用相一致 。

　　注 3 : 生物特征项集也可被看作是一个处理过的生物特征样本 。

　　注 4 : 生物特征项可以从中间生物特征样本中提取 。

　　1

　　GB/T 37036 . 7—2023

　　注 5 : 应用于生物特征样本的过滤器本身不是生物特征项 , 如特征脸不是生物特征项 , 但是过滤器应用于样本的输出可能是生物特征项 。

　　[来源: GB/T 5271 . 37—2021 , 3 . 3 . 11] 3.4

　　多模态 multi-modal

　　单个生物特征识别系统中 , 一个模式的三个组成成分中至少有两个是多重的 。

　　注 1 : 多重意味着类型的差异 。

　　注 2 : 三个组成成分指生物特征特性的类型 、传感器类型和处理方法 。

　　[来源: GB/T 5271 . 37—2021 , 3 . 2 . 6] 3.5

　　多模态识别 multi-modal recognition

　　一种基于多模态进行识别得到确定结果的生物特征识别技术 。

　　3.6

　　多模态特征 multi-modal feature

　　用于多模态识别的生物特征项 。

　　4 总体框架

　　4 . 1 融合层级

　　移动设备多模态识别层级分类按照 GB/T 36460 的描述 , 一般可以分为样本级融合 、特征级融合 、分数级融合和决策级融合四个层级 。

　　— 样本级融合即每个单一生物特征识别过程输出一组样本 , 将多组生物特征样本数据融合为 一个样本 。

　　— 特征级融合即每个单一生物特征识别过程输出一组特征 , 将多组生物特征融合为一个特征集或者特征向量 。

　　— 分数级融合即每个单一生物特征识别过程通常输出单一匹配分数 , 也可能是多个分数 。将多个生物特征识别分数融合成一个分数或决策 , 然后与系统接受阈值进行比较 。

　　— 决策级融合即每个单一生物特征识别过程输出一个布尔值 。利用混合算法如和与或 , 或者采用更多参数 , 如输入样本质量分数将结果进行融合 。

　　4 . 2 技术架构

　　本文件给出的移动设备多模态识别技术架构是 GB/T 37036 . 1—2018 中描述的通用技术架构在多模态识别应用领域的具体化 , 见图 1 。移动设备生物特征识别多模态融合过程中 , 样本级融合在样本采集后 , 特征提取前实现融合;特征级融合在特征提取过程中实现融合;分数级融合和决策级融合在特征比对模块被调用之后实现融合 。一个生物特征识别系统通常使用上述融合形式或者层级的一种来完成识别 。具体实现上 , 样本呈现方式根据实际情况可采取依次呈现或者是同时呈现的方式 。

　　2

　　GB/T 37036 . 7—2023

　　图 1 移动设备多模态识别技术架构

　　5 业务流程

　　5 . 1 概述

　　多模态识别的业务流程一般包括注册过程 、识别过程和注销过程。

　　多模态识别融合层级不同,业务流程也有所区别。 下面各条款分别按照不同融合层级描述各典型的业务流程。

　　5 . 2 样本级融合

　　5 . 2 . 1 注册过程

　　典型的样本级融合注册过程见图 2 。

　　图 2 样本级融合注册过程

　　注册过程通常包含如下阶段 :

　　a) 通过移动设备侧同时采集或依次采集样本 1 和样本 n ( n ≥2)(样本如人脸图像 、指纹图像等) ;

　　b) 分别对每个采集过程进行生物特征样本质量判断,并进行呈现攻击检测 ;

　　c) 对采集到的样本数据进行融合 ;

　　3

　　GB/T 37036 . 7—2023

　　d) 从融合后的样本数据中提取生物特征项 ;

　　e) 将生物特征项存储在特征存储模块中作为多模态生物特征参考,并与用户身份标识关联 。

　　5 . 2 . 2 识别过程

　　典型的样本级融合识别过程见图 3 。

　　图 3 样本级融合识别过程

　　识别过程通常包含如下阶段 :

　　a) 移动设备侧同时采集或依次采集样本 1 、生物特征样本 n ( n ≥2),采集方式同注册时的采集方式相对应 ;

　　b) 分别对每个采集过程进行生物特征样本质量判断,并进行呈现攻击检测 ;

　　c) 对采集到的样本数据进行融合 ;

　　d) 从融合后的数据中提取生物特征项 ;

　　e) 将提取的生物特征项与存储在特征存储模块中的一个或多个用多模态生物特征参考进行比对,得到比对分数 ;

　　f) 根据比对分数进行识别决策并输出识别结果 。

　　5 . 2 . 3 注销过程

　　注销过程通常包含如下阶段 :

　　a) 启动注销过程 ;

　　b) 在生物特征存储模块中删除与待注销用户关联的全部生物特征参考,并在多模态识别系统中删除待注销用户的身份标识 ;

　　c) 结束注销过程 。

　　5 . 3 特征级融合

　　5 . 3 . 1 注册过程

　　典型的特征级融合注册过程见图 4 。

　　图 4 特征级融合注册过程

　　注册过程通常包含如下阶段 :

　　a) 移动设备侧同时采集或依次采集样本 1 、生物特征样本 n ( n ≥2) ;

　　b) 分别对每个采集过程进行生物特征样本质量判断,并进行呈现攻击检测 ;

　　4

　　GB/T 37036 . 7—2023

　　c) 分别针对每个采集的生物特征样本提取生物特征项 1 、生物特征项 n ;

　　d) 对提取的生物特征项进行融合,形成多模态生物特征项 ;

　　e) 将多模态生物特征项存储在特征存储模块中,作为多模态生物特征参考,并与用户身份标识关联。

　　5 . 3 . 2 识别过程

　　典型的特征级融合识别过程见图 5 。

　　图 5 特征级融合识别过程

　　识别过程通常包含如下阶段 :

　　a) 移动设备侧同时采集或依次采集样本 n ( n ≥2),采集方式同注册时的采集方式相对应 ;

　　b) 对每个采集过程分别进行样本质量判断,并进行呈现攻击检测 ;

　　c) 分别针对采集的生物特征样本分别提取生物特征项 1 、生物特征项 n ;

　　d) 对提取的生物特征项进行融合,生成多模态生物特征项 ;

　　e) 将提取的多模态生物特征项与存储在特征存储模块中的对应的一个或多个参考进行特征比对,得到比对分数 ;

　　f) 根据比对分数进行识别决策并输出识别结果。

　　5 . 3 . 3 注销过程

　　注销过程通常包含如下阶段 :

　　a) 启动注销过程 ;

　　b) 在生物特征存储模块中删除与待注销用户关联的全部生物特征参考,并在多模态识别系统中删除待注销用户的身份标识 ;

　　c) 结束注销过程。

　　5 . 4 分数级融合

　　5 . 4 . 1 注册过程

　　典型的分数级融合注册过程见图 6 。

　　图 6 分数级融合注册过程

　　注册过程通常包含如下阶段 :

　　a) 分别移动设备侧同时采集或依次采集样本 1 和样本 n ( n ≥2) ;

　　5

　　GB/T 37036 . 7—2023

　　b) 分别对每个采集过程分别进行样本质量判断,并进行呈现攻击检测 ;

　　c) 分别针对采集的生物特征样本提取生物特征项 ;

　　d) 分别将该生物特征项存储在存储模块中作为生物特征参考,并与用户身份标识关联 。

　　5 . 4 . 2 识别过程

　　典型的分数级融合识别过程见图 7 。

　　图 7 分数级融合识别过程

　　识别过程通常包含如下阶段 :

　　a) 移动设备侧同时采集或依次采集样本 1 和样本 n ( n ≥2),采集方式同注册时的采集方式相对应 ;

　　b) 对每个采集过程分别进行样本质量判断,并进行呈现攻击检测 ;

　　c) 分别针对采集的生物特征样本提取生物特征项 ;

　　d) 将提取的生物特征项与存储在特征存储模块中对应的一个或多个生物特征参考进行比对,分别生成比对分数 ;

　　e) 将 n ( n ≥2)个比对分数进行融合,生成一个最终分数 ;

　　f) 将分数同阈值比较,进行识别决策并输出识别结果 。

　　5 . 4 . 3 注销过程

　　注销过程通常包含如下阶段 :

　　a) 启动注销过程 ;

　　b) 在生物特征存储模块中删除与待注销用户关联的全部生物特征参考,并在多模态识别系统中删除待注销用户的身份标识 ;

　　c) 结束注销过程 。

　　5 . 5 决策级融合

　　5 . 5 . 1 注册过程

　　典型的决策级融合注册过程见图 8 。

　　6

　　7

　　GB/T

　　

　　37036 . 7—2023

　　图 8 决策级融合注册过程

　　注册过程通常包含如下阶段 :

　　a) 移动设备侧同时采集或依次采集样本 1 和样本 n ( n ≥2)(样本如人脸图像 、指纹图像等) ;

　　b) 分别对每个采集过程进行样本质量判断,并进行呈现攻击检测 ;

　　c) 分别对采集的生物特征样本分别提取生物特征项 ;

　　d) 将生物特征项存储在特征存储模块中作为生物特征参考,并与身份标识关联。

　　5 . 5 . 2 识别过程

　　典型的决策级融合识别过程见图 9 。

　　图 9 决策级融合识别过程

　　识别过程通常包含如下阶段 :

　　a) 移动设备侧采集或依次采集样本 1 和样本 n ( n ≥2),采集方式同注册时的采集方式相对应 ;

　　b) 分别对每个采集过程进行质量判断,并进行呈现攻击检测 ;

　　c) 对采集的生物特征样本提取生物特征项 ;

　　d) 将提取的生物特征项与存储在特征存储模块中对应的一个或多个用户生物特征参考进行比对,分别生成一个比对分数 ;

　　e) 将每个比对分数分别同相应阈值比较,输出 n ( n ≥2)个识别结果 ;

　　f) 将 n ( n ≥2)个识别结果进行融合(比如与 、或),生成最终的识别决策结果并输出。

　　5 . 5 . 3 注销过程

　　注销过程通常包含如下阶段 :

　　a) 启动注销过程 ;

　　b) 在生物特征存储模块中删除与待注销关联的全部生物特征参考,并在多模态识别系统中删除待注销用户的身份标识 ;

　　c) 完成后结束注销过程。

　　GB/T 37036 . 7—2023

　　6 功能要求

　　6 . 1 总体要求

　　6 . 1 . 1 基本功能

　　应符合 GB/T 37036 . 1—2018 第 6 章的要求 , 包括但不限于:

　　a) 应支持某种多模态融合 , 如样本级融合 、特征级融合 、分数级融合或者决策级融合等 ;

　　b) 宜适用于不同肤色 、不同年龄的用户 ;

　　c) 多模态识别系统服务提供方宜支持对错误接受率和错误拒绝率等性能指标的设定 ;

　　d) 宜支持对登记时间 、识别时间和呈现攻击检测准确率等性能指标进行设定 。

　　6 . 1 . 2 功能管理

　　要求包括但不限于:

　　a) 应支持新用户登记 、已登记用户多模态模板更新 、已登记用户注销等功能 ;

　　b) 应支持用户登记多模态模板到存储模块中 ;

　　c) 应支持用户删除已登记在生物特征存储模块中的生物特征模板 ;

　　d) 应具备异常情况处理能力 , 包括但不限于多模态样本采集失败 、模板登记失败 、模板删除失败 、特征比对失败后的处理机制 ;

　　e) 宜支持用户 、多模态识别系统管理员用户等不同用户使用权限 , 在多模态融合识别中的采集 、比对与存储等模块中分别具有相应的权限管理机制 。

　　6 . 1 . 3 日志管理

　　移动设备多模态识别应具备日志管理功能 , 产生日志记录的事件应包括但不限于:

　　a) 登记过程中的成功或失败事件 ;

　　b) 识别过程中的成功或失败事件 ;

　　c) 注销过程中的成功或失败事件 ;

　　d) 多模态模板更新等 。

　　对于每一个事件 , 日志记录宜包括事件发生时间 、事件类型 、用户 、事件执行结果或失败原因 、日 志有效时间等 。

　　6 . 2 多模态特征采集模块

　　多模态特征采集模块应提供多模态特征数据采集与传输的功能 。 涉及某种具体生物特征模态时 , 其 要 求 应 相 应 地 符 合 GB/T 37036 . 2—2019 、GB/T 37036 . 3—2019 、GB/T 37036 . 4—2021 、 GB/T 37036 . 5—2023 、GB/T 37036 . 6—2022 的相关要求 。

　　6 . 3 多模态特征存储模块

　　多模态特征存储模块功能要求包括但不限于:

　　a) 应支持将登记的用户多模态特征模板与该用户的身份标识进行关联 ;

　　b) 应具备异常情况判定及处理能力 , 如多模态模板登记 、读取或删除失败时的相应处理机制 ;

　　c) 宜支持已登记用户对多模态特征存储模块中属于该用户的多模态模板进行增加 、删除等操作 ;

　　d) 宜支持同一用户在多模态特征存储模块中登记一个或多个的多模态模板 。

　　8