T/ISC 0114-2026 安全应急行业大模型技术要求和评估方法

ICS 35.240 L 60

团体 标准

T/ISC 0114—2026

安全应急行业大模型技术要求和评估方

法

Technical Requirements and Evaluation Methods for Large-Scale Models in Safety and Emergency Industry

(发布稿)

2026-07-20 发布 2026-08-20 实施

中国 互联 网协 会发 布

目次

前言 III

引言 IV

1 范围 1

2 规范性引用文件 1

3 术语和定义 1

4 缩略语 2

5 系统架构 3

6 功能要求 4

6.1 基本要求 4

6.2 感知层 4

6.3 基础设施层 4

6.4 数据层 5

6.5 模型层 6

6.6 应用层 9

6.7 安全保障 10

6.8 运维要求 11

7 非功能要求 12

7.1 兼容性要求 12

7.2 可靠性要求 12

7.3 可扩展性要求 12

8 指标概述 12

9 场景丰富度 13

9.1 场景适配度 13

9.2 场景效果 15

10 能力支持度 16

10.1 任务覆盖度 16

10.2 任务效果 19

11 应用成熟度 24

11.1 数据合规性 24

11.2 模型可控性 26

11.3 服务可靠性 28

12 评估判定 31

I

附录 A (资料性) 安全应急场景下涉风险因素 33

附录 B (资料性) 场景任务及参考指标 34

II

前言

本标准按照GB/T 1. 1-2020给出的规则起草。

请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。

本标准由中国互联网协会归口。

本标准主要起草单位： 中国信息通信研究院、讯飞智元信息科技有限公司、中国电信集团公司本标准主要起草人： 李玮、徐西峰、谌畅、孔令国、李磊、骆鹏、徐帆帆、陆林郁、王超

III

引言

自工信部等五部委印发《安全应急装备重点领域发展行动计划(2023-2025 年)》 以来，安全应急装备行业加速向智能化、体系化转型升级。安全应急行业大模型是应急智能决策、风险研判、资源调度与协同指挥的核心支撑，其技术架构、场景适配能力与评估水平直接决定应急处置实战效能。当

前，安全应急领域大模型应用普遍存在架构不统一、模块碎片化、评估体系单一等问题，造成模型实战适配性不足、技术迭代与业务应用脱节。技术标准化是破解行业痛点、贯通算法研发、系统集成与场景落地的关键。为此，本标准围绕安全应急行业大模型层级架构，明确各层级功能与非功能技术要求，构建科学完善的评估体系，统一行业技术对标与能力判定基准，为相关研发单位、应用部门及管理部门提供标准化技术支撑。

IV

安全应急行业大模型技术要求和评估方法

1 范围

本文件规定了安全应急行业大模型技术要求和评估方法，其中技术要求包括系统框架、功能要求、非功能要求等，评估方法括场景丰富度、能力支持度和应用成熟度三大维度。

本文件适用于指导国内安全应急行业大模型技术的设计、开发和使用等，也适用于安全应急行业大模型的选型和评估参考。

2 规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件;不注日期的引用文件，其最新版本(包括所有的修改单)适用于本文件。

GB/T 42131 2022

人工智能知识图谱技术框架

GB/T 41867—2022

信息技术人工智能术语

GB/T 42018—2022

信息技术人工智能平台计算资源规范

GB/T 44109—2024

信息技术大数据数据治理实施指南

GB/T 42755—2023

人工智能面向机器学习的数据标注规程

GB/T 35273—2020

信息安全技术个人信息安全规范

GB/T 22239—2019

信息安全技术网络安全等级保护基本要求

GB/T 21052—2007

信息安全技术信息系统物理安全技术要求

3 术语和定义

下列术语和定义适用于本文件。

3.1

基础大模型 foundation large-scale model

结合通用数据训练得到的能够处理多种领域任务的人工智能模型。

3.2

安全应急行业大模型 safety emergency large model

结合安全应急行业数据和基础大模型训练得到的人工智能模型，与安全应急行业的下游任务及场景的适配度较高。

注：安全应急行业的下游任务及场景一般包含自然灾害、事故灾难、公共卫生事件、社会安全事件等各类突发事件的预防与应急准备、监测与预警、应急处置与救援、事后恢复与重建等应对活动相关的任务及场景。

3.3

大模型平台 large-scale pre-trained model p latform

支持大模型训练及服务的平台，提供从数据标注、清洗到模型训练、部署的一站式AI开发能力。

3.4

模态 modality

在人工智能和机器学习领域，模态通常是信息或数据的特定类型或形式。

注：文本、图像、音频和视频都是不同的模态。

3.5

知识图谱 knowledge graph

以结构化形式描述的知识元素及其联系的集合。

[来源：GB/T 42131-2022，3.6]

3.6

微调 fine-tuning

为提升人工智能模型的预测精确度，一种先以大型广泛领域数据集训练，再以小型专门领域数据集继续训练的附加训练技术。

注:常用于解决过拟合问题。

[来源：GB/T 41867-2022，3.2.31]

4 缩略语

下列缩略语适用于本文件：

AI：人工智能(Artificial Intelligence)

API：应用编程接口 (Application Programming Interface)

CPU：中央处理器(Central Processing Unit)

FAQ：常见问题解答 (Frequently-asked Questions)

FAR：错误接受的比例 (False Accept Rate)

FMR：错误匹配率 (False Match Rate)

FPGA：现场可编程逻辑门阵列 (Field Programmable Gate Array)

FRR：错误拒绝率 (False Reject Rate)

GE：千兆比特以太网 (Gigabit Ethernet)

GPU： 图形处理器 (Graphic Processing Unit)

IOPS：每秒读写操作次数 (Input/Output Operations Per Second)

LACP：链路聚合控制协议 (Link Aggregation Control Protocol)

mAP：平均精确率的平均 (Mean Average Precision)

M-LAG：跨设备链路聚合组 (Multichassis Link Aggregation Group)

MOS：平均主观意见分 (Mean Opinion Score)

MPPS：百万包每秒 (Million Packets Per Second)

NLP： 自然语言处理 (Natural Language Processing)

NPU：神经网络处理器 (Neural Network Processing Unit)

OCR：光学字符识别 (Optical Character Recognition)

ROUGE： 以召回率为导向的摘要评价方法 (Recall-Oriented Understudy for Gisting Evaluation)

RPA：机器人流程自动化 (Robotic Process Automation)

SCR：句识别准确率 (Sentence Correct Rate)

SDK：软件开发工具包 (Software Development Kit)

SFT：监督微调 (Supervised Fine-Tuning)

TAR：正确接受的比例 (True Accept Rate)

TPU：张量处理器 (Tensor Processing Unit)

WER：字错误率 (Word Error Rate)

5 系统架构

安全应急行业大模型包括感知层、基础设施层、数据层、模型层和应用层，通过各层级的协同作用保障大模型的高效、稳定、智能。系统架构如图1所示。

图 1 安全应急行业大模型系统架构

a) 感知层为系统最底层，主要功能为通过如视频监控、物联传感、航拍、卫星遥感、人工巡护等技术接入安全潜在风险的监测信息。

b) 基础设施层包括计算基础设施、存储基础设施、网络基础设施，为平台运行提供安全、高可靠和高稳定性的基础支撑环境。

c) 数据层包括数据汇聚平台、模型数据预处理平台和数据管理平台，提供数据采集、数据存储、数据标注、数据集管理、语料库管理、数据治理、数据共享、数据安全等数据管理工具和服务。

d) 模型层为安全应急行业大模型的核心层，主要包含以下组成部分：

l 模型管理平台支持通过可视化的管理方式为大模型提供模型管理和模型托管服务;

l 基础大模型作为安全应急行业大模型训练的基础模型，是使用大规模多领域数据集进行训练，具有广泛的多领域知识和跨领域任务处理能力的人工智能模型;

l 专项 AI 引擎是面向安全应急领域模型训练、推理和模型性能优化任务构建的 AI 算法库，可将专项 AI 算法引擎以封装函数库的方式供用户调用,提升模型开发、优化、验证和部署的效率;

l 模型训练平台为安全应急专属领域模型提供模型训练工具，可支持分布式训练;

l 安全应急领域模型是在基础大模型基础上，结合安全应急行业数据及场景需求进行模型训练或微调，构建的能够满足安全应急行业下游任务及场景的人工智能模型;

l 安全应急知识库是将安全应急行业相关的数据通过对文档解析、文档片段向量化等技术手段

处理后构建的行业专属知识库;

l 大模型能力中枢是通过构建业务技能库、应用组件库、工具插件库、集成中心和服务管理中心，为安全应急领域模型赋能上层具体的应用场景提供标准化、模块化的生产工具和功能应用。

e) 应用层是基于安全应急领域的不同应用场景，针对不同的服务对象，利用大模型服务能力开发的智能化应用。安全应急行业大模型应用可适用于自然灾害、事故灾难、公共卫生事件、社会安全事件等各类突发事件的预防与应急准备、监测与预警、应急处置与救援、事后恢复与重建等相关的任务及场景。

f) 安全应急行业大模型应具备多用户管理、多租户管理、运行监控、日志管理、灾备恢复等运维管理功能，确保安全应急行业大模型能稳定运行和高效服务。

g) 安全应急行业大模型应建立完备的安全保障机制，从数据安全、内容安全、应用安全、网络安全、物理安全等方面制定安全策略，采取相应的安全保障措施，提升系统安全防护能力。

6 功能要求

6.1 基本要求

安全应急行业大模型平台应适用于多种安全应急场景，包含自然灾害、事故灾难、公共卫生事件、社会安全事件等各类突发事件的预防与应急准备、监测与预警、应急处置与救援、事后恢复与重建等应对活动场景。

6.1.1 硬件要求

a) 平台算力资源应采用安全可靠的国产算力。

6.1.2 基础软件要求

a) 操作系统应采用安全可靠的国产操作系统。

b) 数据库宜采用安全可靠的国产数据库或开源合规数据库。

c) 中间件宜采用安全可靠的国产中间件或开源合规中间件。

6.1.3 网络与架构要求

a) 平台架构采用分布式、微服务架构。

b) 系统支持横向扩展，可逐步提升整体服务能力。

6.2 感知层

安全应急行业大模型平台宜综合利用视频监控、物联传感、航拍图像、卫星遥感、舆情监测、人工报警等多种技术手段建立全域覆盖的风险感知网络，对可能发生自然灾害、事故灾难(包含城市安全、生产安全、交通运输安全等)、公共卫生和社会安全等突发事件的涉风险因素(参见附录A)进行实时监测预警。

6.3 基础设施层

6.3.1 计算基础设施

计算基础设施是为安全应急行业大模型提供计算和数据处理等能力的实体设备(如CPU、GPU， FPGA，NPU，TPU)或逻辑设备。计算基础设施宜符合以下要求：

a) 可执行至少 1 种模态(如文本、图像、音频、视频)的模型的训练或推理;

b) 支持硬件加速的人工智能计算，配备分布式训练和推理计算加速库;

c) 支持键值对缓存;

d) 支持基于硬件加速的预处理(如图像、视频编解码);

e) 人工智能服务器、人工智能加速卡、人工智能加速模组等计算资源符合GB/T 42018-2022中第 6章的要求。

6.3.2 存储基础设施

存储基础设施是适用于安全应急行业大模型训练和推理的存储资源，包含存储服务器等，用于提供数据存储和模型存储，存储基础设施宜符合以下要求：

a) 支持数据集的分布式存储与访问，并实现冗余备份机制;

b) 支持分布式模型训练及推理;

c) 支持内存计算;

d) 能以存储服务器或硬磁盘为单元创建存储池，存储池宜能识别、管理固态盘、硬磁盘等不同类型存储媒体。

6.3.3 网络基础设施

网络基础设施是适用于大模型训练和推理的网络资源，包含集群内交换机和路由器。网络基础设施宜符合以下要求：

a) 支持高速网络通信协议;

b) 具备模型自动切分(如基于模型结构);

c) 支持负载均衡;

d) 支持可靠性组网方案，如链路聚合、M-LAG 双活、物理交换机与逻辑交换机之间映射等，实现链路备份，单台物理交换机故障不影响训练推理任务执行。

6.4 数据层

6.4.1 数据汇聚平台

安全应急行业大模型应建立统一的安全应急行业多模态数据汇聚平台，接入多种数据资源,实现多源异构数据资源整合应用，数据汇聚平台宜符合以下要求：

a) 数据采集范围包括但不限于安全应急行业相关的政策法规、业务数据、行业知识、文本素材等;

b) 支持结构化、半结构化、非结构化的数据接入;

c) 支持采集不同类型的数据，包括但不限于文本、视频、图像、音频、运营商信令数据等;

d) 支持多组数据或多个数据集的并行导入;

e) 支持多种数据接入方式,包括但不限于数据库接人、接口调用接入、文件接入、人工填报等,满足跨网络跨地域、跨平台的不同数据接入条件和需求;

f) 支持数据收集前的校验、数据源的身份审核,避免接入来自不可信数据源的数据;

g) 支持分布式数据存储。

6.4.2 模型数据预处理平台

模型数据预处理平台具备数据标注、语料库管理、数据集管理等能力，为安全应急行业大模型训练提供数据准备。模型数据预处理平台宜符合以下要求：

a) 支持数据标注，数据标注流程符合 GB/T 42755-2023 中第 6 章和第 7 章的要求;

b) 支持数据增强及扩充(如添加扰动产生新数据);

c) 支持语料库管理，根据模型学习和训练需要构建高质量语料库;

d) 支持数据集管理，将数据发布成多个版本数据集，支持查看数据集的演进过程、切换版本、删除版本等操作。

6.4.3 数据管理平台

6.4.3.1 数据治理

数据治理是通过构建数据治理工具集对接入的数据进行数据清洗、转换、标识、关联、融合等一系列处理，提高数据质量。数据治理宜符合以下要求：

a) 支持数据清洗，包括文本数据的敏感词与特殊符号过滤、图像数据重建与去模糊、视频与音频数据的特定片段截取等;

b) 支持数据重组、数据标签格式转换;

c) 支持数据标识，根据数据特征给数据分配标识符;

d) 支持数据关联，将来自不同来源的数据通过共同的数据标识符进行数据连接;

e) 支持数据融合治理，可通过算法模型、智能标签、指标数据等多种融合方式对外提供数据服务;

f) 支持数据质量检验，对数据质量问题进行识别、分析、整改和反馈;

g) 数据治理活动参考GB/T 44109-2024 中第 6 章的要求。

6.4.3.2 数据共享

数据共享是按照数据交换标准，实现跨部门、跨层级、跨区域安全应急数据资源共享交换。数据共享宜符合以下要求：

a) 支持多类型异构数据源交换，包括但不限于关系型和非关系型数据库，文件等类型的数据;

b) 支持离线数据交换、实时数据交换;

c) 支持数据资源审核，资源提供方可审核资源申请，支持对审核通过的数据资源收回使用权限;

d) 支持数据共享交换记录追溯查询;

e) 支持数据交换运行监控，分析整体交换业务情况，如累计交换量、今日新增量以及数据与文件交换量等。

6.4.3.3 数据安全

数据安全是从数据全生命周期管理角度出发，在数据采集、数据存储、数据使用、数据共享等阶段提供安全能力和安全监控。数据安全宜符合以下要求：

a) 具备数据加密、数据脱敏、数据水印、数据签名等数据安全防护能力;

b) 支持安全监控，记录安全处理数据量以及安全日志详情。

6.5 模型层

6.5.1 模型管理平台

模型管理平台宜符合以下要求：

a) 提供模型管理功能，对平台训练的模型和第三方模型进行统一管理，支持模型导入、模型仓库、模型压缩、模型转换、版本管理、权限管理等功能;

b) 支持模型历史版本和微调迭代过程中的信息记录和查询，信息包含日志，准确率、损失、参数等;

c) 支持通过可视化的管理方式，实现服务托管、服务启停、服务监控和预警等功能。

6.5.2 基础大模型

基础大模型应具备语言理解、内容生成、知识问答、逻辑推理、多模态等基础能力。基础大模型基础能力宜包括但不限于以下范围:

a) 支持多层次跨语种语言理解能力，具备如文本摘要、语法检查、机器翻译、信息抽取、态势分析、观点聚合、对话理解、画像分析、扩写、要素抽取、语篇规整等多种任务型能力;

b) 支持多风格多任务长文本生成能力，具备如公文写作、文案策划、结构化文本、脚本生成、评价生成、流程设计、行业报告等任务的内容生成能力;

c) 支持泛领域开放式知识问答能力，具备如生活常识、医学知识、历史人文、科学知识、天文地理、信息查询、百科问答、工作技巧等方面知识问答能力;

d) 支持情境式思维链逻辑推理能力，具备如常识推理、科学推理、时空推理、联想推理等多种推理能力;

e) 支持文本、图像、音频等多模态数据处理能力，具备如虚拟人合成、图文理解、文图生成、多模态交互、视觉问答等多模态信息处理能力。

6.5.3 专项 AI 引擎

6.5.3.1 总体要求

安全应急行业大模型系统宜具备为语音类、图像类、NLP类和多模态类多种AI算法引擎。AI算法引擎宜包括但不限于以下范围：

a) 具备语音合成、语音听写、语音转写、语音唤醒、声纹识别等常见的语音类AI引擎;

b) 具备图像识别、人脸识别、OCR识别等常见的图像类AI引擎;

c) 具备语义解析、相似文本生成、机器翻译、敏感词检测等常见的NLP类AI引擎;

6.5.3.2 语音类 AI 引擎

语音类AI引擎宜符合以下要求：

a) 语音合成能力支持将任意文本实时转化为高自然度的语音，系统应提供丰富的发音库，支持多档语速配置和语调配置功能;

b) 语音听写能力支持语音实时转换成对应的文字信息，提供智能断句和标点符号的预测;

c) 语音转写能力支持将音频流数据离线转换成文字流数据结果,提供中文、英文双语种的识别，能够结合上下文语境进行智能纠错，确保识别的准确性;

d) 语音唤醒能力支持从连续不断的用户音频中发现设定的语音指令(即唤醒词)，让系统开始接受语音控制指令;

e) 声纹识别能力提供生成密码串、密码与语音有效性校验、声纹注册、更新注册、声纹确认、声纹鉴别服务。

6.5.3.3 图像类 AI 引擎

图像类AI引擎宜符合以下要求：

a) 图像识别能力支持利用神经网络进行特定图像场景的学习，通过识别算法的不断训练优化，完成不同场景的智能化识别;

b) 人脸识别能力支持基于人的脸部特征信息进行身份识别，提供人脸检测、面部关键点检测、人脸比对等功能;

c) OCR技术能力支持多场景下文字检测识别，支持多种语言的识别。

6.5.3.4 NLP 类 AI 引擎

NLP类AI引擎宜符合以下要求：

a) 语义解析能力支持对用户文本内容，给出结构化的处理结果，准确提取出用户的意图内容和关键信息，语义解析应支持单轮对话和多轮对话两种解析能力;

b) 相似文本生成能力支持通用的相似语义生成，提供相似句拟合能力;

c) 机器翻译能力支持多种语言与中文的实时互译功能;

d) 敏感词检测能力支持根据检测策略实现黑白名单词汇控制，快速检测文本中的违禁内容。

6.5.4 模型训练平台

模型训练平台宜符合以下要求：

a) 支持从预训练和特定任务训练(如SFT)全过程管理，包括训练任务的创建、配置、执行和监控等;

b) 支持高度自定义的训练策略和参数设置;

c) 支持分布式训练;

d) 在模型训练完成后，可使用测试数据集对模型进行评估，评估指标可根据任务的特点来选择，例如准确率、召回率、F1分数等。

6.5.5 安全应急领域模型

作为面向安全应急业务应用的工具，应具备交互式问答、生成式BI、文案生成、政策解读、事件感知、智能调度等常见的基础服务能力。安全应急领域模型基础服务能力宜符合以下要求：

a) 交互式问答支持让用户通过自然语言方式提出问题和要求， 由安全应急行业大模型快速、准确地回答问题，支持溯源预览;

b) 生成式BI支持将应急数据进行数据分析和数据挖掘，为用户提供数据支持;

c) 文案生成支持根据用户的需求自动生成文本内容，如事故报告、通知公告、预案文本、执法文书等，支持内容校核和内容排版;

d) 政策解读支持对应急相关的政策文件进行深度分析和提炼，生成政策摘要，并提供政策问答、政策检索、检索溯源等服务;

e) 事件感知支持对应急领域的事件进行实时监测和分析，及时发现问题并提供预警服务;

f) 智能调度支持在事件应急处置和救援过程中提供资源调度、任务下发、事态分析、应对措施建议等智能服务，协助指挥调度人员科学决策。

此外，鼓励结合具体的应急场景和用户需求针对性地开发更多的安全应急领域模型应用服务。

6.5.6 安全应急知识库

安全应急知识库包括法律法规库、国家/地方/行业标准库、管理制度库、操作规程库、应急预案库、事故案例库等行业相关的知识文档，安全应急知识库宜符合以下要求：

a) 支持将知识文档内容片段拆分，将文本数据转化为向量数据进行存储;

b) 支持在线管理知识文档，具备文档分类管理、数据库同步、批量上传、在线创建文档等功能;

c) 支持基于自然语言检索文档知识的能力，模型推理生成的答案支持追溯来源文档及片段;

d) 支持基于文档知识内容以自然语言对话的方式进行知识问答，具备多轮交互、会话日志、问题推荐等功能。

6.5.7 大模型能力中枢

6.5.7.1 业务技能库

业务技能库宜符合以下要求：

a) 基于大模型通用接口封装业务技能服务接口，辅助各业务在大模型技能开发、技能调优、技能评测等方面提质增效;

b) 业务技能库包括但不限于意图识别、要素抽取、文本生成、文本摘要、文本校验、关联推荐、单轮回答、多轮回答、表格查询、多模解析、全文索引等。

6.5.7.2 应用组件库

应用组件库宜符合以下要求：

a) 基于大模型基本技能，具有行业通用性的应用宜统一开发，建立通用应用组件库;

b) 应用组件库包括但不限于知识问答、知识检索、内容生成、 内容摘要、数字虚拟人等。

6.5.7.3 工具插件库

工具插件库宜符合以下要求：

a) 无缝衔接浏览器、WPS、编辑器多种形态，实时调用智能应用;

b) 工具插件库包括但不限于文件编辑器、浏览器插件、数据采编工具、检索增强工具、WPS插件、 PPT生成、脑图生成等。

6.5.7.4 集成中心

集成中心宜符合以下要求：

a) 提供统一的数据交换标准和接口规范，确保不同系统之间的数据能够顺畅流通，提高信息共享的效率和准确性;

b) 提供数据有效性检验功能，保证通过人机接口输入或通过通信接口输入的内容应符合安全要求。

6.5.7.5 服务管理中心

服务管理中心宜提供统一管理、精细化配置、个性化配置等类型的服务管理功能，包含规则配置、意图管理、模板管理、助手管理、问答配置等。

6.6 应用层

6.6.1 预防与应急准备类

预防与应急准备类应用场景宜包括但不限于以下内容：

a) 利用图像AI引擎辅助隐患排查， 自动识别人的不安全行为、物的不安全状态以及环境的不安全因素;

b) 利用大模型语言理解能力对法律法规要素自动拆解，结合语言识别能力帮助执法人员快速制作执法文书;

c) 利用大量的事故案例数据挖掘事故发生的规律，提供事故预测功能;

d) 基于历史事故数据，模拟不同类型的事故场景，为应急演练提供演练培训的素材;

e) 利用大量的职业病案例，通过大数据分析工作环境、设备、工艺流程等，识别潜在的职业健康风险，并制定相应的预防和控制措施， 以保障员工的身体健康;

f) 利用定期的职业健康检查、健康监护和医学观察等数据， 自动识别发现职业病危害因素;

g) 根据以往发生的应急案例数据， 自动生成各种行业的突发事件场景和预案脚本内容。

6.6.2 监测与预警类

监测与预警类应用场景宜包括但不限于以下内容：

a) 利用获取的气象数据和自然灾害监测数据，结合大数据分析、深度学习技术构建智能分析模型，实现自然灾害风险智能预警;

b) 利用获取的城市安全监测数据，结合大数据分析、深度学习技术构建智能分析模型，实现城市安全风险智能预警;

c) 利用获取的生产安全监测数据，结合大数据分析、深度学习技术构建智能分析模型，实现生产安全风险智能预警;

d) 利用获取的交通运输安全监测数据，结合大数据分析、深度学习技术构建智能分析模型，实现交通运输安全风险智能预警;

e) 利用获取的公共卫生安全监测数据，结合大数据分析、深度学习技术构建智能分析模型，实现公共卫生风险智能预警;

f) 利用获取的社会安全监测数据，结合大数据分析、深度学习技术构建智能分析模型，实现社会安全风险智能预警。

6.6.3 应急处置与救援类

应急处置与救援类应用场景宜包括但不限于以下内容：

a) 突发事件发生后，根据事故信息自动推荐应急资源，生成指挥协调方案;

b) 针对不同的应急处置场景，结合大数据分析、深度学习技术构建智能分析模型，如括溢油及危化品泄漏事故后果模拟模型、城市内涝分析推演模型、林火扩散趋势推演模型等，辅助应急决策;

c) 结合语音合成、语音识别、语义理解、图像处理、机器翻译以及虚拟形象驱动等前沿AI核心技术,构建虚拟指挥员，辅助应急指挥人员进行指挥调度。

6.6.4 事后恢复与重建类

事后恢复与重建类应用场景宜包括但不限于以下内容：

a) 结合历史事故案例，利用大模型协助进行事故原因分析，提供事故处理和整改防范措施建议;

b) 结合事故接警信息以及指挥调度过程的相关记录辅助生成事故总结报告;

c) 构建应急能力评估模型，通过分析救援过程中的多模态数据信息辅助开展应急救援能力评估;

d) 分析灾后调查报告和评估文件，抽取基础设施损毁情况、经济损失估计、重建需求等要素，辅助制定长期的恢复和发展计划。

e) 结合情绪识别、 自然语言处理和心理干预模型，为受灾人员和救援人员提供心理援助和情绪疏导，促进灾后情绪恢复和心理健康

f) 通过大数据和预测分析模型对灾后重建资源进行优化分配，包括重建规划方案、基础设施重建顺序和优先级等。

6.6.5 泛安全应急类应用场景

泛安全应急类应用场景宜包括但不限于以下内容：

a) 提供公文助手，辅助政府应急管理机构的公务人员编写公文材料;

b) 提供政策解读，能够对应急相关的政策文件进行深度分析和提炼，生成政策摘要，支持政策问答;

c) 结合安全应急数据，提供应急知识问答和安全生产知识问答功能，生成内容应支持内容追溯，明确列出生成依据或者引用文档文献，确保生成内容的安全可靠，增加系统的可信度和透明度;

d) 对应急知识库以及RPA技术实时获取的行业数据进行数据分析和数据挖掘，为管理决策者提供数据支撑。

6.7 安全保障

6.7.1 数据安全

安全应急行业大模型数据安全宜符合以下要求：

a) 在处理数据时应遵循严格的数据隐私保护措施，确保敏感信息的安全;

b) 仅收集和处理实现功能所必需的最少数据量，避免不必要的个人信息存储，减少对个人隐私的潜在威胁;

c) 在处理数据时应遵循数据隐私保护措施，包括数据加密、匿名化处理和访问控制。

d) 在数据传输和存储过程中应使用先进的加密技术，确保数据在传输和存储过程中的安全性。应要求采用高标准的加密算法和密钥管理措施;

e) 设定严格的访问控制机制，仅允许授权用户访问敏感数据;

f) 具备详细的权限管理系统和审计日志功能，以追踪和控制数据访问;

g) 对涉及个人信息的操作符合GB/T 35273-2020的要求。

6.7.2 内容安全

安全应急行业大模型内容安全宜符合以下要求：

a) 具备内容安全审核机制，能够自动识别涉黄、敏感、涉暴、广告导流等内容，维护大模型内容安全;

b) 支持自定义敏感词库，并对敏感词进行分类管理，审核系统可以针对特定的敏感词进行重点监控;

c) 建立内容安全审核明细日志记录，包括发生的具体应用、审核时间、审核结果(违规、通过、疑似)、违规类型等信息，方便用户通过日志记录进行查询追踪。

6.7.3 应用安全

安全应急行业大模型宜提供应用安全防护手段，应从身份认证、访问控制、安全审计、入侵监测等多方面建立完善的安全保护措施。

6.7.4 网络安全

安全应急行业大模型网络安全宜符合GB/T22239-2019中的相关要求。

6.7.5 物理安全

安全应急行业大模型物理安全宜符合GB/T21052-2007中的相关要求。

6.8 运维要求

安全应急行业大模型平台运维管理宜符合以下要求：

a) 提供多用户管理功能，具备多用户的权限管理能力，具备身份鉴别系统(例如Kerberos);

b) 提供多租户管理功能，具备租户间的应用隔离、数据隔离、资源隔离和运行隔离等功能;

c) 提供安装与升级功能，具备分发安装包、数据或模型参数文件，进行安装、升级、扩展和回滚;

d) 提供备份与恢复功能，具备安装包、数据或模型参数文件的备份能力，以供故障后的系统恢复;

e) 具备运行环境的监控能力，包括底层资源的统一监控，如CPU利用率和系统负载等;

f) 具备数据入库、模型推理数据调用、应用层数据消费等重点链路、重要环节的运行监控能力，以保证对大模型技术架构运行故障的快速定位、故障恢复;

g) 提供日志管理功能，可根据日志进行故障定位及排查;

h) 提供针对监控指标及日志的报警功能;

i) 提供主要监控指标的可视化展示功能。

7 非功能要求

7.1 兼容性要求

7.1.1 软件兼容性

软件兼容性宜符合以下要求：

a)具备软件服务兼容性，关联的软件服务可正常运行，且在数据、信息和交互三个方面具有相互兼容的性质;

b)不应依赖特定的软件运行环境;

c)具备系统运行的可移植性;

d)兼容主流操作系统，兼容多种编程语言;

e)兼容开源的通用接口，根据系统要求在最新版本中增强或优化;

f)具备模块间及模块内接口信息传递和互操作功能;

g)具备异源数据、异构数据库和新旧数据接口的转换功能;

h)兼容不同场景应用，兼容特定应用系统下的优化和扩展。

7.1.2 硬件兼容性

硬件兼容性宜符合以下要求：

a)兼容多种计算单元，例如CPU、GPU、FPGA和ASIC等;

b)兼容多种存储系统，例如分布式云存储和本地存储等;

c)兼容多种网络连接方式，例如以太网和InfiniBand网络;

d)兼容多种计算平台，例如服务器、移动通信终端、平板式计算机和智能体终端设备等。

7.2 可靠性要求

可靠性宜符合以下要求：

a) 具备跟踪任务的执行状态，并对异常任务进行提示的能力;

b) 具备资源受限或系统失效后持续提供或恢复服务的能力，如具备历史版本回滚、框架提供参数的保存能力等;

c) 具备容错机制，具备系统在检测出异常输入或危险操作时的错误提示功能;

d) 具备对误操作的抵御能力，确保误操作后系统的正常运行;

e) 具备不同容量场景过载控制机制;

f) 具备系统故障诊断能力，如可保存关键运行数据以用于故障定位和恢复;

g) 具备系统故障隔离能力，如集群训练中，单一点出现故障时可快速隔离;

h) 具备系统状态文件的冗余备份功能和容灾能力。

7.3 可扩展性要求

可扩展性宜符合以下要求：

a) 具有标准格式的接口, 降低维护和运行安全应急行业大模型的成本;

b) 具有模型部署到生产环境的标准流程, 降低系统整合风险;

c) 提供模型全生命周期管理工具。

8 指标概述

本文件对安全应急行业大模型在场景丰富度、能力支持度、应用成熟度方面提出了要求，能力子域和能力项详见表1。

表 1 安全应急行业大模型指标体系表格

能力域

能力子域

能力项

场景丰富度

场景适配度

预防与应急准备场景

监测与预警场景

应急处置与救援场景

事后恢复与重建场景

泛安全应急场景

场景效果

业务优化度

能力支持度

任务覆盖度

语言任务

视觉任务

语音任务

多模态任务

任务效果

语言任务效果

视觉任务效果

语音任务效果

多模态任务效果

应用成熟度

数据合规性

数据分类分级

数据加密性

重要数据保护

模型可控性

可追溯性

攻击防范性

输出准确性

服务可靠性

私有部署

风险控制

可扩展性

可维护性

兼容性

9 场景丰富度

9.1 场景适配度

9.1.1 预防与应急准备场景

评估目的：评估安全应急行业大模型覆盖的预防与应急准备场景丰富程度。

评估内容：评估安全应急行业大模型对预防与应急准备场景的支持度，包括但不限于风险识别与评估、隐患排查、、重大危险源、特殊作业、执法检查、应急预案、应急演练、安全教育培训、职业健康、设备故障预测、事故预测、人员画像、企业画像等场景。

表 2 预防与应急准备场景适配度评分要求

得分

能力项分项要求

1 分

应覆盖1种及以上细分场景;

2 分

应覆盖3种及以上细分场景;

3 分

应覆盖5种及以上细分场景;

4 分

应覆盖7种及以上细分场景;

5 分

应覆盖10种及以上细分场景。

9.1.2 监测与预警场景

评估目的：评估安全应急行业大模型覆盖的监测与预警场景丰富程度。

评估内容：评估安全应急行业大模型对监测与预警场景的支持度，包括但不限于气象水文灾害、地质地震灾害、海洋灾害、生物灾害风险和生态环境灾害等自然灾害风险智能预警、燃气泄漏、供排水管网泄漏、热力管网泄露、房屋坍塌、建筑火灾、地下市政设施、桥梁、道路、隧道异常运行、大客流风险、大型群众性活动风险等城市安全风险智能预警、危险化学品、烟花爆竹、煤矿、非煤矿山等高危行业企业安全生产异常、非高危行业重大危险源监控异常、特殊作业异常、尾矿库溃坝、水库垮坝、工程建设等生产安全风险智能预警、交通运输安全风险智能预警、公共卫生风险智能预警、社会安全风险智能预警等场景。

表 3 监测与预警场景适配度评分要求

9.1.3 应急处置与救援场景

评估目的：评估安全应急行业大模型覆盖的应急处置与救援场景丰富程度。

评估内容：评估安全应急行业大模型对应急处置与救援场景的支持度，包括但不限于处置方案生成(含应急资源推荐、救援路径推荐、逃生路线规划)、任务指令生成和下发、协同指挥调度、应急联动、抢险救援、转移安置与救助、次生衍生灾害处置、救援知识问答，以及溢油及危化品泄露事故后果模拟、煤矿及非煤矿山灾情推演、城市内涝分析推演、林火扩散趋势推演等场景。

表 4 应急处置与救援场景适配度评分要求

9.1.4 事后恢复与重建场景

评估目的：评估安全应急行业大模型覆盖的事后恢复与重建场景丰富程度。

评估内容：评估安全应急行业大模型对事后恢复与重建场景的支持度，包括但不限于现场勘查分析、事故调查分析、事故原因分析、灾后损失统计、事故处理、事故调查报告、事故总结报告、应急能力评估、灾后重新规划等场景。

表 5 事后恢复与重建场景适配度评分要求

9.1.5 泛安全应急场景

评估目的：评估安全应急行业大模型覆盖的泛安全应急场景丰富程度。

评估内容：评估安全应急行业大模型对泛安全应急场景的支持度，包括但不限于公文助手、政策解读、政策问答、自然灾害、事故灾难、公共卫生事件和社会安全事件相关的应急知识问答、危险化学品、煤矿、非煤矿山、烟花爆竹、冶金、有色等重点行业专属的安全生产知识问答、化工、桥梁、隧道、电力、油气、水利、核电等重大工程和设施安全风险知识问答、智能问数等场景。

表 6 泛安全应急场景适配度评分要求

9.2 场景效果

9.2.1 业务优化度

评估目的：评估安全应急行业大模型在场景中实际应用效果的人工替代率。

评估内容：评估安全应急行业大模型在人工替代率等业务指标上的优化程度。人工替代率用于评价安全应急行业大模型服务带来的人工工时缩减比例，计算方式参见式(1)。

… … … … … … … … … … … … .. … …. … … …(1)

式中：

R ——人工替代率;

Tafter ——应用安全应急行业大模型后业务所需的人工工时;

Tbefore ——应用安全应急行业大模型前业务所需的人工工时。

9.2.2 场景效果评分

基于人工替代率计算结果，依据表7对场景效果进行评分。

表 7 场景效果评分要求

场景数量

平均人工替代率

1种及以上场景;

[10%,50%] ;

3种及以上场景;

(50%,60%] ;

5种及以上场景;

(60%,70%];

7种及以上场景;

(70%,80%];

10种及以上场景。

(80%,100%];

10 能力支持度

10.1 任务覆盖度

10.1.1 语言任务

评估目的：评估安全应急行业大模型对语言类任务的支持度。

评估内容：评估安全应急行业大模型在序列标注、知识识别、知识理解、文本生成、推理计算等语

言类任务的功能丰富度与场景支持完备度，具体包括：

a) 序列标注任务：

1) 支持命名实体识别、敏感词检测等任务;

2) 支持从采集的安全应急行业数据(如政策法规、业务数据、行业知识、文本素材等)提取时间、地点、人物、机构等命名实体、根据安全应急实际应用场景需求支持词性标注、词义消歧、分词、共指消解、关键词抽取、违禁内容识别等功能;

b) 知识识别任务：

1) 支持关系抽取、事件抽取、观点抽取、情感分析等任务;

2) 支持构建安全应急知识图谱，对安全应急领域实体和实体之间的关系进行识别和抽取，如灾害信息和匹配预案的关系、火灾类型和灭火器材的关系等;支持利用舆情监测及时发现已经发生或者潜在的突发事件;收集公众需求和情绪信息为城市安全管理提升、政策调整、灾后援助等工作提供数据支撑。

c) 知识理解任务：

1) 支持语义解析、语义相似度计算、相似文本生成、问答 QA(单轮对话和多轮对话)等任务;

2) 支持对给定的文本内容进行语义解析，理解用户意图并回答安全应急问题，包括安全应急相关的常识知识问答、事故应对措施建议、应急信息资讯查询等应用场景。

d) 文本生成任务：

1) 支持文案生成、机器翻译、文本摘要、扩写等任务;

2) 支持公文写作、执法文书生成、预案生成、事故报告生成、文本多语种翻译、政策摘要、报告摘要、新闻摘要、会议纪要、观点总结、安全管理分析报告等应用场景

e) 推理计算任务：

1) 支持自然语言推理、数据计算、态势分析、画像分析等任务;

2) 支持对采集的各类业务数据(如隐患数据、事故数据、监测报警数据等)进行挖掘分析生成统计报表或分析报告;支持基于已有数据对未来态势进行预测分析;支持综合利用相关

数据进行城市安全画像、企业安全画像、人员安全画像等画像分析;

表 8 语言任务功能评分要求

得分

语言类任务功能丰富度

场景支持完备度

仅支持1项语言类任务;

仅支持 1 种应用场景;

支持 2 项语言类任务;

支持 2-3 种应用场景;

支持 3 项语言类任务;

支持 4-5 种应用场景;

支持 4 项语言类任务;

支持 6-7 种应用场景;

支持 5 项及以上语言类任务;

支持 8 种及以上种应用场景。

10.1.2 语音任务

评估目的：评估安全应急行业大模型对语音类任务的支持度。

评估内容：评估安全应急行业大模型在语音合成、语音听写、语音转写、语音唤醒、声纹识别等语

音类任务的功能丰富度与场景支持完备度，具体包括：

a) 语音合成：

1) 支持将任意文本实时转化为高自然度的语音，提供丰富的发音库，支持发音人选择、多档语速配置、多档语调配置等功能;

2) 支持预警信息通知推送、应急指挥调度指令下发、安全应急培训等应用场景;

b) 语音听写：

1) 支持把小于 60 秒的语音转换成对应的文字信息，支持智能断句、智能纠错、标点符号预测、数字、 日期、时间等内容格式智能转化等功能;

2) 支持风险识别、隐患排查、事故上报、执法记录等场景中识别用户输入的语音描述并快速转换成文字记录;

c) 语音转写：

1) 支持将音频流数据实时转换成文字流数据结果,提供中文、英文双语种识别能力，支持结合上下文语境进行智能纠错，确保识别的准确性;

2) 支持日常会议记录、应急救援协调会商等场景中进行会议语音实时转写、字幕实时上屏等功能;

d) 语音唤醒：

1) 支持从连续不断的用户音频中发现设定的语音指令(即唤醒词)，让系统开始接受语音控制指令;

2) 支持应急指挥调度场景中智能调取应急物资分布、事故地点周边视频监控、传感设备、紧急疏散集合点等相关资源;

e) 声纹识别：

1) 支持生成密码串、密码与语音有效性校验、声纹注册、更新注册、声纹确认、声纹鉴别服务;

2) 支持通过声纹识别在智能巡检、行政执法、培训签到、应急演练签到、应急调度指令下发等场景中进行身份核验。

表 9 语音任务功能评分要求

语音类任务功能丰富度

仅支持1项语音类任务;

支持 2 项语音类任务;

支持 3 项语音类任务;

支持 4 项语音类任务;

支持 5 项及以上语音类任务;

10.1.3 视觉任务

评价目的：评估安全应急行业大模型对视觉类任务的支持度。

评估内容：评估安全应急行业大模型在图片分类、人脸识别、指纹识别、OCR 识别、隐患/事件识别

等视觉类任务的功能丰富度与场景支持完备度，具体包括：

a) 图片分类：

1) 支持对多种证照、照片的分类判别等任务;

2) 支持对营业执照、安全生产许可证等企业证照、身份证、驾驶证、特种作业操作证等个人证照进行分类判别;

b) 人脸识别：

1) 支持基于人的脸部特征信息进行身份识别，提供人脸检测、面部关键点检测、人脸比对等功能;

2) 支持通过人脸识别在智能巡检、设备点检、重点监管区域人员进出权限控制、行政执法、教育培训、应急演练、特殊作业等场景中进行身份核验。

c) 指纹识别：

1) 支持基于指纹识别进行应用登陆、身份确认等;

2) 支持通过指纹识别在智能巡检、设备点检、重点监管区域人员进出权限控制、行政执法、教育培训、应急演练、特殊作业等场景中进行身份核验。

d) OCR 识别：

1) 支持手写文字识别、证照识别、单据识别、合同识别等任务;

2) 支持车辆车牌识别、营业执照、安全生产许可证等企业证照信息识别、身份证、驾驶证、特种作业操作证等个人证照信息识别、纸质执法文书内容识别等应用场景。

e) 隐患/事件识别

1) 支持基于视觉分析智能识别人的不安全行为、物的不安全状态以及环境的不安全因素;

2) 支持利用视觉分析技术识别不同类型的隐患或不安全事件，如禁烟区抽烟、未佩戴安全帽、烟雾火焰识别、人员跌倒、区域入侵、擅离职守、人员聚集等。

表 10 视觉任务功能评分要求

视觉类任务功能丰富度

仅支持1项视觉类任务;

支持 2 项视觉类任务;

支持 3 项视觉类任务;

支持 4 项视觉类任务;

支持 5 项及以上视觉类任务;

10.1.4 多模态任务

评估目的：评估安全应急行业大模型对多模态任务的支持度。

评估内容：评估安全应急行业大模型在多模态任务方向的模态支持完备度与场景丰富度，具体包括：

a) 模态支持完备度：对文本、图像、语音、视频等模态的支持度。

b) 场景丰富度：图文检索、基于图片的文本问答、基于图片的文本描述、文本生成图片、文本生成视频、语音识别、视频描述生成等任务场景的支持度;

表 11 多模态任务功能评分要求

模态支持完备度

仅支持1种数据模态;

仅支持 1 项任务;

支持 2 种数据模态;

支持 2-3 项任务;

支持 3 种数据模态;

支持 4-5 项任务;

支持 6-7 项任务;

支持 4 种及以上数据模态;

支持 8 项及以上任务。

10.2 任务效果

10.2.1 语言任务效果

评估目的：评估安全应急行业大模型在语言任务中的应用效果。

评估内容：评估安全应急行业大模型完成语言任务的客观性能及推荐指标的计算方法，其中一类任务包含多个客观指标，应根据任务实际情况，选择合适的评价指标(推荐指标见附录 B)。

a) 准确率和 F1 值：计算方法见公式(2)～( 5)

(2)

——准确率;

H1 ——正样本预测正确的结果;

H ——正样本预测的结果和预测错误的结果的和。

… … … … … … … … … … … … … … … …(3)

PH ——召回率;

E1 ——正样本预测正确的结果;

E2 ——正样本预测正确的结果和正样本预测错误的和。

… … … … … … … … . … … … … … …(4)

FH ——F1 值;

PH ——准确率;

RH ——召回率。

b) ROUGE-N：计算方法见公式(7)：

… … … … .. … …(5)

N ——即 n-gram，文本内容滑动窗口字节数，参考值为 2;

countmatch (gramn) ——参考摘要和机器生成摘要中共有的 n-gram 的数量;

count (gramn) ——参考摘要中 n-gram 的数量。

c) 主观指标可接受度，对文案生成、文本摘要、扩写等任务参照表 12 对文本生成结果按照流畅

性、多样性、连贯性进行评分，将生成文本评分的平均分作为该生成文本的可接受度。

表 12 可接受度评分准则

评分

评分准则

流畅性

多样性

连贯性

文本不具备可读性;

文本和前文存在大量重复和成分多余;

文本和前文逻辑矛盾;

文本具有可读性，但存在大量搭配不当等语法错

误;

文本和前文存在重复或成分多余;

文本和前文存在少量逻辑矛盾;

文本基本流畅，存在少碰语法错误;

文本和前文存在少量重复或成分多余;

文本和前文无明显逻辑矛盾，但和前文转折不够流畅;

文本流畅，存在少量搭配不当;

文本和前文无重复或成分多余;

文本和前文无逻辑矛盾，且和前文转折流畅;

文本十分流畅，无任何语法错误;

文本和前文无重复或成分多余，包含信息量丰富;

文本和前文无逻辑矛盾，且和前文连贯一致。

d) QAC/PAC 值：计算方法见公式(6)～(7)

QAc

PAc = n1 × 100%… (7)

N

QAC ——预测正确的填空个数与总填空个数的占比;

PAC ——全部预测正确的文章的个数与全部文章数的占比;

mu ——预测正确的填空个数;

M ——与总填空个数的占比;

n1 ——预测正确的文章个数;

N ——与总文章个数的占比。

表 13 语言任务效果评分要求

序列标注/知识识别

知识理解

文本生成

推理计算

准确率

F1 值

QAC/PAC

ROUGE— 2

可接受度

(88%,90% ]

(50%,60% ]

(0,20]

(0,0.2]

(40%,50 %] ;

(90%,92% ]

(60%,70% ]

(60%,75% ]

(20,30]

(0.2,0.3 ]

(50%,55 %] ;

(94%,96% ]

(70%,80% ]

(70%,75% ]

(75%,85% ]

(30,40]

(0.3,0.4 ]

55%,60% ];

(96%,98% ]

(80%,90% ]

(75%,80% ]

(85%,95% ]

(40,50]

(0.4,0.5 ]

(60%,70 %];

(98%,100 %]

(90%,100 %]

(95%,100 %]

(50,100]

(0.5,1]

(70%,80 %];

10.2.2 语音任务效果

评估目的：评估安全应急行业大模型在语音任务中的应用效果。

评估内容：评估安全应急行业大模型完成语音任务的客观性能及推荐指标的计算方法，其中一类任务包含多个客观指标，应根据任务实际情况，选择合适的评价指标(推荐指标见附录 A)。

a) 错误接受率：计算方法见公式(8)：

FAR

FAR ——错误接受率;

R2 ——被系统接受的冒充者测试样本数;

R ——总的冒充者测试样本数。

b) 错误拒绝率：计算方法见公式(9)：

FRR=尝X100%

(9) … … … … … … … … … … .. … … … … … …

FRR ——错误拒绝率;

A2 ——被系统拒绝的真实人测试样本数;

A ——总的真实者测试样本数。

c) 句识别准确率：输入测试数据集，获取参测AI大模型的识别结果文本，对比识别序列与标准序列，计算其语音识别的句准确率，计算方法见公式(10)：

SCR=X100%

(10) …………………………………………

SCR ——句识别准确率;

H ——识别正确无误的句子数;

N ——总句数。

d) 语音MOS评分：基于人工评测的方式， 由测评人员依据表14的MOS评分标准对参测安全应急行业大模型合成的音频进行打分：

表 14 语音 MOS 评分标准

1

发音不清晰，听不懂，机器音质。只能表达断续，个别的语音信息。猜测语意都很困

难，不能接受。

2

一些关键词听不清楚，近似单音节生硬拼接。一般听测人排斥听这种言语声。

3

能听懂，没有明显分词错误，节奏上没有大问题，有的重音处理不当。评测人不太愿

接受。有明显的疲劳感。一般很难坚持连续听十分钟以上。

4

清晰可懂，听感好，愿意接受，没有明显韵律错误。达到可推广使用的水平。

5

播音员真人发声为理想中的 5 分。合成语音的 5 分和播音员真人发声非常接近，达到可以以假乱真的程度。总体听感很好，清晰，流畅。听测人乐于接受。

表 15 语音任务效果评分要求

语言合成

语音听写/语言转写/声纹识别

语音唤醒

MOS 评分

错误接受率

错误拒绝率

句识别准确率

(0,1];

(30%,100%];

(50%,60%];

(1,2];

(20%,30%];

(60%,75%];

(2,3];

(10%,2%];

(75%,85%];

(3,4];

(1%,10%];

(85%,95%];

(4,5];

(0%,1%];

(95%,100%];

10.2.3 视觉任务效果

评估目的：评估安全应急行业大模型在视觉任务中的应用效果。

评估内容：评估安全应急行业大模型完成视觉任务的客观性能及推荐指标的计算方法，其中一类任务包含多个客观指标，应根据任务实际情况，选择合适的评价指标(推荐指标见附录 A)。

a) APIoU=0.5：对于每一个类别在交并比 IoU=0.5 的阈值下，先计算精准率Pi和召回率Ri，然后根据不同置信度得到 P-R 曲线，计算出单个类别的平均精度，最后再对所有类别取平均，得到所有类别的平均精度，计算方法见公式(11)：

APOV-os=⃞OAR

(11) ………………………………………

API0U=0.5 ——IoU 阈值 0.5 条件下所有目标类别的平均精度;

APi ——某目标类别 i 的平均精度;

k ——目标类别数量。

b) 交并比：某个类别预测结果的集合与真实标签集合之间的交集和并集的比值，计算方法见公式

(12)：

… … … … … … … … … … … . … … … … … …(12)

I0Ui ——某类别 i 的分割交并比;

xi ——预测为类别 i 的像素的集合;

yi ——真实为类别 i 的像素的集合。

c) 平均交并比：整体评估所有类别分割的准确性，取所有类别交并比的均值，计算方法见公式(13)：

… … … … … … … … … .. … … .. … … … …(13)

mIoU ——所有类别的平均交并比;

IoUi ——某类别 i 的分割交并比;

k ——分割类别总数。

d) mAPIoU=0.75：实例分割预测的是目标掩模，评估指标为平均精度，参见公式(14)：

… … … … … … … … … . … … … … …(14)

mAPIoU=0.75 ——所有实例分割类别在IoU=0.75下的平均精度，其中IoU计算是预测

掩模与真实标注掩模之间的交并比;

APi ——某个目标类别i实例分割的平均精度;

表 16 视觉任务效果评分要求

APIoU=0.5

交并比

平均交并比

(50%,60%]

(0%,60%]

(0,0.6]

(60%,70%]

(60%,75%]

(0.6,0.7]

(70%,80%]

(75%,85%]

(0.7,0.8]

(80%,90%]

(85%,95%]

(0.8,0.9]

(90%,100%]

(95%,100%]

(0.9,1]

10.2.4 多模态任务效果

评估目的：评估安全应急行业大模型在多模态任务中的应用效果。

评估内容：评估安全应急行业大模型完成多模态任务的客观性能及推荐指标的计算方法，其中一类任务包含多个客观指标，应根据任务实际情况，选择合适的评价指标(推荐指标见附录 A)。

a) 前10命中率：计算每张图像和查询词之间的相似度，按相似度从高到低对所有图像进行排序，评估该排序列表的前10命中率，计算方法见公式(15)：

Rankek(Q,G)=⃞1(啡1r(,a,))>0)

(15) ……….……………

Rank@k(Q, G) ——查询集合为Q，底库集合为G时的前k位平均命中率;

qi ——第i个查询样本;

li,j ——查询样本 qi 的排序列表中的第j个样本;

r (q, g) ——样本q和g是否相关，相关返回1，不相关返回0。

N ——测试集中的样本总数;

I ——示性函数;

K ——取10

b) 以文生图MOS评分：输入以文生图的测试数据集，其中每条描述文本需包含4个及以上的命名实体，且至少包含1个及以上的环境或氛围描写。获取参测安全应急行业大模型的输出结果，参照表格17，对图文生成结果进行评分：

表 17 以文生图 MOS 评分标准

图片内容描述

生成的图片包含 1 个文本中的命名实体，但生成的图片不协调;

生成的图片包含 2 个文本中的命名实体，但不包含环境及氛围描述，画面可接受度一般;

生成的图片包含 3 个文本中的命名实体，但不支持对环境和氛围进行生成，画面可接受度一般;

生成的图片包含 4 个文本中的命名实体，支持对环境和氛围进行生成，画面可接受度较高;

生成的图片包含 5 个及以上的命名实体，支持对环境和氛围进行生成，画面清晰流畅，与文本内容相符。

表 18 多模态任务效果评分要求

前 10 命中率

以文生图 MOS 评分

(0%,60%];

(80%,90%];

(90%,100%];

11 应用成熟度

11.1 数据合规性

11.1.1 数据分类分级

评估目的：评估安全应急行业大模型开发及应用过程中是否具备数据按照类别、级别进行管理的能力。

评估内容：

a) 对象种类：数据分类分级的对象通常是数据项、数据集，比如提供安全应急产品或服务过程中采集的监测预警数据、业务数据、行业知识库数据等;

b) 数据分类：根据安全应急行业规范和业务特性设计分类体系，主要目的是便于数据管理和使用;

c) 数据分级：根据安全应急行业规范和业务特性设计分级体系，不同级别的数据应采取不同的保护措施;

d) 数据来源：在安全应急行业大模型训练、微调等开发过程中，使用的数据来源合法合规，能够追溯数据授权与许可;

e) 数据输出：在安全应急行业大模型应用阶段，应设置审查机制，保障输出结果合法合规，不得输出法律法规禁止传播的内容信息;

f) 定期审核：安全应急数据的类别级别可能因时间变化、政策变化、安全事件发生、不同业务场景的敏感性变化，因此需要对安全应急数据分类分级进行定期审核并及时调整。

表 19 数据分类分级评分要求

1.应支持 1 种及以上种类数据的分类分级;

相较上一级新增：

1.应支持 2 种及以上种类数据的分类分级;

2.应具备数据分类能力，便于数据管理和使用;

1.在安全应急行业大模型应用阶段，应设置审查机制，保障输出结果合法合规，不得输出法律法规禁止传播的内容信息;

2.应具备数据分级能力，不同级别的数据应采取不同的保护措施;

1.在安全应急行业大模型训练、微调等开发过程中，使用的数据来源合法合规