GB/T 38643-2020 信息技术 大数据 分析系统功能测试要求

　　ICS 35 . 240 L 67

　　中 华 人 民 共 和 国 国 家 标 准

　　GB/T 38643—2020

　　信息技术 大数据

　　分析系统功能测试要求

　　Informationtechnology—Bigdata—Functionaltestingrequirementsfor

　　analyticsystem

　　2020-04-28 发布 2020-1 1-01 实施

　　国家市场监督管理总局国家标准化管理委员会

　　发

　　布

　　GB/T 38643—2020

　　GB/T 38643—2020

　　前 言

　　本标准按照 GB/T 1 . 1—2009 给出的规则起草。

　　请注意本文件的某些内容可能涉及专利。 本文件的发布机构不承担识别这些专利的责任。

　　本标准由全国信息技术标准化技术委员会(SAC/TC 28)提出并归口 。

　　本标准起草单位：浪潮电子信息产业股份有限公司、中国电子技术标准化研究院、中国人民大学、上海计算机软件技术开发中心、浪潮软件集团有限公司、勤智数码科技股份有限公司、深圳迅策科技有限公司、成都四方伟业软件股份有限公司、陕西省信息化工程研究院、中国铁道科学研究院集团有限公司、平安科技(深圳)有限公司、内蒙古大学、江苏中堃数据技术有限公司、重庆大数据研究院有限公司。

　　本标准主要起草人：赵江、苏志远、卫凤林、张群、杜小勇、陈敏刚、黄先芝、公维锋、陈文捷、蔡立志、王建华、李正、耿大为、赵志强、颜怀柏、顾美营、张勇、朱志祥、马小宁、吴艳华、赵正阳、韩梅、李华、魏清、张海静、王东强。

　　GB/T 38643—2020

　　信息技术 大数据

　　分析系统功能测试要求

　　1 范围

　　本标准规定了大数据分析系统的数据准备模块、分析支撑模块、数据分析模块、流程编排模块的功能测试要求。

　　本标准适用于指导大数据分析系统的设计、开发和交付。

　　2 规范性引用文件

　　下列文件对于本文件的应用是必不可少的。 凡是注 日期的引用文件，仅注 日期的版本适用于本文件 。凡是不注 日期的引用文件，其最新版本(包括所有的修改单)适用于本文件。

　　GB/T 37721—2019 信息技术 大数据分析系统功能要求

　　3 术语和定义

　　GB/T 37721—2019 界定的以及下列术语和定义适用于本文件。

　　3 . 1

　　大数据分析系统 bigdataanalysissystem

　　在大数据存储和处理系统提供的原始数据和计算框架的基础上，集成了一系列数据分析生命周期过程中所用工具的系统。

　　4 缩略语

　　下列缩略语适用于本文件。

　　API：应用程序接口(Application Programming Interface)

　　AUC: ROC 曲线下方的面积(Area under the ROC Curve)

　　CPU：中央处理器(Central Processing Unit)

　　GPU：图形处理器(Graphics Processing Unit)

　　HDFS：分布式文件系统 (Hadoop Distributed File System)

　　JSON:JS对象标记(JavaScript Object Notation)

　　OLAP：联机分析处理(On-Line Analytical Processing)

　　PCA：主成分分析(Principal Components Analysis)

　　REST：表述性状态转移(Representational State Transfer)

　　ROC：接受者操作特性(Receiver Operating Characteristic)

　　SQL：结构化查询语言(Structured Query Language)

　　SSD：固态硬盘(Solid State Drives)

　　XML：可扩展置标语言(Extensible Markup Language)

　　GB/T 38643—2020

　　5 概述

　　本标准根据 GB/T 37721—2019 规定的大数据分析系统的功能要求，给出了相应的测试要求。 测试示例参见附录 A。

　　6 数据准备模块功能测试

　　6. 1 数据抽取功能测试

　　数据抽取功能测试要求如下：

　　a) 应测试大数据分析系统数据准备模块是否支持按照需求抽取存放在存储系统中的数据;

　　b) 应测试大数据分析系统数据准备模块是否对结构化数据、非结构化数据提供不同抽取方法;

　　c) 应测试大数据分析系统数据准备模块是否提供全量抽取及增量抽取模式;

　　d) 应测试大数据分析系统数据准备模块是否支持主动抽取和被动追加;

　　e) 应测试大数据分析系统数据准备模块是否支持定时批量抽取;

　　f) 应测试大数据分析系统数据准备模块是否支持分布式数据抽取，并测试在数据抽取过程是否实现负载均衡。

　　6.2 数据清洗功能测试

　　数据清洗功能测试要求如下：

　　a) 应测试大数据分析系统数据准备模块是否支持数据一致性;

　　b) 应通过进行无效数据值删除、修正等操作测试大数据分析系统数据准备模块是否支持处理无效值;

　　c) 应通过填充缺失值或删除缺失值对应数据条目等操作测试大数据分析系统数据准备模块是否支持处理缺失值;

　　d) 应通过合并重复数据或者删除重复数据等操作测试大数据分析系统数据准备模块是否支持处理重复数据;

　　e) 应测试大数据分析系统数据准备模块是否提供清洗前后的数据比对功能;

　　f) 应测试大数据分析系统数据准备模块是否支持逻辑矛盾、关联性验证、不合理数据的清洗。

　　6. 3 数据转换功能测试

　　数据转换功能测试要求如下：

　　a) 应通过对结构化数据进行列转换操作测试大数据分析系统数据准备模块是否支持结构化数据列转换;

　　b) 应通过对结构化数据进行行转换操作测试大数据分析系统数据准备模块是否支持结构化数据行转换;

　　c) 应通过对结构化数据进行表转换操作测试大数据分析系统数据准备模块是否支持结构化数据表转换;

　　d) 应测试大数据分析系统数据准备模块是否支持非结构化数据的结构化处理;

　　e) 应测试大数据分析系统数据准备模块是否支持对文本、网页类数据的规范化处理，是否支持将文档类数据转化成单一规范形式;

　　f) 应通过进行语音和音频输入，检测输入识别结果准确性，测试大数据分析系统数据准备模块是否支持对语音/音频数据的识别处理;

　　GB/T 38643—2020

　　g) 应通过进行图像输入，检测输入识别结果准确性，测试大数据分析系统数据准备模块是否支持提

　　取图像信息。

　　6. 4 数据加载功能测试

　　数据加载功能测试要求如下：

　　a) 应测试大数据分析系统数据准备模块是否支持把经过清洗和转换之后的数据加载到大数据分析系统;

　　b) 应按照加载的目标结构将转换过的数据输入到 目标结构中去，测试大数据分析系统数据准备模块是否支持全量加载;

　　c) 在目标结构中已经存在数据时，应通过在保存已有数据的基础上增加新的数据，测试大数据分析系统数据准备模块是否支持增量加载;

　　d) 应测试大数据分析系统数据准备模块是否支持实时加载或批量加载。

　　7 分析支撑模块功能测试

　　7. 1 查询功能测试

　　7. 1 . 1 查询接口测试

　　查询接口测试要求如下：

　　a) 应测试大数据分析系统分析支撑模块是否支持通过标准的数据库连接接口进行查询;

　　b) 应测试大数据分析系统分析支撑模块是否支持 REST API查询接口进行查询。

　　7. 1 .2 查询优化测试

　　查询优化测试要求如下：

　　a) 应通过建立数据索引测试大数据分析系统分析支撑模块是否达到查询加速的效果;

　　b) 应测试大数据分析系统分析支撑模块是否支持精确查询和模糊查询;

　　c) 应测试大数据分析系统分析支撑模块是否支持基于规则或者基于成本的查询优化;

　　d) 应测试大数据分析系统分析支撑模块是否支持数据分片和多副本技术;

　　e) 应测试大数据分析系统分析支撑模块是否支持通过 SQL进行复杂条件高并发查询;

　　f) 应测试大数据分析系统分析支撑模块是否支持二级索引。

　　7.2 机器学习功能测试

　　7.2. 1 数据集管理功能测试

　　数据集管理功能测试要求如下：

　　a) 应测试大数据分析系统分析支撑模块是否能够将输入数据划分为训练集、验证集和测试集;

　　b) 应通过将训练、验证过的模型导入到大数据分析系统中，以及将大数据系统中训练所得的模型导出的操作，测试大数据分析系统分析支撑模块是否提供机器学习模型的导入和导出的功能。

　　7.2.2 支持算法测试

　　支持算法测试要求如下：

　　a) 应测试大数据分析系统分析支撑模块是否支持回归与分类算法;

　　b) 应测试大数据分析系统分析支撑模块是否支持聚类算法;

　　c) 应测试大数据分析系统分析支撑模块是否支持协同过滤算法;

　　GB/T 38643—2020

　　d) 应测试大数据分析系统分析支撑模块是否支持降维算法;

　　e) 应测试大数据分析系统分析支撑模块是否支持频繁模式挖掘算法;

　　f) 应测试大数据分析系统分析支撑模块是否支持神经网络算法;

　　g) 应通过检查是否具有特征提取、特征转换、特征选择、模型选择、交叉验证、模型调优组件测试大数据分析系统分析支撑模块是否提供机器学习流程的其他组件;

　　h) 应测试大数据分析系统分析支撑模块是否支持 Java、Scala、Python、R等一种或多种语言，并且是否支持二次开发增加新的算子。

　　7.2. 3 模型评估功能测试

　　应通过检查机器学习模块中包含交叉验证、模型选择等核心评估组件测试大数据分析系统分析支撑模块是否能够支持算法模型的评估模块。

　　7. 3 统计分析功能测试

　　统计分析功能测试要求如下：

　　a) 应通过计算最大值、最小值、求和、总数等统计量测试大数据分析系统分析支撑模块是否支持基本的数值统计;

　　b) 应通过计算平均数、中位数、众数等统计量测试大数据分析系统分析支撑模块是否支持分析数据集中趋势的统计;

　　c) 应通过计算极差、方差、标准差等统计量测试大数据分析系统分析支撑模块是否支持分析数据离散程度的统计;

　　d) 应通过计算协方差、相关系数等统计量测试大数据分析系统分析支撑模块是否支持分析多个随机变量的关系;

　　e) 应通过保存常用的统计分析方案测试大数据分析系统分析支撑模块是否支持统计分析的自定义模板能力。

　　7. 4 可视化功能测试

　　可视化功能测试要求如下：

　　a) 应通过以 Excel、关系型数据库、JSON、XML格式输入测试大数据分析系统分析支撑模块是否支持常见的数据源数据格式作为输入;

　　b) 应测试大数据分析系统分析支撑模块是否支持对高维数据的可视化展示;

　　c) 应通过检查是否可以以柱状图、饼图、折线图等方式展示测试大数据分析系统分析支撑模块是否支持可视化分析工具库;

　　d) 应测试大数据分析系统分析支撑模块是否支持算法模型的评估相关的可视化工具。

　　8 数据分析模块功能测试

　　8. 1 分析模式测试

　　8. 1 . 1 离线数据分析功能测试

　　离线数据分析功能测试要求如下：

　　a) 应测试大数据分析系统数据分析模块是否支持结构化查询语言;

　　b) 应测试大数据分析系统数据分析模块是否支持对离线数据的分布式分析;

　　c) 应测试大数据分析系统数据分析模块是否具有通过标准接口支持第三方应用的能力;

　　GB/T 38643—2020

　　d) 应测试大数据分析系统数据分析模块是否支持分布式计算或并行计算等计算框架;

　　e) 应测试大数据分析系统数据分析模块是否支持对海量工作任务的切分和分布式调度;

　　f) 应测试大数据分析系统数据分析模块是否支持集成第三方的机器学习算法库;

　　g) 应测试大数据分析系统数据分析模块是否支持使用内存或 SSD存储作为缓存;

　　h) 应测试大数据分析系统数据分析模块是否支持分布式执行计划层面的优化;

　　i) 应测试大数据分析系统数据分析模块是否支持对文本类、音视频类以及图像类数据的分析;

　　j) 应测试大数据分析系统数据分析模块是否支持对关系型数据库和大数据存储系统中的数据源进行交叉查询、聚合、关联操作的能力;

　　k) 应测试大数据分析系统数据分析模块是否支持使用 GPU对特定算法加速分析。

　　8. 1 .2 流数据分析功能测试

　　流数据分析功能测试要求如下：

　　a) 应测试大数据分析系统数据分析模块是否支持按时间切片后进行批量处理;

　　b) 应测试大数据分析系统数据分析模块是否支持基于事件触发或者采样的流式处理;

　　c) 应测试大数据分析系统数据分析模块是否支持实时流上的数据统计;

　　d) 应测试大数据分析系统数据分析模块是否支持流式数据的排序;

　　e) 应测试大数据分析系统数据分析模块是否支持与静态表之间的关联;

　　f) 应测试大数据分析系统数据分析模块是否支持多个数据流的关联处理;

　　g) 应测试大数据分析系统数据分析模块是否支持采用滑动窗口方式的实时分析任务，并测试其时间窗口大小是否可调;

　　h) 应测试大数据分析系统数据分析模块是否支持实时数据的分组、优先级调度;

　　i) 应测试大数据分析系统数据分析模块是否支持对文本类、音视频类以及图像类数据的分析。

　　8. 1 . 3 交互式联机分析功能测试

　　交互式联机分析功能测试要求如下：

　　a) 应测试大数据分析系统数据分析模块是否支持通过结构化查询语言对数据进行分布式的联机分析;

　　b) 应测试大数据分析系统数据分析模块是否支持通过结构化查询语言对数据进行即席查询;

　　c) 应测试大数据分析系统数据分析模块是否支持利用可视化中间件对数据分析结果进行显示;

　　d) 应测试大数据分析系统数据分析模块是否支持在交互式分析过程中定义计算公式和参数配置;

　　e) 应测试大数据分析系统数据分析模块是否支持交互式分析过程的自动保存和回退等操作;

　　f) 应测试大数据分析系统数据分析模块是否支持在交互式分析过程中对分析结果的保存和发布;

　　g) 应测试大数据分析系统数据分析模块是否支持基于在线联机分析的交互式数据分析;

　　h) 应测试大数据分析系统数据分析模块是否支持对非结构化数据的分析。

　　8.2 分析类型测试

　　8.2. 1 预测型分析功能测试

　　预测型分析功能测试要求如下：

　　a) 应测试大数据分析系统数据分析模块是否支持趋势预测、回归分析等多种预测分析方法;

　　b) 应测试大数据分析系统数据分析模块是否支持准确率以百分比数值化形式呈现，并测试是否精确到小数点后至少 1 位;

　　c) 应测试大数据分析系统数据分析模块是否支持使用可视化方式进行显示分析结果;

　　GB/T 38643—2020

　　d) 应测试大数据分析系统数据分析模块是否支持对训练好的模型的发布应用。

　　8.2.2 描述型分析功能测试

　　描述型分析功能测试要求如下：

　　a) 应测试大数据分析系统数据分析模块是否支持使用相关关系分析方法进行描述型分析;

　　b) 应测试大数据分析系统数据分析模块是否支持可视化展示样本数据的分析结果，是否支持展示模型训练效果，是否支持对训练好的模型可存储和发布;

　　c) 应测试大数据分析系统数据分析模块是否支持分析结果的良好直观呈现。

　　9 流程编排模块功能测试

　　9. 1 工作流管理测试

　　工作流管理测试要求如下：

　　a) 应通过拖拉方式进行流程编排和修订等操作测试大数据分析系统流程编排模块是否支持可视化的流程编排操作界面;

　　b) 应通过配置工作流的触发时间的启动时间、执行周期测试大数据分析系统流程编排模块是否支持工作流的调度触发机制，并且是否支持配置触发时间或触发事件;

　　c) 应测试大数据分析系统流程编排模块是否支持通过管理界面对工作流进行启动、停止操作;

　　d) 应测试大数据分析系统流程编排模块是否支持并行执行多流程任务;

　　e) 应测试大数据分析系统流程编排模块是否支持通过数据管道实现工作流的串联;

　　f) 应测试大数据分析系统流程编排模块是否支持多人协同功能;

　　g) 应测试大数据分析系统流程编排模块是否支持流程编排结果的持久化保存。

　　9.2 告警和日志测试

　　告警和日志测试要求如下：

　　a) 应测试大数据分析系统流程编排模块是否支持跟踪计算或任务的执行状态，并测试是否对异常任务给出告警;

　　b) 应测试大数据分析系统流程编排模块是否支持任务执行状态的细节输出到日志。

　　GB/T 38643—2020

　　附 录 A

　　(资料性附录)测试示例

　　A.1 数据准备模块功能测试示例

　　A.1 . 1 数据抽取功能测试示例 测试示例见表 A.1~表 A.6。

　　表 A.1

　　表 A.2

　　表 A.3

　　GB/T 38643—2020

　　表 A.4

　　表 A.5

　　表 A.6

　　A.1 . 2 数据清洗功能测试示例

　　测试示例见表 A.7~表 A.12。

　　表 A.7

　　GB/T 38643—2020

　　表 A.8

　　表 A.9

　　表 A.10

　　表 A.1 1

　　表 A.12

　　A.1 . 3 数据转换功能测试示例

　　测试示例见表 A.13~表 A.19。

　　GB/T 38643—2020

　　表 A.13

　　表 A.14

　　表 A.15

　　表 A.16

　　表 A.17

　　GB/T 38643—2020

　　表 A.18

　　表 A.19

　　A.1 . 4 数据加载功能测试示例

　　测试示例见表 A.20~表 A.23。

　　表 A.20

　　表 A.2 1

　　表 A.22

　　GB/T 38643—2020

　　表 A.23

　　A.2 分析支撑模块功能测试示例

　　A.2 . 1 查询功能测试示例

　　A.2 . 1 . 1 查询接口测试示例

　　测试示例见表 A.24~表 A.25。

　　表 A.24

　　表 A.25

　　A.2 . 1 . 2 查询优化测试示例

　　测试示例见表 A.26~表 A.31。

　　表 A.26

　　GB/T 38643—2020

　　表 A.27

　　表 A.28

　　表 A.29

　　表 A.30

　　表 A.3 1

　　A.2 . 2 机器学习功能测试示例

　　A.2 . 2 . 1 数据集管理功能测试示例测试示例见表 A. 32 和表 A. 33 。

　　GB/T 38643—2020

　　表 A.32

　　表 A.33

　　A.2 . 2 . 2 支持算法测试示例

　　测试示例见表 A.34~表 A.41。

　　表 A.34

　　表 A.35

　　表 A.36

　　GB/T 38643—2020

　　表 A.37

　　表 A.38

　　表 A.39

　　表 A.40

　　表 A.4 1

　　A.2 . 2 . 3 模型评估功能测试示例

　　测试示例见表 A. 42 。

　　GB/T 38643—2020

　　表 A.42

　　A.2 . 3 统计分析功能测试示例

　　测试示例见表 A.43~表 A.47。

　　表 A.43

　　表 A.44

　　表 A.45

　　GB/T 38643—2020

　　表 A.46

　　表 A.47

　　A.2 . 4 可视化功能测试示例

　　测试示例见表 A.48~表 A.51。

　　表 A.48

　　表 A.49

　　GB/T 38643—2020

　　表 A.50

　　表 A.51

　　A.3 数据分析模块功能测试示例

　　A.3 . 1 分析模式测试示例

　　A.3 . 1 . 1 离线数据分析功能测试示例测试示例见表 A.52~表 A.62。

　　表 A.52

　　表 A.53

　　GB/T 38643—2020

　　表 A.54

　　表 A.55

　　表 A.56

　　表 A.57

　　表 A.58

　　表 A.59

　　GB/T 38643—2020

　　表 A.60

　　表 A.6 1

　　表 A.62

　　A.3 . 1 . 2 流数据分析功能测试示例

　　测试示例见表 A.63~表 A.71。

　　表 A.63

　　表 A.64

　　GB/T 38643—2020

　　表 A.65

　　表 A.66

　　表 A.67

　　表 A.68

　　表 A.69

　　表 A.70

　　GB/T 38643—2020

　　表 A.7 1

　　A.3 . 1 . 3 交互式联机分析功能测试示例

　　测试示例见表 A.72~表 A.79。

　　表 A.72

　　表 A.73

　　表 A.74

　　表 A.75

　　GB/T 38643—2020

　　表 A.76

　　表 A.77

　　表 A.78

　　表 A.79

　　A.3 . 2 分析类型测试示例

　　A.3 . 2 . 1 预测型分析功能测试示例测试示例见表 A.80~表 A.83。

　　表 A.80

　　GB/T 38643—2020

　　表 A.8 1

　　表 A.82

　　表 A.83

　　A.3 . 2 . 2 描述型分析功能测试示例

　　测试示例见表 A.84~表 A.86。

　　表 A.84

　　表 A.85

　　表 A.86

　　GB/T 38643—2020

　　A.4 流程编排模块功能测试示例

　　A.4 . 1 工作流管理测试示例

　　测试示例见表 A.87~表 A.93。

　　表 A.87

　　表 A.88

　　表 A.89

　　表 A.90

　　表 A.9 1

　　表 A.92

　　GB/T 38643—2020

　　表 A.93

　　A.4 . 2 告警和日志测试示例

　　测试示例见表 A. 94 和表 A. 95 。

　　表 A.94

　　表 A.95