GB/T 33447-2016 地理信息系统软件测试规范

　　ICS 07. 040;35.240.70 A 75

　　中 华 人 民 共 和 国 国 家 标 准

　　GB/T 33447—2016

　　地理信息系统软件测试规范

　　Specification ofgeographicinformation system softwaretesting

　　2016-12-30发布 2017-07-01实施

　　中华人民共和国国家质量监督检验检疫总局中 国 国 家 标 准 化 管 理 委 员 会

　　发

　　布

　　GB/T 33447—2016

　　前 言

　　本标准按照 GB/T 1. 1—2009给出的规则起草 。

　　本标准由国家测绘地理信息局提出 。

　　本标准由全国地理信息标准化技术委员会(SAC/TC230)归 口 。

　　本标准起草单位 :北京建筑大学 、中国测绘科学研究院 、中国科学院地理科学与资源研究所 、国家测绘产品质量检测测试中心 、国家基础地理信息中心 。

　　本标准主要起草人 :霍亮 、卢 战 伟 、陈 向 东 、陈 荣 国 、沈 涛 、靖 常 峰 、李 敏 、吉 建 培 、张 元 杰 、岳 建 伟 、赵江洪 、张学东 、杨建朋 、王红 、田军 、张春星 、高泽辉 、孙晨龙 、艾丛 、张森岗 。

　　地理信息系统软件测试规范

　　1 范围

　　本标准规定了地理信息系统软件产品的测试要求 、功能测试 、性能测试 、产品化测试 , 以及对地理信息系统软件测试评价结果的判定 。

　　本标准适用于地理信息系统软件的开发机构 、第三方测试机构 、用户及相关人员进行地理信息软件的系统测试 、验收测试和评价测试 。

　　2 规范性引用文件

　　下列文件对于本文件的应用是必不可少的 。凡是注 日期的引用文件 ,仅注 日期的版本适用于本文件 。凡是不注日期的引用文件 ,其最新版本(包括所有的修改单)适用于本文件 。

　　GB/T 8566 信息技术 软件生存周期过程

　　GB/T 9386 计算机软件测试文档编制规范

　　GB/T 20158 信息技术 软件生存周期过程 配置管理

　　3 术语和定义

　　GB/T 11457—2006与 GB/T 17694—2009界定的以及下列术语和定义适用于本文件 。 3. 1

　　地理信息基础软件 GIS basicsoftware

　　具有完备的功能 ,可以通过其提供的功能接 口 ,利用开发工具开发各种地理信息应用软件 。 3.2

　　地理信息专用软件 GIS specialsoftware

　　具有特定的地理信息功能或针对特定的地理信息应用对象 ,提供适合地理信息应用特点和需要的应用软件 。

　　3.3

　　系统测试 system testing

　　测试集成系统以验证它是否满足指定需求的过程 。

　　3.4

　　验收测试 acceptance testing

　　由用户/客户进行的验证性测试 ,是一种根据用户需求 、业务流程进行的正式测试 ,可以使客户确定是否接收此系统 。

　　3.5

　　评价测试 evaluation testing

　　通过地理信息系统软件功能 、性能和产品化指标的测量 ,对地理信息系统软件产品质量进行评价 。

　　GB/T 33447—2016

　　3.6

　　完备性 completeness

　　地理信息系统软件实现和提供给用户的功能指标是完整(或完全) 的 ,符合空间信息技术和软件在特定发展阶段的技术水平 。

　　3.7

　　指标体系 indicatorsystem

　　按照地理信息系统软件功能完备性要求建立的功能指标系统 ,结构合理 、层次清晰 、覆盖全面 、扩充方便 ,通常采用层次结构的方法建立 。

　　3. 8

　　正确性 correctness

　　测试系统在它的规格说明 、设计和实现中无故障的程度 ,也表示结果数据的精度和准确度 。 3.9

　　测试用例 testcase

　　为特殊目标而编制的一组测试输入 、执行条件以及预期结果 , 以便测试某个程序路径或核实是否满足某个特定需求 。

　　注 : 内容包括测试目标 、测试环境 、输入数据 、测试步骤 、预期结果 、测试脚本等 ,并形成文档 。

　　3. 10

　　测试脚本 testscript

　　特定测试的一系列指令 ,可以被自动化测试工具执行 ,判断被测软件的工作是否正常 。

　　3. 11

　　自动化测试 testautomation

　　把以人为驱动的测试行为转化为机器执行的一种过程 ,测试是在预设正常或异常条件下运行系统或应用程序 ,评估运行结果 。

　　4 测试要求

　　4. 1 测试目的

　　地理信息系统软件的测试目的是通过功能测试 、性能测试和产品化测试 ,对软件的质量和能力进行测量和评价 。包括 :

　　a) 验证软件产品是否达到需求说明 、设计说明和软件产品说明等规定的软件质量要求 ;

　　b) 检测软件任务的执行和对系统运行产生的影响 ;

　　c) 检测软件的潜在缺陷 ;

　　d) 确认软件满足系统的功能和性能需求 ,能够处理系统要求的负载 ;

　　e) 为软件产品的质量评价提供依据 。

　　4.2 测试内容

　　4.2. 1 概述

　　地理信息系统软件的测试内容包括功能测试 、性能测试和产品化测试 。

　　4.2.2 功能测试

　　地理信息系统软件功能测试包括地理信息基础软件功能测试和地理信息专用软件功能测试 , 主要是对被测软件的功能正确性和完备性进行测试 。

　　地理信息系统软件功能测试要求 :

　　a) 软件功能模块应能全部挂接 ,设计功能应完整齐全 ,且符合设计文档的要求 ;

　　b) 软件菜单能按照用户文档完全实现 ,所有功能应能正常运行 ,正常范围内输入应能得到正确的输出 ,并生成正确的结果 ,功能使用方便 ,符合设计文档的要求 ;

　　c) 软件发生错误时应有提示(记录错误日志 , 能根据错误日志进行回溯跟踪) ,并可恢复到正常状态 ;

　　d) 软件的窗口 、控件 、菜单和鼠标的操作及操作提示应符合所使用操作系统平台的规范 。

　　4.2.3 性能测试

　　地理信息系统软件性能测试包括功能的执行效率和整体性能 ,主要是对被测软件的效率 、负载性能和压力性能进行测试 。

　　地理信息系统软件性能测试要求 :

　　a) 软件应满足软件设计文档中说明的性能要求 ;

　　b) 在一定时间内 ,最大支持并发用户数 、软件请求出错率 、最大存储量 、最多处理数据流量 、响应时间等应满足设计文档的要求 ;

　　c) 一定时间内 ,系统的 CPU利用率 、内存使用率 、磁盘 I/O 吞吐率 、网络吞吐量 、最大虚拟用户数等应满足设计文档的要求 ;

　　d) 系统运行时资源监控指标应符合软件设计文档要求 。

　　4.2.4 产品化测试

　　地理信息系统软件产品化测试主要内容应包括软件的可用性和软件的产品化程度等 。可用性和产品化程度见 7. 3。

　　4.3 测试过程

　　4.3. 1 概述

　　GB/T 15532—2008中将软件测试过程划分为四项活动 ,按顺序分别是 :测试策划 、测试设计 、测试执行 、测试总结 。

　　4.3.2 测试策划

　　测试策划主要是进行测试需求分析 。 即确定需要测试的内容或质量特性 ;确定测试的充分性要求 ;提出测试的基本方法 ;确定测试的资源和技术需求 ;进行风险分析与评估 ,制定测试计划(含资源计划和进度计划) 。有关测试计划的内容和要求见 GB/T 9386。

　　4.3.3 测试设计

　　依据测试需求 ,分析并选用已有的测试用例或设计新的测试用例 ; 获取并验证测试数据 ;根据测试资源 、风险等约束条件 ,确定测试用例执行顺序 ;获取测试资源 ,开发测试软件 ;建立并校准测试环境 ;进行测试就绪评审 ,主要评审测试计划的合理性和测试用例的正确性 、有效性和覆盖充分性 ,评审测试组织 、环境和设备工具是否齐备并符合要求 。在进入下一阶段工作之前 ,应通过测试就绪评审 。

　　4.3.4 测试执行

　　执行测试用例 ,获取测试结果 ;分析并判定测试结果 。 同时 ,根据不同的判定结果采取相应的措施 ,对测试过程的正常或异常终止情况进行核对 。并根据核对结果 ,对未达到测试终止条件的测试用例 ,决

　　定是停止测试 ,还是需要修改或补充测试用例集 ,并进一步测试 。

　　4.3.5 测试总结

　　整理和分析测试数据 ,评价测试效果和被测软件项 ,描述测试状态 。如 ,实际测试与测试计划和测试说明的差异 、测试充分性分析 、未能解决的测试事件等 ;描述被测项的状态 ,如 ,被测软件与需求的差异 、发现的软件差错等 ;最后 ,完成软件测试报告 ,并给出是否通过测试评审的结论 。

　　4.4 测试方法

　　地理信息系统软件测试通常涉及大浮点运算和专用算法 , 系统测试和验收测试适合使用黑盒测试方法 ,宜采用针对地理信息系统软件专用测试工具 。

　　软件测试大纲和软件测试技术规范书应明确规定在测试中针对系统的每一项功能或性能应完成的基本测试项目和测试评判依据 。无论采用自动测试还是手动测试 ,都应满足测试大纲和技术规范书的要求 。

　　功能测试大纲和相关技术规范的要求参见附录 A。

　　4.5 自动化测试

　　4.5. 1 自动化测试条件

　　进行自动化测试的软件系统通常应满足如下条件 :

　　a) 软件需求变动不频繁 ;

　　b) 软件产品结构比较复杂 ;

　　c) 测试对象为海量数据 ,不宜人工测试 ;

　　d) 测试结果可以进行量化比较 ;

　　e) 测试操作易用脚本实现 ,且测试脚本可重复使用 。

　　地理信息系统软件的系统测试和验收测试符合上述要求 ,宜采用针对地理信息系统软件专用测试工具 。

　　4.5.2 自动化测试框架

　　自动化测试框架是由一个或多个测试基础模块 、测试管理模块 、测试统计模块等组成的工具集合 ,是自动化测试软件的基础结构 。

　　地理信息系统软件测试应尽量采用自动化测试框架 ,减少人工测试工作 。 为使工具在测试工作中发挥应有的作用 ,应采用适合地理信息系统软件的专用测试工具 。

　　4.5.3 自动化测试框架专用测试工具

　　4.5.3. 1 测试管理工具

　　测试管理工具用于对测试进行管理 。测试管理工具对测试计划 、测试用例 、测试实施进行管理 ,并且测试管理工具还包括对缺陷的跟踪管理 。

　　4.5.3.2 功能测试工具

　　功能测试工具用于测试软件功能指标 ,能满足人工测试和自动化测试的要求 。 功能测试工具包括测试脚本库 、测试用例库 、完备性测试 、正确性测试 , 以及测试结果的分析与评价 。

　　4.5.3.3 性能测试工具

　　性能测试工具用于测试软件性能指标 。性能测试工具可提供多种形态的终端用户模拟 、负载压力测试执行 、运行过程监控 、性能数据自动采集和测试结果分析等功能 。

　　4.5.3.4 测试评价工具

　　测试评价工具用于对测试结果进行评价 。测试评价工具应能够实现测试过程跟踪 、测试结果检查与评价 , 以及测试结果统计发布等功能 。

　　4.5.4 自动化测试流程

　　自动化测试流程包括制订测试计划 、搭建测试环境 、准备测试用例 、编写测试脚本 、运行测试脚本 、分析测试结果等过程 ,符合 4. 3 的要求 。地理信息系统软件自动化测试的执行过程如图 1所示 。

　　图 1 自动化测试执行过程

　　4.5.5 测试结果评价

　　自动化测试结果评价包括测试覆盖和质量评价 。测试覆盖是对测试完全程度的评价 ,它是由测试需求和测试用例的覆盖或已执行代码的覆盖表示的 。质量评价是对地理信息系统软件的可靠性 、稳定性以及性能的评价 ,它建立在对测试结果的评估和对测试过程中确定的缺陷分析的基础上 。

　　4.6 测试用例

　　测试用例描述了测试的前提条件 、输入参数 、验证点及期望的输出结果等 ,主要应包括如下内容 :

　　a) 在实施测试时测试用例作为软件测试的标准 ,测试人员要严格按照测试用例的测试项 目和测试步骤逐一实施 测 试 , 并 将 测 试 情 况 记 录 在 测 试 用 例 管 理 软 件 中 , 以 便 自 动 生 成 测 试 结 果文档 。

　　b) 按照测试用例配套准备一组或若干组测试原始数据 , 以及标准测试结果 。 除了正常数据之外 ,还应根据测试用例设计大量边缘数据和错误数据 。

　　c) 完成软件测试后需要对测试结果进行评估 ,并且编制测试报告 。判断软件测试是否完成 ,衡量测试质量需要有量化的结果 ,如测试覆盖率是多少 、测试合格率是多少 、重要测试合格率是多少等 。采用测试用例作度量基准将更加准确 、有效 。

　　d) 通过收集缺陷 ,对比测试用例和缺陷数据库 ,分析确认是漏测还是缺陷复现 。漏测反映了测试用例的不完善 ,应立即补充相应测试用例 ,最终达到逐步完善软件质量的 目的 。如果已有相应的测试用例 ,则反映实施测试或变更处理存在问题 。

　　测试用例设计参见附录 B。

　　4.7 测试脚本

　　测试脚本是人工编制的可供计算机自动执行的一组参数 ,是自动化测试执行的依据 ,应包括如下内容 :

　　a) 测试脚本是自动执行测试过程(或部分测试过程) 的计算机可读指令 。测试脚本可以被创建(记录)或使用测试自动化工具自动生成 , 或用编程语言编程来完成 ,也可综合前三种方法来完成 。

　　b) 为了提高测试脚本的可维护性和可复用性 ,应在执行测试脚本之前进行脚本构建 。

　　c) 更改目标软件时 ,需要对测试过程进行局部的可控制的变更 。这将使得测试过程和测试脚本对目标软件的变化有灵活的应变能力 。例如 ,假设软件的登录部分已经改变 。在遍历该登录部分的所有测试用例中 ,只有关于登录的测试过程和测试脚本需要进行改变 。

　　d) 测试脚本是针对一个测试过程的 。一个测试过程往往需要众多的数据来测试 。通过自动录制得到的脚本 ,所有的输入数据都是常数 ,是固定的 。

　　e) 如果需要使用一个测试脚本测试多组数据 ,就需要对脚本进行参数化 ,把固定的常数修改为来自数据源变量 。

　　测试脚本设计参见附录 B。

　　4. 8 测试管理

　　4. 8. 1 过程管理

　　有关管理要求应符合 GB/T 8566之规定 。

　　4. 8.2 配置管理

　　应按照软件配置管理的要求 ,将测试过程中所使用的各类测试数据以及产生的各种软件工作产品纳入配置管理 。 由开发方实施的软件测试 ,应将所使用的各类测试数据和测试工作产品纳入软件项 目的配置管理 ; 由独立测试组织实施的软件测试 ,应建立配置管理库 ,将所使用的各类测试数据 、被测试对象和测试工作产品纳入配置管理 。配置管理要求见 GB/T 20158。

　　4. 8.3 测试评审

　　4. 8.3. 1 就绪评审

　　在测试执行前 ,应对测试计划和测试说明等进行评审 。评审测试计划的合理性 、测试用例的正确性 、完整性和覆盖充分性 , 以及测试组织 、测试环境和设备工具是否齐全并符合技术要求等 。

　　评审的具体内容和要求应包括 :

　　a) 评审测试文档内容的完整性 、正确性和规范性 ;

　　b) 评审测试环境要求是否正确合理 ,满足测试要求 ;

　　c) 评审测试活动的独立性 ;

　　d) 评审测试项选择的完整性和合理性 ;

　　e) 评审测试用例的可行性 、正确性和充分性 。

　　4. 8.3.2 测试评审

　　在测试完成后 ,评审测试过程和测试结果的有效性 ,确定是否达到测试目的 。 主要对测试记录 、测试报告进行评审 。

　　评审的具体内容和要求应包括 :

　　a) 评审文档和记录内容的完整性 、正确性和规范性 ;

　　b) 评审测试活动的独立性和有效性 ;

　　c) 评审测试环境是否符合测试要求 ;

　　d) 评审测试记录 、测试数据以及测试报告内容与实际测试过程和结果的一致性 ;

　　e) 评审实际测试过程与测试计划和测试说明的一致性 ;

　　f) 评审未测试项和新增测试项的合理性 ;

　　g) 评审测试结果的真实性和正确性 ;

　　h) 评审对测试过程中出现的异常进行处理的正确性 。

　　4.9 测试文档

　　软件测试文档通常包括测试计划 、测试说明(包括测试设计说明 、测试用例说明和测试规程说明) 、测试项传递报告 、测试日志 、测试记录 、测试问题报告和测试总结报告 ,根据软件的完整性级别和软件规模等级可进行合理的取舍与合并 。测试文档的基本内容和要求见 GB/T 9386。

　　5 功能测试

　　5. 1 测试大纲

　　5. 1. 1 编制测试大纲

　　地理信息系统软件功能测试大纲包括两大类 :一是地理信息基础软件测试大纲 ,二是地理信息专用软件测试大纲 。

　　地理信息基础软件功能测试大纲应按照地理信息系统平台软件功能完备性指标制定 ,参见附录 A。

　　地理信息专用软件功能测试大纲是依据被测软件的设计文档 、用户手册和技术手册中关于软件功能项指标的说明 ,根据测试方式 、测试环境和测试工具 ,确定地理信息专用软件的软件功能完备性指标 ,制定与功能测试相关的测试大纲 ,参见附录 A。

　　5. 1.2 测试数据

　　在针对地理信息系统软件进行测试时 ,需采用标准数据构建功能测试用例库 。

　　测试工具应具备完整的测试用例库 ,对用于测试的数据需要进行严格标定 。测试时应采用测试用例库中已有的标准数据 ;也可自行选择测试数据 ,但应符合测试标准中对数据的各种要求 。

　　5. 1.3 测试用例

　　功能完备性指标中的每一指标项都应拥有独立的测试用例 。

　　针对地理信息系统软件平台的功能算法的不同特点 ,测试工具指导测试用例的 自动生成 。各类测试用例纳入数据库管理 , 按 照 设 定 的 规 则 将 测 试 用 例 库 中 的 测 试 用 例 自 动 生 成 用 于 测 试 的 标 准 格 式文档 。

　　制定测试标准文档描述规范 ,将测试用例导入 、导出测试用例库 。

　　5.2 测试环境

　　5.2. 1 测试环境组成

　　地理信息系统软件功能测试环境应包括 :

　　a) 系统硬件配置 ;

　　b) 系统软件配置 ;

　　c) 操作系统 ;

　　d) 网络环境 ;

　　e) 数据库 。

　　5.2.2 测试环境要求

　　地理信息系统软件功能测试环境要求 :

　　a) 应符合软件运行的最低要求 ;

　　b) 应选用通用的操作系统和相关软件平台 ;

　　c) 应建立相对简单 、独立的测试环境 ,不安装不相关的软件 ;

　　d) 应利用有效的正版杀毒软件检测软件环境 ,保证测试环境中没有计算机病毒 ;

　　e) 应具有独立的网络环境 。

　　5.2.3 功能测试工具

　　功能测试应采用地理信息系统软件专用的测试工具提高功能测试的测试效率 ,减少工作量和人为因素对测试结果的不利影响 。

　　功能测试工具应满足如下技术要求 :

　　a) 实现测试脚本分级维护管理 ;

　　b) 提供测试结果统计和详细 日志 ;

　　c) 对失败用例进行错误分类 ;

　　d) 通用性强 ,与具体测试业务无关 ;

　　e) 支持第三方测试工具与接 口 ;

　　f) 测试用例自动配置和执行 ;

　　g) 支持分布式运行 。

　　软件的功能测试采用黑盒测试的方法 ,测试前应根据本部分的要求及委托方提供的文档预先编制测试用例 ,测试用例应覆盖测试依据中描述的所有功能 ,并且考虑有代表性的工作任务的功能组合 。

　　5.3 测试过程

　　测试过程应满足如下要求 :

　　a) 按照 4. 2. 2 的要求采用合适的功能测试工具实施测试 ,或以手工方式实施测试 ;

　　b) 测试人员在功能测试过程中应及时做出原始测试记录 ,测试结束后相关人员对测试记录进行审核 ;

　　c) 相关人员在测试过程中 ,如发现系统功能方面的问题 ,则向开发方出具问题报告 ;

　　d) 开发方对测试中发现的功能问题进行修改后 ,测试方进行回归测试 ,并出具测试报告 。

　　5.4 测试内容

　　5.4. 1 软件安装

　　应测试系统是否能成功地安装和测试 ,若不能 ,也最少应保证系统的硬 、软件环境符合设计文档的要求 。软件安装测试包括 :

　　a) 通过对系统功能模块进行检查 ,应与设计文档要求一致 ,并可运行功能模块 ,应符合 4. 2. 2 的要求 ;

　　b) 系统窗口 、控件 、菜单等 ,应符合 4. 2. 2 的要求 。

　　5.4.2 地理信息基础软件

　　5.4.2. 1 概述

　　地理信息基础软件功能测试包括完备性测试和正确性测试两方面 ,应测试数据处理 、地理空间数据库的建立与管理 、空间分析 、三维地形模型 、可视化表现与制图和地理信息网络服务等六大类功能 。

　　功能测试流程参见附录 C。

　　5.4.2.2 数据处理

　　测试内容包括 :

　　a) 数据格式转换 ;

　　b) 投影及坐标系统变换 ;

　　c) 数据编辑与处理 ;

　　d) 数据质量控制检查功能 ;

　　e) 支持建模或脚本方式的数据处理 。

　　5.4.2.3 地理空间数据库的建立与管理

　　测试内容包括 :

　　a) 矢量数据库建库 ;

　　b) 栅格/影像数据库建库 ;

　　c) 时空数据建库 ;

　　d) 元数据库建库 ;

　　e) 数据库维护管理 ;

　　f) 空间数据库集成管理与操作 。

　　5.4.2.4 空间分析与统计

　　测试内容包括 :

　　a) 空间叠加分析 ;

　　b) 网络分析 ;

　　c) 缓冲区分析 ;

　　d) 统计分析 ;

　　e) 地理统计分析 ;

　　f) 栅格数据分析 ;

　　g) 综合分析 、应用模型建立 。

　　5.4.2.5 三维地形模型

　　测试内容包括 :

　　a) 数字高程模型生成 ;

　　b) 通视分析 ;

　　c) 剖面生成与显示 ;

　　d) 地形因子计算 ;

　　e) 地形分析 。

　　5.4.2.6 可视化表现与制图

　　测试内容包括 :

　　a) 一般图形显示 ;

　　b) 二维可视化 ;

　　c) 三维可视化 ;

　　d) 符号系统定制 、配置 ;

　　e) 地图制图 ;

　　f) 制图编辑 ;

　　g) 制图输出 。

　　5.4.2.7 地理信息网络服务

　　测试内容包括 :

　　a) 服务架构 ;

　　b) 元数据服务 ;

　　c) 地理空间数据服务 ;

　　d) 地理空间数据处理服务 。

　　5.4.3 地理信息专用软件

　　地理信息专用软件功能测试包括完备性测试和正确性测试两方面 ,应依据地理信息专用软件的设计说明书 、用户手册 、技术手册等软件文档 , 由软件开发方 、用户/客户和测试组织方共同确定测试内容 。

　　5.5 功能测试评价

　　5.5. 1 完备性评价

　　功能完备性测评的目的是为了确定被测软件中所有相关功能与功能测试大纲的契合度 ,衡量被测软件与地理信息系统相关的功能是否达到一定的专业级别 ,在一定程度上反映被测软件的功能完备性 。完备性评价可由分支覆盖率和整体覆盖率来体现 。

　　5.5.2 正确性评价

　　功能正确性测试是对功能测试大纲中的各项功能执行情况对软件进行测试和评定 ,其目的是为了确定被测功能项的实现结果是否与评测标准达成一致(也包含准确度和精度内容) 的程度 , 以 “通过 ”和“不通过 ”来衡量功能项的正确性 。

　　5.5.3 综合评价

　　以地理信息系统软件功能完备性和正确性的测试结果 ,对功能测试进行综合评价 。参见附录 D。

　　6 性能测试

　　6. 1 测试大纲

　　依据地理信息系统软件的设计文档 、用户手册和技术手册等关于软件性能指标的说明 ,结合所使用的性能测试环境和测试工具 ,制定与性能测试相关的测试大纲 。

　　6.2 测试环境

　　6.2. 1 测试环境组成

　　地理信息系统软件性能测试环境应包括硬件环境 、软件环境和数据环境 , 同 5. 2. 1。

　　6.2.2 测试环境要求

　　地理信息系统软件性能测试环境要求与 5. 2. 1要求一致 。

　　6.2.3 性能测试工具

　　地理信息系统软件性能测试工具可检测 、评估其软件及平台的关键性能指标 : 系统的联机响应时间 、处理速度和吞吐量 、利用率等 。性能测试工具可提供多种形态的终端用户模拟 、负载压力测试执行 、运行过程监控 、性能数据自动采集和测试结果分析等功能 。

　　6.3 测试过程

　　测试人员在软件测试过程中 ,应遵循以下要求 :

　　a) 按照 4. 2. 3 的要求采用合适的性能测试工具实施测试 ;

　　b) 测试人员在测试完成后提供原始测试数据 ,相关人员对测试数据进行审核 ;

　　c) 相关人员对测试数据进行分析 ,如发现系统性能方面的问题 ,则向开发方出具问题报告 ;

　　d) 开发方对测试中发现的性能问题进行改进后 ,测试方进行回归测试 ,并出具测试报告 。

　　6.4 测试内容

　　6.4. 1 负载性能测试

　　负载性能是指在各种工作负载下软件系统的性能 ,通常用来度量系统的可扩展性 。 可以通过测试当负载逐渐增加时系统各组成部分的响应输出项 ,如通过率 、响应时间 、CPU 负载 、内存使用等情况 ,通过综合分析来决定系统的性能 。

　　6.4.2 压力性能测试

　　压力性能是指在软件系统稳定运行情况下 , 能够处理的最大工作量强度或提供的最大服务性能 。可以通过测试临界负载 、容量变化 、资源占用等指标 ,综合分析功能执行情况和系统性能表现 ,并确定一个系统的瓶颈或者不能接受的性能点 ,从而获得最大工作量强度或最大服务性能 。

　　6.4.3 效率测试

　　效率测试指在规定条件下 ,相对于所用资源的数量 ,测试地理信息系统软件产品可提供适当性能的能力 。性能测试的效率应符合下列要求 :

　　a) 功能指标的执行速度应满足用户需求 ,包括数据处理 、查询 、分析占用时间等 ;

　　b) CPU、内存 、网络带宽等硬件资源的使用应较为充分合理 ;

　　c) 多用户并发访问时 ,性能指标应符合软件描述的规定 。

　　6.5 性能测试评价

　　地理信息系统软件性能测试完成后 ,应对软件的负载性能 、压力性能和效率测试结果进行分析 ,确定软件的性能指标是否达到设计要求 ,存在哪些问题 , 以及改进建议等 。参见附录 D。

　　7 产品化测试

　　7. 1 软件产品化测试要求

　　地理信息系统软件产品化测试应符合下列要求 :

　　a) 软件企业具有一定的质量管理体系 ;

　　b) 开发机构宜具有软件项目开发管理制度 ,并宜使用工具软件进行项目开发管理 ;

　　c) 宜具有包括网上服务 、产品介绍 、培训班 、培训资料等方面的用户技术支持与客户服务 。

　　7.2 可用性评价

　　地理信息系统软件的可用性评价包括安全性 、可靠性 、易用性 、可维护性和可移植性等 。

　　7.2. 1 安全性

　　7.2. 1. 1 权限管理

　　权限管理一般应具有以下内容 :

　　a) 可以使用 “用户—角色—权限 ”模式划分权限 ,权限划分合理 ;

　　b) 系统管理员可以增加 、修改 、删除其他用户的信息 ;

　　c) 系统管理员仅能进行人员授权操作和数据库管理工作 ;

　　d) 禁止其他用户进行数据库维护操作 。

　　7.2. 1.2 日志管理

　　日志管理一般应具有以下内容 :

　　a) 能够记录用户登录和使用重要模块的信息 ;

　　b) 能够对非经授权的软件使用或数据访问尝试记入日志 ;

　　c) 对关键数据的变更记入日志 。

　　7.2. 1.3 密码管理

　　密码管理一般应具有以下内容 :

　　a) 可以设置密码策略 ,包括有效期 、最小长度 、复杂度 、非空设置 、大小写敏感度等 ;

　　b) 密码以星号等方式隐藏 ,不明码显示 、存储与传输 ;

　　c) 用户可以修改自己的密码 ,修改密码需要校验旧密码 ,新密码需要两次输入确认 ;

　　d) 具有 “密码寻回 ”功能 。

　　7.2. 1.4 访问控制

　　访问控制一般应能够对非经授权的软件使用或数据访问进行防御 。

　　7.2.2 可靠性

　　7.2.2. 1 成熟性

　　从成熟性方面考虑 ,可测试以下内容 :

　　a) 应能稳定运行 ,不出现内存溢出等现象 ;

　　b) 运行过程中的操作错误 、非法数据不会引起系统异常退出或程序损坏 ;

　　c) 不存在导致软件无法运行 、崩溃或导致数据破坏 、缺损的重大缺陷 。

　　7.2.2.2 容错性

　　从容错性方面考虑 ,可测试以下内容 :

　　a) 系统对重要数据的录入提供有效性检查 ,对非法数据输入有明确的提示 ;

　　b) 对不符合要求的输入数据应使用中文给出简洁 、准确的提示信息 ,必要时应给出帮助 ;

　　c) 能屏蔽用户常见的误操作 ,对重要数据的删除有警告及确认提示 。

　　7.2.2.3 易恢复性

　　从易恢复性方面考虑 ,可测试以下内容 :

　　a) 在程序运行过程中进行掉电 、网络断开试验 ,数据和系统不会损坏 ;

　　b) 若受损 ,提供补救工具 ,可以补救上次保存或自动保存以前的数据 ;

　　c) 应具备数据维护工具 ,可以对数据进行备份与恢复 。

　　7.2.3 易用性

　　7.2.3. 1 易理解性

　　从易理解性方面考虑 ,可考虑以下测试 :

　　a) 界面简洁 、美观 、实用 ,风格相对一致 ;

　　b) 界面采用简体中文 ,没有错别字 ;

　　c) 软件对关键操作提供使用向导 ;

　　d) 软件界面及提示信息能够引导用户使用 ;

　　e) 操作设计上尽可能避免重复操作 ,常用功能的操作步骤尽可能简化 。

　　7.2.3.2 易学性

　　从易学性方面考虑 ,可考虑以下测试 :

　　a) 用户手册内容应全面详细 、易于理解 ,描述与软件的实际功能一致 、提供应用实例 ;

　　b) 联机帮助内容完整 ,条理清晰 ,易于理解 ,提供搜索功能 ,对复杂操作有图例和文字说明 ;

　　c) 帮助文件能够有效引导用户操作 ,对重要功能 、复杂功能的描述详细全面 ,对简单功能描述简洁清晰 。

　　7.2.3.3 易操作性

　　从易操作性方面考虑 ,可考虑以下测试 :

　　a) 软件安装应符合流行的安装模式 ,易于操作 ;

　　b) 软件应以易观察 、易读的形式向用户提供信息 ,必要时可向用户发出警报 ;

　　c) 常用功能设置在明显位置 ,易于被用户识别 ;

　　d) 软件操作应简单 ,界面设置和提示信息易于理解 ;

　　e) 输入数据的要求能够被用户理解 ,软件输出项符合用户习惯 ,易于理解 。

　　7.2.4 可维护性

　　从可维护性方面考虑 ,可考虑以下测试 :

　　a) 对软件指定的修改可以被实现 ;

　　b) 软件的局部修改不应影响软件的整体运行 ;

　　c) 需求变更后的各项功能应通过测试用例进行测试 ;

　　d) 软件应能够对已修改部分进行确认 。

　　7.2.5 可移植性

　　从可移植性方面考虑 ,可考虑以下测试 :

　　a) 软件应具有可适应不同运行环境的能力 ;

　　b) 依据用户安装手册 ,应能在指定环境中成功安装 ;

　　c) 软件的运行不应影响其他同时运行软件的运行结果 ;

　　d) 在同样环境下 ,可替代另一个相同用途的指定软件 。

　　7.3 产品化程度

　　7.3. 1 软件文档集

　　地理信息系统软件文档集的测试应包含资料的完整性 、一致性和易理解程度等内容 。进行文档测试时 ,应主要考虑以下方面 :

　　a) 明确文档验收的标准 ,软件开发人员和用户应对此达成一致 。

　　b) 确定文档的重要性和项目文档需求 ,在软件开发的不同阶段 ,各类文档的重要性有所不同 。

　　c) 检验文档完整性 ,主要是文档的种类和内容的完整性 。

　　d) 检验文档的一致性和可追溯性 ,包括 :

　　1) 软件的设计描述应按照需求定义进行 ;

　　2) 应用程序应与设计文档的描述一致 ;

　　3) 用户文档应客观描述应用程序的实际操作 ;

　　4) 关于同一问题的描述不应存在不同的说法 。

　　e) 检验文档的准确性 ,主要是文档描述应准确无歧义 ,文字表达不应存在错误 。

　　f) 检验文档的可理解性 ,主要审核文档应针对指定的用户 ,表达应易于理解并且详细 。

　　g) 检验文档的易浏览性 ,主要审核文档应易于浏览 ,各类文档之间的相互关系应明确 ; 每个文档都应有目录表或索引表 。

　　地理信息系统软件文档集还应包括二次开发接口说明 ,需详细说明二次开发方法提供的接口控件 、函数的使用方法 ,并包括简单示例 。

　　7.3.2 技术支持与服务

　　地理信息系统软件技术支持与服务应包括网上服务 、产品介绍 、培训资料 、提供培训等内容 。

　　7.4 产品化测试评价

　　地理信息系统软件产品化测试完成后 ,应对软件的可用性和产品化程度测试结果进行分析 ,确定软件的产品化指标是否达到设计要求 ,存在哪些问题 , 以及改进建议等 。参见附录 D。

　　8 测试总结

　　8. 1 测试结果

　　8. 1. 1 测试结果要求

　　地理信息系统软件测试结果应满足下列要求 :

　　a) 可重复性 : 由同一测试者按同一测试计划对同一软件进行重复测试 ,应产生同一种可接受的结果 ;

　　b) 可再现性 : 由不同测试者按同一测试计划说明书对同一软件进行测试 ,应产生同一种可接受的结果 ;

　　c) 公正性 :测试不应偏向任何预设的结果 ;

　　d) 客观性 :测试结果应为客观事实 。

　　8. 1.2 测试文档

　　地理信息系统软件测试完成后形成的文档一般应有 :

　　a) 测试计划 ;

　　b) 测试说明 ;

　　c) 测试报告 ;

　　d) 测试记录 ;

　　e) 测试问题报告 。

　　8.2 测试评审

　　在测试完成后 ,评审测试过程和测试结果的有效性 ,确定是否达到测试目的 。 主要对测试记录 、测试报告进行评审 ,其具体内容和要求应包括 :

　　a) 评审文档和记录内容的完整性 、正确性和规范性 ;

　　b) 评审测试活动的独立性和有效性 ;

　　c) 评审测试环境是否符合测试要求 ;

　　d) 评审测试记录 、测试数据以及测试报告内容与实际测试过程和结果的一致性 ;

　　e) 评审实际测试过程与测试计划和测试说明的一致性 ;

　　f) 评审未测试项和新增测试项的合理性 ;

　　g) 评审测试结果的真实性和正确性 ;

　　h) 评审对测试过程中出现的异常进行处理的正确性 。

　　8.3 测试报告

　　地理信息系统软件的测试活动和测试结果应汇总在测试报告中 。测试报告可包括以下内容 :

　　a) 测试报告名称

　　b) 概述

　　1) 简述测试活动 ;

　　2) 被测试项及其版本/修订级别 ;

　　3) 测试环境 ;

　　4) 所参照的技术规范书或设计说明书及其版本 。

　　c) 测试活动描述

　　1) 测试日期和时间 ;

　　2) 测试数据 ;

　　3) 预期结果 ;

　　4) 测试记录 、实际结果 ;

　　5) 异常现象 ;

　　6) 测试人员 。

　　d) 测试评价

　　1) 测试评价 : 以测试结果和测试项的通过准则为依据 ,对每个测试项进行判定和评价 。

　　2) 差异评价 :报告测试项与技术规范书或设计说明书之间的差别 ,指出测试活动与测试计划之间的差别 ,并说明原因 。

　　3) 测试结论 。

　　附 录 A

　　(资料性附录)

　　地理信息系统基础软件功能测试大纲

　　A. 1 功能完备性框架

　　地理信息基础软件功能完备性包括数据处理 、地理空间数据库的建立与管理 、空间分析与统计 、三维地形模型 、可视化表现与制图和地理信息网络服务等六大类 ,每个大类又分为若干子类 , 而每个子类则包含若干功能项 。见表 A. 1。

　　表 A. 1 地理信息基础软件功能完备性框架

　　表 A. 1 (续)

　　表 A. 1 (续)

　　表 A. 1 (续)

　　表 A. 1 (续)

　　表 A. 1 (续)

　　A.2 功能测试大纲框架

　　本功能测试大纲分为六大类 :数据处理 、地理空间数据库的建立与管理 、空间分析与统计 、三维地形模型 、可视化表现与制图和地理信息网络服务 。功能测试大纲中的每个测试功能项采用编码进行分类表示 。

　　A.2. 1 编码分类原则

　　编码分类的具体要求 :

　　a) 唯一性 :不得有重码和一个编码有两个或两个以上含义 ;

　　b) 合理性 :编码结构要与分类体系相适应 ,反映对象特征 ;

　　c) 简单性 :编码方法要简单适用 ,编码长度尽量短 ,易懂易记 ;

　　d) 扩充性 :便于将来发展扩充 ;

　　e) 通用性 :编码结构 、类型 、格式应统一 、规范和标准 。

　　A.2.2 编码方案

　　本编码采用线分类法 ,根据分类编码通用原则 ,按照地理信息系统软件各功能从属关系 ,划分为大类码 、一级码 、二级码 、三级码 、四级码 。分类编码采用 9位编码 ,具体结构如下 :

　　其中 :

　　大类码 :采用 A、B、C……进行编码 , 即左起第一位为大类码 。

　　一级码 :采用两位数字进行编码 , 即左起第二 、三位为一级编码 。

　　二级码 、三级码 、四级码均分别采用两位数字顺序排列 。

　　注 : 级别超过四级的功能项 ,在四级码后面再添加两位数字来表示 。

　　A.2.3 测试功能项示例

　　A.2.3. 1 数据处理

　　数据处理是对数据的采集 、存储 、检索 、加工 、变换和传输 。

　　a) 国家标准格式 VCT格式

　　被测软件将某商业 GIS软件格式矢量数据转换为国家标准格式 VCT,测试要求 :

　　编码 :A02010100;

　　输入 :某商业 GIS软件的格式数据 ;

　　输出 :VCT格式数据 ;

　　说明 :要求进行无损转换 ,属性完整 ;

　　功能接 口 : 略 。

　　b) 商业 GIS软件的 A格式

　　将被测软件的数据格式转换为某商业 GIS软件的 A格式 ,测试要求 :

　　编码 :A02010200;

　　输入 :被测系统标准数据格式数据 ;

　　输出 :某商业 GIS软件的 A格式 ;

　　说明 :要求进行无损转换 ,包括对相关数据结构 、拓扑关系等进行必要的筛选 ;

　　功能接 口 : 略 。

　　c) 某商业 GIS软件的 B格式

　　将被测软件的数据格式转换为某商业 GIS软件的 B格式 ,测试要求 :

　　编码 :A02010400;

　　输入 :被测系统标准数据格式数据 ;

　　输出 :某商业 GIS软件的 B格式 ;

　　说明 :要求进行无损转换 ,包括对相关数据结构 、拓扑关系等进行必要的筛选 ;

　　功能接 口 : 略 。

　　A.2.3.2 地理空间数据库的建立与管理

　　略 。

　　A.2.3.3 空间分析

　　空间分析是基于地理对象的位置和形态的空间数据的分析技术 ,其目的在于提取和传输空间信息 。

　　a) 交

　　被测软件获得所输入的两图层的公共部分 ,测试要求 :

　　编码 :C01020000;

　　输入 :两个或多个某商业 GIS软件的格式的矢量图层数据 ;

　　输出 :一个新的某商业 GIS软件的格式的矢量图层数据 ;

　　说明 :算法公式为 :x∈A∩B,A、B 为两个图层 ; 原图层的所有属性将同时在生成的新的图层

　　上显示出来 ;要求进行无损转换 ,属性完整 ;

　　功能接 口 : 略 。

　　b) 差

　　被测软件去掉两个图层公共区域后的区域 ,测试要求 :

　　编码 :C01030000;

　　输入 :两个某商业 GIS软件的格式的矢量图层数据 ;

　　输出 :综合了输入图层两者属性的图层数据 ;

　　说明 :进行均匀差值操作 ,所输入的两个图层应是多边形图层 。用逻辑代数运算 的 方 式 表 示为 :x∈(A∪B-A∩B) ;A、B为两个图层 ;原图层的所有属性将同时在生成的新的图层上显示出来 ;

　　功能接 口 : 略 。

　　A.2.3.4 三维地形模型

　　对地形地貌的一种离散的数字表达 ,是对地面特性进行空间描述的一种数字方法 。应用可遍及整个地学领域 。

　　a) 两点通视分析

　　被测软件计算两点之间连线是否被地形地物所阻碍 ,测试要求 :

　　编码 :D02010000;

　　输入 :DEM数据 ,观测点图层 ;

　　输出 :DEM数据 ;

　　说明 :视觉瞄准线是表面上两点间的一条直线 ,用来表示观测者从其所处位置观察表面时 ,沿直线的表面是否可见 。如果地形遮挡了 目标点 ,则可以分析得出这些障碍物 ,视线瞄准线上哪些区域可视 ,哪些不可视 ;

　　功能接 口 : 略 。

　　b) 可视域分析

　　被测软件以某一点为观察点 ,研究某一区域可视情况的地形分析 ,测试要求 :

　　编码 :D02030000;

　　输入 :DEM数据 ,观测点图层 ;

　　输出 :DEM数据 ;

　　说明 :可视域是一个视点可视的区域 ; 可以基于扫描线求可视域 ,其原理是 : 过视点 P 向所有可能方向建立扫描线 ,使扫描线能经过所有 DEM 上的点 ;从视点 P 由近及远判断扫描线的点是否与视 点 可 视 , 标 出 可 视 点 和 不 可 视 点 ; 所 有 的 扫 描 线 标 示 完 毕 , 即 可 得 可视域 ;

　　功能接 口 : 略 。

　　A.2.3.5 可视化表现与制图

　　空间数据显示及其编制应用 ,用地图图形反映自然界和人类社会各种现象的空间分布 ,相互联系及其动态变化 ,具有区域性学科和技术性学科的两重性 。

　　a) 标准比例尺输出

　　被测软件将输入数据以标准比例输出 ,测试要求 :

　　编码 :E07010100;

　　输入 :某一商业 GIS软件的格式数据 ,标准比例尺 ;

　　输出 :标准比例尺下的某一商业 GIS软件的格式数据 ;

　　说明 :将输入的某一商业 GIS软件的格式数据以要求的比例进行输出 ;

　　功能接 口 : 略 。

　　b) 指定范围输出

　　被测软件按指定的范围将图输出 ,测试要求 :

　　编码 :E07010300;

　　输入 :某一商业 GIS软件的格式数据 ,某一商业 GIS软件的格式范围图层 ;

　　输出 :某一商业 GIS软件的格式数据 ;

　　说明 :将指定范围内的某一商业 GIS软件的格式数据输出为同格式的数据 。 可以通过坐标点来指定输出范围 ,也可以通过一个范围图层来指定输出范围 。本测试通过给定一个某 一商业 GIS软件的格式的范围图层来指定输出范围 ;

　　功能接 口 : 略 。

　　A.2.3.6 地理信息网络服务

　　略 。

　　附 录 B

　　(资料性附录)

　　测试用例和测试脚本设计

　　在实施测试时测试用例作为软件测试的标准 ,测试人员一定要严格按照测试用例的测试项 目和测试步骤逐一实施测试 ,并将测试情况记录在测试用例管理软件中 , 以便自动生成测试结果文档 。

　　B. 1 设计的基本准则

　　a) 测试用例和测试脚本的代表性 :应能代表各种合理和不合理的 、边界和越界的 , 以及极限的输入数据 、操作和环境设置等 ;

　　b) 测试结果的可判定性 :测试执行结果的正确性应是可判定的或可评估的 ;

　　c) 测试结果的可再现性 :对同样的测试用例 ,系统的执行结果应是相同的 。

　　B.2 基本的编制方法

　　编写测试用例文档并脚本化形成测试脚本 。编写测试用例文档应有文档模板 ,须符合内部的规范要求 。测试用例文档由简介和测试用例两部分组成 。简介部分应包括测试目的 、测试范围 、定义术语 、参考文档 、概述等 。测试用例部分则逐一列示各测试用例 ,每个具体测试用例都应包括下列详细信息 :用例编号 、用例名称 、测试等级 、入口准则 、验证步骤 、期望结果(含判断标准) 、出 口准则 、注释等 。最后将测试用例编译为测试工具可接受的测试脚本 。

　　设置测试用例 。 常见的设置有按功能设置和按路径设置 。按功能测试是最简捷的 , 即按测试用例的规约遍测每一功能 。但对于复杂操作的程序模块 ,各功能的实施是相互影响 、紧密相关的 ,没有严密的逻辑分析 ,产生遗漏在所难免 。 因此 ,最好结合路径分析方法 , 以避免漏测试 。

　　测试用例可以分为基本事件 、备选事件和异常事件的用例 。设计基本事件的用例 ,应该参照用例规约(或设计说明书) ,根据关联的功能 、操作按路径分析法设计测试用例 。而对孤立的功能则直接按功能设计测试用例 。基本事件的测试用例应包含所有需要实现的需求功能 ,覆盖率达 100% 。 而设计备选事件和异常事件的用例 ,则相对复杂和困难得多 ,可以采用软件测试常用的基本方法来设计完整的测试用例 。

　　B.3 测试用例和测试脚本的作用

　　B.3. 1 测试数据的规划

　　按照测试用例配套准备一组或若干组测试原始数据 , 以及标准测试结果 。 除了正常数据之外 ,还应根据测试用例设计大量边缘数据和错误数据 。

　　B.3.2 评估测试结果的度量基准

　　完成软件测试后需要对测试结果进行评估 ,并且编制测试报告 。判断软件测试是否完成 ,衡量测试

　　质量需要有量化的结果 ,如测试覆盖率是多少 、测试合格率是多少 、重要测试合格率是多少等 。采用测试用例作度量基准将更加准确 、有效 。

　　B.3.3 分析缺陷的标准

　　通过收集缺陷 ,对比测试用例和缺陷数据库 ,分析确证是漏测还是缺陷复现 。漏测反映了测试用例的不完善 ,应立即补充相应测试用例 ,最终达到逐步完善软件质量的 目 的 。如果已有相应的测试用例 ,则反映实施测试或变更处理存在问题 。

　　B.4 其他要求

　　B.4. 1 测试用例和测试脚本的评审

　　测试用例是软件测试的准则 ,测试脚本是软件测试实施的依据 。但并不是一经编制完成就能成为准则的 。测试用例在设计编制过程中要组织同级互查 。完成编制后应组织专家评审 ,需获得通过才可以使用 。评审委员会可由项目负责人 、测试 、编程 、分析设计等有关人员组成 ,也可邀请用户代表参加 。

　　B.4.2 测试用例的修改更新

　　测试用例在形成文档后还需要不断完善 ,主要来自三方面的原因 :

　　a) 在测试过程中发现设计测试用例时考虑不周 ,需要完善 ;

　　b) 在软件交付使用后反馈的软件缺陷是由于测试用例存在漏洞而造成的 ;

　　c) 软件自身的新增功能以及版本的更新 ,测试用例也应配套修改更新 。

　　B.4.3 测试用例的管理软件运用

　　测试用例还需配备测试用例管理软件 ,主要功能有 :

　　a) 能将测试用例文档的关键内容 ,如编号 、名称等自动导入管理数据库 ,形成与测试用例文档完全对应的记录 ;

　　b) 可供测试实施时及时输入测试情况 ;

　　c) 最终实现自动生成测试结果文档 ,包含各测试度量值 、测试覆盖表 、测试通过或不通过的测试用例清单列表 。

　　B.5 测试用例库

　　针对地理信息系统软件平台的功能算法的不同特点 ,测试工具指导测试用例的 自动生成 。各类测试用例纳入数据库管理 ,对于测试用例的测试试题 、测试数据 、测试结果基准 、评价指标应以测试工具进行标准化管理 ,按照设定的规则将测试用例库中的测试用例自动生成测试试卷 ,输出用于测试的试题标准格式文档 。并制定测试试题描述规范 ,将测试用例导入 、导出测试用例库 。

　　完整的测试用例生成 ,不仅需要严格按照执行测试脚本模型生成脚本模板 ,还需要结合测试用例 ,生成 XML测试文档 ,其中包含了用于功能测试的测试数据 ,还包含了各项功能测试所需要的参数 ,这些参数需严格按照功能测试大纲中的描述进行补充 。

　　一个参考测试脚本设计如表 B. 1所示 。

　　表 B. 1 测试脚本结构

　　附 录 C

　　(资料性附录)

　　地理信息系统软件功能测试流程

　　C. 1 正确性测试

　　功能正确性测试是对某一功能执行结果的正确与否进行判断 。对地理信息系统软件而言 ,其核心内容就是对空间数据处理结果进行比较 , 即对结果数据进行比对来判断所测功能是否正确 ,具体比对标准请参照评价方法 。功能正确性测试流程如图 C. 1所示 。

　　图 C. 1 正确性测试流程图

　　C.2 完备性测试

　　完备性测试以本标准中的功能测试大纲为依据 ,功能完备性包括数据处理 、地理空间数据库的建立与管理 、空间分析与统计 、三维地形模型 、可视化表现与制图和地理信息网络服务等六大类 ,每个大类又分为若干子类 ,而每个子类则包含若干功能项 ,功能完备性测试的具体流程如图 C. 2所示 。

　　图 C.2 完备性测试流程

　　附 录 D

　　(资料性附录)

　　地理信息系统软件测试评价方法

　　D. 1 测试评价

　　测试评价是对地理信息系统软件进行的功能测试 、性能测试和产品化测试结果进行综合评价 。 功能测试评价包括地理信息系统软件的功能完备性和正确性评价 ,性能测试评价包括地理信息系统软件负载性能 、压力性能和效率测试评价 ,产品化测试评价包括地理信息系统软件的可用性和产品化程度评价 。地理信息系统软件测试评价方法如图 D. 1所示 。

　　图 D. 1 测试评价方法

　　D. 1. 1 测试评价内容

　　测试评价的内容包括功能测试评价 、性能测试评价和产品化测试评价 :

　　a) 功能测试评价包括地理信息系统软件的功能完备性和正确性评价 ;

　　b) 性能测试评价包括地理信息系统软件负载性能 、压力性能和效率测试评价 ;

　　c) 产品化测试评价包括地理信息系统软件的可用性和产品化程度评价 。

　　D. 1.2 测试评价方法

　　地理信息系统软件测试中 ,功能测试 、性能测试和产品化测试均是通过子特性来衡量的 ,子特性则是通过测试指标项度量的 。对测试指标项的度量 ,就是按照事先确定的判别标准进行对照检查 ,每个测试指标项都可能有两种答案(y/n) :“y”表示 “通过 ”, 即满足要求(度量值等于或优于期望值) ,“n”表示“不通过 ”, 即不符合要求(度量值劣于期望值) 。

　　D. 1.2. 1 子特性的测量方法

　　功能测试的子特性包括功能完备性和正确性 ,性能测试子特性包括负载性能 、压力性能和效率 ,产品化测试子特性包括可用性和产品化程度 。各子特性的测量值利用式(D. 1)计算 :

　　v = ∑mi/n ……………………( D. 1 )

　　式中 :

　　v — 为子特性的测量值 ;

　　mi — 为子特性的第i个测试指标项的回答是“y”时为 1,否则为 0;

　　n — 为子特性的测试指标项总数 。

　　D.2 功能测试评价

　　按照 D. 1. 2. 1 的方法 ,功能完备性和功能正确性的测量值分别为 v1 和 v2 ,则功能测试的测量值可用式(D. 2)计算 :

　　Vf = (v1 + v2 )/2 ……………………( D. 2 )

　　式中 :

　　Vf — 为功能测试的测量值 ;

　　v1 — 为功能完备性的测量值 ;

　　v2 — 为功能正确性的测量值 。

　　依据功能测试测量值 Vf、完备性测量值 v1 和正确性测量值 v2 ,按照表 D. 1 确定地理信息系统软件的功能完备性 、功能正确性的评价等级 ,功能测试结果的评价 , 以完备性和正确性的评价等级的最低等级作为功能测试的最终等级 ,如表 D. 2所示 。

　　表 D. 1 功能测试评价等级

　　表 D.2 功能测试等级评价方法

　　D.3 性能测试评价

　　按照 D. 1. 2. 1 的方法 ,负载性能 、压力性能和效率的测量值分别为 v1 、v2 和 v3 ,则性能测试的测量值可用式(D. 3)计算 :

　　Vp = (v1 + v2 + v3 )/3 ……………………( D. 3 )

　　式中 :

　　Vp — 为性能测试的测量值 ;

　　v1 — 为负载性能的测量值 ;

　　v2 — 为压力性能的测量值 ;

　　v3 — 为效率的测量值 。

　　表 D.3 性能测试评价等级

　　依据性能测试测量值 Vp、负载性能测量值 v1、压力性能测量值 v2 和效率测量值 v3 ,按照表 D. 3 确定地理信息系统软件的负载性能 、压力性能和效率的评价等级 ;性能测试结果的评价 , 以负载性能 、压力性能和效率的评价等级的最低等级作为性能测试的最终等级 。

　　例如 :负载性能的等级为 “合格 ”,压力性能的等级为 “良好 ”,效率的等级为 “优秀 ”,则性能测试的最终等级为 “合格 ”。

　　D.4 产品化测试评价

　　按照 D. 1. 2. 1 的方法 ,地理信息系统可用性和产品化程度的测量值分别为 v1 和 v2,则产品化测试的测量值可用式(D. 4)计算 :

　　Vc = (v1 + v2 )/2 ……………………( D. 4 )

　　式中 :

　　Vc — 为产品化测试的测量值 ;

　　v1 — 为可用性的测量值 ;

　　v2 — 为产品化程度的测量值 。

　　依据产品化测试测量值 Vc、可用性测量值 v1 和产品化程度测量值 v2 ,按照表 D. 4确定地理信息系统软件的可用性和产品化程度的评价等级 ,产品化测试结果的评价 , 以可用性和产品化程度的评价等级的最低等级作为性能测试的最终等级 ,如表 D. 5所示 。

　　表 D.4 产品化测试评价等级

　　表 D.5 产品化测试等级评价方法

　　测试结果

　　地理信息系统软件的测试结果测量值Vr,依据功能测试测量值Vf、性能测试测量值Vp 和产品化测试测量值 Vc 确定 ,可用式(D. 5)计算 :

　　Vr = (P1 ·Vf + P2 ·Vp + P3 ·Vc) / (P1 + P2 +P3 ) ……………( D. 5 )

　　式中 :

　　Vr — 为测试结果的测量值 ;

　　Vf — 为功能测试的测量值 ;

　　P1 — 为功能测试的权值 ;

　　Vp — 为性能测试的测量值 ;

　　P2 — 为性能测试的权值 ;

　　Vc — 为产品化测试的测量值 ;

　　P3 — 为产品化测试的权值 。

　　通常情况下 ,P1 、P2 、P3 均取 1。如果要突出某一类测试 , 相应的权值就须取较大的值 , 相反就取较小的值 。例如 ,为突出功能测试 ,P1 的值就要取一较大的值 。

　　依据功能测试测量值Vf、性能测试测量值Vp、产品化测试测量值Vc,确定测试结果测量值Vr,进行测试结果的评价 。

　　可依据测试结果测量值或功能测试 、性能测试和产品化测试评价等级的最低等级作为测试结果的最终等级 。例如 :功能测试的等级为 “合格 ”,性能测试的等级为 “良好 ”,产品化测试的等级为 “优秀 ”,则测试结果的最终等级为 “合格 ”,见表 D. 6。

　　表 D.6 测试结果评价等级