GB/T 25459-2010 面向制造业信息化的ASP平台测评规范

　　ICS 35. 240. 50 J 07

　　中 华 人 民 共 和 国 国 家 标 准

　　GB/T 25459—2010

　　面向制造业信息化的 ASP平台测评规范

　　Specification oftestingASP platform fornetworked manufacturing

　　2010-12-01发布 2011-05-01实施

　　中华人民共和国国家质量监督检验检疫总局中 国 国 家 标 准 化 管 理 委 员 会

　　

　　发

　　

　　布

　　GB/T 25459—2010

　　目 次

　　前言 Ⅰ

　　1 范围 1

　　2 术语 、定义和缩略语 1

　　2. 1 术语和定义 1

　　2. 2 缩略语 2

　　3 测评内容及测评指标 2

　　3. 1 概述 2

　　3. 2 系统管理测评 2

　　3. 3 工作流程测评 5

　　3. 4 专业服务测评 5

　　4 评定细则 6

　　4. 1 测评关键因素 6

　　4. 2 测评结果评定 7

　　4. 3 功能指标测评结果评定 7

　　4. 4 性能指标测评结果评定 7

　　5 测评组织机构 8

　　5. 1 总述 8

　　5. 2 组织管理机构 8

　　5. 3 测评机构 8

　　5. 4 监督机构 8

　　6 测评工作基本步骤 9

　　6. 1 概述 9

　　6. 2 申请测评 9

　　6. 3 审查申请 9

　　6. 4 测评实施 9

　　6. 5 测评结果公布 10

　　附录 A (资料性附录) 面向制造业信息化的 ASP平台测评指标表 11

　　参考文献 15

　　GB/T 25459—2010

　　前 言

　　本标准的附录 A为资料性附录 。

　　本标准由中国机械工业联合会提出 。

　　本标准由全国 自动化系统与集成标准化技术委员会(SAC/TC159)归 口 。

　　本标准起草单位 :北京机械工业自动化研究所 。

　　本标准主要起草人 :黎晓东 、王思斯 。

　　Ⅰ

　　GB/T 25459—2010

　　面向制造业信息化的 ASP平台测评规范

　　1 范围

　　本标准规定了面向制造业信息化的 ASP平台的测评内容及测评指标 、评定细则 、测评组织机构 、测评工作流程 、测评申请 、受理审查 、测评实施 、结果公告等方面的要求 。其 目 的为面向制造业信息化的ASP平台 的 测 评 工 作 提 供 技 术 指 导 和 技 术 规 范 支 持 , 实 现 对 ASP 平 台 的 公 平 、公 正 、科 学 、客 观 的评价 。

　　本标准适用于我国面向制造业信息化的 ASP平台的测评 。

　　2 术语、定义和缩略语

　　2. 1 术语和定义

　　下列术语和定义适用于本标准 。

　　2. 1. 1

　　功能 function

　　程序中的一个算法的实现 ,利用该实现 ,用户或程序可以完成某一工作任务的全部或部分内容 。

　　[GB/T 17544—1998中 2. 1] 2. 1. 2

　　易用性 usability

　　在指定条件下使用时 ,软件产品被理解 、学习 、使用和吸引用户的能力 。

　　注 1: 功能性 、可靠性和效率的某些方面也会影响易用性 。

　　注 2: 用户可能包括操作员 、最终用户和受该软件的使用影响或依赖于该软件使用的间接用户 。易用性必须针对软件所影响的所有不同的用户环境 ,这可能包括对使用的准备和结果的评价 。

　　[GB/T 16260. 1—2008中 6. 3] 2. 1. 3

　　可靠性 reliability

　　在给定时段和给定条件下 ,功能单元履行所要求功能的能力 。

　　[GB/T 5271. 14—2008中 14. 01. 03] 2. 1. 4

　　可扩展性 extendability

　　系统或部件能修订以增加它的存储或功能的情况 。

　　参见 :灵活性 ,可维护性

　　[GB/T 11457—2006中 2. 594] 2. 1. 5

　　效率 efficiency

　　系统或部件以最小的计算资源消耗实现其预定功能的能力 。

　　[GB/T 11457—2006中 2. 535] 2. 1. 6

　　测试用例 testcase

　　测试者使用的文档化的细则 ,其规定如何对某项功能或功能组合进行测试 。测试用例包括下列内容的详细信息 :

　　1

　　GB/T 25459—2010

　　— 测试目标 ;

　　— 要测试的功能 ;

　　— 测试数据 ;

　　— 过程 ;

　　— 系统的预期行为 。

　　[GB/T 17544—1998中 2. 6] 2. 1. 7

　　评定 verdict

　　相对于测评项 ,对被测实现的结果给出定性或定量等结论性陈述的行为 。

　　2. 2 缩略语

　　下列缩略语适用于本标准

　　ASP 应用服务提供商(Application Service Provider)

　　SLA 服务品质协议(Service LevelAgreement)

　　3 测评内容及测评指标

　　3. 1 概述

　　3. 1. 1 测评阶段

　　面向制造业信息化的 ASP平台的测评过程分为三个阶段 : 系统管理测评 、工作流程测评和专业服务测评 。

　　3. 1. 2 系统管理测评

　　系统管理测评的范围是 ASP平台为保证平台本身正常运行而具备的系统管理的功能 。

　　3. 1. 3 工作流程测评

　　工作流程测评对用户使用 ASP平台的过程进行测评 , 以检验平台使用过程的合理性和科学性 。

　　3. 1. 4 专业服务测评

　　专业 服 务 测 评 以 检 验 ASP 平 台 为 客 户 提 供 服 务 的 能 力 和 质 量 为 目 的 , 对 专 业 服 务 的 性 能 进 行测评 。

　　3. 2 系统管理测评

　　3. 2. 1 系统操作

　　a) 数据存储与输出管理 ;

　　b) 软件分发管理 ;

　　c) 作业和工作量管理 ;

　　d) 业务连贯性管理 。

　　3. 2. 2 系统监控和管理

　　a) 网络系统的监控和管理 ;

　　b) 应用程序的监控和管理 ;

　　c) Web 的监控和管理 :

　　—Web监控和管理提供的用户使用情况数据至少包括以下内容 ;

　　— 总体响应时间 ;

　　— 客户决策与浏览时间 ;

　　— 网络交通 ;

　　— 总服务器时间 ;

　　— 单独应用和事务响应时间 ;

　　— 页面查看频率 ;

　　2

　　GB/T 25459—2010

　　— 常用或最流行 Web 页的路径 ;

　　— 查看一个单独页面所需时间 。

　　d) 性能的监控和管理 。

　　性能的监控和管理要向客户提供的报告客户系统结构中各个层次的性能和有效性报告 ,报告中的监控和管理对象至少包括以下内容 :

　　— 网络部分 :带宽使用的分布模式 、客户或应用系统的带宽利用率 、信息包丢失率 、错误率 、延迟 ;

　　— 服务器部分 :处理器和内存利用情况、磁盘系统的性能、操作系统的性能(进程、服务、任务) ;

　　— 应用系统部分 :应用响应(包括平均响应时间和标准偏离量 , 由此预测用户期望值) 、应用程序自修复事件 、日志以外的应用处理的原因 ;

　　—Web应用部分 : 响应时间 、网络时间 、浏览时间和服务时间 ;

　　— 防火墙部分 :安全性事件和例外事件 、安全日志及状态 。

　　3. 2. 3 客户支持

　　a) 更改与请求管理 :系统能够在单用户环境和多用户环境中按用户要求进行更改操作环境的处理活动 ;

　　b) 问题管理 :两个基本功能是呼叫跟踪和问题跟踪 。 呼叫跟踪解决客户(用户) 通过电话 、Web等方式报告的服务协议范围内应当解决的问题 。 问题跟踪包括对被管理的设备 、服务 、应用系统和客户的问题统计 , 以及相关性能检测的收集报告 。

　　3. 2. 4 服务管理

　　a) 计量与会计 :从客户的记账 、性能报告检测客户对 ASP 的使用情况 ,并从客户资产和客户为未来活动与升级 所 订 的 计 划 中 收 集 有 用 数 据 。 计 量 与 会 计 过 程 应 当 获 取 以 下 六 种 数 据 用 于计算 :

　　1) 应用系统事件 :

　　— 专用应用系统的用户 ,这类应用系统按客户或时间划分 ;

　　— 共享应用系统的客户和最终用户 ;

　　— 应用 、客户机和服务器 、时间段等事务计数 ;

　　— 事务的货币价值和一个记账周期中的量 ;

　　— 产品 目录大小等 。

　　2) 服务器使用 日志 :

　　—CPU 负荷和时间分配 ;

　　— 进程 、线程的 CPU 时间使用率等 。

　　3) 网络使用情况 :

　　— 带宽使用率(通信量) ;

　　— 传输单元大小(如文件和事务大小) ;

　　— 时间使用率(时钟和周期 ,有无高峰时间) ;

　　— 时间和空间上的通信量分布(如路由器和中继线) ;

　　—Web站点访问统计(点击率 、页面请求 、点击和请求的分布)等 。

　　4) 存储统计 :

　　— HTML页面 、XML脚本 、JAVA应用插件和服务器插件 、用户注册 、交付的内容 、软件发布文件及数据库等的磁盘使用率 ;

　　— 备份和恢复等 。

　　5) 信息统计 :

　　—E-mail账号数 ;

　　3

　　GB/T 25459—2010

　　— 邮箱大小 ;

　　— 信息的收发 ;

　　— 信息的大小 ;

　　— 主动提交的 E-mail空间等 。

　　6) 安全性事件 :

　　— 目录入 口 ;

　　— 已发证明 ;

　　— 已有密码 ;

　　— 防火墙 、入侵监测系统的使用统计 ;

　　— 杀毒软件的运行 ;

　　— 按条目或字节统计的 日志文件大小 ;

　　— 日志文件分析软件的运行 ;

　　— 每一时间周期安全报告的数目等 。

　　b) 配置管理 :监测和改变资源状态及其相互关系 ,功能如下 :

　　— 识别系统和网络资源(包括应用程序) ;

　　— 定义和命名这些资源 ;

　　— 检测和控制这些资源 ;

　　— 初始化 、操作 、重新配置 、关闭和删除资源 ;

　　— 收集有关资源操作的数据(如性能 、有效性) 。

　　c) 记账与报表 :为客户准备报表和提交账单 。记账应用系统支持三种基本活动 :

　　— 记账数据收集 :ASP将数据转化为记账数据 ,然后将数据打包供记账服务使用 ;

　　— 记账生成 :ASP使用记账数据 , 以一定的规则和预先制定的费用形式为每一客户产生客户账单和发票 ;

　　— 账单提交 :ASP产生账单 ,采用各类账单派发方法提交给客户 。

　　ASP平台应当支持的与记账有关的其他功能有 :

　　— 客户化账单 ;

　　— 客户账号管理 ;

　　— 通知能力 :如向客户发送 E-mail、传呼 、声音邮件和传真 ,用于账单的查验和递送 ;

　　— 支付界面 :使用户能够通过信用卡 、支票等进行费用支付 。

　　3. 2. 5 安全性管理

　　a) 安全性结构 :

　　— 系统安全 :控制计算机的软 、硬件安全 ,确保它们被有正确权限并通过鉴别的用户访问和使用 ;

　　— 物理结构设施安全 :处理对 ASP数据中心及其他物理设施的访问 ;

　　— 网络安全 :包括所有在不同网络(即局域网和广域网)内流动的数据的安全 。

　　b) 安全性措施 :

　　— 访问控制 :定义使用者访问权限 ;

　　— 鉴定 : 即身份验证 ,说明用户或访问者的身份及其对应的权限 ;

　　— 数据完整性 :现存的数据和原来的数据相比较是否完整 ;

　　— 机密性 :存储 、处理及在网络通信时数据的保密性 ;

　　— 非拒绝性 :确保充分证据的有效性 ;

　　— 有效性 : 防止对网络和系统组件及资源的破坏 、乱用 、滥用 、误用 ;

　　— 责任性 :各个部门对日志记录系统记录的事件均有对应的责任措施 。

　　4

　　GB/T 25459—2010

　　3. 3 工作流程测评

　　3. 3. 1 概述

　　用户使用 ASP平台的过程应当遵循如图 1所示的流程 。

　　图 1 用户 ASP平台的使用过程

　　3. 3. 2 用户登录

　　用户登录时 ,系统应当根据用户输入的用户名和口令确定用户的身份 、权限及其订购的服务 。

　　3. 3. 3 确定服务

　　确定服务包括以下步骤 :

　　— 服务列举 :系统查询用户订购记录 ,列举并显示用户可以使用的服务 ,供用户选择 ;

　　— 请求服务 :用户从列举的服务中选择要使用的服务 ,并向系统提出使用请求 ;

　　— 审查 :系统审查用户提出的服务使用请求 ,确定可以提供的服务的种类 、范围和功能 ;

　　— 同意服务 :通知用户可以提供的服务及相关信息 。

　　3. 3. 4 服务运行

　　服务运行包括以下步骤 :

　　— 启动服务 :根据审查同意提供的服务种类 、范围和功能启动服务 ;

　　— 使用服务功能 :用户使用系统已经启动的各项服务 ;

　　— 请求退出服务 :用户向系统提出退出服务的请求 ;

　　— 保存相关数据 :系统保存用户使用过程的各类数据 ,包括用户运行应用服务的结果和记录用户使用情况的数据 ;

　　— 退出服务 :结束用户的全部服务 ,完成系统相关用户服务运行日志 。

　　3. 4 专业服务测评

　　3. 4. 1 可靠性

　　— 能屏蔽用户操作错误 ;

　　— 运行错误不会导致系统异常退出 ;

　　— 操作权限控制安全可靠 ;

　　— 具备数据备份及数据恢复能力 ;

　　— 应用能进行输入有效性检查 ;

　　— 无损坏数据软件的现象 ;

　　5

　　GB/T 25459—2010

　　— 提供运行日志管理 ;

　　— 与其他软件的兼容性(运行时对系统中其他程序不产生破坏性的影响) ;

　　— 系统故障恢复(网络中断 、断电后自动恢复) ;

　　— 应用运行稳定 。

　　3. 4. 2 易用性

　　— 菜单 、工具栏随所进行的操作变化 ;

　　— 具有联机帮助功能 ;

　　— 对用户操作的实时引导 ;

　　— 界面风格简洁一致 ,布局合理 ;

　　— 服务具有可配置能力(例如显示界面 、显示格式 、报表格式等可以调整) 。

　　3. 4. 3 集成性

　　— 服务之间能实现数据共享 ;

　　— 客户之间和用户之间能实现数据共享 ;

　　— 服务流程之间实现集成 。

　　3. 4. 4 服务粒度

　　系统提供服务的粒度适当 ,既要方便用户选择使用 ,又要便于进行使用计量 。

　　3. 4. 5 SLA 的满足程度

　　参照 SLA检验所提供的服务是否满足 SLA 中的各项要求 。

　　从服务的有效性 、响应性 、完整性 、安全性 4个方面来确定服务质量考核指标 。

　　— 有效性 : 服务有效即服务可用 。对于由应用系统构成的服务 , 服务的可用性即为系统的可用性 。对于由人工形式提供的服务 ,其可用性可转化为在服务提供时间内的用户请求服务的成功率 。

　　— 响应性 :客户能否在预期时间内享受到服务带来的价值 ,重点是服务的效率问题 。

　　— 完整性 :服务是一个或者一系列的动作的组合 ,需要能完成与服务有关的所有动作才能视为有能力提供完整的服务 。

　　— 安全 性 : 指 服 务 交 付 的 过 程 中 客 户 资 产 的 安 全 , 强 调 客 户 在 享 受 服 务 的 同 时 尽 量 避 免 承 担风险 。

　　4 评定细则

　　4. 1 测评关键因素

　　4. 1. 1 测评 ASP平台的关键因素

　　下列三项为影响 ASP平台测评结果的关键因素 :

　　— 被测平台不具备本标准规定的基本功能项 ;

　　— 被测平台在基本功能的测评过程中发生了一项或多项可重复出现的严重问题 ;

　　— 被测平台的性能指标评定值不能达到最低限度 。

　　4. 1. 2 基本功能项

　　基本功能项是指本标准所规定的功能测评指标中带有 ★号的二级指标 ,参见附录 A表 A. 1。

　　测评基本功能指标是否通过 , 以其下属的三级指标为依据 。三级指标中带有 * 号的为必备指标 ,只有三级指 标 中 的 必 备 指 标 全 部 具 备 并 且 可 以 正 确 实 现 , 则 该 项 基 本 功 能 指 标 为 “通 过 ”, 否 则 为“不通过 ”。

　　4. 1. 3 重复出现的严重问题

　　重复出现的严重问题是指在测试过程中出现的 、且在相同条件下可再现的下列问题 :

　　— 被测基本功能项不能正确实现 ;

　　6

　　GB/T 25459—2010

　　— 被测数据处理错误 ;

　　— 主业务流程出现断点 ;

　　— 应用错误导致死机 ;

　　— 应用错误导致数据丢失 ;

　　— 应用错误导致系统无法运行 ;

　　— 应用操作响应时间过长 ,在 1 min以上 ;

　　— 应用存在严重的安全漏洞 。

　　4. 2 测评结果评定

　　ASP平台测评的最终结果只能评定为下列两种结论中的一种 :

　　— 通过 ;

　　— 不通过 。

　　有下列情况之一者 ,评定为 “不通过 ”:

　　— 被测平台缺少规范规定的基本功能项 ;

　　— 在基本功能的测评过程中 , 出现了一项或多项可重复出现的严重问题 ;

　　— 一项或多项性能指标评定值不能达到最低限度 。

　　未出现上述情况的 ,评定为 “通过 ”。

　　4. 3 功能指标测评结果评定

　　4. 3. 1 系统管理和工作流程的测评方式

　　系统管理和工作流程的测评采用功能指标测评方式 。

　　4. 3. 2 基本功能指标测评结果评定

　　各项基本功能测评指标的结果只能评定为下列两种结论中的一种 :

　　— 通过 ;

　　— 不通过 。

　　在对某项基本功能测评指标进行测试的过程中 ,有下列情况之一者 , 判定该项指标为 “不通过 ”:

　　— 被测平台缺少该项指标对应的功能 ;

　　— 出现了一项或多项可重复出现的严重问题 。

　　未出现上述情况的 ,该项指标判定为 “通过 ”。

　　4. 3. 3 扩展功能指标测评结果评定

　　各项扩展功能测评指标的结果只能评定为下列三种结论中的一种 :

　　— “无此功能 ”;

　　— “通过 ”;

　　— “不通过 ”。

　　在对某项扩展功能测评指标进行测试的过程中 ,如被测平台缺少该项指标对应的功能 ,则判定该项指标为 “无此功能 ”;如被测平台具有该项指标对应的功能且未出现可重复出现的严重问题 ,则判定该项指标为 “通过 ”;如被测平台具有该项指标对应的功能 ,但出现了一项或多项可重复出现的严重问题 ,则判定该项指标为 “不通过 ”。

　　4. 4 性能指标测评结果评定

　　4. 4. 1 概述

　　专业服务的测评采用性能指标测评方式 。

　　各级性能指标的测评采用评分方式 ,各级性能指标测评结果为 10分制分值 。

　　测评人员应对每一项无下级指标的性能指标进行测试 ,并依据测试完成情况与预期效果之间的差异 ,参见附录 A表 A. 3 中的评分细则的规定对该项性能指标进行评分 。

　　上级指标的得分按如下公式计算得出 :

　　7

　　GB/T 25459—2010

　　4. 4. 2 权重分配

　　上级指标的得分= ∑ (下级指标得分 ×下级指标权重)

　　一级指标的权重分配参见附录 A表 A. 2,二级指标的权重分配参见附录 A表 A. 3。

　　4. 4. 3 评分方法

　　4. 4. 3. 1 单项指标的评分方法

　　无下级指标的单项指标应在本标准第一部分规定的线性评分方法 、减分式评分方法以及等级式评分方法中选用一种适合的方法进行评分 ,选用的具体规定参见附录 A表 A. 3。

　　有下级指标的单项指标不进行直接评分 , 由下级指标汇总得出 。

　　4. 4. 3. 2 评分汇总方法

　　上级指标的得分按如下公式计算得出 :

　　性能测评的总评分按如下公式计算得出 :

　　上级指标的得分= ∑ (下级指标得分 ×下级指标权重)

　　4. 4. 4 评分细则

　　性能测评的总评分= ∑ (一级指标得分 ×一级指标权重)

　　性能测评的评分细则参见附录 A表 A. 3所示 。

　　5 测评组织机构

　　5. 1 总述

　　为顺利实施平台测评 ,保证测评过程的公平 、公正 、科学 、高效 ,应设立平台测评的组织管理机构 、测评机构和监督机构 。

　　5. 2 组织管理机构

　　组织管理机构的职责 :

　　— 发布开展平台测评的通知 、通告 ;

　　— 负责受理平台测评的申请 ,并对送测单位提交的申请材料进行受理审查 ;

　　— 组织相关技术领域的专家制定平台测评的统一测试用例(或测试题) ;

　　— 审查 、选定合适的测试用例(或测试题) ;

　　— 发布测评结果 。

　　组织管理机构可以是国家政府有关部门或得到其授权的组织和机构 ;也可以是行业协会或相关技术委员会等 。

　　5. 3 测评机构

　　测评机构的职责 :

　　— 负责实施平台测评 ;

　　— 根据有关标准规范规定和测试用例(或测试题) ,做好各项测评准备工作 ;

　　— 保持与测试用例一致的测试 ,并填写测试记录 ;

　　— 整理 、分析测试过程中出现的问题 ,编写测试问题报告 ;

　　— 做出测评结果的判定 ,编写测评报告 ;

　　— 及时向平台测评组织管理机构提供信息反馈 。

　　测评机构应该是获得国家认证 、认可的软件测评机构或专业测试实验室 。

　　5. 4 监督机构

　　监督机构的职责 :

　　— 对平台测评过程的各个环节进行监督和检查 ;

　　— 受理对平台测评过程中发生的问题和测评结果的投诉和举报 ,并调查核实 ,提出处理意见 ;

　　— 对平台测评的管理工作 ,提出合理化意见和建议 。

　　8

　　GB/T 25459—2010

　　监督机构可以是国家政府相关部门或得到其授权委托的机构组织 ,或为开展测评临时组建的测评监督委员会 。

　　— 对无署名 、无联系方式或没有具体事实的投诉 ,监督委员会可不予处理 。

　　— 对办结的投诉和举报 ,监督委员会要将处理结果告知投诉者或举报者 ,并将有关材料归档 。

　　6 测评工作基本步骤

　　6. 1 概述

　　测评工作有四个基本步骤为 : 申请测评→ 审查申请→ 测评实施→ 测评结果公告 。

　　全部测评工作都在监督机构的监督下执行 。

　　6. 2 申请测评

　　送测单位应实事求是地认真填写申请表 ,并提交相关材料 。如 :

　　—《面向制造业信息化的 ASP平台测评申请表》;

　　— 必要时提供足够的测评数据及相应的数据文档 ;

　　— 测评组织管理机构规定的有关平台的登记证书和送测单位身份证明 。

　　6. 3 审查申请

　　有以下情况之一者 ,将不能通过受理审查 :

　　— 申请手续不完备 , 申请书填写不符合规定 ;

　　— 申请测评的平台不具备规定的条件 ;

　　— 送测单位不具备规定的资格 。

　　通过资格审查的软件移交给第三方平台测评机构进行平台测评 。

　　6. 4 测评实施

　　6. 4. 1 测评准备

　　平台测评机构根据本标准规定的测评内容 ,选择合格的具有相关技术领域知识的测评技术人员组成软件测评组 。需针对每一个被测平台成立测评组 ,每个测评组不得少于二人 。

　　测评组织管理机构组织相关领域的技术专家按照本标准规定的测评内容 ,设计编制能够覆盖全部测评内容的测试用例(或测试题) 。

　　测试用例应包括下列信息 :测试目标 ;测试环境和条件(包括 :配置细节和准备工作) ;测试数据 ;过程 ;系统的预期行为 。

　　测试用例应系统地构造 ,应覆盖本标准第 4章 、第 5 章中规定的功能指标和性能指标 。

　　— 被测方可提供反映自身特点 、能覆盖本标准规定的各项基本功能和基础性能的测试用例 ,供平台测评机构参考 。

　　— 测评人员除使用给定的统一测试用例对平台进行测试外 ,也可适当增加其他测试用例 。

　　6. 4. 2 测试运行

　　平台测评组依据测试用例对平台进行功能和性能的测试 。

　　平台测评组依据本标准第 4章 、第 5 章为基础构造的统一测试用例和其他参考测试用例对被测平台进行测试 。

　　对测试过程中出现的问题 ,应进行重复性核定测评 。

　　平台测评组应填写测试记录 。

　　测试记录应包括 :

　　— 测试计划及包含测试用例的测试说明与解释 ;

　　— 与测试用例相关的所有结果 ,包括测试期间出现的所有偏离 、失败情况 ;

　　— 测试中涉及的人员身份 。

　　9

　　GB/T 25459—2010

　　6. 4. 3 问题分析

　　平台测评组根据测试过程中出现的问题记录 ,确定问题性质(包括 :严重问题 、一般性问题 、建议性问题) ,并对问题原因进行初步分析 ,编制被测平台的测试问题报告 。

　　平台评测机构应对被测平台测试问题报告进行评审 。

　　如涉及严重问题 ,须将被测平台测试问题报告提交被测方确认 。

　　问题报告应包括 :

　　— 问题统计 ;

　　— 问题概述 ;

　　— 问题详细描述 ;

　　— 问题确认 、审核人员签名及日期 。

　　6. 4. 4 测评报告

　　平台测评机构以测试记录和问题报告为依据 ,编写测评报告 。

　　测评报告的结构 :

　　— 平台标识 :测评报告的标识(测评实验室 、平台标识 、测评报告 日期) 和页面总数应出现在测评报告的每页上 ;

　　— 测试环境(硬件 、软件及其配置) ;

　　— 功能和性能测评结果 :测评报告应包括与测评项相关的测评结果有效性的说明 ;

　　— 测评结束日期 ,未经批准 ,不得复印测评报告及其有关说明 。

　　6. 5 测评结果公布

　　组织管理机构依据平台测评机构提交的测评报告 ,本着实事求是的原则 ,起草测评结果公告 ,并向社会公开发布 。

　　10

　　GB/T 25459—2010

　　附 录 A

　　(资料性附录)

　　面向制造业信息化的 ASP平台测评指标表

　　面向制造业信息化的 ASP平台测评指标表包括表 A. 1 系统管理和工作功能测评 、表 A. 2 一级指标权重分配 、表 A. 3专业服务性能测评 。

　　表 A. 1 中 ,标有“★ ”的二级指标为基本功能指标 ,没有标“★ ”的二级指标为扩展功能指标 ;在三级指标中 ,标有“* ”的表示该三级指标是该二级指标中的关键性指标 ,此指标的测试 “通过 ”或 “不通过 ”将影响其上级指标(即第二级指标)的 “通过 ”与 “不通过 ”。

　　表 A. 1 系统管理和工作功能测评

　　一级指标

　　二级指标

　　三级指标

　　正确性

　　(仅测试通过与否)

　　备注

　　1系统操作

　　1. 1 数据存储与输出管理 ★

　　数据备份与恢复 、数据和软件建档 *

　　将输出数据传往多种 目 的地 *

　　1. 2 软件分发管理 ★

　　安装和卸载软件 *

　　软件升级 *

　　识别和解决软件配置冲突

　　1. 3 作业和工作量管理 ★

　　管理系统作业 *

　　统计系统工作量 *

　　1. 4 业务连贯性管理

　　正常操作管理

　　灾难避免管理 *

　　2

　　系

　　统

　　监

　　控

　　和

　　管

　　理

　　2. 1 网络系统的监控和管理 ★

　　网络系统的监控和管理 *

　　2. 2 应用程序的监控和管理 ★

　　应用程序的监控和管理

　　2. 3 Web 的监控和管理 ★

　　总体响应时间

　　客户决策与浏览时间

　　网络交通

　　总服务器时间

　　单独应用和事务响应时间

　　页面查看频率

　　常用或最流行 Web 页的路径

　　查看一个单独页面所需时间

　　2. 4 性能的监控和管理

　　网络部分 *

　　服务器部分 *

　　应用系统部分 *

　　Web应用部分

　　防火墙部分

　　11

　　GB/T 25459—2010

　　表 A. 1 (续)

　　一级指标

　　二级指标

　　三级指标

　　正确性

　　(仅测试通过与否)

　　备注

　　3客户支持

　　3. 1 更改与请求管理 ★

　　更改与请求管理

　　3. 2 问题管理 ★

　　问题管理

　　3. 3 客户培训

　　客户培训

　　4服务管理

　　4. 1 计量与会计 ★

　　应用系统事件 *

　　服务器使用 日志 *

　　网络使用情况 *

　　存储统计 *

　　信息统计 *

　　安全性事件

　　4. 2 配置管理 ★

　　识别系统和网络资源 *

　　定义和命名资源 *

　　检测和控制资源 *

　　初始化、操作、重新配置、关闭和删除资源 *

　　收集有关资源操作的数据 *

　　4. 3 记账与报表 ★

　　记账数据收集 *

　　记账生成 *

　　账单提交 *

　　客户化账单

　　客户账号管理

　　通知能力

　　支付界面

　　4. 4 安全性管理 ★

　　安全性结构 *

　　安全性措施 *

　　5工作流程

　　5. 1基本步骤 ★

　　步骤顺序和内容 *

　　5. 2 用户登录 ★

　　确定身份 、权限和服务订购 *

　　5. 3 确定服务 ★

　　服务列举

　　请求服务 *

　　服务审查 *

　　同意服务 *

　　5. 4 服务运行 ★

　　启动服务 *

　　使用服务功能 *

　　请求退出服务 *

　　保存相关数据 *

　　退出服务

　　12

　　GB/T 25459—2010

　　表 A. 2 一级指标权重分配

　　一级指标

　　满分

　　权重

　　测评总分

　　可靠性

　　10分

　　0. 4

　　10分

　　易用性

　　10分

　　0. 3

　　集成性

　　10分

　　0. 1

　　服务粒度

　　10分

　　0. 1

　　SLA 的满足程度

　　10分

　　0. 1

　　表 A. 3 专业服务性能测评

　　一级指标

　　二级指标

　　预期效果

　　评分细则

　　评分

　　可靠性(满分10分)

　　若出现死机 、数据处理错误 、主业务流程断点 、软件错误导致数据丢失 、软件错误导致系统无法运行 ,则 可靠性为 0 分

　　屏蔽用户操作错误(权重 0. 15)

　　可以屏蔽 用 户 操 作 错 误 , 不 会引起系统异常退出

　　每出现 一 次 未 屏 蔽 用户操作错误 ,扣 1 分

　　初 始 分 10 分 , 满 分10分

　　运行 操 作 错 误 不 会 导致系统 异 常 退 出(权 重0. 2)

　　应该提示错误原因

　　每 出 现 一 次 异 常 退 出 ,扣 2 分

　　初 始 分 10 分 , 满 分10分

　　操作 权 限 控 制 安 全 可靠(权重 0. 1)

　　具有 创 建 、删 除 、修 改 用 户 信息及口令管理的功能

　　只 测 是 否 通 过 , 通 过10分 ,不通过 0 分

　　具有 数 据 备 份 和 恢 复手段(权重 0. 1)

　　系统 应 提 供 数 据 备 份 和 恢 复手段

　　只 测 是 否 通 过 , 通 过10分 ,不通过 0 分

　　能进 行 输 入 有 效 性 检查(权重 0. 1)

　　能排 除 不 符 合 要 求 的 输 入 数据或给出提示

　　每出一次错误 ,扣 1 分

　　初 始 分 10 分 , 满 分10分

　　无损坏数据的现象(权重 0. 1)

　　不会引起软件 、系统的损毁

　　出 现 一 次 损 坏 现 象 , 可靠性为零分

　　初 始 分 10 分 , 满 分10分

　　提供运 行 日 志 管 理(权重 0. 1)

　　是否具有 运 行 日 志 管 理 功 能 ,对日志可 以 进 行 查 看 分 析 、备份存档

　　只 测 是 否 通 过 , 通 过10分 ,不通过 0 分

　　与其 他 软 件 的 兼 容 性(权重 0. 05)

　　安装 运 行 后 对 系 统 中 其 他 程序不产生破环性的影响

　　每 出 一 次 兼 容 性 错 误 ,扣 2 分

　　初 始 分 10 分 , 满 分10分

　　系 统 故 障 恢 复 ( 权 重0. 05)

　　网络中断 、断电后自动恢复

　　每出一次错误 ,扣 3 分

　　初 始 分 10 分 , 满 分10分

　　稳定性(权重 0. 05)

　　是否出现死机 、异常退出现象

　　死 机 一 次 可 靠 性 为0 分

　　初 始 分 10 分 , 满 分10分

　　13

　　GB/T 25459—2010

　　表 A. 3 (续)

　　一级指标

　　二级指标

　　预期效果

　　评分细则

　　评分

　　易用性(满分10分)

　　菜 单 , 工 具 栏 随 所 进 行的 操 作 变 化 ( 权 重0. 15)

　　无效的菜单项应变灰或隐藏

　　每出 一 次 未 变 灰 或 隐藏现 象 , 扣 0. 5 分 , 扣完为止

　　初 始 分 10 分 , 满 分10分

　　应具有联机帮助功能(权重 0. 3)

　　功能 所 对 应 的 操 作 都 有 相 应的联机帮助

　　对 “功能测试 ”所列的操 作 , 如 无 联 机 帮 助 扣除 0. 5 分 ,扣完为止

　　初 始 分 10 分 , 满 分10分

　　对 用 户 操 作 的 实 时引导

　　(权重 0. 05)

　　对用 户 的 每 一 步 关 键 性 操 作都有相应的提示

　　每出现 一 次 未 提 示 现象 ,扣 0. 5 分

　　初 始 分 10 分 , 满 分10分

　　界面 风 格 应 该 简 洁 一致 ,布局合理

　　(权重 0. 2)

　　术语是否统 一 ;

　　对话框颜色等是否一致 ;按钮大小 、颜色是否一致

　　每出现 一 次 不 一 致 的情况扣 0. 5 分

　　初 始 分 10 分 , 满 分10分

　　服务 具 有 可 配 置 能 力(权重 0. 15)

　　例如 显 示 界 面 、显 示 格 式 、报表格式等可以调整

　　具 有 报 表 调 整 功 能5 分 ,格式调 整 3 分 ,显示界面调整 2 分

　　服 务 易 更 改 ( 权 重0. 15)

　　是否 支 持 客 户 对 订 购 服 务 的更改

　　不能 更 改 0 分 , 能 更 改10分

　　服务

　　粒度(满分10分)

　　服务可分解(权重 0. 5)

　　用户 可 以 将 平 台 提 供 的 服 务分解 ,订购其中的部分服务

　　能 够 10 分 , 不 能 够0 分

　　服务可组合(权重 0. 5)

　　用户 可 以 将 分 解 后 的 服 务 组合使用

　　能 够 10 分 , 不 能 够0 分

　　SLA 的

　　满足程度(满分 10分)

　　SLA 的满足程度

　　参照 ASP与 客 户 签 定 的 SLA检验其执行程度和状况

　　完 全 满 足 10 分 , 否 则适当减分

　　注 : 表中给出权重均为针对上级指标的权重 。

　　14

　　GB/T 25459—2010

　　参 考 文 献

　　[1] GB/T 11457—2006 信息技术 软件工程术语

　　[2] GB/T 16260—2006 软件工程 产品质量(ISO/IEC 9126:2001,IDT)

　　[3] GB/T 17544—1998 信息技术 软件包 质量要求和测试(idtISO/IEC 12119:1994)

　　[4] GB/T 5271. 14—2008 信 息 技 术 词 汇 第 14部 分 : 可 靠 性 、可 维 护 性 与 可 用 性(ISO/ IEC 2382-14:1997,IDT)

　　GB T 25459 2010

　　— /