GB/T 29836.2-2013 系统与软件易用性 第2部分：度量方法

　　ICS 35. 80 L 77

　　中 华 人 民 共 和 国 国 家 标 准

　　GB/T 29836. 2—2013

　　系统与软件易用性 第 2 部分 :度量方法

　　Usability ofsoftwaresystem—Part2:Metricmethod

　　2013-11-12发布 2014-02-01实施

　　中华人民共和国国家质量监督检验检疫总局中 国 国 家 标 准 化 管 理 委 员 会

　　

　　发

　　

　　布

　　GB/T 29836. 2—2013

　　目 次

　　前言 Ⅰ

　　引言 Ⅱ

　　1 范围 1

　　2 规范性引用文件 1

　　3 术语和定义 1

　　4 概述 1

　　5 易理解性 1

　　6 易学习性 2

　　7 易操作性 3

　　8 吸引性 5

　　9 易用性评价方法 6

　　9. 1 概述 6

　　9. 2 确定评价因素 、评价等级 6

　　9. 3 构造评判矩阵和确定权重 7

　　9. 4 进行模糊合成和作出决策 7

　　附录 A (资料性附录) 网上评卷系统易用性评价示例 9

　　参考文献 27

　　GB/T 29836. 2—2013

　　前 言

　　GB/T 29836在《系统与软件易用性》总标题下 , 目前分为如下三部分 :

　　— 第 1部分 :指标体系 ;

　　— 第 2部分 :度量方法 ;

　　— 第 3部分 :测评方法 。

　　本部分为 GB/T 29836的第 2部分 。

　　本部分按照 GB/T 1. 1—2009给出的规则起草 。

　　本部分由全国信息技术标准化技术委员会(SAC/TC28)提出并归 口 。

　　本部分起草单位 : 中国电子技术标准化研究院 、北京邮电大学 、南宁市平方软件新技术有限责任公司 、国家应用软件产品质量监督检验中心 、教育部考试中心 、上海计算机软件技术开发中心 、上海浦东软件平台有限公司 、上海宝信软件股份有限公司 、珠海南方软件网络评测中心 、上海鲁齐信息科技 有 限公司 。

　　本部分主要起草人 :张旸旸 、袁玉宇 、李英华 、朱洁 、郭新伟 、胡宇 、蔡立志 、吴玉军 、杨金翠 、温家凯 、韩强 、侯建华 、左家平 、丁志刚 、李家宏 、张露莹 、崔岩 。

　　Ⅰ

　　GB/T 29836. 2—2013

　　引 言

　　GB/T 29836的本部分提出了易用性质量度量方法 。本部分将人(参与测试的用户) 、机(计算机系统)及人机交互作为计算机系统与软件的三大要素 ,综合三大要素对被测 目标系统易用性的影响 。

　　本部分对已经构建设计的系统与软件易用性指标体系中的每个测试指标 ,给出详细的度量目的 、度量描述 、度量公式以及度量公式中各个度量元素的描述说明 。并对度量的最终结果值 ,给出解释 。本部分适用于各种具有人机交互的计算机软件产品及相关系统 。

　　本标准预期的主要使用者包括 :

　　a) 需方(从供方获得或采购系统 、软件产品或软件服务的个体或组织) ;

　　b) 独立评价者(与软件无利益关系 、受委托实施独立评价的个体或组织) ;

　　c) 开发者(执行开发活动的个体或组织) ;

　　d) 维护者(执行维护活动的个体或组织) ;

　　e) 供方(按所签合同向需方提供系统 、软件产品或软件服务的个体或组织) ,其在合格性测试中确认软件质量时使用 ;

　　f) 用户(使用软件产品执行具体功能的个体或组织) ,其在验收测试中评价软件产品质量时使用 ;

　　g) 质量管理者(执行软件产品或软件服务的系统性检查的个体或组织) ,作为质量保证和质量控制的组成部分评价软件质量时使用 。

　　GB/T 29836. 1—2013《系 统 与 软 件 易 用 性 第 1 部 分 : 指 标 体 系》给 出 了 易 用 性 指 标 体 系 , GB/T 29836. 3—2013《系统与软件易用性 第 3部分 :测评方法》描述了易用性指标的测评方法 。本部分旨在与 GB/T 29836. 1—2013和 GB/T 29836. 3—2013联合使用 。

　　Ⅱ

　　GB/T 29836. 2—2013

　　系统与软件易用性 第 2 部分 :度量方法

　　1 范围

　　GB/T 29836的本部分在 GB/T 29836. 1 提出的指标体系的基础上 ,规定了系统与软件的易用性度量公式 ,为系统与软件的供方 、需方 、第三方评测机构提供统一的易用性度量方法 。

　　本部分适用于具有人机交互的各类系统与软件 ,本部分不适用于无人机交互功能或者在使用期间无易用性需求的系统与软件 。

　　注 : 本部分中所指的系统主要是软件系统 。

　　2 规范性引用文件

　　下列文件对于本文件的应用是必不可少的 。凡是注 日期的引用文件 ,仅注 日期的版本适用于本文件 。凡是不注日期的引用文件 ,其最新版本(包括所有的修改单)适用于本文件 。

　　GB/T 11457 软件工程术语

　　GB/T 16260. 1 软件工程 产品质量 第 1部分 :质量模型 (GB/T 16260. 1—2006,ISO/IEC TR 9126-1:2001,IDT)

　　GB/T 29836. 1—2013 系统与软件易用性 第 1部分 :指标体系

　　3 术语和定义

　　GB/T 29836. 1—2013、GB/T 16260. 1 和 GB/T 11457中界定的术语和定义适用本文件 。

　　4 概述

　　易用性是系统与软件的一个重要质量特征 。对系统与软件的易用性进行度量 ,有利于了解软件是否满足规定的易用性要求 ,有利于需方 、供方等及时发现 、定位易用性的缺陷 。

　　在实施度量之前 ,宜预先申明相关度量对象(如任务 、功能)的粒度 。

　　本部分提出了与 GB/T 29836. 1 一起使用的一组软件易用性质量的度量 。用户宜从 GB/T 29836. 1中选择易用性指标 ,根据指标确定度量以及相应的测试方法 。对于某一个具体的系统或软件 ,不同模块或功能 ,易用性有不同的要求 。 因此可以根据其易用性的具体目标选取相应合适的指标 ,提高易用性度量的准确性 。对于与易用性完全不相关的功能点 ,度量时可以放弃 。对于其他无法度量的指标 ,度量时可以放弃 。

　　5 易理解性

　　易理解性具体指标的度量方法如表 1所示 。

　　1

　　GB/T 29836. 2—2013

　　表 1 易理解性

　　指标名称

　　指标描述

　　测量 、公式及数据元素计算

　　测量值说明

　　明显的功能

　　基于 初 始 的 条 件 , 产品的 功 能 (或 功 能 的类型) 能 被 用 户 识 别的比例是多少

　　X=A/B

　　式中 :

　　A— 在培训 前 , 用 户 可 以 根 据 界 面 提示进行操作的功能数 ;

　　B— 在培训 前 , 用 户 应 该 根 据 界 面 提示进行操作的功能数

　　0≤X≤1, 越 接 近 1, 表 明 该 项指标越好

　　描述的完整性

　　在阅读完用户手册后能 正 确 理 解 的 功 能(或功能的类型)比例是多少

　　X=A/B

　　式中 :

　　A— 在阅读完用户 手 册 后 能 正 确 理 解的功能(或功能的类型)数 ;

　　B— 用户 需 要 理 解 的 功 能 (或 功 能 的类型)数

　　0≤X≤1, 越 接 近 1, 表 明 该 项指标越好

　　演示能力

　　需要演示的功能中具有演示能力的比例是多少

　　X=A/B

　　式中 :

　　A— 在需要演示的 功 能 中 具 有 演 示 能力的功能数 ;

　　B— 需要演示的功能的数

　　0≤X≤1, 越 接 近 1, 表 明 该 项指标越好

　　演示的有效性

　　在演示或指导之后用户能成功执行功能的比例是多少

　　X=A/B

　　式中 :

　　A— 在演示或指导 之 后 用 户 能 成 功 执行功能的数 ;

　　B— 用户本应需要执行的功能数

　　0≤X≤1, 越 接 近 1, 表 明 该 项指标越好

　　输入的有效性检查

　　输入项提供了对有效数据进行检查的比例是多少

　　X=A/B

　　式中 :

　　A— 能够对输入数 据 进 行 有 效 性 检 查的功能数 ;

　　B— 要求对输入数 据 进 行 有 效 性 检 查的功能数

　　0≤X≤1, 越 接 近 1, 表 明 该 项指标越好

　　6 易学习性

　　易学习性具体指标的度量方法如表 2所示 。

　　2

　　GB/T 29836. 2—2013

　　表 2 易学习性

　　指标名称

　　指标描述

　　测量 、公式及数据元素计算

　　测量值说明

　　帮助文档的有效性

　　在阅读完帮助文档后能理 解 的 功 能 (或 功能 的 类 型 ) 比 例 是多少

　　X=A/B

　　式中 :

　　A— 用户在使用阅 读 完 帮 助 文 档 后 理解的功能数 ;

　　B— 软件的功能数

　　0≤X≤1, 越 接 近 1, 表 明 该 项指标越好

　　帮助机制的有效性

　　在使 用 了 帮 助 后 , 能正确地完成任务的比例是多少

　　X=A/B

　　式中 :

　　A— 用户使用帮助后完成的功能数 ; B— 用户需要使用帮助完成的功能数

　　0≤X≤1, 越 接 近 1, 表 明 该 项指标越好

　　7 易操作性

　　易操作性具体指标的度量方法如表 3所示 。

　　表 3 易操作性

　　指标名称

　　指标描述

　　测量 、公式及数据元素计算

　　测量值说明

　　使用中默认值的可用性

　　为便 于 操 作 , 用 户 能否易于选择参数值

　　X=A/B

　　式中 :

　　A— 用 户 可 自 己 选 择 的 参 数 的 功能数 ;

　　B— 要求可供用户 自 己 选 择 参 数 的 功能数

　　0≤X≤1, 越 接 近 1, 表 明 该 项指标越好

　　完 成 指 定 任 务 的步骤

　　用户完成指定任务所用的步骤数目

　　X=A/B

　　式中 :

　　A— 符合完成所用 的 步 骤 数 要 求 的 任务数 ;

　　B— 要求必须进行评测的任务数目

　　0≤X≤1, 越 接 近 1, 表 明 该 项指标越好

　　操作的复杂性

　　用户完成指定任务总体复杂度

　　X=A/B

　　式中 :

　　A— 用户完成指定任务的动作数 ;

　　B— 要求用户完成 指 定 任 务 所 要 求 的

　　动作数

　　0≤X≤1, 越 接 近 1, 表 明 该 项指标越好

　　完成指定任务过程中误操作的次数

　　用户完成指定任务所产生的误操作数

　　X=A/B

　　式中 :

　　A— 用户在使用系 统 完 成 某 项 任 务 时出现误操作的步骤次数 ;

　　B— 用户在 正 常 情 况 下 , 完 成 某 项 任务所用的步骤次数

　　0≤X≤1, 越 接 近 1, 表 明 该 项指标越好

　　3

　　GB/T 29836. 2—2013

　　表 3 (续)

　　指标名称

　　指标描述

　　测量 、公式及数据元素计算

　　测量值说明

　　错误的纠正

　　用户能否容易地纠正完成任务过程中出现的错误

　　X=A/B

　　式中 :

　　A— 用户在使用系 统 完 成 某 项 任 务 时成功纠正错误的次数 ;

　　B— 用户在使用系 统 完 成 某 项 任 务 时出现错误的次数

　　0≤X≤1, 越 接 近 1, 表 明 该 项指标越好

　　发生错误的影响力

　　用户 发 生 错 误 之 后 ,对 完 成 任 务 的 影 响程度

　　X=A/B

　　式中 :

　　A— 用户在完成任 务 过 程 中 出 现 误 操作后 ,完成任务所需要的时间 ;

　　B— 用户使用系统 完 成 某 项 任 务 的 完成时间

　　1≤X≤ ∞ ,越接近 1,表明该项指标越好

　　可还原性

　　用户正确地还原到操作 之 前 状 态 的 能 力如何

　　X=A/B

　　式中 :

　　A— 可以恢复到原状态的功能数 ;

　　B— 要求可以恢复到原状态的功能数

　　0≤X≤1, 越 接 近 1, 表 明 该 项指标越好

　　运 行 差 错 的 易 恢复性

　　能够容忍用户差错并帮助用户恢复的功能的比例是多少

　　X=A/B

　　式中 :

　　A— 能够容忍用户 差 错 并 帮 助 用 户 恢复的功能的数 ;

　　B— 软件的功能数

　　0≤X≤1, 越 接 近 1, 表 明 该 项指标越好

　　使用中的消息的可理解性

　　用户是否容易理解软件系统的消息? 用户是否容易记住重要的消息

　　在开始下一步动作之前是否有任何引起用户延缓理解的消息

　　X=A/B

　　式中 :

　　A— 在使用 过 系 统 后 , 能 够 被 用 户理解的系统消息数 ;

　　B— 使用系统过程中提示的消息数

　　0≤X≤1, 越 接 近 1, 表 明 该 项指标越好

　　运 行 状 态 的 易 监控性

　　具有运行状态监控能力 的 功 能 的 比 例 是多少

　　X=A/B

　　式中 :

　　A— 能够向用户提 供 运 行 状 态 查 看 的功能数目 ;

　　B— 要求向用户提 供 运 行 状 态 查 看 的功能数目

　　0≤X≤1, 越 接 近 1, 表 明 该 项指标越好

　　界 面 元 素 的 易 定制性

　　是否提供多种风格或方案供用户选择

　　X=A/B

　　式中 :

　　A— 用户可以选择 多 种 风 格 或 方 案 的功能数 ;

　　B— 要求用户可以 选 择 多 种 风 格 或 方案的功能数

　　0≤X≤1, 越 接 近 1, 表 明 该 项指标越好

　　4

　　GB/T 29836. 2—2013

　　表 3 (续)

　　指标名称

　　指标描述

　　测量 、公式及数据元素计算

　　测量值说明

　　界 面 布 局 的 易 定制性

　　用户能否为方便自己定制界面的布局

　　X=A/B

　　式中 :

　　A— 用 户 可 以 改 变 的 界 面 布 局 元素数 ;

　　B— 要求用户可以改变的界面元素数

　　0≤X≤1, 越 接 近 1, 表 明 该 项指标越好

　　快 捷 方 式 的 易 定制性

　　用户是否能方便地定制快捷方式

　　X=A/B

　　式中 :

　　A— 用 户 可 以 自 定 义 快 捷 键 的 功能数 ;

　　B— 要求用户可以 自 定 义 快 捷 键 的 功能数

　　0≤X≤1, 越 接 近 1, 表 明 该 项指标越好

　　操 作 规 程 的 易 定制性

　　用户能否为方便自己容 易地 定 制 其 操 作规程

　　X=A/B

　　式中 :

　　A— 用 户可 以 自 定 义 操 作 规 程 的 功能数 ;

　　B— 要求用户可以 自 定 义 操 作 规 程 的功能数

　　0≤X≤1, 越 接 近 1, 表 明 该 项指标越好

　　特殊辅助功能

　　提供辅助功能的种类

　　X=A/B

　　式中 :

　　A— 已经提供辅助功能的种类数 ; B— 要求提供辅助功能的种类数

　　0≤X≤1, 越 接 近 1, 表 明 该 项指标越好

　　无障碍程度

　　能让有身体障碍的用户操作的功能比例是多少

　　X=A/B

　　式中 :

　　A— 能让有身体障 碍 的 用 户 操 作 的 功能的数 ;

　　B— 软件的功能数

　　0≤X≤1, 越 接 近 1, 表 明 该 项指标越好

　　一致性

　　系统的各部分之间以及与系统之外的相关因素是否保持一致

　　X=A/B

　　式中 :

　　A— 符合内 、外 部 一 致 性 要 求 的 系 统元素数 ;

　　B— 要求必须符合 内 部 一 致 性 要 求 的系统元素的数

　　0≤X≤1,越 接 近 1 越 好 , 表 明该系统一致性越好

　　8 吸引性

　　吸引性具体指标的度量方法如表 4所示 。

　　5

　　GB/T 29836. 2—2013

　　表 4 吸引性

　　指标名称

　　指标描述

　　测量 、公式及数据元素计算

　　测量值说明

　　界面色彩对视觉的吸引性

　　色彩对用户有多大的吸引 力 , 是 否 让 用 户感到视觉舒适? 从而减少视觉工作量

　　X=A/B

　　式中 :

　　A— 在使用 过 系 统 后 , 感 觉 界 面 配 色

　　方案舒适的用户人数 ;

　　B— 使用过系统的用户人数

　　0≤X≤1, 越 接 近 1, 表 明 该 系统的配 色 方 案 舒 适 度 越 好 , 越被用户所接受

　　界面元素形状的舒适度

　　界面各种元素的形状是否舒适

　　X=A/B

　　式中 :

　　A— 在使用 过 系 统 后 , 感 觉 界 面 形 状

　　方案舒适的用户人数 ;

　　B— 使用过系统的用户人数

　　0≤X≤1,越 接 近 1 越 好 , 表 明该系 统 的 形 状 方 案 舒 适 度 越好 ,越被用户所接受

　　界面元素尺寸的合理性

　　界面各种元素的尺寸是否合理

　　X=A/B

　　式中 :

　　A— 在使用 过 系 统 后 , 感 觉 界 面 尺 寸

　　方案舒适的用户人数 ;

　　B— 使用过系统的用户人数

　　0≤X≤1,越 接 近 1 越 好 , 表 明该系 统 的 尺 寸 方 案 舒 适 度 越好 ,越被用户所接受

　　布局的合理性

　　界面的各种元素的配合是否合理

　　能否减少记忆工作

　　X=A/B

　　式中 :

　　A— 符合工作要求 及 操 作 方 便 性 要 求的界面布局及元素数 ;

　　B— 要求必须符合 工 作 要 求 及 操 作 方便性要求的界面布局及元素数

　　0≤X≤1,越 接 近 1 越 好 , 表 明该系统界面布局越符合工作要求且操作方便性好

　　用户的感受度

　　用户对软件直观感觉的综合评价

　　X=A/B

　　式中 :

　　A— 对使用 用 户 进 行 调 查 , 认 为 感 受度高的用户 ;

　　B— 进行调查的所有用户

　　0≤X≤1,越 接 近 1 越 好 , 表 明该系统用户感受度好

　　9 易用性评价方法

　　9. 1 概述

　　易用性评价宜使用模糊综合评价法 。该方法根据模糊数学的隶属度理论把定性评价转化为定量评价 , 即用模糊数学对受到多种因素制约的事物或对象做出一个总体的评价 。运用模糊综合评价法进行决策时有三个步骤 :1)确定评价因素 、评价等级;2)构造评判矩阵和确定权重;3) 进行模糊合成 ,作出决策 。其中 ,评价因素是对指标评议的具体内容 ,评价等级是评价因素的优劣程度 ,被评价因素确定了 一个从指标到等级的模糊关系矩阵以及权重 ,权重是表示指标相对重要性大小的量度值 。

　　9. 2 确定评价因素、评价等级

　　设 U= {u1 ,u2 , … ,um }为被评价对象的 m 种评价指标 ;

　　V= {v1 ,v2, …vn }为每一指标所处的评价等级 。

　　6

　　GB/T 29836. 2—2013

　　这里 m 为评价指标的个数 ,n为评价的个数 。

　　这些指标可以衡量被测系统的易用性 “水平 ”。评测结果的评定按四级评分 ,设定优秀 、良好 、及格 、不及格 。评判等级应尽量满足人们区分易用性水平的要求和一般习惯 。

　　9. 3 构造评判矩阵和确定权重

　　vj(j= 1,2, … ,n)的隶属为 rij ,得出第 i个指标 ui 的单指标评判集 :

　　首先着眼因素集中的单因素 ui(i= 1, 2, … ,m) 作 单 指 标 评 判 ,从 指 标 ui 着 眼 该 事 务 对 抉 择 等 级

　　ri=(ri1 ,ri2 , … ,rin)

　　m 个着眼因素的评价集构造一个总的评价矩阵 R。 即每一个被评价系统确定了从 U 到 V 的模糊关系 R,它是一个矩阵 :

　　R= m *n i= 1,2, … ,m;j= 1,2, … ,n)

　　其中 rij表示从指标 ui 着眼 ,该评测系统能被评为 vj 的隶属度 。 即 rij表示第 i个指标 ui 在第j个

　　处理 。

　　评语 vj 上的频率分布 ,一般将其归一化使之满足,这样 R 阵本身就是没有量纲的 ,不需作专门

　　用等级比重确定隶属矩阵的方法 ,可以满足量化综合评价的要求 。用等级比重法确定隶属度时 ,为了保证可靠性 ,要注意两个问题 :第一 ,评价者人数不可太少 , 因为只有这样 ,等级比重才趋于隶属度 ;第二 ,评价者必需对被评测系统有相当的了解 ,特别是对于业务系统易用性的评测 ,更应该如此 。

　　得到这样的模糊关系矩阵 , 尚不足以对系统易用性作出评测 。评价指标集中的各个指标在 “评价目标 ”中有不同的地位和作用 , 即对评价系统在综合评价中有不同的比重 。拟引入 U上的一个模糊子集A,称权重分配集 :

　　在(A)1系,a统2,中… ,,权(am)重),的确(其中)i至(0),关(且)要(a)i1。。常见评价问题中的权重(它反映对诸指标的一种)值(权),衡一。般多凭经验主观给定 ,成

　　为主观赋权 。 主观确定权重也有客观的一面 ,一定程度上反映了实际情况 ,评价的结果有较高的参考价值 。确定权重也可以利用数学的方法 ,数学方法严格的逻辑性而且可以对确定的 “权重 ”进行 “滤波 ”和“修复 ”处理 , 以尽量剔除主观成分 ,符合客观事实 。

　　这里存在两种模糊集 , 以主观赋权为例 ,一类是标志指标集 U 中各指标在人们心 目 中的重要程度

　　m×n模糊矩阵 R。这两类模糊集都是人们对系统易用性印象的反映 。

　　的量 ,表现为指标集 U 上的模糊权重向量 A= (a1 ,a2 , … ,am ) ; 另一类是 U ×V上的模糊关系 ,表现为

　　9. 4 进行模糊合成和作出决策

　　R中不同的行反映系统易用性从不同的指标来看对各等级模糊子集的隶属程度 。用模糊权向量 A将不同的行进行综合 , 即得到被评系统易用性从总体上来看对各等级模糊子集的隶属程度 , 即模糊综合评价结果向量 。

　　这个模型看起来很简单 ,但实际上较为复杂 ,对于不同模糊算子 ,就不同的评价模型 。

　　通过 R(引入评)与(价)A(集)求(V)B(上)的的方法是(一个模糊),令 B(子集)A,R(模)为(评)算(价),子符号(又称决)称(集)为,糊(,换(b)2。, … ,bn) 。

　　A称输入 ,B称输出 。

　　如果评判结果∑bj ≠1,应将它归一化 。

　　bj 表示被评价系统易用性具有评语 vj 的程度 。各个评判指标 ,具体反映了被评系统易用性在所评判的特征方面的分布状态 ,使评判者对评判对象有更深入的了解 ,并能作各种灵活的处理 。如果要选择

　　7

　　GB/T 29836. 2—2013

　　一个决策 ,则可选择最大的 bj 所对应的等级 vj 作为综合判断的结果 。

　　B是对每个评测指标综合状况分等级的程度表述 ,它不能直接用于被评判系统间的排序评优 ,必需要更进一步的分析处理 ,待分析处理之后才能应用 。采用最大隶属度法则对其处理 ,得到最终评判结

　　用(果) 。B所(此)带(时),来(我)的(们)信(只)息(利),可(用)把各(了b)j(等(j)的,2评,…级,) 数和(中的)评(最)判(大)结(者),果 B 进 行(没有充分)综(利)合(用)考 虑(B所)带,使(来)得(的)评(信)判(息)结。果(为)更(了)加(充)符(分)合(利)

　　实际 。

　　设相对于各等级 vj 规定的参数列向量为 :

　　则(C)(出(c)1 等,c2级,参(…),数(cn)评)T判结果为 :

　　B*C=p

　　p是一个实数 。它反映了等级模糊子集 B和等级参数向量所带来的综合信息 ,在许多实际应用中 ,它是十分有用的综合参数 。

　　就理论而言 ,上述的模糊合成运算有无穷多种 ,但在实际应用中 ,经常采用具体模型有几种 。关于B 的求法 ,最早的合成运算采用查德算子(主因素突出型) 。但当评价因素较多时 , 由于 ai 很小 ,评判结果得到的 bj 反映不出实际情况 ,失掉了综合评价的意义 。 因此 ,应用查德算子作综合评判 ,往往得到的结果与实际情况相差很大 。为了克服这一缺点 ,根据实际情况采用其他类型的 “与 ”、“或 ”算子 ,或者将两种类型的算子搭配使用 。较简单的是普通矩阵乘法(即加权平均法) ,这种模型要让每个因素都对综合评价有所贡献 , 比较客观地反映了评测系统易用性的全貌 。 只要采用的算子对一方面抓住实际问题的本质 ,获得满意的效果 ;另一方面保证满足 0≪bj<1。

　　附录 A 给出了网上评卷系统易用性评价示例 。

　　8

　　GB/T 29836. 2—2013

　　附 录 A

　　(资料性附录)

　　网上评卷系统易用性评价示例

　　A. 1 引言

　　网上评卷系统易用性评测体系作为本标准在实际应用中的案例 ,该体系分为指标体系 、测评方法 、评价方法三部分 。本附录将在 GB/T 29836. 1—2013和 GB/T 29836. 3—2013 的基础上 , 给出网上评卷系统易用性的评价方法 。指标体系的选取和构建过程 、测评方法分别在 GB/T 29836. 1—2013 的附录 B 和 GB/T 29836. 3—2013的附录 A 中进行详细分析与介绍 。

　　A. 2 网上评卷系统易用性评价指标体系

　　在网上评卷系统易用性指标体系在 GB/T 29836. 1—2013 中已经给出 ,在这里我们需要将该体系中的特性和评测指标赋予到相应的评价指标集合中 。

　　网上评卷易用性评测指标体系是四层结构的 ,第一层为总目标层 , 即网上评卷系统易用性(U) ,第二层为产品指标(P)和交互指标(I) ,第三层为产品指标(P) 和交互指标(I) 的指标类别 ,第四层为具体指标 。最终的网上评卷易用性评价体系 。如图 A. 1所示 。

　　9

　　GB/T 29836. 2—2013

　　图 A. 1 网 上 评卷 易 用 性 评 价体 系

　　10

　　GB/T 29836. 2—2013

　　网上评卷系统易用性评价指标集分成四个层次 :

　　b) 第二级因素层 : 即第二层指标集 :

　　a) 总目标层集 :U= (P,I) , 即总目标 , 网上评卷系统易用性= {产品指标 ,交互指标} 。

　　1) P= (P1 ,P2,P3 ) ,产品指标= {外观指标 ,操作指标 ,文档指标} ;

　　c) 第三级因素层 : 即第三层指标集 :

　　2) I= (I1 ,I2 ) ,交互指标= {信息交互指标 ,可制定交互指标} 。

　　1) P1=(P11 ,P12 ,P13 , P14) ,外观指标= {色彩 ,布局 ,一致性 , 明显的功能} ;

　　2) P2=(P21 ,P22,P23) ,操作指标= {操作复杂度 ,易发生误操作的程度 ,误操作容错能力} ;

　　3) P3=(P31 ,P32) ,文档指标= {培训 ,帮助} ;

　　4) I1=(I11 ,I12,I13) ,信息交互指标= {消息 ,输入信息 ,运行状态} ;

　　d) 第四级因素层 : 即具体指标集 :

　　5) I2=(I21 ,I22) ,可制定交互指标= {界面内容 ,操作方式} 。

　　1) P11={P111 } ,色彩= {界面色彩对视觉的吸引性} ;

　　2) P12={P121 } ,布局= {布局的合理性} ;

　　3) P13={P131 } ,一致性= {一致性} ;

　　4) P14={P141 } , 明显的功能= {明显的功能} ;

　　5) P21={P211 ,P212 } ,操作复杂度= {使用中默认值的可用性 , 完成指定任务的步骤} ;

　　6) P22={P221 } ,易发生误操作的程度= {完成指定任务过程中误操作的次数} ;

　　7) P23={P231 ,P232,P233 } ,误操作容错能力= {错误的纠正 ,发生错误的影响力 ,可还原性} ;

　　8) P31={P311 } ,培训= {培训的有效性} ;

　　9) P32={P321 } ,帮助= {帮助机制的有效性} 。

　　10) I11={I111 } ,消息= {使用中的消息的可理解性} ;

　　11) I12={I121 } ,输入信息= {输入的有效性检查} ;

　　12) I13={I131 } ,运行状态= {运行状态的易监控性} ;

　　13) I21={I211 ,I212 } ,界面内容= {界面元素的易定制性 , 界面布局的易定制性} ;

　　14) I22={I221 } ,操作方式= {快捷方式的易定制性} 。

　　A. 3 网上评卷系统易用性评价集

　　评价集是对各层次评价指标的一种语言描述 ,它是评审人对各评价指标所给出的评语的集合 。 网上评卷系统易用性评价指标体系的评语共分为四个等级 。具体的评价集为 :

　　V= (v1 ,v2 ,v3 ,v4 ) = (优秀 , 良好 ,合格 ,不合格)

　　我们可以根据以上方法将网上评卷系统易用性各评价指标划分为四个等级 , 而不同的人在执行不同的任务时所得出的指标值是完全不同的 ,如果不考虑人和任务的因素去划分 ,则评测结果将无法反应真实情况 。我们已经根据工作内容不同将评卷教师分为了填空题组 、作文题组和专家组 ,并给出了各小组工作特点及人员特点 。 以下将为各评测指标划分评价集 。

　　A. 3. 1 产品指标(P)各级指标的评价集

　　A. 3. 1. 1 外观指标(P1 )

　　a) 色彩(P11)

　　界面色彩对视觉的吸引性(P111)

　　11

　　GB/T 29836. 2—2013

　　该指标的测量公式为 :

　　X=A/B …………………………( A. 1 )

　　式中 :

　　A— 在使用过评卷系统后 ,感觉界面配色方案舒适的用户人数 ;

　　B— 使用过网上评卷系统的用户人数 ;

　　X—指标的度量值 ,0≤X≤1。

　　X 越接近 1,表明该系统的配色方案舒适度越好 ,越被用户所接受 。

　　该指标是评测系统页面设计中色彩的搭配和运用是否合理 ,是否符合评卷教师的审美观点 , 同时是否易于缓解视觉疲劳 。

　　该指标界面及功能设计是否符合业务流程 ,易于评卷教师理解功能 。 由于填空题组评卷教师年纪轻 ,适应能力强 ,故在评定该指标时应弱化该组评卷教师的感受 ,加重作文题组和专家组的意见 ,尤其是专家组 。该指标各组的权值如下 :

　　填空题 :0. 2,作文题组 :0. 3,专家组 :0. 5。

　　b) 布局(P12)

　　布局的合理性(P121)

　　该指标的测量公式为 :

　　X=A/B …………………………( A. 2 )

　　式中 :

　　A— 符合评卷工作要求及操作方便性要求的界面布局及元素数 ;

　　B— 要求必须符合评卷工作要求及操作方便性要求的界面布局及元素数 ;

　　X—指标的度量值 ,0≤X≤1。

　　X 越接近 1,表明该评卷系统界面布局越符合评卷工作要求且操作方便性好 。如表 A. 1所示 。

　　表 A. 1 布局的合理性(P121)的评价集

　　布局的合理性(P121)的评价集

　　优秀

　　良好

　　合格

　　不合格

　　[1,0. 75]

　　(0. 75,0. 5]

　　(0. 5,0. 375]

　　(0. 375,0]

　　c) 一致性(P13)

　　一致性(P131)

　　该指标主要评测网上评卷系统的界面元素样式是否符合一致性要求 。

　　测量公式为 :

　　X=A/B …………………………( A. 3 )

　　式中 :

　　A— 符合一致性要求的界面元素数 ;

　　B— 要求必须符合一致性要求的界面元素的数 ;

　　X—指标的度量值 ,0≤X≤1。

　　X 越接近 1,表明该评卷系统界面元素一致性越好 。如表 A. 2所示 。

　　12

　　GB/T 29836. 2—2013

　　表 A. 2 一致性(P131)的评价集

　　一致性(P131)的评价集

　　优秀

　　良好

　　合格

　　不合格

　　[1,0. 8]

　　(0. 8,0. 75]

　　(0. 75,0. 4]

　　(0. 4,0]

　　d) 明显的功能(P14)

　　明显的功能(P141)

　　测量公式为 :

　　X=A/B …………………………( A. 4 )

　　式中 :

　　A— 在培训前 ,用户能够并可以根据界面提示进行操作的功能数 ;

　　B— 要求在培训前 ,用户能够并可以根据界面提示进行操作的功能数 ;

　　X—指标的度量值 ,0≤X≤1。

　　X 越接近 1,表明该项指标越好 。如表 A. 3所示 。

　　表 A. 3 明显的功能(P141)的评价集

　　明显的功能(P141)的评价集

　　功能模块

　　优秀

　　良好

　　合格

　　不合格

　　评卷

　　[1,0. 83]

　　(0. 83,0. 67]

　　(0. 67,0. 5]

　　(0. 5,0. 0]

　　质量监控

　　—

　　—

　　[1,0. 5]

　　(0. 5,0]

　　A. 3. 1. 2 操作指标(P2 )

　　a) 操作复杂度(P21)

　　使用中默认值的可用性(P211)

　　测量公式为 :

　　式中 : X=A/B …………………………( A. 5 )

　　A— 评卷教师可自己选择的参数的功能数 ;

　　B— 要求可供评卷教师自己选择参数的功能数 ;

　　X—指标的度量值 ,0≤X≤1。

　　X 越接近 1,表明该项指标越好 。如表 A. 4所示 。

　　表 A. 4 使用中默认值的可用性(P211)的评价集

　　使用中默认值的可用性(P211)的评价集

　　优秀

　　良好

　　合格

　　不合格

　　[1,0. 8]

　　(0. 8,0. 75]

　　(0. 75,0. 4]

　　(0. 4,0]

　　完成指定任务的步骤(P212)

　　测量公式为 :

　　13

　　X=A/B …………………………( A. 6 )

　　GB/T 29836. 2—2013

　　式中 :

　　A— 符合完成所用的步骤数目的任务数 ;

　　B— 要求必须进行评测的任务数目 ;

　　X—指标的度量值 ,0≤X≤1。

　　X 越接近 1,表明该项指标越好 。如表 A. 5所示 。

　　表 A. 5 完成指定任务的步骤(P212)的评价集

　　完成指定任务的步骤(P212)的评价集

　　优秀

　　良好

　　合格

　　不合格

　　[1,0. 8]

　　(0. 8,0. 75]

　　(0. 75,0. 4]

　　(0. 4,0]

　　b) 易发生误操作的程度(P22)

　　完成指定任务过程中误操作的次数(P221)

　　测量公式为 :

　　X=A/B …………………………( A. 7 )

　　式中 :

　　A— 用户在使用评卷系统完成某项任务时误操作的次数 ;

　　B— 用户在使用评卷系统完成某项任务时所用的步骤数目 ;

　　X—指标的度量值 ,X≥0。

　　X 越接近 0,表明该项指标越好 。

　　不同的任务 ,操作复杂度不同 , 出现错误的概率也各有不同 , 因此在考虑该指标时应考虑到各任务 。如表 A. 6所示 。

　　表 A. 6 完成指定任务过程中误操作的次数(P221)的评价集

　　完成指定任务过程中误操作的次数(P221)的评价集

　　任务名称

　　优秀

　　良好

　　合格

　　不合格

　　评卷

　　[0. 3,0]

　　[0. 3,0]

　　[0. 3,0]

　　( + ∞ ,0. 3)

　　回评

　　(0. 25,0]

　　(0. 25,0]

　　(0. 5,0. 25]

　　( + ∞ ,0. 5)

　　问题卷的提交

　　[0. 3,0]

　　[0. 3,0]

　　[0. 3,0]

　　( + ∞ ,0. 3)

　　设置雷同卷

　　[0. 3,0]

　　[0. 3,0]

　　[0. 3,0]

　　( + ∞ ,0. 3)

　　查询培训情况

　　(0. 25,0]

　　(0. 25,0]

　　(0. 5,0. 25]

　　( + ∞ ,0. 5)

　　强制考核

　　(0. 2,0]

　　(0. 2,0]

　　(0. 4,0. 2]

　　( + ∞ ,0. 4)

　　c) 误操作容错能力(P23)

　　错误的纠正(P231)

　　测量公式为 :

　　X=A/B …………………………( A. 8 )

　　式中 :

　　A— 用户在使用评卷系统完成某项任务时纠正错误的次数 ;

　　B— 用户在使用评卷系统完成某项任务时出现错误的次数 ;

　　X—指标的度量值 。

　　14

　　GB/T 29836. 2—2013

　　如表 A. 7所示 。

　　表 A. 7 错误的纠正(P231) 的评价集

　　错误的纠正(P231) 的评价集

　　优秀

　　良好

　　合格

　　不合格

　　[1,0. 95)

　　[0. 95,0. 85)

　　[0. 85,0. 7)

　　[0. 7,1]

　　发生错误的影响力(P232)

　　测量公式为 :

　　式中 : X=A/B …………………………( A. 9 )

　　A— 用户在使用评卷系统完成某项任务出现错误后 ,整个任务完成的时间 ;

　　B— 用户在正常情况下 ,完成某项任务所用时间 ;

　　X—指标的度量值 ,1≤X≤ ∞ 。

　　X 越接近 1,表明该项指标越好 。如表 A. 8所示 。

　　表 A. 8 发生错误的影响力(P232)的评价集

　　发生错误的影响力(P232)的评价集

　　优秀

　　良好

　　合格

　　不合格

　　[1. 1,1]

　　[1. 2,1. 1)

　　[1. 3,1. 2)

　　( + ∞ ,1. 3)

　　可还原性(P233)

　　用户在使用评卷系统完成某项功能时 ,界面状态是否能回到原状态 。

　　测试方法同 “布局的合理性 ”指标 ,测量公式为 :

　　式中 : X=A/B …………………………( A. 10 )

　　A— 可以恢复到原状态的功能数 ;

　　B— 要求可以恢复到原状态的功能数 ;

　　X—指标的度量值 ,0≤X≤1。

　　X 越接近 1,表明该项指标越好 。如表 A. 9所示 。

　　表 A. 9 可还原性(P233)的评价集

　　可还原性(P233)的评价集

　　优秀

　　良好

　　合格

　　不合格

　　[1,0. 83)

　　[0. 83,0. 67)

　　[0. 67,0. 5)

　　[0. 5,0]

　　A. 3. 1. 3 文档指标(P3 )

　　a) 培训(P31)

　　培训的有效性(P311)

　　测量公式为 :

　　15

　　X=A/B …………………………( A. 11 )

　　GB/T 29836. 2—2013

　　式中 :

　　A— 用户在接受培训后可以理解和操作功能数 ;

　　B— 要求用户在接受培训后可以理解和操作的功能数 ;

　　X—指标的度量值 ,0≤X≤1。

　　X 越接近 1,表明该项指标越好 。如表 A. 10所示 。

　　表 A. 10 培训的有效性(P311)的评价集

　　培训的有效性(P311)的评价集

　　功能

　　优秀

　　良好

　　合格

　　不合格

　　评卷

　　[1,0. 86)

　　[0. 86,0. 71)

　　[0. 71,0. 57)

　　[0. 57,0. 0]

　　质量监控

　　[1,0. 75)

　　[0. 75,0. 5)

　　[0. 75,0. 5)

　　[0. 5,0. 0]

　　b) 帮助(P32)

　　帮助机制的有效性(P321)

　　用户在使用评卷系统时 ,是否能够通过帮助系统来完成原先完成有困难的任务 。该指标是反应系统提供的帮助系统对于用户完成任务是否是有效的 。

　　式中 : X=A/B …………………………( A. 12 )

　　A— 用户在使用帮助后完成的任务数 ;

　　B— 用户在完成过程中因遇到困难而使用帮助系统的任务数 ;

　　X—指标的度量值 ,0≤X≤1。

　　X 越接近 1,表明该项指标越好 。如表 A. 11所示 。

　　表 A. 11 帮助机制的有效性(P321)的评价集

　　帮助机制的有效性(P321)的评价集

　　优秀

　　良好

　　合格

　　不合格

　　[1,0. 8)

　　[0. 8,0. 65)

　　[0. 65,0. 4)

　　[0. 4,0)

　　A. 3. 2 交互指标(I)各级指标的评价集

　　A. 3. 2. 1 信息交互指标(I1 )

　　a) 消息(I11)

　　使用中的消息的可理解性(I111)

　　测量公式为 :

　　X=A/B …………………………( A. 13 )

　　式中 :

　　A— 在使用过评卷系统后 ,感觉系统提供的消息可以理解的人数 ;

　　B— 使用过网上评卷系统的用户人数 ;

　　X—指标的度量值 ,0≤X≤1。

　　X 越接近 1,表明该系统中的消息可理解性越好 。

　　该指标的评测更依赖于评卷教师的主观感受 , 由于填空题组评卷教师年纪轻 ,适应能力强 。另外 ,评卷功能相对于质量监控部分的功能较为简单 ,故在评定该指标时应弱化该组评卷教师的感受 ,加重作文题组和专家组的意见 ,尤其是专家组 。该指标各组的权值如下 :

　　16

　　GB/T 29836. 2—2013

　　填空题 :0. 1,作文题组 :0. 2,专家组 :0. 7。

　　b) 输入信息(I12)

　　输入的有效性检查(I121)

　　该指标是反应系统是否能够对分数 、时间等关键输入信息进行有效性检查 , 以保证进入到系统数据的有效性 。

　　测试方法同 “布局的合理性 ”指标 ,故测量公式为 :

　　式中 :

　　A— 能够对输入数据进行有效性检查的功能数 ;

　　B— 要求对输入数据进行有效性检查的功能数 ;

　　X—指标的度量值 ,0≤X≤1。

　　X 越接近 1,表明该项指标越好 。如表 A. 12所示 。

　　X=A/B …………………………( A. 14 )

　　表 A. 12 输入的有效性检查(I121)的评价集

　　输入的有效性检查(I121)的评价集

　　优秀

　　良好

　　合格

　　不合格

　　[1,0. 83)

　　[0. 83,0. 67)

　　[0. 67,0. 5)

　　[0. 5,0]

　　c) 运行状态(I13)

　　运行状态的易监控性(I131)

　　测量公式为 :

　　X=A/B …………………………( A. 15 )

　　式中 :

　　A— 能够向用户提供运行状态查看的功能数目 ;

　　B— 要求向用户提供运行状态查看的功能数目 ;

　　X—指标的度量值 ,0≤X≤1。如表 A. 13所示 。

　　表 A. 13 运行状态的易监控性(I131)的评价集

　　运行状态的易监控性(I131)的评价集

　　优秀

　　良好

　　合格

　　不合格

　　[1,0. 8)

　　[0. 8,0. 6)

　　[0. 6,0. 5)

　　[0. 4,0]

　　A. 3. 2. 2 可定制交互指标(I2 )

　　a) 界面内容(I21)

　　界面元素的易定制性(I211)

　　测试方法同 “布局的合理性 ”指标 ,故测量公式为 :

　　X=A/B ……………………………( A. 16 )

　　式中 :

　　A— 用户可以改变的界面元素数 ;

　　B— 要求用户可以改变的界面元素数 ;

　　X—指标的度量值 ,0≤X≤1。

　　X 越接近 1,表明该项指标越好 。如表 A. 14所示 。

　　17

　　GB/T 29836. 2—2013

　　表 A. 14 界面元素的易定制性(I211)的评价集

　　界面元素的易定制性(I211)的评价集

　　优秀

　　良好

　　合格

　　不合格

　　[1,0. 75)

　　[0. 75,0. 5)

　　[0. 5,0. 2)

　　[0. 2,0]

　　界面布局的易定制性(I212)

　　测量公式为 :

　　X=A/B ……………………………( A. 17 )

　　式中 :

　　A— 用户可以改变的界面布局元素数 ;

　　B— 要求用户可以改变的界面元素数 ;

　　X—指标的度量值 ,0≤X≤1。

　　X 越接近 1,表明该项指标越好 。

　　用户可以定制的界面布局如表 A. 15所示 。

　　表 A. 15 界面布局的易定制性(I212)的评价集

　　界面布局的易定制性(I212)的评价集

　　优秀

　　良好

　　合格

　　不合格

　　[1,0. 67)

　　[1,0. 67)

　　[1,0. 67)

　　[0. 67,0]

　　b) 操作方式(I22)

　　快捷方式的易定制性(I221)

　　测量公式为 :

　　X=A/B ……………………………( A. 18 )

　　式中 :

　　A— 用户可以 自定义快捷键的功能数 ;

　　B— 要求用户可以 自定义快捷键的功能数 ;

　　X—指标的度量值 ,0≤X≤1。

　　X 越接近 1,表明该项指标越好 。如表 A. 16所示 。

　　表 A. 16 快捷方式的易定制性(I221)的评价集

　　快捷方式的易定制性(I221)的评价集

　　优秀

　　良好

　　合格

　　不合格

　　[1,0. 8)

　　[0. 8,0. 6)

　　[0. 6,0. 4)

　　[0. 4,0]

　　A. 4 网上评卷系统易用性各评测指标的权重

　　A. 4. 1 网上评卷系统易用性各评测指标权重计算方法简述

　　权重实际上是指人们在评判事物时 ,依次着重于哪些指标 。用于确定 “权重 ”的方法 , 主要有两类 。一类是专家咨询法 。 即向一批有经验的专家发调查表 ,让他们对每一个指标在综合评价时应占的 “权重 ”分别填写出 自 己的意见 , 回收调查表后 ,进行统计分析 ,根据多数专家的意见来确定 “权重 ”。另一类是数理统计法 , 即通过测试一批数据后 ,用 R型因子分析等多因素统计方法进行计算 ,根据计算的结果

　　18

　　GB/T 29836. 2—2013

　　来确定 “权重 ”。两种方法各有优势及不足 ,本附录采用的一种将两种方法相结合的方法 -指标序号法 ,即向专家咨询的调查表 。在填表说明中规定 : 根据专家自己的看法 ,认为哪个指标在综合评价中最重要 ,它的序号就填为 1,哪个次之 ,就填为 2;如果认为某几个指标的重要程度一样 , 就可以填相同的序号 ;假如认为某指标很不重要 ,在综合评价时可以不要 ,则序号不填 。 以下将结合该方法来讨论如何网上评卷系统易用性各评价指标的权重 。

　　a) 专家填写调查问卷 。选择 20位网上评卷专家 ,这些专家包括评卷的管理者 ,评卷教师 ,评卷组长及网上评卷系统开发人员 。 网上评卷系统易用性评价指标分为产品指标(P)和交互指标(I)两大类 ,我们可以规定这两类指标的权重各为 0. 5,并且请专家分别对这两类指标下的各级指标进行排序 。各指标重要程度的排序是分类进行的 ,不仅要对评价指标结构中的第一层指标进行排序 ,还要对各指标的子指标分别进行排序 。调查问卷如表 A. 17所示 。

　　表 A. 17 网上评卷系统易用性评价指标重要程度调查表(产品指标)

　　指标类别

　　重要程度序号

　　指标集

　　重要程度序号

　　具体指标

　　重要程度序号

　　外观指标

　　色彩

　　界面色彩对视觉的吸引性