GB/T 29835.2-2013 系统与软件效率 第2部分：度量方法

　　ICS 35. 080 L 77

　　中 华 人 民 共 和 国 国 家 标 准

　　GB/T 29835.2—2013

　　系统与软件效率 第 2 部分 :度量方法

　　Efficiency ofsystem and software—Part2:Metricmethod

　　2013-11-12发布 2014-02-01实施

　　中华人民共和国国家质量监督检验检疫总局中 国 国 家 标 准 化 管 理 委 员 会

　　

　　发

　　

　　布

　　GB/T 29835. 2—2013

　　目 次

　　前言 Ⅲ

　　引言 Ⅳ

　　1 范围 1

　　2 规范性引用文件 1

　　3 术语和定义 1

　　4 概述 1

　　5 度量公式 1

　　5. 1 统计公式 1

　　6 时间特性 2

　　6. 1 时间效率 2

　　6. 2 处理效率 2

　　7 容量 3

　　7. 1 用户容量 3

　　7. 2 处理容量 4

　　8 资源利用性 4

　　8. 1 CPU利用性 4

　　8. 2 内存利用性 5

　　8. 3 外存利用性 5

　　8. 4 传输利用性 6

　　8. 5 I/O设备利用性 6

　　参考文献 8

　　Ⅰ

　　GB/T 29835. 2—2013

　　前 言

　　GB/T 29835在《系统与软件效率》总标题下 ,分为如下三部分 :

　　— 第 1部分 :指标体系 ;

　　— 第 2部分 :度量方法 ;

　　— 第 3部分 :测试方法 。

　　本部分为 GB/T 29835的第 2部分 。

　　本部分按照 GB/T 1. 1—2009给出的规则起草 。

　　本部分由全国信息技术标准化技术委员会(SAC/TC28)提出并归 口 。

　　本部分起草单位 :上海宝信软件股份有限公司 、中国电子技术标准化研究院 、深圳市科脉技术有限公司 、上海浦东软件平台有限公司 、上海鲁齐信息科技有限公司 、广东软件评测中心 、北京邮电大学 、珠海南方软件网络评测中心 、国家应用软件产品质量监督检验中心 、上海市计算机软件评测重点实验室 、上海嵌入式系统应用工程技术研究中心 、南昌金庐软件园软件评测培训有限公司 、广州广软信息系统管理咨询有限公司 。

　　本部分主要起草人 :崔岩 、徐旼之 、张露莹 、李家宏 、张旸旸 、董文生 、丛力群 、周勇 、王宝艾 、袁玉宇 、曾昭志 、张苏利 、肖正坤 、侯 建 华 、蔡 立 志 、丁 志 刚 、左 家 平 、黄 万 民 、刘 新 、袁 肃 蓉 、杨 金 翠 、万 方 、申 阳 、苏盼 、王樱 。

　　Ⅲ

　　GB/T 29835. 2—2013

　　引 言

　　GB/T 29835的本部分从系统与软件的时间特性 、容量及资源利用性三个方面考虑 ,提出了对应的度量方法 。本部分所列的度量并非一个完备集 。本部分适用于各种计算机系统与软件产品,但并非每种度量适用于各种计算机系统与软件产品 。软件供方 、第三方评测机构 、需方等可以从本部分中选择合适的度量 ,亦可以修改度量或使用本部分未包括的其他度量 ,用来定义效率质量需求 ,评价软件产品的效率 ,度量效率质量情况或作其他用途 。

　　本标准预期的主要使用者包括 :

　　a) 软件供方 , 当 :

　　1) 需要声明软件产品效率特性时 ;

　　2) 对照声明的效率特性自行评估系统和软件产品时 ;

　　3) 对软件进行效率相关的产品设计和实现时 ;

　　b) 为效率符合性证书或标志进行测试的第三方评测机构 ;

　　c) 潜在的需方 , 当 :

　　1) 对即将采购的软件产品的效率要求和现有产品的说明信息进行比较时 ;

　　2) 需要对产品的效率做进一步改进或者完善 ,实际运行的环境和采购的环境存在差异时 ;

　　3) 检验效率要求是否被满足 。

　　GB/T 29835. 1《系统与软件效率 第 1 部分 :指标体系》给出了效率指标体系 ,GB/T 29835. 3《系统与软件效率 第 3 部分 :测试方法》描述了效率指标的测试方法 。本部分 旨 在 与 GB/T 29835. 1 和GB/T 29835. 3联合使用 。

　　Ⅳ

　　GB/T 29835. 2—2013

　　系统与软件效率 第 2 部分 :度量方法

　　1 范围

　　GB/T 29835的本部分在 GB/T 29835. 1 提出的指标体系的基础上 ,规定了系统和软件效率指标体系的度量方法 ,使其能够尽可能满足各种不同的测试目标和测试需要 。

　　本部分适用于系统与软件的效率度量与测评 。

　　注 : 本部分中所指的系统主要是软件系统 。

　　2 规范性引用文件

　　下列文件对于本文件的应用是必不可少的 。凡是注 日期的引用文件 ,仅注 日期的版本适用于本文件 。凡是不注日期的引用文件 ,其最新版本(包括所有的修改单)适用于本文件 。

　　GB/T 29835. 1 系统与软件效率 第 1部分 :指标体系

　　3 术语和定义

　　GB/T 29835. 1 中界定的术语和定义适用于本文件 。

　　4 概述

　　效率是系统与软件的一个重要质量特征 。对系统与软件的效率进行度量 ,有利于了解软件是否满足规定的效率要求 ,有利于需求方 、开发方等及时发现 、定位效率缺陷 。 根据 GB/T 29835. 1 所定义的指标体系 ,采用相应的方法和计算公式对每个指标度量 ,获得定量的可比较的数值 。

　　本部分定义了与 GB/T 29835. 1一起使用的一组软件效率质量的度量 。用户宜从 GB/T 29835. 1中选择效率指标 ,根据效率指标确定相关度量以及相应的测试方法 ,并以客观的方式解释测量结果 。

　　5 度量公式

　　5. 1 统计公式

　　效率指标的度量公式通常使用最大值 、平均值和最小值等 ,其公式如下 :

　　a) 最大值 :

　　Amax = MAX(Ai) , i= 1 ~ n …………………………( 1 )

　　式中 :

　　Amax—A1 ,A2 , … ,An 中最大的一个值 。

　　b) 平均值 :

　　Aavg = AVG= 1 ~ n … … … … … …

　　1

　　GB/T 29835. 2—2013

　　式中 :

　　Aavg— 平均值 。

　　c) 最小值 :

　　Amin = MIN(Ai) , i= 1 ~ n …………………………( 3 )

　　式中 :

　　Amin—A1 ,A2 , … ,An 中最小的一个值 。

　　6 时间特性

　　6. 1 时间效率

　　时间效率包括响应时间 、周转时间指标 ,度量方法如表 1所示 。

　　表 1 时间效率

　　指标名称

　　指标描述

　　测量 、公式及数据元素计算

　　测量值说明

　　基本公式

　　平均值

　　最大值

　　最小值

　　基本公式

　　平均值

　　最大值

　　最小值

　　响应时间

　　测 量 在 指

　　定 的 测 试

　　约 束 条 件

　　下 , 用 户发

　　出 一 个 操

　　作 请 求 到

　　接 收 到 处

　　理 结 果 所

　　经 过 的

　　时间

　　Xi=Reci-Sendi , (i= 1~n)式中 :

　　Xi — 第 i 次 评 价 的 响 应时间 ;

　　Reci — 第 i次 评 价 收 到 响 应

　　结果的时间 ;

　　Sendi— 第 i次 评 价 发 出 请 求

　　的时间 ;

　　n — 评价的总数

　　Xavg=

　　AVG

　　(Xi)

　　Xmax=

　　MAX

　　(Xi)

　　无

　　Xi>0, 越小越好

　　Xavg > 0,越小越好

　　Xmax > 0,越小越好

　　无

　　周转时间

　　测 量 在 指

　　定 的 测 试

　　约 束 条 件

　　下 , 用 户完

　　成 一 个 特

　　定 事 务 所

　　需 要 的

　　时间

　　Xi=Endi-Starti , (i= 1~n)式中 :

　　Xi — 第 i 次 评 价 的 周 转时间 ;

　　Endi — 第 i次 评 价 事 务 结 束时间 ;

　　Starti— 第 i次 评 价 事 务 开 始时间 ;

　　n — 评价的总数

　　Xavg=

　　AVG(Xi)

　　Xmax=

　　MAX(Xi)

　　无

　　Xi>0, 越小越好

　　Xavg > 0,越小越好

　　Xmax > 0,越小越好

　　无

　　6. 2 处理效率

　　处理效率包括吞吐率指标 ,度量方法如表 2所示 。

　　2

　　GB/T 29835. 2—2013

　　表 2 处理效率

　　指标名称

　　指标描述

　　测量 、公式及数据元素计算

　　测量值说明

　　基本公式

　　平均值

　　最大值

　　最小值

　　基本公式

　　平均值

　　最大值

　　最小值

　　吞吐率

　　测 量 在 指

　　定 的 测 试

　　约 束 条 件下 , 单 位 时

　　间 内 系 统

　　完 成 的 请

　　求 数 量 或

　　事务数量

　　Xi=Numi/Ti , (i= 1~n)式中 :

　　Xi — 第i次评价的吞吐率 ;

　　Numi — 第 i次 评 价 , 有 效 测试周期 内 完 成 的 请 求数或事务数 ;

　　Ti — 第 i次 评 价 , 有 效 测

　　试周期时间

　　Xavg=

　　AVG(Xi)

　　无

　　Xmin=

　　MIN(Xi)

　　无

　　Xavg > 0,越大越好

　　无

　　Xmin> 0, 越 大越好

　　7 容量

　　7. 1 用户容量

　　用户容量包括最大并发用户数 、最大并发请求数指标 ,度量方法如表 3所示 。

　　表 3 用户容量

　　指标名称

　　指标描述

　　测量 、公式及数据元素计算

　　测量值说明

　　基本公式

　　平均值

　　最大值

　　最小值

　　基本公式

　　平均值

　　最大值

　　最小值

　　最大

　　并发

　　用户

　　数

　　测 量 系 统

　　能 够 承 受

　　的 最 大 用

　　户 的 极 限 。

　　超 过 该 用

　　户 数 , 将 导

　　致 系 统 效

　　率 严 重 下

　　滑 , 并 可 能

　　导 致 系 统

　　失效

　　无

　　无

　　Xmax=MAX(Nu[i] )式中 :

　　Xmax — 最大并发用户数 ;

　　Nu[i] — 依次 递 增 的 需 要 测 试的并 发 用 户 数 。要 求在此 次 测 试 下 , 其 响应时间 仍 可 接 受 且 未急剧 增 大 , 或 吞 吐 率未达到极值成为瓶颈

　　无

　　无

　　无

　　Xmax > 0,越大越好

　　无

　　最大

　　并发

　　请求

　　数

　　测量系统能

　　够承受的同

　　时收到的请求 数 的 极

　　限 。超过该

　　请 求 数 , 将

　　导致系统效

　　率 严 重 下

　　滑 , 并 可 能

　　导 致 系 统

　　失效

　　无

　　无

　　Xmax=MAX(Nr[i] )式中 :

　　Xmax — 最大并发请求数 ;

　　Nr[i]— 依 次 递 增 的 需 要 测 试的并发请求数 。 要求在此次测试下 ,其响应时间仍可接受且未急剧增大 ,或吞吐率未达到极值成为瓶颈

　　无

　　无

　　无

　　Xmax > 0,越大越好

　　3

　　GB/T 29835. 2—2013

　　7. 2 处理容量

　　处理容量包括事务吞吐容量 、数据吞吐容量 、数据处理容量指标 ,度量方法如表 4所示 。

　　表 4 处理容量

　　指标名称

　　指标描述

　　测量 、公式及数据元素计算

　　测量值说明

　　基本公式

　　平均值

　　最大值

　　最小值

　　基本公式

　　平均值

　　最大值

　　最小值

　　事务吞吐容量

　　测 量 在 指

　　定 的 时 间

　　单 位 内 , 系

　　统 能 够 处

　　理 的 最 大

　　事务数量

　　无

　　无

　　Xmax=MAX(Pu[i])

　　式中 :

　　Xmax — 最大事务吞吐量 ;

　　Pu[i] — 依次递增并发事务 ,获得的实测吞吐量 ,且 测试中所有事务能正常完成并获得正确处理结果

　　无

　　无

　　无

　　Xmax > 0,越大越好

　　无

　　数据吞吐容量

　　测 量 在 指

　　定 的 时 间

　　单 位 内 , 系

　　统 能 够 处

　　理 完 成 的

　　最 大 数

　　据量

　　无

　　无

　　Xmax=MAX(Pd[i])

　　式中 :

　　Xmax — 最大数据吞吐容量 ;

　　Pd[i] — 依次递增并发数据 , 获得的实测吞吐量 ,且 测试中 所 有 数 据 处 理 能正常 完 成 并 获 得 正 确处理结果

　　无

　　无

　　无

　　Xmax > 0,越大越好

　　无

　　数据处理容量

　　测 量 系 统在 处 理 或存 储 的 最大数据量

　　无

　　无

　　Xmax=MAX(D[i])

　　式中 :

　　Xmax— 最大数据吞吐容量 ;

　　D[i] — 依 次 递 增 的 需 要 测 试的数据处理量 。 要求在此次 测 试 下 , 其 周 转时间仍可接受且未急剧增大

　　无

　　无

　　无

　　Xmax > 0,越大越好

　　无

　　8 资源利用性

　　8. 1 CPU利用性

　　CPU利用性包括 CPU利用率指标 ,度量方法如表 5所示 。

　　4

　　GB/T 29835. 2—2013

　　表 5 CPU利用性

　　指标名称

　　指标描述

　　测量 、公式及数据元素计算

　　测量值说明

　　基本公式

　　平均值

　　最大值

　　最小值

　　基本公式

　　平均值

　　最大值

　　最小值

　　CPU

　　利用率

　　测 量 处 理

　　器 用 来 执

　　行 非 闲 置

　　线 程 时 间的百分比

　　Xi = ti 时 刻 的

　　CPU利用率

　　式中 :

　　i= 1~n

　　Xavg= AVG(Xi)

　　Xmax= MAX(Xi)

　　无

　　Xi>0

　　Xavg>0

　　Xmax>0

　　无

　　8. 2 内存利用性

　　内存利用性包括内存利用率 、内存错误发生率指标 ,度量方法如表 6所示 。

　　表 6 内存利用性

　　指标名称

　　指标描述

　　测量 、公式及数据元素计算

　　测量值说明

　　基本公式

　　平均值

　　最大值

　　最小值

　　基本公式

　　平均值

　　最大值

　　最小值

　　内存利用率

　　测量当前计

　　算机上可用

　　于运行进程

　　有效物理内

　　存 的 字 节

　　数量

　　Xi = ti 时 刻 的

　　内存利用率

　　式中 :

　　i= 1~n

　　Xavg= AVG(Xi)

　　Xmax= MAX(Xi)

　　无

　　Xi>0

　　Xavg>0

　　Xmax>0

　　无

　　内存错误 发生率

　　测 量 在 系

　　统 规 定 负

　　载 下 , 每 秒

　　钟 出 错 页

　　面 的 平 均

　　数量

　　Xi = ti 时 刻 的

　　内存错误率

　　式中 :

　　i= 1~n

　　Xavg= AVG(Xi)

　　Xmax= MAX(Xi)

　　无

　　Xi>0

　　Xavg>0

　　Xmax>0

　　无

　　8. 3 外存利用性

　　外存利用性包括外存时间利用率 、外存空间利用率指标 ,度量方法如表 7所示 。

　　表 7 外存利用性

　　指标名称

　　指标描述

　　测量 、公式及数据元素计算

　　测量值说明

　　基本公式

　　平均值

　　最大值

　　最小值

　　基本公式

　　平均值

　　最大值

　　最小值

　　外存时间 利用率

　　测量运行效

　　率测试过程

　　中 , 外 存 读

　　写时间占总

　　时 间 的 百

　　分比

　　Xi = ti 时 刻 的

　　外存读写速率

　　式中 :

　　i= 1~n

　　Xavg= AVG(Xi)

　　Xmax= MAX(Xi)

　　无

　　Xi>0

　　Xavg>0

　　Xmax>0

　　无

　　5

　　GB/T 29835. 2—2013

　　表 7 (续)

　　指标名称

　　指标描述

　　测量 、公式及数据元素计算

　　测量值说明

　　基本公式

　　平均值

　　最大值

　　最小值

　　基本公式

　　平均值

　　最大值

　　最小值

　　外存空间 利用率

　　测 量 已 使

　　用 外 存 空

　　间 占 总 外

　　存 空 间 的百分比

　　Xi = ti 时 刻 的

　　外 存 空 间/总 外

　　存空间

　　式中 :

　　i= 1~n

　　Xavg= AVG(Xi)

　　Xmax= MAX(Xi)

　　Xmin= MIN(Xi)

　　Xi>0

　　Xavg>0

　　Xmax>0

　　Xmin>0

　　8. 4 传输利用性

　　传输利用性包括传输能力利用率 、传输出错率指标 ,度量方法如表 8所示 。

　　表 8 传输利用性

　　指标名称

　　指标描述

　　测量 、公式及数据元素计算

　　测量值说明

　　基本公式

　　平均值

　　最大值

　　最小值

　　基本公式

　　平均值