任务时间经常被用于测量效率,但另一个测量效率的方法是查看完成某任务所要付出多少努力。
如果你关注的不仅仅是完成某任务所需要的时间,而且还关注所需要的认知和身体上的努力,那么效率作为一个度量将会被很好地应用。比如,如果你正在设计一个自动导航系统,这就需要确保用户不需要太多的努力就可以设置好导航方向,因为驾驶者的注意力一定要集中在路面上。重要的是,还要使得导航系统所需要的身体和认知上的努力降到最小。
1. 收集和测量效率
在收集和测量效率时,有五个重要的方面需要记住:
- 确定有待测量的操作动作。无论被评价的产品是什么,你应该对所有可能的操作动作有一个清晰的了解。
- 定义操作动作的开始和结束:你需要知道一个操作动作何时开始和结束。
- 算操作动作的数目:你必须要计算操作动作的数目。
- 确定的动作必须有意义:每个动作都应该能够表示认知和(或)体力需求上得增加。
- 只考察成功的任务:当用操作动作的数目来测量效率时,你应该只针对成功的任务进行计算。如果包括失败的任务,这将没有意义。
2. 分析和呈现效率数据
方法一:分析和呈现效率度量的最常用方法是考察每个参加者完成某任务时的操作动作数量。可以计算每个任务的均值以查看用户用了多少操作动作。
这种分析有助于发现哪些任务需要最大量的努力,同时当每个任务需要大约相等的操作动作数量时该分析也很适用。然而,如果有的任务比其他任务更为复杂时,这种方法可能会有误导性。对于这种类型的因素,报告95%的置信区间(基于一个连续分布)也是很重要的。
方法二:Shaikh 、Baker和Russell(2004年)使用一种效率度量,该度量建立于在三个不同的减肥站点(Atkins、Jenny Graig和Weight Watchers)上完成相同任务时的点击次数。他们发现,用户在使用Atkins站点时的效率明显地比使用Jenny Graig或Weight Watchers时的效率要高(需要的点击次数较少)。
方法三:在Web行为研究中有时会用到的效率度量是“迷失度”(Smith,1996年)。
迷失度可以通过三个值计算获得:
N:操作任务时所访问的不同的页面数目
S:操作任务时访问的总的页面数目.其中重复访问的页面计为相同的页面
R:完成任务时必须访问的最小的(最优的)页面数目
迷失度L就可以通过下面的公式计算获得:
如下图中:
3. 结合任务成功和任务时间的效率
可用性测试报告的通用性(Common Industry Format,CIF)(NIST,2001)描述道:“效率的核心测量”是任务完成率与每个任务平均时间的比值。实质上这表达了单位时间内的任务成功。(最常见的是,每个任务时间以分钟表示;但是如果任务非常短,以秒为单位更合适;或者如果任务不同寻常的长,甚至也可以用小时表示。)时间单位的使用决定了结果的范围。你的目标是选择一个可以产生“合理”范围的单位。
下面是一个计算效率度量的例子,它是任务完成率和以分钟为单位的任务时间之间的比值。当然,效率值越高越好。
计算效率度量 | |||
任务 | 完成率百分数 | 任务时间 | 效率百分数 |
1 | 65 | 1.5 | 43 |
2 | 67 | 1.4 | 48 |
3 | 40 | 2.1 | 19 |
4 | 74 | 1.7 | 44 |
5 | 85 | 1.2 | 71 |
6 | 90 | 1.4 | 64 |
7 | 49 | 2.1 | 23 |
8 | 33 | 1.3 | 25 |
样例图:呈现的是效率(表示为完成率l时间的函数)
转载请注明:陈童的博客 » 在可用性研究中测量效率