虽然前面章节集中在没有外部标准参照情况下总结可用性数据的方法上,但是在一些情况下你可能有一个外在标准可用来比较。两个主流的外部标准是预定目标和专家(或最优)绩效。
1. 与目标比较
也许评价可用性测试结果的最好方法是将其与测试前已确定的目标进行比较。这些目标可以设定在任务层面或总体层面上。我们可以对所讨论过的任何度量设定目标,包括任务完成、 任务时间、错误数、自我报告式测量。
下面是一些具体任务之目标的例子:
- 至少90%的典型用户能够成功地预定合适的旅馆房间。
- 至少85%的典型用户能够在十分钟内在线启用一个账户。
- 用户能够成功地完成至少90%的任务。
- 用户能够在平均时间小于三分钟内完成每个任务。
- 用户将给与该物品平均至少80%的SUS评价。
通常,可用性目标涉及任务完成、时间、准确性和(或)满意度。关键问题是目标必须是可测量的。你需要确定给定条件下的数据是否支持目标的达成。
任务完成和目标 | ||
任务 | 完成任务的参加者的实际数目 | 目标 |
1 | 9 | 9 |
2 | 8 | 9 |
3 | 9 | 9 |
4 | 7 | 9 |
5 | 5 | 9 |
6 | 8 | 9 |
7 | 9 | 9 |
8 | 8 | 9 |
9 | 7 | 9 |
10 | 6 | 9 |
2. 与专家比较
将可用性测试结果与预定目标进行比较的另一种方法是,将结果与一个“专家”的绩效进行比较。确定专家绩效水平的最好方法是让一个或者多个假定的“专家”去实际操作任务,测量的内容要与你在可用性测试中测量的内容一致。显然,“专家”需要真正的专家,即具有相关领域专业知识或技能的人,对任务和被测产品、仪器或网站都要有深入的了解。如果能够将一个以上专家的绩效进行平均,那么你的数据会更好。
将可用性测试结果与专家结果进行比较能够使你弥补这样一种事实:某些任务本身就比较困难或耗时长,即便对专家而言也是如此。当然,目标还是要看参加者在测试中的绩效与专家绩效的实际接近程度。
在理论上,虽然你能够将任何绩效度量与专家绩效进行比较,但是最常见的可能是将之应用于时间数据。对于任务完成数据,常见的假设是一个真正的专家能够成功地完成所有的任务。类似地,对错误数据,假设是专家不会犯任何错误。但是,即使专家也需要一定时间去完成这些任务。
十项任务的时间数据 | |||
任务 | 实际时间 | 专家所用时间 | 专家/实际 |
1 | 124 | 85 | 69 |
2 | 101 | 50 | 50 |
3 | 89 | 70 | 79 |
4 | 184 | 97 | 53 |
5 | 64 | 40 | 63 |
6 | 215 | 140 | 65 |
7 | 70 | 47 | 67 |
8 | 143 | 92 | 64 |
9 | 108 | 98 | 91 |
10 | 92 | 60 | 65 |
平均数 | 119 | 78 | 66 |
用图形形式呈现专家所用时间与实际时间的比率后(如下图),能够较容易地得出:与专家相比较,测试参加者哪些任务做得要好(任务3和任务9),哪些任务做的不好(任务2和任务4)。
转载请注明:陈童的博客 » 将可用性测试结果与预定目标和专家绩效比较