发现可用性问题时的一致性

很多研究标明，人们难以对于何为可用性问题或者可用性问题有多重要等达成共识。

Tullis（2005年）组建了两个不同的可用性小组，小组的成员来自于同一个可用性专业群体。他们平时在一起工作而且采用相对一致的可用性测试方法。两个小组都单独邀请了真正的最终用户（而不是专家评估）并采用传统的实验室测试法对同一个网站进行了评估。他发现有38%的可用性问题是两个小组都报告了的，32%由其中的一个小组报告，另外30%由另一个小组报告了的。每一个小组都对问题的优先级也进行了评估（低。中、高）。如果只关注高优先级的可用性问题，其中88%由两个小组都发现。

发现可用性问题时的偏差

我们对可用性研究中不同来源的偏差进行了提炼，将之归为六大类：

（1）参加者：你的参加者至关重要。有的参加者在实验室环境里感觉很自在，有的则不是，所有的这些因素对最终发现的可用性问题都会产生影响。

（2）任务：选择什么样的任务会对发现什么样的问题产生重要的影响。有的任务结束状态很明确，有的则很模糊。

（3）方法：评估的方法也很关键。这些方法可能会是传统的实验室测试或某些类型的专家评估法。

（4）产品：你所评估的原型或产品的性质也会对发现的问题有很大的影响。与测试对象的交互方式，会因测试时使用的是纸面原型、功能化或半功能化原型或者一个完整的产品系统而存在很大差异。

（5）环境：物理环境也会发挥作用。这些环境因素可以是：与参加者的直接交互、通过电话会议或单向玻璃或者甚至是在用户家中而发生的间接交互。其他的一些物理环境的特征（比如照明、坐姿、单向玻璃后的观察者和录像等）都会对问题的发现带来影响。

（6）测试引导员（moderators）：测试引导人本身的差异也会对观察到什么样的问题产生影响。可用性专业人员的经验、专业知识和动机都起到关键作用。

参加者数量

一个阵营的人相信，前5个参加者就会发现大多数或者80%的可用性问题（Lewis，1994；Nielsen & Landauer，1993；Virzi，1992）。这就是所谓的“魔法数字5”。

在一篇研讨会的文章中，Nielsen和Landauer（1993年）基于11个不同的研究发现，可用性问题的平均概率是31%。这个数宇在本质上说明，在每个参加者的测试中会发现31%左右的可用性问题。

下图显示了当发现问题的概率是30%时，发现问题的数量与参加者数量之间的函数关系：

最近，有些呀扭着对魔法数字5的观点进行了挑战。Spool和Schroeder（2001）让用户在3个不同的电商网站上购买不同的商品。测试了前5个参加者只发现了35%的可用性问题，这远低于Nielsen（2000年）估计的80%。

根据我们的经验。每类不同的用户群体中有五个用户参与测试就足以发现多数重要的可用性问题。

转载请注明：陈童的博客 » 发现可用性问题时的一致性和偏差