摘要

在文献中有很多用户体验评估方法。综述中提到四种不同的用户体验评估方法。然而，大部分用户体验评估方法测量用户体验的不同维度。因此，诺曼的情感化设计被推荐为一个用户体验的共同的概念框架。用户体验评估方法应该测量有关本能的，行为的和反思的情绪反应。因此，用户体验评估旨在提供一种产品的整体视图。用户体验评估方法中面临的其他挑战也进行了详尽的讨论。
关键词：用户体验测试，情绪反应，评估方法，移动设备

一、介绍

评估在产品发展生命周期中扮演着一个很重要的角色。评估是指相对于特定标准评估产品价值的一种活动。它可以使发展商了解产品是否满足公众和业界所规定的某些标准。学术界和工业界的专业人士都在不断寻找可以提供准确的产品评估的评价方法。这种评估可以用来衡量产品在真正市场里的成功和吸引潜在客户。
在人机交互领域，基于产品进化特别是计算机进化确定了五个评估标准。这五个评估标准是1 产品可靠性2 产品性能3 用户性能4 可用性和5 用户体验。在十九世纪四十年代，第一个评估标准是为了确保一个产品能够无故障执行。
自从产品在十九世纪五十年代变得可靠，第二个评估标准强调产品处理巨大数据的速度。然后，时间共享产品在十九世纪六十年代后期开始流行，第三代评估标准开始评估用户性能，例如任务完成率和任务完成时间。在十九世纪八十年代后期，使用产品的新手用户大大增加，第四代评估标准包括增加的方法例如易学性和其他。从二十世纪到现在，产品变得无处不在而且把重心转移到用户体验上，因此，当前一代的评估标准认可愉悦在产品设计中的重要性。

二、用户体验

根据国际标准组织的定义，用户体验被定义为用户从使用或预期使用产品，系统或服务中得到的看法或反应。换句话说，用户体验是研究用户对一件特殊产品的感觉随着时间的变化（包括交互之前，交互过程，交互之后）。用户可能体验不同的状态例如积极地，消极的和中立的。这也被称为情绪反应。因此，对能够唤起用户情感反应的产品多种多样设计特征的理解需要更加严谨的在用户体验评估发展的研究。
一项关于揭示96种用户体验评估方法的研究在文献中提到。这些评估方法包括3E（表达体验情感），美学尺度，情感尺度，经验抽样法（ESM），日内瓦情感轮，感性工学软件，自我评估模型（SAM）等。每个用户体验评估方法都有其优势和劣势。除此之外，每个评估方法测量不同的用户体验尺度。下节重点介绍在文献中选定的用户体验评估方法。

三、用户体验评估方法

由于空间有限，只介绍四种评估方法，分别是SAM,3E,生理心理和ESM
A．SAM
SAM是一种非语言的方法。这种方法用收集娃娃图像的方式来度量三种不同的情感量表，即愉悦，兴奋和优势。如图1所示。这种方法容易使用，只需要简单的设备例如纸和笔，结果可以用定量的格式呈现。用SAM进行两次现场试验，发现一些参与者无法正确的解释定量。因此，对产品功能的实际认识可唤起用户的情绪反应，这种认识可通过SAM和额外的数据收集获得。

图1 九种SAM量表
B. 3E
3E是用户用来表达情感的自我报告日志法。在评估过程中，发给参与者一个模版。模版的内容是一个有着空白表情，说话气泡和思考气泡的棍状人物（如图2）。参与者可以通过写下文字信息和画出面部表情来表达情绪反应。这种方法提供了丰富的情感反应数据。这种方法的缺点是研究人员需要等一段时间直到参与者开始写日志，研究人员可能难于理解日志的内容，还有一些参与者不喜欢画画。

图2 3E模板
C．生理心理
心理生理是结合主观和客观数据的实验室方法。在评估过程中，参与者连接传感器来记录生理反应，如心跳，皮肤排汗和面部肌肉（如图3）。评估结束后参与者被要求用这些术语，无聊，挑战，受挫和愉悦来讲述他们的体验和主观反应。但是这个方法需要特殊设备和心理学的专业知识。

图3 心理生理设置的象限显示
D．ESM
ESM是一个系统的自我报告的方法来收集参与者的情感反应在他们实时体验的时候。一个移动的ESM系统，被称为我的体验，能够检测140多个事件，例如通信，设备的使用，用户内容，位置，环境传感。参与者在移动设备上被提出这些问题，他们必须回答这些问题（如图4）。这种方法的优点是，活动日志可以精确定位唤起参与者的情绪反应的准确设计特征。换言之，记忆效应被最小化。然而，需要被评估的产品和数据收集工具均须在相同的平台上运行。此外，参与者可能会感觉ESM系统在某种情况下产生干扰（比如开车）。

图4 ESM调查截图
大多数用户体验评估方法来源于学术，因为行业人士不会将他们公司的方法公开于众。每种评估方法可归为以下属性：方法来源，收集数据的类型，正在调查的产品类型，产品开发阶段，参与者类型，评估场所，体验过程和特殊设备，大多数方法可以从单一的人得出信息，用以评价完整功能的产品\原型，例如移动应用程序，并且无需使用任何特殊硬件进行。一半的方法允许参与者自由地表达他们的体验。一些方法需要特殊的设备，而且数据分析可能非常具有挑战性。
然而，产品开发人员青睐于一种实用的用户体验评估方法。从开发者的角度，用户体验评估方法应该是易于部署，只需要较低的专业知识水平。它可以应用于产品发展生命周期的不同阶段，例如概念理念，原型和产品。它必须迎合不同的目标用户组和不同的产品类型。因此，有必要找到用户体验评估方法来提供对产品的全面看法。
尽管对用户体验有一个明确的定义，但是产品发展人员仍然没有统一对用户体验的标准。研究人员之间对于评定用户体验没有标准，因为每个评估方法测得的情绪反应不同。一些研究可能测得相同的情绪反应但是用不同的词语描述。所以，对于用户体验的共同概念架构是非常有用的，它以解决上述问题。

四、用户体验概念架构

迄今为止，不同研究背景的研究者对于用户体验提出了众多的概念框架。大多数情绪反应被分为三种不同层次。为方便比较，诺曼的术语被用作参考，即本能水平的，行为水平的和反思水平的。
本能水平的是指基于用户生理感觉的情绪反应。这个层次涉及到人的感觉，例如对产品的视觉，听觉，触觉，味觉和嗅觉。正常情况下，人们评价一个产品会完全基于其美学外观和物理特征（例如形状，颜色，内容等）。举例来说，用户会喜欢细长形状的移动设备，。这被称作产品形式的响应。
行为水平是指基于用户互动的情绪反应。他要求人们用产品进行特定的任务为达到特定的目标。所以，人们会根据产品交互技术和他们自己的表现来评价。（例如有效性，效率，易学性等）。例如，用户会享受使用移动设备用简单的步骤来照相。它也被称为对产品可用性的反应。
反思水平是指用户的反思情绪反应。在这个层次，人们会根据他们以往的经验和其他产品。人们同时会把产品和他们的个性，经济，生活方式，文化，思想体系联系起来。因此，人们会根据产品的特性评估（例如品牌，价格，潮流等）。作为一个例证，客户可以为使用品牌的最新型号的移动设备感到骄傲。它也被称为对产品的含义的响应。
在本文中移动设备被定义为一个有可操作系统的而且可以运行各种程序的手持大小的电脑。它包括智能手机，平板电脑，个人数字设备。几个以前的研究提出了不同的用户体验评估方法研究人类如何在这三个层次表达自己对移动设备的情感。

五、移动设备的用户体验评估

以前的研究人员采用的两种主要的方法来研究情感反应水平，即分别探讨各个层次和同时探讨所有层次。
A分别探讨三个情感反应水平
文章[27]认为情感反应的每个水平应使用不同的用户体验度量方法。在本能水平，开发者可用自言自语协议。这项技术包括观察用户第一次使用移动设备，与此同时客户要求用语言表达自己的内心想法。在行为水平，移动发展者建议使用ESM由于情境因素。研究人员认为，客户和移动设备之间的交互可以在不同的情景引起不同的情绪反应。访谈和问卷调查建议使用在反思水平。移动发展着可以用口头和非口头的方法检测用户的体验。除此之外，研究人员提出访谈法和问卷调查法可用作前摄体验水平。因此，移动发展者应该找出更多的评估研究以理解各个情感反应水平。间接来讲，这需要更多的时间和更多的人。
B 同时探讨三个情感反应水平
文章[29]采用一种三角测量方法，结合照片日志，访谈和问卷调查法。在这项研究中，12个参与者被要求摄取交互产品的图像。在这之后，参与者对关于他们的图像数据和对交互产品的总体印象接受访谈。接着，参与者参与者被要求分享他们的体验并采用语义差异对选定的产品打分。结果揭示了这些情感反应水平之间有非常清晰的不同。本能水平的与视觉质量紧密相连（如颜色），行为水平与交互质量相连（如界面），反思水平与功能质量紧密相连（如打电话）。
另一方面，文章[30]利用网上的评论来标识对iPhone的不同反应。这种方法也被认为是间接观察其中网上评论者在自然环境中进行他们的活动。评论者的活动评论可在网上获得。根据十个不同的网评观点，研究者发现他们使用情感反应和设计特征。然后，研究人员把研究结果分布在不同层次的情感反应。研究显示，网上评论者也表达积极地和消极的情绪反应。然而，可用的网络评论完全取决于评论者的的贡献。
尽管有必要找到一个可供使用的评估方法来揭示用户体验，但现有的评估方法可以调整包括情感启发。其原因是可用性在产品发展中仍然需要，而且他不应从评估中被丢弃。因此，可用性测试被选作一个例子。可用性测试是一种评估方法，以测试产品是否可使特定用户组执行某些任务。本文中，用户体验测试是一个使用的方法较之传统的可用性测试。新的用户体验测试不仅是检测可用性方面的问题，也揭露“负面的用户体验”。

六、用户体验测试

用户体验测试可以使移动开发者了解可用性和用户体验对移动设计特性的影响。首先，移动开发者需要确定潜在用户组，招募这些用户作为测试参与者。至少五个测试参与者就足以发现移动设备的重大问题。测试参与者在参加用户体验测试之前要求签署一个知情同意书。
A 过程
用户体验测试应该从本能水平开始，接着是行为水平最后是反思水平。在测试过程中，测试参与者被鼓励自言自语，主观客观测试方法都可以用到（见表1）。
在本能水平，测试参与者给出短的参与时间来观看，触摸，和感受移动设备。然后，测试参与者被要求给出一个对移动设备的初步印象。引力效应（喜欢或不喜欢）可以作为主管度量。接着，测试参与者进行探讨根据移动设计特征，特别是物理外观，陈述他们的理由。
在行为水平，测试参与者被要求用移动设备来执行一些常见的任务（例如打电话）。任务难度可以从简单到困难。测试参与者被给定限定的时间来完成各项任务。因此，在可用性方面，例如用户表现，可被客观度量。这包括任务完成时间，完成率等。在每项任务最后，测试参与者要求表明他们的心理效应（愉悦和受挫等级）。测试参与者需要通过与在移动设备中提供的交互技术（例如使用滑动手势导航），以证明他们的情绪反应。
在反思水平，测试参与者被要求决定他们是否想拥有自己的移动设备.附加信息（如技术规范和宣传单）可提供给被测者参考。测试参与者可指出移动设备的价值（便宜或者昂贵）。他们可以通过与移动设备关联给出自己的理由。测试参与者被建议对每个主观反映进行分类，是正面还是负面的经验。这是应为“便宜”可能意味着有价值和合理。对于其他人，“便宜”也可能指的是不合格和质量差。
表1 建议用户体验测试

B 测试时间
试验参与者在30分钟至一小时内完成一个用户体验测试。有时，测试可能因不可预见的情况，如设备故障，或会者全神贯注，或会者谁迟到及其他因素需要更长的时间。因此，移动开发者应该分配给测试会话足够的时间。
在很长的用户体验测试中，测试参与者可能是累了或无聊，这最终会影响自己的情绪。因此，移动开发者应进行试验研究，以确保用户体验测试在时间、成本、教学、设备及其他术语方面是可行的。
C实验室及设备
用户体验的测试可以在常规的可用性实验室或设置的受控环境中来进行。这意味着测试参与者和移动开发者都在同一个物理位置。摄像机是在测试期间录制测试参与者的互动，额外的网络摄像头，可以用来记录测试参与者的面部表情。
此外，试验参与者的主观反应可以被记录在一张纸或打印电子表格上。虽然纸张和铅笔的方法是符合成本效益的，但是移动开发者在阅读手写会面临不好的困难。因此，电子表格是优选的。另外，拼写错误的单词可以被标记，并在数据录入时纠正。自从数据已被存储在数据库中，电子表格也可以处理纸张得来的数据，分析的数据条目可以随即开始。
D数据分析
移动开发者需要在用户体验测试结束时，研究定性和定量数据。他们可以使用电子表格软件进行简单的定量分析。例如，拍摄的图像可以以平均成绩和百分比的形式进行报告。此外，各种图形表示可以使用电子表格软件来生成。
另一方面，Nvivo分析软件可以用来支持定性数据，特别是视频剪辑的分析和开放式的反应。这个软件可以让移动开发者标记、组织并更有效地操纵主观的情绪反应。例如，移动开发者可以选择识别重复的模式或寻找关键事件。可用性问题和负面的用户体验列表可以被编辑。
E结论和建议
一个电子报告应呈现出一种基于三个层次的情绪反应的结果。截图或视频短片，可以用来说明参加者所面临的具体负面的用户体验。推荐的解决方案应该提供给每个负面的用户体验。严重等级还可以包含进来用来指示移动设备的喜爱程度（内部），可用程度（行为），有价值程度（反射）。

七、讨论

建议用户体验测试的目的是发现真正的用户如何体验的移动设备。与此同时，移动开发人员可以找出潜在的可用性方面的问题和负面的用户体验。移动开发者能够使用评价结果，以提高他们具体的设计弱点。它可以提供一个全面的评估，并可以与其他客观测量（如心率）合并。
然而，建议用户体验测试可能不适合寻求新的设计灵感移动开发。用户体验测试的结果只表明试验参与者可能关联到特定的设计特性负面经验。另外，反光层次比看上去更为复杂。移动开发者可能需要考虑像道德、安全、社会、文化、个人发展和其他人的价值问题。以下小节讨论了用户体验评价方法面临的挑战。
A测试参与者
用户体验评价试验的参与者可能有不同的观点。他们不是产品的设计师，他们在设计方面的知识有限。测试参与者只能评估产品作为一个整体，并给予一般的情感反应。因此，移动开发者可能遇到的情绪反应，如“我希望它有不同的颜色，例如粉红色”。对于移动开发者，“粉红色”的颜色可以是不同的色相、色调和阴影。因此，移动开发者可能不得不决定测试参与者是否指的是明亮的粉红色、深粉红色、浅粉色、超粉红色或令人震惊的粉红色。
B外部因素
公司通常对物流的限制为每个产品的发展。产品开发团队给出有限的资源，如时间、资金和人员。移动开发者希望尽快收集参与者的反馈。然后，移动开发者可以使用测试参与者的反馈结果改善他们的产品。如果评估方法消耗时间长，那么数据收集的过程中可能会放慢产品开发的生命周期。此外，评价结果可能不适用，因为新的趋势或技术会进入市场。
C环境因素
尽管该产品是相同的，收集的某些产物的情绪反应可能并不适用于其他情况下。这可能是由于不同的文化、不同的地点、不同的时间、不同的年龄、不同的个性等。例如，当移动用户在家找不到手机时，他们会很乐意听到手机响铃的声音。就是说，他们会对同一个铃声在不同位置产生不同的情绪反应。当他们在一间会议室，他们会不好意思地听到同样的铃声。因此，移动开发人员需要考虑和探讨其他可能的环境。
D长期使用
随着移动用户使用移动设备进行了一段时间，会有关联到移动设备等情绪反应，如惊恐、陌生感、凉的、非理性的行为、刺激和焦虑。当移动用户跟他们的移动设备分开或电池没电了，手机用户变得容易恐慌。可能的原因是因为移动装置含有该移动用户生活中的重要数据。这可能包括日历、联系人列表、信息、金融、电子邮件、照片、文档和Web历史记录。在此背景下，移动开发者可以探索和设计移动设备更多的安全功能。

八、结论

本文讲述了各种用户体验评价方法来衡量不同程度的情绪反应。一个实用的用户体验评估方法可以帮助产品开发人员有效地评估其原型或产品。未来的研究应该考虑用户体验可能的检验方法，特别是可以邀请用户体验专家来评估产品。

参考文献

转载请注明：陈童的博客 » 移动设备用户体验的评估方法