面部表情是人类情绪的丰富信息源。与依赖人们表达自身感受能力的调查或访谈不同，面部表情能够揭示即时、无意识的情绪反应。
面部表情分析在消费者行为研究领域极具价值，因为情绪反应会显著影响决策过程。此外，面部表情分析还广泛应用于其他研究领域，包括行为科学、医学、心理学、金融学和教育学。
在本文研究中，Elisa Landmann探究了在这些不同研究领域中使用FaceReader的最佳方法，重点关注实验设计、准确的数据处理与分析以及其他方法学考量[1]。
情绪理论
在情绪研究领域，两个重要的情绪理论分别是Ekman的基本情绪理论[2]和Russell的环形模型[3]。
基本情绪理论认为，存在六种基本情绪：快乐、惊讶、愤怒、恐惧、厌恶和悲伤，我们通过面部肌肉来表达这些情绪。这些情绪也被称为动作单元（AUs）。
环形模型则从两个主要维度来描述情绪：效价和唤醒度。效价指的是情绪的积极或消极程度，而唤醒度则表示情绪所引发的活动或警觉水平。
FaceReader的工作原理
面部表情分析系统（FaceReader）是一款用于面部表情分析的自动化系统。系统依据基本情绪理论和环形模型对面部表情进行测量，为研究者提供大量信息。FaceReader的其他优势包括在不同研究领域均成功通过验证，且具有极高的准确率。该准确率已通过ADFES数据集验证[4]。
为深入了解FaceReader在采集、分析和分析情绪数据方面的实际应用，Landmann进行了文献综述，该综述涵盖了来自不同行为研究领域的研究。
面部表情分析系统 (FaceReader)
面部表情分析系统 (FaceReader)
FaceReader的系统性综述
Landmann将64项来自2013-2023年间发表的有关FaceReader的学术文章纳入其综述研究，并聚焦于FaceReader在四个关键点的应用：
优势
数据收集与准备
输出结果的处理与分析
结果的有效性
- FaceReader的优势
FaceReader广泛应用于医学、心理学、教育学、金融学和市场营销等多个学术研究与商业领域。由于系统基于算法，面部表情分析不受人类编码员个人偏见的影响，且分析速度更快。
Western University的Erin Heerey博士表示，FaceReader能在短短14小时内完成800小时的人工编码分析，大大节省了研究时间，提高了效率。
此外，相较于市场上其他工具，FaceReader的优势还包括：对单个动作单元（AUs）的分类、用户友好的界面、获取效价和唤醒度数据的能力、实时分析面部表情的功能、追踪眼动和注视以及全新版本中的新功能！包括从语音中分析情绪、同时检测多个面孔（多至8人）等。这将帮助研究者更详细地研究情绪状态以及更好地理解情绪状态与社交互动或群体动态之间的关系。
2. FaceReader数据的收集与准备
为优化FaceReader的数据收集，研究者需要高质量的视频素材，确保面部表情清晰可见。这意味着需关注充足的照明和合适的摄像机角度，同时指导被试直视摄像机并避免头部过度移动。
此外，FaceReader会评估图像或视频的质量，帮助研究者获取并选择准确的数据进行分析。
通过遵循标准化的数据收集与准备协议，可以提高面部表情分析的质量和有效性。
3. FaceReader输出结果分析
FaceReader为研究者提供状态日志和更详细的日志，这些日志可导出至其他（统计）程序，如Excel或SPSS。
FaceReader中处理和分析数据有不同方法，包括动作单元和情绪类别的分析。这涵盖良好的数据处理技术，如数据清洗、计算均值或标准差、将分数转换为等级、使用截断分数等。
此外，FaceReader的项目分析模块提供了对面部表情数据的高级分析功能。通过比较不同被试组，可以轻松评估刺激物（如广告或图像）。创建自定义筛选条件，并根据自变量进行选择。
4. FaceReader结果的有效性
评估FaceReader测量在不同个体和情境中捕捉情绪的准确性和一致性仍然至关重要。例如，通过将系统结果与既定的情绪编码系统或人类评分进行比较。
当前文献综述的发现显示，准确率在80%-90%之间，表明FaceReader的高准确性。尤其在评估基本情绪时最为准确。对于惊讶、恐惧和愤怒等微妙表情的区分，可能仍需人类编码员进行监督。
FaceReader的广泛应用
这项综述研究不仅凸显了FaceReader在分析情绪反应方面的稳健性，还强调了标准化指南如何有助于优化其在不同研究领域的应用。
例如，在市场营销领域，了解消费者对广告的情绪反应有助于公司改进内容，以更好地满足消费者需求。在心理健康研究中，对情绪状态的客观测量可改善不同障碍的诊断和治疗。
而随着FaceReader的不断演进更新，其应用将进一步拓展，为深入理解人类情绪提供更多洞见。
参考文献
[1] Landmann, E. (2023). I can see how you feel – Methodological considerations and handling of Noldus’s FaceReader software for emotion measurement. Technological Forecasting & Societal Change, 197.
[2] Ekman, P. (1992). An argument for basic emotions. Cognition & emotion, 6(3-4), 169-200.
[3] Scarantino, A. (2015). Basic emotions, psychological construction, and the problem of variability. In L.F. Barrett & J.A. Russell (Eds.), The psychological construction of emotion (pp. 334–376). The Guilford Press.
[4] Schalk, J. van der; Hawk, S.T.; Fischer, A.H.; Doosje, B.J. (2011). Moving faces, looking places: The Amsterdam Dynamic Facial Expressions Set (ADFES). Emotion, 11, 907-920.
