在之前的文章中,我们对比了FaceReader 与 OpenFace,后者是当时领先的开源面部表情工具。自那以后,OpenFace 推出了新版本,而后又有两款开源工具出现,其中一款(LibreFace)还发布了更新版本。新工具的更迭变化会给您的选择带来挑战。
因此,我们将在这篇文章中继续分析对比FaceReader 10与这些开源工具在情绪分类、动作单元检测与婴儿面部表情分析方面的不同,帮助您了解为什么FaceReader是面部表情分析的首选。
为什么做这项对比?为什么是现在?
面部表情分析是研究者测量情绪的几种互补手段之一,此外还有面部肌电(Facial EMG)和人工 FACS 编码。每种方法各有长短。由认证的编码员进行 FACS 编码是最被公认的黄金标准,但速度很慢。
参与者面部的视频录像通常以每秒24帧的分辨率录制,这意味着每录制1秒,编码员都要对46个AU给出24次评分。因此,对于一名仅有1分钟视频的参与者,就需要进行1440次单独评分。假设编码员每秒能评一张画面,那么1分钟视频数据累计约需24分钟的工作量。
相比之下,FaceReader 10在很多情况下处理一段同等的一分钟视频用时远不到一分钟,不过确切速度取决于硬件与设置。速度、成本与验证之间的取舍不可避免,而近年来,无论商业还是开源,各类自动化工具都在稳步进步。
我们总体上支持更广泛地采用自动化面部表情分析。因为,经过验证的选项越多,对领域越有利。但在实践中,验证也是区分这些工具的关键所在。在我们与客户的交流中,偶尔会有研究者在同行评审人质疑某个未经充分验证的开源工具后对我们进行反馈,要求改用经过 FACS 验证的替代方案。这是实际存在现实原因,也说明了需要在此做对比验证的重要性。
我们先前将面部表情分析系统(FaceReader) 与 OpenFace 对比时,OpenFace v2.2(2018)还是最新的开源方案,也是大多数研究者唯一会认真考虑的开源替代品。如今,情况已不再如此。OpenFace 3 于2025年发布,另外两款较新的工具 pyAFAR 与 LibreFace 也已在研究界获得采用。基于此,本次使用 FaceReader 10,重新与它们逐一进行对比。
面部表情分析系统 (FaceReader)
面部表情分析系统 (FaceReader)
参评的开源工具
OpenFace 2.2(2018):我们最初对比时所用的工具包,此处再次纳入,作为基线[1]。
OpenFace 3.0(2025):由卡内基梅隆大学(CMU)MultiComp 实验室完全重建,是一个用于面部关键点、动作单元、视线与情绪识别的轻量级多任务模型[2]。
LibreFace(2024):用于 AU 检测、AU 强度与表情识别的开源深度学习工具包[3]。
LibreFace 2.0(2026):LibreFace 的更新版,使用大规模合成数据集重新训练其模型以提升泛化能力,并新增视线估计功能[4]。
pyAFAR(2023,2024年扩展至婴儿):用于成人 AU 检测的Python 库,自2024年起也用于婴儿[5][6]。
如何对比测试?
情绪分类延续之前测评使用的两个基准数据集:阿姆斯特丹动态面部表情集(ADFES)与华沙情绪面部表情图片集(WSEFEP)。
动作单元(Action Unit,AU)的检测更难直接比较,因为每个工具检测的 AU 数量不同。FaceReader 10输出20个(含强度数值),LibreFace 与 LibreFace 2各覆盖17个(12个强度数值、5个表情状态),OpenFace 2.2输出16个,pyAFAR 输出14个,OpenFace 3 输出8个。
为使每次对比公平,我们仅针对每个工具所支持的具体 AU 子集对 FaceReader 评分,然后在该共同子集上比较F1分数(精确率与召回率的平衡量)。这也是下文中 FaceReader 自身得分在每次对比时略有变化的原因。即每次它被评估的都是其20个 AU 中更小的一部分,并与参评工具可检测的范围相匹配。
此外,关于两个LibreFace 版本需作说明。它们对其17个 AU 中的12个输出分级强度值,对剩余5个表情状态存在标签。当某个 AU 同时提供这两类输出时,我们的分析采用对该 AU 而言更准确的那一类。
婴儿面部表情分析单独测试,使用的是 BabyFACS 人工测试集[7][8],因为它使用的是成人 ADFES/WSEFEP 数据中不出现的婴儿专属动作单元。
基本情绪分类准确率
在 ADFES 与WSEFEP 上对六种基本表情和中性表情进行分类对比(表1):
*LibreFace 2是在五种基本表情加中性上评分的:测试时,该工具从不输出“厌恶“类别,因此其评估中排除了“厌恶“。所有其他工具均在全部七类上评分。
动作单元检测
在每个工具自身支持的 AU 子集上,与 FaceReader 10在同一子集上的 F1 分数对比(表2):
结果表明,FaceReader 10在每个工具自身支持的 AU 子集上均展现出更高的分数,并且总体检测的 AU 数量(20个)均多于其他5个工具。
婴儿面部表情分析
在所比较的五种工具中,只有 pyAFAR 具备婴儿模型,覆盖7个动作单元。结果表明,在 BabyFACS 人工测试集上,FaceReader 10的婴儿模型得分明显更高(表3)。
数字之外:可用性与支持
准确率并非决定一个工具日常可用程度的唯一因素,优秀的可用性与技术支持也是关键。
工具界面:OpenFace 2.2与pyAFAR 附带极简的图形界面。OpenFace 3与LibreFace 主要是 Python 库,因此使用其中任何一个都意味着要自行编写和维护代码。FaceReader 则是一个完整的应用程序,内置图形界面、可视化与报告功能,无需编程。
更新频率:开源工具发布大版本的间隔极不规律。例如 OpenFace 从2.2(2018)到 3.0(2025)间隔了七年。相比之下,FaceReader 大约每一到两年发布一个新版本。
技术支持:FaceReader 提供厂商直接支持与培训;开源工具则依赖社区论坛,以及此处这些学术项目所属原始研究团队的可用性。
其他常见问题
OpenFace 3比OpenFace 2更好吗?
不能简单地说更好。OpenFace 3是更轻、更快的重建版本,但它检测的动作单元远少于 OpenFace 2.2(OpenFace 3为8个,OpenFace 2.2为16个),且在这个更小的集合上,FaceReader 相对 OpenFace 3的优势(OpenFace 3的F1为81%,FaceReader 10 的F1为88%)小于其相对 OpenFace 2.2的优势(OpenFace 2.2的F1为61%,FaceReader 10的F1为81%)。OpenFace 3是否为实质性的升级,取决于具体研究实际需要哪些 AU。
LibreFace 2是原版 LibreFace 的升级吗?
部分是。LibreFace 2.0使用大规模合成数据集重新训练其模型以提升泛化能力,并新增视线评估功能。在我们的基准测试中,其总体动作单元得分接近原版,相对提升主要体现在 AU 存在的表情状态(不涉及情绪强度)。与 OpenFace 3对比2.2的情况一样,它是否为实质性的升级取决于具体研究的需求。
为什么 FaceReader 的得分在每次动作单元对比中都不同?
因为每个参评工具支持的 AU 数量都与 FaceReader 完整的20个不同,且更少。为保持对比公平,FaceReader 仅在每个工具能检测的具体 AU 上评分,因此其得分每次反映的都是不同的子集,而不是结果不一致。
有开源工具能分析婴儿面部表情吗?
本文比较的工具中,只有 pyAFAR 具备婴儿专属模型(7个AU)。FaceReader 10的婴儿模型覆盖相同的7个 AU,且在 BabyFACS 基准上得分更高。
使用这些开源工具需要写代码吗?
OpenFace 3、LibreFace 与 LibreFace 2是需要的。这三者主要都以 Python 库的形式发布。OpenFace 2.2与pyAFAR 包含极简的图形界面,但仍远不如专用应用程序。
这项对比使用了哪些数据集?
情绪分类在 ADFES 与 WSEFEP 上测试与最初的 FaceReader 与 OpenFace 对比所用数据集相同。婴儿动作单元检测则单独在 BabyFACS 人工测试集上测试。
参考文献
[1] Baltrusaitis, T., Zadeh, A., Lim, Y. C., & Morency, L.-P. (2018). OpenFace 2.0: Facial Behavior Analysis Toolkit. IEEE FG 2018.
[2] Hu, J., Mathur, L., Liang, P. P., & Morency, L.-P. (2025). OpenFace 3.0: A Lightweight Multitask System for Comprehensive Facial Behavior Analysis. FG 2025 / arXiv:2506.02891.
[3] Chang, D., Yin, Y., Li, Z., Tran, M., & Soleymani, M. (2024). LibreFace: An Open-Source Toolkit for Deep Facial Expression Analysis. WACV 2024.
[4] Guan, X., Chaubey, A., Siniukov, M., Hsieh, A., Li, Z., & Soleymani, M. (2026). LibreFace 2.0: A Generalizable Facial Expression Analysis Toolkit Leveraging Synthetic Data. IEEE FG 2026.
[5] Cohn, J. F., et al. (2023). PyAFAR: Python-based Automated Facial Action Recognition library for use in Infants and Adults. IEEE ACII 2023.
[6] Ertugrul, I. O., Hinduja, S., Bilalpur, M., Messinger, D. S., & Cohn, J. F. (2024). Expanding PyAFAR: A Novel Privacy-Preserving Infant AU Detector. IEEE FG 2024.
[7] Maroulis, A., Spink, A. J., Theuws, J. J. M., Oster, H., & Buitelaar, J. (2017). Sweet or sour. Validating Baby FaceReader to analyse infant responses to food. Poster presentation, 12th Pangborn Sensory Science Symposium, 20–24 August 2017.
[8] Oster, H. (2006). Baby FACS: Facial Action Coding System for Infants and Young Children.







