游戏化学习环境通过游戏机制设计（如美学、叙事、激励）来激发有利于学习的情感体验。大量研究发现，相比传统教育方法，游戏化学习能够提升学习效果、促进更积极的情绪状态并增强学习动机。
然而，游戏化学习的效果因人而异，这可能与过程中发生的复杂情绪过程有关。
为了更全面、更准确地测量和建模情绪，本文研究采用多模态方法分析了游戏化学习过程中面部表情与心率变异性之间的同步性，并评估了这种同步性与知识获得和学习增益的关系，为游戏化学习环境的设计和优化提供了科学依据（Cloude et al., 2024）。
游戏化学习中的情绪
使用多模态方法分析情绪的多维性
非线性动力系统理论（Non-linear Dynamical Systems, NLDS）提供了一种研究复杂系统中多个成分如何相互作用并形成紧急状态的方法。该理论认为，系统成分随时间变化并相互作用，产生更高层次的紧急行为或状态。在教育研究中，NLDS方法已被用于研究理解、协作学习和情绪模仿等领域。通过结合NLDS理论和情绪成分过程模型，可以更全面地理解情绪的多维度特性及其对学习的影响。
尽管游戏化学习在提高学习效果方面展现出潜力，但其有效性在不同学习者群体中存在差异。因此，为了探究面部表情与心率变异性（HRV）等多情绪成分之间的同步性及其对游戏化学习成果的影响，具体研究问题包括：
游戏化学习后，学习者的知识评估分数是否存在差异？
游戏化学习过程中，面部表情与HRV如何同步？
- 面部表情与HRV的同步性与知识获取（前/后）和学习增益之间是否存在关系？
如何捕捉表情与心跳的“对话”？
实验共招募了81名被试，平均年龄为26岁，性别分布均衡，最终纳入分析的为58名。
采用一款名为Antidote COVID-19的电子游戏作为游戏化学习环境。被试到达实验室后完成前测。随后，佩戴BioNomadix无线光电容积脉搏波（PPG）和皮肤电活动（EDA）放大器，以记录心率和皮肤电反应。游戏在平板上进行，持续1小时，期间视频摄像头记录被试的面部表情。游戏结束后立即完成后测，并静坐1分钟以记录生理基线。
其中，使用诺达思的行为观察记录分析系统（The Observer XT）同步视频、音频、屏幕记录和生理数据。使用面部表情分析系统（FaceReader）对视频记录中的面部表情进行分类和强度评分（图1）。系统基于深度神经网络（DNNs）识别468个面部标志点，并根据特定配置分类六种基本情绪（愤怒、恐惧、厌恶、快乐、悲伤、惊讶）和中性表情。
面部表情分析系统 (FaceReader)
面部表情分析系统 (FaceReader)
知识评估包括18道题目（4道开放题和14道选择题），基于游戏前10级的内容创建。学习增益通过标准化增益方程量化，基于前后测分数变化计算。
使用交叉小波变换（XWT）分析面部表情和HRV时间序列在时间和频率上的同步性。通过计算共同功率、总同步点和平均相对相位等指标，评估两个信号之间的同步程度和相位关系（图2）。
中性表情与心率的同步性最强
对知识评估分数分析结果显示，游戏化学习后被试的知识评估分数显著提高，且GBL对获得微生物学知识有显著（但较小）的影响。这一发现支持了假设，即游戏化学习对知识获取有积极影响。研究结果与先前的研究一致，表明游戏化学习通过创造引人入胜且情感丰富的学习体验，能够促进学习效果。然而，本研究发现学习成果在性别之间无显著差异，这与某些领域（如数学）中观察到的性别差异形成对比，可能归因于研究领域的不同。
XWT结果显示，中性表情与HRV之间的同步性最高，其次是愤怒和快乐，恐惧最低。这可能是因为当被试处于中性状态时，会更专注于任务内容，表现出较高的HRV，表明身体能够有效调节应激反应并恢复平衡。此外，结果发现所有面部表情与HRV之间的平均相位差为0度，表明信号之间存在同相关系。这一发现支持了成分过程模型的观点，即多个情绪组分同时相互作用和同步，从而产生情绪状态。
分析同步性与学习成果的关系，结果显示尽管存在一些边际显著的相关性，如后测分数与厌恶情绪和HRV之间的平均功率成正相关，但在校正后，这些相关性不再显著。同样，学习增益与中性表情和HRV之间的平均功率之间也成边际显著的负相关，但调整后亦不显著。总体而言，面部表情与HRV之间的同步性并未显著影响知识获取和学习增益。这一结果并不支持假设。
这一发现可能归因于多种因素。比如除中性情绪外，其他情绪表情的强度普遍较低，从而限制了检测同步性与学习结果关系的能力。其次，研究未针对游戏中的不同元素（如阅读百科全书与应用知识）分析情绪成分，可能掩盖了特定游戏交互对情绪和学习的影响。
多模态方法推进游戏化学习设计
本研究采用多模态的方法探讨了游戏化学习环境中面部表情与心率变异性之间的同步性及其对学习成果的影响。尽管游戏化学习显著提高了被试的知识水平，但面部表情与HRV之间的同步性并未显著影响学习成果。研究结果为游戏化学习环境的设计和优化提供了科学依据。
未来研究应探索构建情感响应型游戏化学习环境的可能性，通过定制游戏机制（如内容、场景）以适应特定情绪状态，从而优化学习成果。这需要跨学科合作和多模态方法的应用，以推动游戏化学习领域的进一步发展。
参考文献
Cloude, E. B., Dindar, M., Ninaus, M., & Kiili, K. (2024). Synchrony Between Facial Expressions and Heart Rate Variability During Game-Based Learning: Insights from Cross-Wavelet Transformation. In European Conference on Technology Enhanced Learning (pp. 90-104).
