如今，借助远程光电容积描记法（RPPG），无需在测试被试身上附加各种设备，即可远程测量心率和心率变异性。
那么，什么是RPPG？它是如何工作的？
本文解释了面部表情分析系统（FaceReader）中使用的RPPG，并进行了验证研究，比较了三种心率测量方法：RPPG、PPG和作为黄金标准的ECG，给出了最佳测量建议。
心率与心率变异性
面部表情自动分析工具为消费者行为和感官研究中的个体情绪表达提供了客观评估。诺达思的面部表情分析系统（FaceReader）还提供了其他基于视频的功能，这些功能对感官和消费者研究非常有用，例如心率和心率变异性的自动记录。
心率（HR）是每分钟心跳次数的度量，受自主神经系统（ANS）的影响，该系统包括两个主要分支：交感神经系统和副交感神经系统。当处于兴奋状态（如威胁、恐惧、压力和运动）时，交感神经系统活跃，心率增加。当处于放松状态（如爱、同情和平静）时，副交感神经系统活跃，心率降低。这些反应受心理和生理条件的影响。
心率变异性（HRV）是这些条件平衡的指标，也是健康和压力的标志。当交感神经系统占主导地位时，如人们感到压力时，HRV降低。当副交感神经系统占主导地位时，如人们放松时，HRV增加。HRV作为心血管疾病、内部情绪（如抑郁和工作压力）等指标，受到了越来越多的关注[1]。
面部表情分析系统 (FaceReader)
面部表情分析系统 (FaceReader)
PPG的原理
光电容积描记法（PPG）是一种光学技术，可用于检测皮肤下组织的血容量变化。它的原理是血容量的变化会导致皮肤反射率的变化。
以可穿戴设备（如心率感应手表）为例，光从设备的一个传感器发射到皮肤，另一个传感器检测返回设备的光量。由此形成了发射光和反射光之间的对比。反射光量随毛细血管扩张和收缩引起的血容量变化而变化，因此可以估计心率（图1）。
远程光电容积描记法（RPPG）
FaceReader可以使用远程光电容积描记法（RPPG）远程测量心率和心率变异性，这是一种无需附加传感器的远程心率测量工具，仅需高分辨率摄像头进行视频录制。当面部被适当照射时，FaceReader可以检测到由压力脉冲引起的血容量变化，然后测量反射光的量。当反射率随时间绘制时，每个心脏周期都显示为一个峰值。这些信息可以转换为平均心率和心率变异性。
这在各种生理、健康和情绪监测中非常有益，如驾驶员、消费者、老年人和婴儿的监测，使用远程PPG可以减少不适感[3]。
那么，远程PPG如何检测心率？
其原理与PPG相同，但它是非接触式测量。它测量皮肤上红、绿、蓝三种光反射变化之间的差异，作为镜面反射和漫反射之间的对比。镜面反射是皮肤上的纯光反射。漫反射是皮肤组织吸收和散射后剩余的光反射，随血容量变化而变化（图2）。
远程检测的流程具体如下（图3）：
皮肤像素选择：在捕获的网络摄像头图像中检测并建模人脸，以确定面部特征点和头部方向。随后，选择面部上大约三分之二的区域（大部分血管集中的区域）作为感兴趣区域。
信号提取：随时间测量感兴趣区域内每个像素颜色（红、绿、蓝）的平均值（包括镜面反射和漫反射）。
信号滤波：通过拟合面部模型检测头部运动产生的噪声，然后产生无噪声的心率。
输出计算：通过检测峰值测量搏动间期，然后估计心率和心率变异性。
对FaceReader的验证研究
本研究的验证实验中，观察了被试在食用不同种类食物时的心率和心率变异性，以探究食物品尝期间的生理机制变化。
实验中，25名被试被要求观看视频并食用从液体到固体（水、酸奶、鸡肉、香肠）的不同食物刺激。为验证FaceReader的RPPG，使用了BIOPAC ECG和BIOPAC PPG进行测量。
结果显示，在静止状态下，RPPG测量结果与其他方法无差异。然而，在食物品尝期间，RPPG和ECG之间存在测量差异，这可能是因为食物品尝期间的脸部运动干扰了RPPG测量。另一方面，BIOPAC ECG和PPG的测量结果显示出高度一致性。
RPPG测量建议
根据研究结果，研究者给出了最佳RPPG测量建议：
使用高分辨率和无压缩摄像头，因为这两者都能实现更准确的心率检测。
仅使用来自前灯的良好光照条件。但要避免过强的前照，以免过度曝光。吊灯会导致过曝，中断肤色识别。
避免视频压缩。视频压缩会降低分辨率和视频质量。
RPPG测量对头部运动敏感。建议使用被试坐着且不太动的设置。在许多研究中，已经观察到黄金标准与RPPG在这种情况下具有高度相关性。
总之，通过标准网络摄像头测量心率和心率变异性等生命体征，对于使用 FaceReader 的研究人员而言既实用又易于获取。在光照条件和参与者姿势适宜的情况下，个体差异和技术差异对测量精度的影响很小。
当然，与任何生理评估一样，生态有效性与测量精确度之间存在权衡。为了获得最大精度，使用专用设备的受控实验室环境可能更为理想。然而，对于优先考虑自然行为并需要可扩展、非侵入式数据收集的研究来说，使用 FaceReader 测量生命体征是理想选择。
参考文献
[1] Thayer, J. F.; Yamamoto, S. S. & Brosschot, J. F. (2010). The relationship of autonomic imbalance, heart rate variability and cardiovascular disease risk factors.International journal of cardiology, 141 (2), 122-131.
[2] NeuroData Lab. (2019, March). Every beat counts. Comparing Remote Webcam Heart Rate Detector to Wearables.
[3] Wang, W.; Den Brinker, A. C. & De Haan, G. (2018). Single Element Remote-PPG.IEEE Transactions on Biomedical Engineering.
[4] Wang, W.; den Brinker, A. C.; Stuijk, S. & de Haan, G. (2016). Algorithmic principles of remote PPG.IEEE Transactions on Biomedical Engineering, 64 (7), 1479-1491.
[5] Gudi, A.; Bittner, M.; Lochmans, R. & Van Gemert, J. (2019) Efficient Real-Time Camera Based Estimation of Heart Rate and Its Variability.International Conference on Computer Vision (ICCV) Workshop.
