基于掩码自编码器进行远程生理测量的自监督预训练方法

1.本发明涉及计算机视觉技术领域，特别是涉及基于掩码自编码器进行远程生理测量的自监督预训练方法。


背景技术：

2.心率(hr)、心率变异率(hrv)和呼吸频率(rf)包含了许多有关人体生命信息的重要指标。过去，这些生理信号通常通过心电图(ecg)和光电容积法(ppg)来测量。然而，这些传统的方法需要与身体直接接触，限制了在无传感器环境下实时监测人体生命信息的能力。不用附加传感器，通过分析患者面部视频中的皮肤颜色变化，进行无接触的远程心率监测(rppg)已成为研究的热点课题。
3.在早期阶段，许多方法探索了rppg的各种手工特性。近年来，利用二维/三维卷积神经网络(cnn)提取rppg特征，设计了许多端到端监督模型。同时，一些研究工作开发了一些非端到端的全监督方法，从时空图(st-map)中捕获rppg信号。然而，监督学习需要大量的标记数据，而在rppg领域，使用收集大规模带有精确标注数据的成本很高。因此，人们提出了一些自监督方法来应对这种限制，例如gideo和stent提出了一种对目标信号的频率和时间平滑性具有弱先验的方法；sun和li利用3dcnn模型从不同时空位置的每个视频中生成多个rppg信号，既将面部视频帧作为输入，又获得rppg表示，直接预测rppg信号。然而，这些方法都是端到端的，在具有挑战性的情况下(例如，严重的头部运动)可能并不健壮。
4.由于rppg信号很微妙，很容易被噪声(如灯光、运动、摄像机噪声等)淹没，很难用原始数据结构的方式从原始视频数据中提取周期性信息。这就是为什么许多成功的rppg方法仍然以特定的方式构建神经网络输入，而不是直接使用原始数据，例如时空图(st-map)，其中时空表示与从面部的不同感兴趣区域(roi)提取的时间生理信号被设计为模型的输入。一方面，st-map包含丰富的生理信息，已成功应用于监督学习方法。另一方面，在采集大规模人脸视频数据的同时采集ppg/ecg信号的成本很高。
5.近年来，自监督学习成为计算机视觉领域的一个热点，并提出了许多方法，如基于辅助任务的自监督学习算法和基于对比学习的模型。如今，一种更通用的去噪自动编码器在自然语言处理(nlp)(例如bert的掩码自动编码)和计算机视觉(例如掩码自动编码器(mae))方面都取得了巨大的成功。特别是，mae已被证明是有效的图像分析任务(如图像分类和对象分割)。rppg是典型的计算机视觉任务，如何利用掩码自编码器降低st-map的信息冗余和噪声，实现高效的rppg测量，自然成为研究的重点。然而，在早期的研究中，掩码自动编码器仅用于预训练自然图像，如imagenet数据集。此外，自然语义图像与st-map之间存在较大的差距。
6.为了解决上述问题，本发明提出了基于掩码自编码器进行远程生理测量的自监督预训练方法。


技术实现要素：

7.本发明的目的在于提出一种基于掩码自编码器进行远程生理测量的自监督预训练方法以解决现有技术中存在的如下问题：（1）掩码自动编码器仅用于预训练自然图像，适用范围较窄；（2）自然语义图像与st-map之间存在较大的差距：2.1）自然语义图像与st-map所包含的物理信息不同；2.2）从st-map中识别有效信息比从自然语义图像中识别更困难；2.3）拟议的自我监督预培训的目标与现有工作有很大不同。
8.为了实现上述目的，本发明采用了如下技术方案：基于掩码自编码器进行远程生理测量的自监督预训练方法，利用掩码自编码器在时空图上与训练vit的优势，设计一种新的屏蔽自监督rppg测量方法，具体包括以下内容：步骤1、使用开源人脸检测软件seetaface对人脸视频进行检测，定位81个人脸关键点，利用这81个人脸关键点生成人脸边界框，进而通过人脸边界框对人脸区域进行对齐并去除背景区域；步骤2、将步骤1中所得的已经对齐并去除了背景区域的人脸视频帧分为25个感兴趣的区域（roi），分别计算每个区域中的每个颜色通道（r、g、b）的平均像素值；将同一块位置但不同帧的每通道平均颜色值串联成序列，将来自相同颜色通道的序列拼接成图片，进而通过一个人脸视频生成一张大的时空图；步骤3、对步骤2中所得的大的时空图（st-map）进行裁剪和调整大小，获得正方形小时空图；步骤4、对步骤3中所得的正方形小时空图进行掩码处理，计算得出保留的时空图补丁；步骤5、将保留的时空图补丁输入到vit编码器中，生成编码好的时空图特征向量；步骤6、将时空图特征向量联合掩码标记一起输入到vit解码器中，经过vit解码器后，预测得到st-map的缺失补丁；步骤7、将预测的补丁和原始时空图对应位置的像素值计算重建损失，对新的损失函数进行训练优化；步骤8、基于步骤7获取训练好的vit编码器，并将未经掩码的时空图输入到当前vit编码器中，生成完整的时空图特征向量；步骤9、将完整的特征向量输入到rppg预测器中，输出预测的rppg信号；步骤10、基于步骤8、9，训练vit编码器和rppg预测器；步骤11、将一张时空图输入到训练好的vit编码器和rppg预测器中得到预测结果。
9.优选地，步骤3中所述的对大的时空图进行裁剪，具体包括以下内容：以固定的重叠步长（s=5）将一张大的时空图裁剪成小的时空图，裁剪时控制长为224，将所得的矩形时空图（224
×
25）再调整为224
×
224的正方形小时空图。
10.优选地，所述步骤4具体包括以下内容：步骤4.1、将时空图划分为不重叠的补丁（大小为,）；步骤4.2、对步骤1所得的补丁进行洗牌；步骤4.3、保持补丁的比例有序，然后移除剩余的补丁，计算保留的补丁数量，具体
计算公式为：其中，rm表示掩码处理的具体掩码比例，rm=75%；t表示时空图的长/宽（时空图为正方形），t=224；表示补丁的长/宽（补丁为正方形）,。
11.优选地，步骤5中所述的vit编码器包括一个带有位置编码的线性映射层和若干个transformer模块；本发明选用vit基础版本，它包含12个transformer模块，输出维度为768。在此阶段的输入为步骤4中的保留补丁，所述vit编码器的输出为：其中，，lk和de分别表示输入st-map序列的长度和vit编码的维度；表示输入补丁数据，表示vit编码器。
12.优选地，步骤6中所述vit解码器包括8个transformer模块，输出维度为128。由于有掩码标记的加入，经过vit解码器后输出长度为整个st-map中补丁的数目，具体公式为：数目，具体公式为：其中，l
all
表示整个st-map序列的长度；dd表示vit解码器的输出维度；为vit编码器输出；表示vit解码器。默认的维度与补丁中像素值的数量不匹配，因此所述vit解码器的最后一层设计线性投影，掩码标记被重新塑造为补丁，进而获得所需的重建st-map。
13.优选地，所述vit解码器的输出是一系列的向量，其维数等于一个补丁的像素数，像素损失函数仅计算掩码像素空间中重建图像与原始图像之间的均方误差(mse)，具体为：其中，表示vit解码器预测的掩码像素值；表示st-map真实的掩码像素值；mse（
·
）表示均方误差；步骤7中所述的重建损失具体指：保证vit编码器通过重构一个新的st-map来学习bvp信号的周期特征，具体函数表示为：其中，，分别表示重建的st-map和真实的st-map一行的像素值；pc（
·
）表示皮尔逊相关性；c和n
roi
分别表示通道数和roi的数目，其中，n
roi
=t；综上所述，重建阶段的总体损失函数为：其中，超参数λ∈{0,1}。
14.优选地，步骤8中所述的训练好的vit编码器的输入为st-map的完整补丁；所述训练好的vit编码器的输出为：其中，；l
all
和de分别表示整个st-map序列的长度和vit编码器的维度。
15.优选地，步骤9中所述的rppg预测器由一个简单的线性层(linear)和层标准化(layernorm)构成。
16.优选地，所述步骤10中具体包括以下内容：步骤10.1、通过选择预测的rppg信号与真实的bvp信号之间计算的负皮尔逊相关损失来预测rppg信号，具体为：其中，s
pr
和s
gt
分别表示预测的rppg信号和真实的bvp信号；pc（
·
）表示皮尔逊相关性；步骤10.2、利用频域损失进行更好的预测，计算真实心率与估计rppg信号频谱分布之间的交叉熵误差，具体为：其中，psd（
·
）表示预测rppg信号的功率谱密度；ce（
·
）表示交叉熵损失；指真实心率，具体表示为一个单热向量hr=[0，
…
，0,1,0，
…
]，“1”表示真实心率对应的索引；表示预测信号。
[0017]
步骤10.3、综合步骤10.1-10.2的内容，rppg预测阶段的整体损失函数具体为：其中，参数γ∈{0,1}，在不同的数据集之间进行调整，在本发明中，我们在vipl-hr数据集中设置γ=0，在pure和ubfc-rppg数据集中设置γ=1。
[0018]
与现有技术相比，本发明提供了基于掩码自编码器进行远程生理测量的自监督预训练方法，具备以下有益效果：（1）本发明提出了rppg-mae，它采用st-map作为输入，利用掩码自动编码器(mae)进行自监督的vit预训练。这是第一次在rppg任务上，探索在具有挑战性的vipl-hr数据集上使用以st-map为输入的自监督学习。
[0019]
（2）本发明设计了一个新的rppg损失函数来约束mae预训练任务。提出的rppg损失比原始mae中采用的原始像素重建损失更适合于预训练，使vit能够有效地学习rppg信号的周期信息。
[0020]
（3）除了原始st-map，本发明还探索了几种rppg任务相关的重构目标。提出了带通滤波的st-map，将频率限制在bvp信号范围内，有助于网络学习有用的周期信息。
[0021]
（4）本发明是一种无监督的方法，无需昂贵的人工标注数据集，相较于其他的方法而言更加具有更佳的经济性，值得大力推广。
[0022]
（5）本发明适用范围更广，能拓展到其他监督的方法中，进一步提高性能。
附图说明
[0023]
图1为本发明提出的基于掩码自编码器进行远程生理测量的自监督预训练方法的时空图(st-map)生成示意图；图2为本发明提出的基于掩码自编码器进行远程生理测量的自监督预训练方法的设计框架流程图；图3为本发明实施例1中的输入原始图、掩码效果图和重建效果图；图4为本发明实施例1中预测的rppg信号与真实的bvp信号的对比图。
具体实施方式
[0024]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
[0025]
本发明提出一种基于掩码自编码器进行远程生理测量的自监督预训练方法，该发明受到“国家自然科学基金-基于自监督学习的人体微姿态识别和情感分析项目62171309”的资助，主要目的在于解决现有技术存在的以下问题：rppg是典型的计算机视觉任务，如何利用掩码自编码器降低st-map的信息冗余和噪声，实现高效的rppg测量，自然成为研究的重点。然而，在早期的研究中，掩码自动编码器仅用于预训练自然图像，如imagenet数据集。此外，自然语义图像与st-map之间存在较大的差距：1)两种图像所包含的物理信息不同。自然图像只包含空间信息，其中一簇像素代表一个对象，但st-map是空间和时间域的生理信号的表示。
[0026]
2)从st-map中识别有效信息比从自然图像中识别更困难。从st-map中提取rppg信号相对困难，因为st-map中存在很多不相关的噪声和微妙的生理信号。
[0027]
3)拟议的自我监督预培训的目标与现有工作有很大不同。rppg中自我监督预训练的主要目的不是预测用于重建图像的掩码像素值，而是预测包含与真实st-map相似物理周期信息的图像。
[0028]
针对上述问题，本发明提出了rppg-mae，它采用st-map作为输入，利用掩码自动编码器(mae)进行自监督的vit预训练。据我们所知，这是第一次探索在具有挑战性的rppg任务上使用st-map输入的自监督学习，例如约束较少的vipl-hr数据集。同时本发明设计了一个新的rppg损失函数来约束mae预训练任务。提出的rppg损失比原始mae中采用的原始像素重建损失更适合于预训练，使vit能够有效地学习rppg信号的周期信息。除了原始st-map，本发明还探索了几种rppg任务相关的重构目标。提出了带通滤波的st-map，将频率限制在bvp信号范围内，有助于网络学习有用的周期信息。此外，本发明是一种无监督的方法，无需昂贵的人工标注数据集，相较于其他的方法而言更加的便宜。更进一步地，本发明能拓展到其他监督的方法中，进一步提高性能。
[0029]
基于上述描述，本发明所提出的基于掩码自编码器进行远程生理测量的自监督预训练方法具体包括如下内容：实施例1：本发明提出一种基于掩码自编码器进行远程生理测量的自监督预训练方法，请参阅图1，包括有四种st-map生成示意图：
我们首先根据检测到的关键点在不同的帧中对齐人脸，然后将面部区域分为n个roi块r1,r2，
…
r25。平均颜色值是为每个块中的每个颜色通道计算的。将同一块位置但不同帧的每通道平均颜色值串联成序列，即r1,g1, b1, r2, g2, b2，
…
，r25, g25, b25。将来自相同颜色通道的序列拼接成大小为的map(r,g, b)，其中n= 25。进一步，使用chrom算法和pos算法对chrom信号和pos信号进行处理。图中滤波后的信号通过频率为[0.6, 3]的巴特沃斯带通滤波器滤波。最后，将不同的组合信号拼接成4个st-map(chrom-st-map, pos-st-map, 滤波-st-map, st-map)本发明的整体设计流程如图2所示，整体流程可以分为三大模块：1）st-map生成模块。我们将第i个输入st-map记为，其中n表示roi的个数，t表示视频片段的帧数，c表示通道数(c= 3，包括r、g和b)，如图2所示，我们首先从整个视频中生成一个大的st-map，然后对s帧重叠的大st-map进行切割。片段的长度是t。因此，视频中的st-map数为.之后，我们将原始st-map的大小调整为, roi的数量从n增加到t。
[0030]
2）st-map重建模块。重建模块主要由一个vit编码器和一个vit解码器组成。vit编码器包括一个带有位置编码的线性映射层和一些transformer模块。本发明选用vit基础版本，它包含12个transformer模块，输出维度为768.在此阶段的输入为步骤4中的保留补丁.vit编码器的输出为，其中，和分别表示输入st-map序列的长度和vit编码的维度。vit解码器包括8个transformer模块，输出维度为128.由于有掩码标记的加入，经过vit解码器后输出长度为整个st-map中补丁的数目。vit解码器的输出为，，其中表示整个st-map序列的长度，表示vit解码器的输出维度。但是，默认的维度与补丁中像素值的数量不匹配，因此在解码器的最后一层设计了线性投影。通过这种方式，掩码标记被重新塑造为补丁，然后我们可以获得所需的重建st-map。重建的st-map与真实的st-map计算损失。vit解码器的输出是一系列的向量，其维数等于一个补丁的像素数。像素损失函数仅计算掩码像素空间中重建图像与原始图像之间的均方误差(mse)，为其中，为vit解码器预测的掩码像素值，为st-map真实的掩码像素值，为均方误差。
[0031]
为了使vit编码器能够学习bvp信号的周期性，本发明提出了一个新的损失函数：其中，分别表示重建的st-map和真实的st-map一行的像素值。表示皮尔逊相关性；和分别表示通道数和roi的数目，其中.总之，重建阶段的总体损失函数可以写成：
其中超参数γ∈{0,1}.3）rppg预测模块：此模块由一个vit编码器和一个rppg预测器组成。此模块里的vit编码器的初始化权重是st-map重建过程中预训练好的。rppg预测器由一个线性层(linear)和层标准化(layernorm)组成。原始st-map输入vit编码器后再输入rppg预测器，rppg预测器的输出为预测的rppg信号。预测的rppg信号与真实的bvp信号计算损失：预测的rppg信号与真实的bvp信号之间计算的负皮尔逊相关损失，可以表示为：其中，和分别表示预测的rppg信号和真实的bvp信号。表示皮尔逊相关性。
[0032]
此外，利用频域损失进行更好的预测，计算真实心率与估计rppg信号频谱分布之间的交叉熵误差，记为：其中表示预测rppg信号的功率谱密度，表示交叉熵损失。真实心率可以用一个单热向量hr=[0，
…
，0,1,0，
…
]，“1”表示真实心率对应的索引；表示预测信号。
[0033]
总体而言，rppg预测阶段的整体损失函数可写成:其中参数γ∈{0,1}，将在不同的数据集之间进行调整。在本发明中，我们在vipl-hr数据集中设置γ=0，在pure和ubfc-rppg数据集中设置γ=1。
[0034]
整体来说，主要步骤分为三大步：1）生成st-map；2）重建st-map；3）预测rppg信号。其中第一步为后续的两部准备输入数据，重建st-map为预测rppg信号预训练vit编码器的权重参数，最终的rppg预测模块得到我们需要的rppg信号。
[0035]
图3为重建st-map步骤的可视化图，重建后的st-map尽可能与原始st-map接近。
[0036]
图4为预测rppg信号的可视化图，可以观察到预测的rppg信号与真实的bvp信号十分接近。
[0037]
以上，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

技术特征：
1.基于掩码自编码器进行远程生理测量的自监督预训练方法，其特征在于，利用掩码自编码器在时空图上与训练vit的优势，设计一种新的掩码自监督rppg测量方法，具体包括以下内容：步骤1、使用人脸检测软件对人脸视频进行检测，对视频中人脸关键点进行定位，利用人脸关键点生成人脸边界框，进而通过人脸边界框对人脸区域进行对齐并去除背景区域；步骤2、将步骤1中所得的已经对齐并去除了背景区域的人脸视频帧分为若干个感兴趣的区域，分别计算每个区域中的每个颜色通道的平均像素值；将同一块位置但不同帧的每通道平均颜色值串联成序列，将来自相同颜色通道的序列拼接成图片，进而通过一个人脸视频生成一张大的时空图；步骤3、对步骤2中所得的大的时空图进行裁剪和调整大小，获得正方形小时空图；步骤4、对步骤3中所得的正方形小时空图进行掩码处理，计算得出保留的时空图补丁；步骤5、将保留的时空图补丁输入到vit编码器中，生成编码好的时空图特征向量；步骤6、将时空图特征向量联合掩码标记一起输入到vit解码器中，经过vit解码器后，预测得到时空图的缺失补丁；步骤7、将预测的补丁和原始时空图对应位置的像素值计算重建损失，对新的损失函数进行训练优化；步骤8、基于步骤7获取训练好的vit编码器，并将未经掩码的时空图输入到当前vit编码器中，生成完整的时空图特征向量；步骤9、将完整的特征向量输入到rppg预测器中，输出预测的rppg信号；步骤10、基于步骤8、9，训练vit编码器和rppg预测器；步骤11、将一张时空图输入到训练好的vit编码器和rppg预测器中得到预测结果。2.根据权利要求1所述的基于掩码自编码器进行远程生理测量的自监督预训练方法，其特征在于，步骤3中所述的对大的时空图进行裁剪，具体包括以下内容：以固定的重叠步长将一张大的时空图裁剪成小的时空图，裁剪时控制长为224，将所得的矩形时空图再调整为224
×
224的正方形小时空图。3.根据权利要求1所述的基于掩码自编码器进行远程生理测量的自监督预训练方法，其特征在于，所述步骤4具体包括以下内容：步骤4.1、将时空图划分为不重叠的补丁；步骤4.2、对步骤1所得的补丁进行洗牌；步骤4.3、保持补丁的比例有序，然后移除剩余的补丁，计算保留的补丁数量，具体计算公式为：其中，r
m
表示掩码处理的具体掩码比例，t表示时空图的长/宽，表示补丁的长/宽。4.根据权利要求1所述的基于掩码自编码器进行远程生理测量的自监督预训练方法，其特征在于，步骤5中所述的vit编码器包括一个带有位置编码的线性映射层和若干个transformer模块；所述vit编码器的输出为：其中，，l
k
和d
e
分别表示输入时空图序列的长度和vit编码的维度；
表示输入补丁数据，表示vit编码器。5.根据权利要求1所述的基于掩码自编码器进行远程生理测量的自监督预训练方法，其特征在于，步骤6中所述vit解码器后输出长度为整个时空图中补丁的数目，具体公式为：其特征在于，步骤6中所述vit解码器后输出长度为整个时空图中补丁的数目，具体公式为：其中，l
all
表示整个时空图序列的长度；d
d
表示vit解码器的输出维度；为vit编码器输出；表示vit解码器；所述vit解码器的最后一层设计线性投影，掩码标记被重新塑造为补丁，进而获得所需的重建时空图。6.根据权利要求1所述的基于掩码自编码器进行远程生理测量的自监督预训练方法，其特征在于，所述vit解码器的输出是一系列的向量，其维数等于一个补丁的像素数，像素损失函数仅计算掩码像素空间中重建图像与原始图像之间的均方误差，具体为：其中，表示vit解码器预测的掩码像素值；表示时空图真实的掩码像素值；mse（
·
）表示均方误差；步骤7中所述的重建损失具体指：保证vit编码器通过重构一个新的时空图来学习bvp信号的周期特征，具体函数表示为：其中，，分别表示重建的时空图和真实的时空图一行的像素值；pc（
·
）表示皮尔逊相关性；c和n
roi
分别表示通道数和roi的数目，其中，n
roi
=t；综上所述，重建阶段的总体损失函数为：其中，超参数λ∈{0,1}。7.根据权利要求1所述的基于掩码自编码器进行远程生理测量的自监督预训练方法，其特征在于，步骤8中所述的训练好的vit编码器的输入为时空图的完整补丁；所述训练好的vit编码器的输出为：其中，；l
all
和d
e
分别表示整个st-map序列的长度和vit编码器的维度；表示输入完整数据；表示预训练好的vit编码器。8.根据权利要求1所述的基于掩码自编码器进行远程生理测量的自监督预训练方法，其特征在于，步骤9中所述的rppg预测器由一个简单的线性层和层标准化构成。9.根据权利要求1所述的基于掩码自编码器进行远程生理测量的自监督预训练方法，其特征在于，所述步骤10中具体包括以下内容：步骤10.1、通过选择预测的rppg信号与真实的bvp信号之间计算的负皮尔逊相关损失
来预测rppg信号，具体为：其中，s
pr
和s
gt
分别表示预测的rppg信号和真实的bvp信号；pc（
·
）表示皮尔逊相关性；步骤10.2、利用频域损失进行更好的预测，计算真实心率与估计rppg信号频谱分布之间的交叉熵误差，具体为：其中，psd（
·
）表示预测rppg信号的功率谱密度；ce（
·
）表示交叉熵损失；指真实心率，具体表示为一个单热向量hr=[0，
…
，0,1,0，
…
]，“1”表示真实心率对应的索引；表示预测信号；步骤10.3、综合步骤10.1-10.2的内容，rppg预测阶段的整体损失函数具体为：其中，参数γ∈{0,1}，在不同的数据集之间进行调整。

技术总结
本发明公开了基于掩码自编码器进行远程生理测量的自监督预训练方法，属于计算机视觉技术领域；本发明提出了rPPG-MAE，它采用ST-Map作为输入，利用掩码自动编码器(MAE)进行自监督的ViT预训练。据我们所知，这是第一次探索在具有挑战性的rPPG任务上使用ST-Map输入的自监督学习，例如约束较少的VIPL-HR数据集。本发明设计了一个新的rPPG损失函数来约束MAE预训练任务。提出的rPPG损失比原始MAE中采用的原始像素重建损失更适合于预训练，使ViT能够有效地学习rPPG信号的周期信息。除了原始ST-Map，本发明还探索了几种rPPG任务相关的重构目标。提出了带通滤波的ST-Map，将频率限制在心率信号范围内，有助于网络学习有用的周期信息。息。息。


技术研发人员：刘鑫 张雨婷 余梓彤 岳焕景 杨敬钰
受保护的技术使用者：天津大学
技术研发日：2023.04.24
技术公布日：2023/7/7