基于视频和调频连续波雷达信息融合的非接触式人体呼吸率测量方法

1.本发明涉及非接触式生理信号检测及分析技术领域，具体涉及到一种基于视频和调频连续波雷达信息融合的非接触式呼吸率测量方法。


背景技术：

2.呼吸频率(rr)是评估人类身心状态最重要的生命体征之一。健康的成年人正常的rr值范围从每分钟12次呼吸(bpm)到24bpm。rr值处于正常范围之外，通常与一些疾病密切相关，如呼吸暂停、充血性心力衰竭或心脏骤停，因此监测rr值具有重要意义。传统的呼吸监测方法是使用呼吸带或呼吸面罩等接触式传感器紧密地附着在皮肤上进行测量，容易使受试者感到不适，对受试者的一些活动也造成干扰。因此，非接触式的rr监测技术，受到越来越多的关注。在各种非接触式呼吸监测方法中，基于计算机视觉或基于雷达开展呼吸微小运动监测的方法成为主流，其中基于消费级摄像机的监测方法由于其普遍性和低成本成为热门研究方向，基于调频连续波(fmcw)雷达的监测方法由于其光照鲁棒性和高探测精度也受到越来越多的关注。
3.基于视频的呼吸测量方法是采用计算机视觉技术测量人类的呼吸活动引起肩部和胸口的起伏。在视频中这种变化体现在相应区域像素点的位移和强度变化。常用方法包括光流法、profile互相关、光体积描记术(ppg)等。比视频方法，基于调频连续波雷达的rr测量不受光照条件的影响。基于调频连续波雷达的呼吸测量方法是根据多普勒效应，测量雷达回波信号受人体呼吸运动调制引起的相位变化。主要借助两种组装的图像：范围慢时间图像和距离角度图。然而目前的方法大多假定受试者是静止状态或存在随机身体运动的情况，在自发的大振幅身体运动的情况下，呼吸信号受到严重的污染，已有的测量方法可能失效。近年来，多种模态融合测量受到越来越人的关注，已有工作包括摄像机辅助雷达进行运动去噪，然而这种方法在光照条件较差的情况下无法正常工作。除此之外，也包括基于统计方法的决策融合策略，如贝叶斯估计、最大似然估计，这些基于模型的方法可以很好的去除噪声，但它仅限于在单一场景下使用，泛化能力较差。因此在多种自发运动场景下进行呼吸测量非常具有挑战性。


技术实现要素：

4.本发明是为了解决上述技术上的不足，提供一种基于视频和调频连续波雷达信息融合的非接触式人体呼吸率测量方法，以期能实现在多种自发运动场景下更加鲁棒的呼吸测量，从而能提升测量准确性。
5.本发明为解决技术问题采用如下方案：
6.本发明一种基于视频和调频连续波雷达信息融合的非接触式人体呼吸率测量方法的特点在于，包括以下步骤：
7.步骤一、双模态数据生成；
8.步骤1.1、视频测量部分；
9.从受试者的j帧视频图像中提取左右两个肩部感兴趣区域的特征点运动轨迹时间序列；其中，令第j帧肩部感兴趣区域的n个特征点的坐标信息记为其中，表示第j帧视频图像中肩部感兴趣区域的第n个特征点的坐标信息，j∈[2,j]；
[0010]
由j帧肩部感兴趣区域的第n个特征点的坐标信息分别生成垂直像素运动轨迹和水平像素运动轨迹n＝1,
…
,n；其中，和分别表示第j帧肩部感兴趣区域的第n个特征点的横坐标和纵坐标；
[0011]
步骤1.2、雷达测量部分；
[0012]
从受试者t帧雷达原始数据中获取探测区域内的距离角度图时间序列{rm
t
,t＝1,2,
…
,t}；其中，rm
t
表示第t帧的距离角度图；
[0013]
步骤二、双模态数据预处理与单一模态测量；
[0014]
步骤2.1、视频测量部分；
[0015]
步骤2.1.1、对垂直像素运动轨迹y(n)和水平像素运动轨迹x(n)分别进行带通滤波后，再采用快速傅里叶变换分别计算出x(n)的频谱f
x(n)
、y(n)的频谱f
y(n)
，从而采用谱减法得到去噪后垂直像素运动轨迹y(n)的剩余频谱f'
y(n)
；若f'
y(n)
的振幅为负值，则令f'
y(n)
＝0；否则，采用快速傅里叶变换的逆变换将f'
y(n)
转换为时域信号y'(n)；
[0016]
步骤2.1.2、采用主成分分析提取y'(n)中累计贡献率大于阈值的波形并在时域求和，得到左、右肩部的求和结果，相应记为x(1)和x(2)；
[0017]
步骤2.1.3、采用串行自适应噪声的完全集合经验模态分解方法对波形进行分解，得到若干个本征模态函数；选取信噪比最高的若干个本征模态函数采用快速傅里叶变换分别求取其主频，最后选取出现次数最多的主频记为rr1，其对应的信噪比记为snr1；
[0018]
步骤2.2、雷达测量部分；
[0019]
步骤2.2.1、采用静态杂波去除方法对距离角度图时间序列{rm
t
,t＝1,2,
…
,t}进行处理，得到静态杂波去除后的t帧距离角度图{rm'
t
,t＝1,2,
…
,t}；其中，rm'
t
为静态杂波去除后的第t帧的距离角度图；
[0020]
步骤2.2.2、采用恒虚警检测器对{rm'
t
,t＝1,2,
…
,t}进行处理，得到目标位置坐标集合{(px
t
,py
t
),t＝1,2,
…
,t}，(px
t
,py
t
)表示rm'
t
的目标位置坐标集合；
[0021]
令目标位置坐标集合{(px
t
,py
t
),t＝1,2,
…
,t}所对应的幅值集合为,t}所对应的幅值集合为其中，表示(px
t
,py
t
)对应的幅值集合；
[0022]
步骤2.2.3、将rm'
t
的目标位置坐标集合(px
t
,py
t
)内每个坐标点沿距离方向取其相邻的两个点，并取三个坐标点的均值后作为每个坐标点的新幅值，从而得到(px
t
,py
t
)对应的新幅值集合进而得到新的距离角度图rm”t
；
[0023]
步骤2.2.4、根据新幅值集合计算新的距离角度图rm”t
中每个目标位置的相位值，并将t帧的第i个目标位置的相位值按帧连接后，得到第i段相位变化信号共获取i段相位变化信号其中，表示第t帧的第i个目
标位置的相位值，且每段相位变化信号含t帧；
[0024]
步骤2.2.5、采用相位解缠绕将每一帧的相位值缩小在-π至π的范围内，再采用差分、平滑、带通滤波对缩小后的相位值进行处理，得到去除噪声后的i段相位变化信号；
[0025]
步骤2.2.6、选取处理后的i段相位变化信号中信噪比最高的两段信号记为x(3)和x(4)；
[0026]
步骤2.2.7、按照步骤2.1.3的过程对去除噪声后的i段相位变化信号进行处理，得到主频rr6及其对应的信噪比snr6；
[0027]
步骤三、特征级融合；
[0028]
步骤3.1、将视频预处理结果x(1)和x(2)与雷达预处理结果x(3)和x(4)进行归一化操作后，得到归一化后的四个输入信号，并将其中第r个输入信号记为其中，表示第r个输入信号在第f个点的取值，f表示样本量，r＝1,2,3,4；
[0029]
步骤3.2、令m为嵌入的窗口长，且将第r个输入信号x'(r)嵌入到汉克尔轨迹矩阵中，得到维数为m
×
k的第r个嵌入后的汉克尔轨迹矩阵h
(r)
，其中，k表示构成子序列的数量，且k＝f-m+1；
[0030]
利用多元奇异谱分析法将所有嵌入后的汉克尔轨迹矩阵{h
(r)
,r＝1,2,
…
,4}嵌入为维数为m
×k×
4的垂直形式h；
[0031]
步骤3.3、对h进行奇异值分解，得到4
×
m个特征值记为λ1,λ2,...,λe,...,λ
4m
及其对应的特征向量u1,u2,...,ue,...,u
4m
；其中，λe表示第e个特征值，ue表示第e个特征值λe对应的特征向量；
[0032]
设h秩为k，计算第g个特征值λg对应的右奇异向量并计算第g个降维矩阵g＝1,2,...,k，hg的秩为1，hg的维度为4m
×
k；
[0033]
步骤3.4、采用反对角平均计算法将hg转换为第g段呼吸脉冲信号转换为第g段呼吸脉冲信号从而得到k段呼吸脉冲信号其中，表示第g段呼吸脉冲信号第f个点对应的幅值；
[0034]
将k段呼吸脉冲信号分为分为其中，表示第w段呼吸脉冲信号；表示将k/4的结果进行向下取整的操作；
[0035]
选择第一组呼吸脉冲信号作为特征级融合结果；
[0036]
步骤3.5、采用快速傅里叶变换分别计算的主频rr2、的主频rr3、的主频rr4、的主频rr5，的信噪比snr2、的信噪比snr3、的信噪比snr4、的信噪比snr5；
[0037]
步骤四、决策级融合；
[0038]
将信噪比{snrs,s＝1,2,
…
,6}求和后，得到信噪比之和记为snr
sum
；其中，snrs表示
第s种呼吸信号对应的信噪比；
[0039]
对于第s种呼吸信号对应的主频rrs，第s种呼吸信号对应的权值为snrs/snr
sum
，s＝1,2,
…
,6；从而计算两级融合结果
[0040]
本发明一种电子设备，包括存储器以及处理器的特点在于，所述存储器用于存储支持处理器执行所述非接触式人体呼吸率测量方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
[0041]
本发明一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序的特点在于，所述计算机程序被处理器运行时执行所述非接触式人体呼吸率测量方法的步骤。
[0042]
与已有技术相比，本发明的有益效果体现在：
[0043]
1、本发明提出了一种具有两级融合的运动鲁棒非接触式rr测量方法，在特征融合层面，引入了多元奇异谱分析(mssa)方法作为特征融合策略，首次提出了将调频连续波雷达和摄像机进行特征级融合测量呼吸的方法，有效地解决了模态间不匹配的问题，提高了rr测量结果的鲁棒性；
[0044]
2、本发明在决策融合层面，将调频连续波雷达和摄像机的特征级融合的结果以及单一模态结果共同作为决策级融合的输入，并根据呼吸信号的信噪比(snr)对所有rr结果进行加权求和，进一步提高了目标rr值的可靠性；
[0045]
3、本发明在多种运动场景下，对所提的rr融合测量方法开展了评估。实验结果证明了该方法在多场景下rr测量的鲁棒性，其有效地拓展了消费级摄像机和调频连续波雷达融合在rr测量方面的应用范围。
附图说明
[0046]
图1为本发明方法流程图；
[0047]
图2为本发明定位视频帧中肩部感兴趣区域的位置示意图；
[0048]
图3为本发明生成和处理距离角度图的对比图；
[0049]
图4a为本发明在讲话场景下四种比较方法的bland-altman分析对比图；
[0050]
图4b为本发明在行走场景下四种比较方法的bland-altman分析对比图；
[0051]
图4c为本发明在跑步场景下四种比较方法的bland-altman分析对比图；
[0052]
图4d为本发明在变化场景下四种比较方法的bland-altman分析对比图；
[0053]
图5为本发明在每个融合阶段均方根误差的箱型图；
[0054]
图6为本发明在不同的窗长下均方根误差和平均皮尔逊系数γ的折线图。
具体实施方式
[0055]
本实施例中，一种基于视频和调频连续波雷达信息融合的非接触式人体呼吸率测量方法，是将视频和调频连续波雷达信号分别去噪后通过多元奇异谱分析方法进行特征融合，之后根据信噪比加权进行决策融合；具体流程如图1所示，包括以下步骤：
[0056]
步骤一、双模态数据生成；
[0057]
步骤1.1、视频测量部分；
[0058]
首先获取j帧视频图像，采用viola-jones面部检测器定位出面部的外接矩形；接下来，根据人体面部和肩部的几何关系、受试者与相机的距离以及视频的分辨率，定位出第
一帧视频图像中双肩部感兴趣区域并通过good feature to track技术确定每个肩部感兴趣区域中n个特征点的坐标信息其中，表示第一帧视频图像中单个肩部感兴趣区域的第j个特征点的坐标信息，j∈[2,j]；然后，采用kanade lucas-tomasi(klt)算法对上述n个特征点进行跟踪；
[0059]
由j帧肩部感兴趣区域的第n个特征点的坐标信息分别生成垂直像素运动轨迹和水平像素运动轨迹n＝1,
…
,n；其中，和分别表示第j帧肩部感兴趣区域的第n个特征点的横坐标和纵坐标；第一帧视频中定义的感兴趣区域如图2所示。
[0060]
步骤1.2、雷达测量部分；
[0061]
首先获取t帧雷达原始二进制数据，随后，采用通道解析方法获取第一帧至第t帧数据并将其in-phase通道和quadrature通道数据合并成为复信号；然后提取第一帧数据并重组得到尺寸为n_rx*n_samples*n_chirps的三维数据块v1，通过相同的方法获取第
t
帧的数据块vt，最终共获取t帧数据块集合{v
t
,t＝1,2,
…
,t}。其中，n_rx表示接收天线的数量，n_samples表示每个chirp的采样点数，n_chirps表示每一帧的chirp数量；
[0062]
接下来，对第一帧三维数据块v1沿n_chirps维选取中间值点，取包含该点且垂直于n_chirps维的切面，尺寸为n_rx*n_samples，记为mp1：随后沿n_samples维采用快速傅里叶变换对mp1进行相干积累，然后沿n_rx维度对mp1采用180点快速傅里叶变换得到第1帧距离角度图，记为rm1；通过相同的方法获取第t帧的距离角度图，记为rm
t
，最终共获取t帧距离角度图{rm
t
,i＝1,2,
…
,t}。
[0063]
步骤二、双模态数据预处理与单一模态测量；
[0064]
步骤2.1、视频测量部分；
[0065]
步骤2.1.1、采用0.2～0.5hz巴特沃斯滤波器对垂直像素运动轨迹y(n)和水平像素运动轨迹x(n)分别进行带通滤波，接下来，采用快速傅里叶变换分别计算出x(n)的频谱f
x(n)
、y(n的频谱f
y(n)
，随后，采用谱减法得到去噪后y垂直像素运动轨迹y(n)的剩余频谱f'
y(n)
；若f'
y(n)
的振幅为负值，则令f'
y(n)
＝0；如果不为负值则直接采用快速傅里叶变换的逆变换将f
y(n)
'转换为时域信号y'(n)；
[0066]
步骤2.1.2、采用主成分分析提取y'(n)中累计贡献率大于95％的波形并在时域求和，得到左右两个肩部分别求和的结果记为c(1)和c(2)；
[0067]
步骤2.1.3、采用串行自适应噪声的完全集合经验模态分解方法对c(1)和x(2)进行分解得到若干个本征模态函数，选取信噪比最高的若干个本征模态函数采用快速傅里叶变换分别求取其主频，最后选取出现次数最多的主频记为rr1，对应的信噪比记为snr1。
[0068]
步骤2.2、雷达测量部分；
[0069]
步骤2.2.1、首先采用静态杂波去除方法，将第二帧距离角度图rm2与第一帧的距离角度图rm1对应点的幅值作差，如果存在差值为零的点，则将该点的幅值置零，得到新的距离角度图rm'1，以此类推得到第t帧的距离角度图记为rm'1，最终共获取静态杂波去除后的t帧距离角度图{rm'
t
,i＝1,2,
…
,t}；
[0070]
步骤2.2.2、采用恒虚警检测器对{rm'
t
,t＝1,2,
…
,t}进行处理，得到目标位置坐
标集合{(px
t
,py
t
),t＝1,2,
…
,t}，(px
t
,py
t
)表示rm'
t
的目标位置坐标集合；
[0071]
令目标位置坐标集合{(px
t
,py
t
),t＝1,2,
…
,t}所对应的幅值集合为,t}所对应的幅值集合为其中，表示(px
t
,py
t
)对应的幅值集合；
[0072]
步骤2.2.3、将rm'
t
的目标位置坐标集合(px
t
,py
t
)内每个坐标点沿距离方向取其相邻的两个点并取三个坐标点的均值，并作为每个坐标点的新幅值，从而得到(px
t
,py
t
)对应的新幅值集合进而得到新的距离角度图rm”t
；
[0073]
步骤2.2.4、根据新幅值集合计算新的距离角度图rm”t
中每个目标位置的相位值，并将t帧的第i个目标位置的相位值按帧连接后，得到第i段相位变化信号共获取i段相位变化信号其中，表示第t帧的第i个目标位置的相位值，每段相位变化信号含t帧；
[0074]
步骤2.2.5、采用相位解缠绕将相位值缩小在-π至π的范围内，再采用差分、平滑、带通滤波对缩小后的相位值进行处理，得到去除噪声后的i段相位变化信号；
[0075]
步骤2.2.6、选取预处理后的i段相位变化信号中信噪比最高的两段信号记为x(3)和x(4)；
[0076]
步骤2.2.7、按照步骤2.1.3的过程对去除噪声后的i段相位变化信号进行处理，得到主频rr6及其对应的信噪比snr6；恒虚警检测器处理前后的距离角度图如图3所示。
[0077]
步骤三、特征级融合；
[0078]
步骤3.1、将视频预处理结果x(1)和x(2)与雷达预处理结果x(3)和x(4)进行归一化操作后，得到归一化后的四个输入信号，并将其中第r个输入信号记为其中，表示第r个输入信号第f个点的取值，f表示样本量，r＝1,2,3,4；
[0079]
步骤3.2、令m为嵌入的窗口长，且将第r个输入信号x'(r)嵌入到汉克尔轨迹矩阵中，得到维数为m
×
k的第r个嵌入后的汉克尔轨迹矩阵h
(r)
，其中，k表示构成子序列的数量，且k＝f-m+1；
[0080]
利用多元奇异谱分析法将所有嵌入后的汉克尔轨迹矩阵{h
(r)
,r＝1,2,
…
,4}嵌入为维数为m
×k×
4的垂直形式h；
[0081]
步骤3.3、对h进行奇异值分解，得到4
×
m个特征值记为λ1,λ2,...,λe,...,λ
4m
及其对应的特征向量u1,u2,...,ue,...,u
4m
；其中，λe表示第e个特征值，ue表示第e个特征值λe对应的特征向量；
[0082]
设h秩为k，计算第g个特征值λg对应的右奇异向量并计算第g个降维矩阵g＝1,2,...,k，hg的秩为1，hg的维度为4m
×
k；
[0083]
步骤3.4、采用反对角平均计算法将hg转换为第g段呼吸脉冲信号转换为第g段呼吸脉冲信号从而得到k段呼吸脉冲信号其中，表示第g段呼吸脉冲信号第f个点对应的幅值；当g＝r时，表示的近似值；
[0084]
将k段呼吸脉冲信号分为分为其中，表示第w段呼吸脉冲信号；表示将k/4的结果进行向下取整的操作；
[0085]
选择第一组呼吸脉冲信号作为特征级融合结果；
[0086]
步骤3.5、采用快速傅里叶变换分别计算的主频rr2、的主频rr3、的主频rr4、的主频rr5，的信噪比snr2、的信噪比snr3、的信噪比snr4、的信噪比snr5；
[0087]
步骤四、决策级融合；
[0088]
将信噪比{snrs,s＝1,2,
…
,6}求和后，得到信噪比之和记为snr
sum
；其中，snrs表示第s种呼吸信号对应的信噪比；
[0089]
对于第s种呼吸信号对应的主频rrs，第s种呼吸信号对应的权值为snrs/snr
sum
，s＝1,2,
…
,6；从而计算两级融合结果
[0090]
本实施例中，一种电子设备，包括存储器以及处理器，该存储器用于存储支持处理器执行上述方法的程序，该处理器被配置为用于执行该存储器中存储的程序。
[0091]
本实施例中，一种计算机可读存储介质，是在计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法的步骤。
[0092]
如图4a-图4d所示，设计比较实验通过bland-altman分析来体现在bsipl-rr数据集中设置的四种自发运动场景(静止、行走、跑步、变化)下两级融合的有效性，四种比较方法分别为：(1)视频rr测量结果(2)调频连续波雷达rr测量结果(3)特征级融合结果根据4个多元奇异谱分析结果的snr加权求和作为特征级融合结果(4)决策级融合结果根据2个单一模态测量结果和4个多元奇异谱分析结果(共6个结果)的snr加权求和作为决策级融合结果，即rr
fusion
；由bland-altman图可知，两级融合方法得到的结果与参考rr值的误差最小，这体现在95％一致性范围最窄，样本点更加集中地分布在靠近0bpm的位置。对于每个场景采用两级融合方法仍存在一些异常值，但相比两种单一模态测量方法以及特征级融合方法，异常值的数量显著减少；
[0093]
图5显示了一个箱型图，该图将每个融合测量阶段的均方根误差(rmse)进行了比较，图中蓝色方框表示每个rmse通过其四分位数的描述组，其中每个方框中的红线表示每个阶段rmse的中位数；由图可知，两级融合方法提高了结果的准确性和系统的稳定性；
[0094]
图6显示了多元奇异谱分析窗口长度对测量误差rmse和平均皮尔逊系数的影响。

技术特征：
1.一种基于视频和调频连续波雷达信息融合的非接触式人体呼吸率测量方法，其特征在于，包括以下步骤：步骤一、双模态数据生成；步骤1.1、视频测量部分；从受试者的j帧视频图像中提取左右两个肩部感兴趣区域的特征点运动轨迹时间序列；其中，令第j帧肩部感兴趣区域的n个特征点的坐标信息记为其中，表示第j帧视频图像中肩部感兴趣区域的第n个特征点的坐标信息，j∈[2，j]；由j帧肩部感兴趣区域的第n个特征点的坐标信息分别生成垂直像素运动轨迹和水平像素运动轨迹n＝1，...，n；其中，和分别表示第j帧肩部感兴趣区域的第n个特征点的横坐标和纵坐标；步骤1.2、雷达测量部分；从受试者t帧雷达原始数据中获取探测区域内的距离角度图时间序列{rm
t
，t＝1，2，...，t}；其中，rm
t
表示第t帧的距离角度图；步骤二、双模态数据预处理与单一模态测量；步骤2.1、视频测量部分；步骤2.1.1、对垂直像素运动轨迹y(n)和水平像素运动轨迹x(n)分别进行带通滤波后，再采用快速傅里叶变换分别计算出x(n)的频谱f
x(n)
、y(n)的频谱f
y(n)
，从而采用谱减法得到去噪后垂直像素运动轨迹y(n)的剩余频谱f
′
y(n)
；若f
′
y(n)
的振幅为负值，则令f
′
y(n)
＝0；否则，采用快速傅里叶变换的逆变换将f
′
y(n)
转换为时域信号y
′
(n)；步骤2.1.2、采用主成分分析提取y
′
(n)中累计贡献率大于阈值的波形并在时域求和，得到左、右肩部的求和结果，相应记为x(1)和x(2)；步骤2.1.3、采用串行自适应噪声的完全集合经验模态分解方法对波形进行分解，得到若干个本征模态函数；选取信噪比最高的若干个本征模态函数采用快速傅里叶变换分别求取其主频，最后选取出现次数最多的主频记为rr1，其对应的信噪比记为snr1；步骤2.2、雷达测量部分；步骤2.2.1、采用静态杂波去除方法对距离角度图时间序列{rm
t
，t＝1，2，...，t}进行处理，得到静态杂波去除后的t帧距离角度图{rm
′
t
，t＝1，2，...，t}；其中，rm
′
t
为静态杂波去除后的第t帧的距离角度图；步骤2.2.2、采用恒虚警检测器对{rm
′
t
，t＝1，2，...，t}进行处理，得到目标位置坐标集合{(px
t
，py
t
)，t＝1，2，...，t}，(px
t
，py
t
)表示rm
′
t
的目标位置坐标集合；令目标位置坐标集合{(px
t
，py
t
)，t＝1，2，...，t}所对应的幅值集合为)，t＝1，2，...，t}所对应的幅值集合为其中，表示(px
t
，py
t
)对应的幅值集合；步骤2.2.3、将rm
′
t
的目标位置坐标集合(px
t
，py
t
)内每个坐标点沿距离方向取其相邻的两个点，并取三个坐标点的均值后作为每个坐标点的新幅值，从而得到(px
t
，py
t
)对应的新幅值集合进而得到新的距离角度图rm
″
t
；
步骤2.2.4、根据新幅值集合计算新的距离角度图rm
″
t
中每个目标位置的相位值，并将t帧的第i个目标位置的相位值按帧连接后，得到第i段相位变化信号共获取i段相位变化信号其中，表示第t帧的第i个目标位置的相位值，且每段相位变化信号含t帧；步骤2.2.5、采用相位解缠绕将每一帧的相位值缩小在-π至π的范围内，再采用差分、平滑、带通滤波对缩小后的相位值进行处理，得到去除噪声后的i段相位变化信号；步骤2.2.6、选取处理后的i段相位变化信号中信噪比最高的两段信号记为x(3)和x(4)；步骤2.2.7、按照步骤2.1.3的过程对去除噪声后的i段相位变化信号进行处理，得到主频rr6及其对应的信噪比snr6；步骤三、特征级融合；步骤3.1、将视频预处理结果x(1)和x(2)与雷达预处理结果x(3)和x(4)进行归一化操作后，得到归一化后的四个输入信号，并将其中第r个输入信号记为其中，表示第r个输入信号在第f个点的取值，f表示样本量，r＝1，2，3，4；步骤3.2、令m为嵌入的窗口长，且将第r个输入信号x
′
(r)嵌入到汉克尔轨迹矩阵中，得到维数为m
×
k的第r个嵌入后的汉克尔轨迹矩阵h
(r)
，其中，k表示构成子序列的数量，且k＝f-m+1；利用多元奇异谱分析法将所有嵌入后的汉克尔轨迹矩阵{h
(r)
，r＝1，2，...，4}嵌入为维数为m
×
k
×
4的垂直形式h；步骤3.3、对h进行奇异值分解，得到4
×
m个特征值记为λ1，λ2，...，λ
e
，...，λ
4m
及其对应的特征向量u1，u2，...，u
e
，...，i
4m
；其中，λ
e
表示第e个特征值，u
e
表示第e个特征值λ
e
对应的特征向量；设h秩为k，计算第g个特征值λ
g
对应的右奇异向量并计算第g个降维矩阵h
g
的秩为1，h
g
的维度为4m
×
k；步骤3.4、采用反对角平均计算法将h
g
转换为第g段呼吸脉冲信号转换为第g段呼吸脉冲信号从而得到k段呼吸脉冲信号其中，表示第g段呼吸脉冲信号第f个点对应的幅值；将k段呼吸脉冲信号分为分为其中，表示第w段呼吸脉冲信号；表示将k/4的结果进行向下取整的操作；选择第一组呼吸脉冲信号作为特征级融合结果；步骤3.5、采用快速傅里叶变换分别计算的主频rr2、的主频rr3、的主频rr4、的主频rr5，的信噪比snr2、的信噪比snr3、的信噪比snr4、的信噪比snr5；
步骤四、决策级融合；将信噪比{snr
s
，s＝1，2，...，6}求和后，得到信噪比之和记为snr
sum
；其中，snr
s
表示第s种呼吸信号对应的信噪比；对于第s种呼吸信号对应的主频rr
s
，第s种呼吸信号对应的权值为snr
s
/snr
sum
，s＝1，2，...，6；从而计算两级融合结果2.一种电子设备，包括存储器以及处理器，其特征在于，所述存储器用于存储支持处理器执行权利要求1所述非接触式人体呼吸率测量方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。3.一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1所述非接触式人体呼吸率测量方法的步骤。

技术总结
本发明公开了一种基于视频和调频连续波雷达信息融合的非接触式人体呼吸率测量方法，包括：1分别处理视频和雷达双模态数据得到像素运动轨迹和距离角度图时间序列；2视频测量部分采用谱减法和主成分分析技术进行预处理，雷达测量部分采用静态杂波去除和平均滤波技术进行预处理，两种模态均采用经验模态分解技术进行单一模态测量；3特征级融合，将预处理后的双模态信号采用多元奇异谱分析提取共享的呼吸信号；4决策级融合，根据特征级融合结果和单一模态测量结果的信噪比加权频域估计值求和得到最终测量结果。本发明可在多种自发运动场景下进行呼吸测量，测量结果相比单一模态方法有显著提升，能有效地拓展视频和雷达融合测量的应用范围。量的应用范围。量的应用范围。


技术研发人员：宋仁成 任聪 杨学志 李畅 成娟 陈勋
受保护的技术使用者：合肥工业大学
技术研发日：2023.05.08
技术公布日：2023/8/4