一种基于毫米波雷达的跌倒检测方法、系统及设备

1.本技术涉及人体行为检测技术领域，尤其涉及一种基于毫米波雷达的跌倒检测方法、系统及设备。


背景技术：

2.随着生活水平和保健水平的提高，人口老龄化呈上升趋势，目前我国65岁及以上老年人已达1.9亿，约占我国人口总数的13.5％。在老年人意外伤害中，跌倒是我国65岁以上老年人意外死亡的首位原因，按照统计得到的30％的发生率估算每年将有5000多万老年人至少会发生一次跌倒，严重威胁着老年人的身心健康、日常活动及独立生活能力，也增加了家庭和社会的负担。及时发现老人跌倒并进行有效的处理，成为当今社会的一个聚焦点。
3.现有跌倒行为检测系统分为两类：可穿戴系统(如使用可穿戴速度传感器的检测系统)和非穿戴系统(如使用相机的检测系统)。然而，可穿戴式传感器需要经常佩戴和更换，对于老年人来说并不是很友好。光、烟雾、灰尘和温度也会干扰相机，导致最终检测结果不准确，而且有可能导致隐私泄露。


技术实现要素：

4.本技术实施例提供了一种基于毫米波雷达的跌倒检测方法、系统及设备，能有效提高跌倒检测的效率以及准确率，具有较好实用性和易用性，而且能够更好地保护用户的隐私。
5.第一方面，本技术提供一种基于毫米波雷达的跌倒检测方法，包括：对基于上述毫米波雷达获取到的点云数据进行聚类，得到人体形态信息，上述人体形态信息中包括人体运动信息；对上述人体形态信息进行预筛选处理，筛选出人体疑似跌倒信息；将上述人体疑似跌倒信息输入到训练好的变分自编码网络中进行跌倒判断，由上述变分自编码网络输出最终的跌倒判断结果。
6.本技术实施例通过对毫米波雷达获取到的点云数据进行聚类得到的人体运动进行预筛选处理后，筛选出人体疑似跌倒信息，再利用无监督的变分自编码网络对筛选出的人体疑似跌倒信息进一步判断是否发生了跌倒事件，提高了跌倒检测的效率以及准确率，具有较好实用性和易用性，鲁棒性较高，而且能够更好地保护用户的隐私。
7.在第一方面提供的一个可选方式中，上述对上述人体形态信息进行预筛选处理，筛选出人体疑似跌倒信息，包括：
8.根据上述人体形态信息确定人体重心轨迹；
9.根据上述人体重心轨迹，确定人体重心的垂直速度，上述垂直速度为基于相邻两个人体重心计算得到的垂直向下运动的速度；
10.根据上述人体重心的垂直速度和预设速度阈值的比较结果，筛选出人体疑似跌倒信息。
11.在第一方面提供的另一个可选方式中，上述根据上述人体形态信息确定人体重心
轨迹，包括：
12.通过卡尔曼滤波算法对上述人体形态信息进行滤波处理，得到人体重心轨迹。
13.在第一方面提供的另一个可选方式中，上述根据上述人体重心轨迹，确定人体重心的垂直速度中，包括：
14.将基于上述人体重心轨迹计算得到的多个人体重心的垂直速度的平均值，确定为上述人体重心的垂直速度。
15.在第一方面提供的另一个可选方式中，上述将上述人体疑似跌倒信息输入到训练好的变分自编码网络中进行跌倒判断，由上述变分自编码网络输出最终的跌倒判断结果中，包括：
16.通过预设的损失函数，通过上述变分自编码网络计算上述人体疑似跌倒信息的损失值；
17.根据损失值与预设阈值的比较结果，判断是否发生跌倒事件；
18.其中，上述预设的损失函数为：
19.l
vae
＝eq[logq(z)]-eq[logp(z)]-eq[logp(x|z)]
[0020]
其中，l
vae
表示损失值，eq表示期望，q()表示高斯分布，q(z)表示变分自编码网络输出z的高斯分布，z表示变分自编码网络的输出，p()表示概率分布，p(z)表示变分自编码网络输出z的概率分布，p(x|z)表示在变分自编码网络输出为z时，行为x的概率分布，x表示人体疑似跌倒信息。
[0021]
在第一方面提供的另一个可选方式中，上述变分自编码网络包括编码器和解码器，上述人体疑似跌倒信息中至少包括两帧图像，上述通过预设的损失函数，通过上述变分自编码网络计算上述人体疑似跌倒信息的损失值，包括：
[0022]
通过上述编码器确定上述人体疑似跌倒信息中每一帧图像中目标人体的潜在运动的后验概率；
[0023]
根据上述后验概率对上述人体疑似跌倒信息中每一帧图像的特征进行压缩采样，得到潜在运动特征向量；
[0024]
通过解码器对上述潜在运动特征向量进行重构，得到潜在运动状态序列图像；
[0025]
通过预设损失函数对上述潜在运动状态序列图像进行拟合，计算上述人体疑似跌倒信息的损失值。
[0026]
第二方面，本技术提供一种基于毫米波雷达的跌倒检测系统，包括：
[0027]
点云聚类单元，用于对基于上述毫米波雷达获取到的点云数据进行聚类，得到人体形态信息，上述人体形态信息中包括人体运动信息；
[0028]
人体疑似跌倒信息筛选单元，用于对上述人体形态信息进行预筛选处理，筛选出人体疑似跌倒信息；
[0029]
跌倒判断单元，用于将上述人体疑似跌倒信息输入到训练好的变分自编码网络中进行跌倒判断，由上述变分自编码网络输出最终的跌倒判断结果。
[0030]
在第二方面提供的一个可选方式中，人体疑似跌倒信息筛选单元，包括：
[0031]
人体重心轨迹确定子单元，用于根据上述人体形态信息确定人体重心轨迹；
[0032]
垂直速度确定子单元，用于根据上述人体重心轨迹，确定人体重心的垂直速度，上述垂直速度为基于相邻两个人体重心计算得到的垂直向下运动的速度；
[0033]
人体疑似跌倒信息筛选子单元，用于根据上述人体重心的垂直速度和预设速度阈值的比较结果，筛选出人体疑似跌倒信息。
[0034]
在第二方面提供的另一个可选方式中，人体重心轨迹确定子单元具体用于：
[0035]
通过卡尔曼滤波算法对上述人体形态信息进行滤波处理，得到人体重心轨迹。
[0036]
在第二方面提供的另一个可选方式中，垂直速度确定子单元具体用于：
[0037]
将基于上述人体重心轨迹计算得到的多个人体重心的垂直速度的平均值，确定为上述人体重心的垂直速度。
[0038]
在第二方面提供的另一个可选方式中，跌倒判断单元，包括：
[0039]
损失值计算子单元，用于通过预设的损失函数，通过上述变分自编码网络计算上述人体疑似跌倒信息的损失值；
[0040]
跌倒判断子单元，用于根据损失值与预设阈值的比较结果，判断是否发生跌倒事件；
[0041]
其中，上述预设的损失函数为：
[0042]
l
vae
＝eq[logq(z)]-eq[logp(z)]-eq[logp(x|z)]
[0043]
其中，l
vae
表示损失值，eq表示期望，q()表示高斯分布，q(z)表示变分自编码网络输出z的高斯分布，z表示变分自编码网络的输出，p()表示概率分布，p(z)表示变分自编码网络输出z的概率分布，p(x|z)表示在变分自编码网络输出为z时，行为x的概率分布，x表示人体疑似跌倒信息。
[0044]
在第二方面提供的另一个可选方式中，上述变分自编码网络包括编码器和解码器，上述人体疑似跌倒信息中至少包括两帧图像，上述损失值计算子单元具体用于：
[0045]
通过上述编码器确定上述人体疑似跌倒信息中每一帧图像中目标人体的潜在运动的后验概率；
[0046]
根据上述后验概率对上述人体疑似跌倒信息中每一帧图像的特征进行压缩采样，得到潜在运动特征向量；
[0047]
通过解码器对上述潜在运动特征向量进行重构，得到潜在运动状态序列图像；
[0048]
通过预设损失函数对上述潜在运动状态序列图像进行拟合，计算上述人体疑似跌倒信息的损失值。
[0049]
第三方面，本技术提供一种基于毫米波雷达的跌倒检测设备，包括处理器、存储器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现如第一方面或第一方面的任意可选方式上述的方法。
[0050]
第四方面，本技术提供一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现如第一方面或第一方面的任意可选方式上述的方法。
[0051]
第五方面，本技术实施例提供了一种计算机程序产品，当计算机程序产品在基于毫米波雷达的跌倒检测设备上运行时，使得基于毫米波雷达的跌倒检测设备执行上述第一方面上述的基于毫米波雷达的跌倒检测方法的步骤。
[0052]
可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
[0053]
为了更清楚地说明本技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0054]
图1是本技术实施例提供的一种基于毫米波雷达的跌倒检测方法的流程示意图；
[0055]
图2是本技术实施例提供一种人体疑似跌倒信息的筛选方法的流程示意图；
[0056]
图3是本技术实施例提供的一种计算人体疑似跌倒信息的损失值的方法的流程示意图；
[0057]
图4是本技术实施例提供的一种基于毫米波雷达的跌倒检测系统的结构示意图；
[0058]
图5是本技术实施例提供的一种基于毫米波雷达的跌倒检测设备的结构示意图。
具体实施方式
[0059]
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本技术。在其它情况中，省略对众所周知的系统、系统、电路以及方法的详细说明，以免不必要的细节妨碍本技术的描述。
[0060]
应当理解，在本技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。另外，在本技术说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0061]
还应当理解，在本技术说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本技术的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
[0062]
请参见图1，图1是本技术实施例提供的一种基于毫米波雷达的跌倒检测方法的流程示意图，详述如下：
[0063]
步骤s101，对基于毫米波雷达获取到的点云数据进行聚类，得到人体形态信息。
[0064]
在本技术实施例中，毫米波雷达安装在距离地面高度为h的墙上，有角度为θ
tilt
的旋转控件，能够很好地覆盖整个房间。以毫米波雷达获得的点云图中的点云数据为源数据，为了方便对该点云数据进行聚类，需要将该点云图中的雷达极坐标转换为雷达笛卡尔坐标，再根据角度θ
tilt
和高度h转化为地面笛卡尔坐标，其中，将雷达极坐标转换为地面笛卡尔坐标所用到转换矩阵如下：
[0065][0066]
其中，(r,θ
az
,θ
el
)分别表示雷达极坐标中的距离、方位角和俯仰角，θ
tilt
是雷达的
倾角，h是雷达到地面的高度，[x,y,z]
t
表示地面笛卡尔坐标结果。
[0067]
在将雷达极坐标转换为地面笛卡尔坐标后，每一帧图像对应一个雷达点云图，该雷达点云图上的点由向量(x,y,z,d)表示，其中d是原始的多普勒测量值。
[0068]
由于雷达点云图中的点都是相互独立的，无法分清人体和环境，因此需要对雷达点云图中的点进行聚类，从聚类后的点云图中提取出人体对应的点云数据。
[0069]
在本技术实施例中，主要使用基于密度的噪声应用程序的空间聚类dbscan(density-based spatial clustering of applications with noise)算法对得到的原始点云数据进行处理。dbscan是基于密度的聚类算法，其主要原理是，在当前雷达点云图对应的点云数据中随机选择任意一个点，并以该点为中心，在设定的半径范围内查找其它点，如果能找到，这些点将被分为一类，再以所查找到的点各自作为中心重新查找其它点，知道所有的点在设定的半径范围内不存在其它的点。在使用dbscan时，主要参数为最小样本集min_samples和半径eps，最小样本集min_samples是指一个有效的簇至少应该包含的点的数量，半径eps指的是预先设定的是距离，即多远的点可以聚为一类。
[0070]
在本技术实施例中，通过聚类算法可以有效地去除环境噪声的影响，提高了雷达点云图的图像质量，而且减少了图像的数据，提高了跌倒监测的分析效率。并且在聚类后的图像中每个类的中心点可以作为这个对应的目标的重心，也即通过聚类算法，可以得到人体形态信息中的质心的坐标(xc,yc,zc)。
[0071]
需要说明的是，毫米波雷达以每秒n帧的拍摄速率拍摄雷达点云图，因此基于毫米波雷达获取到的雷达点云图至少为一帧，当对多帧雷达点云图进行聚类后，将会得到多个人体形态信息的质心坐标，当人体静止不动时，质心坐标没有发生变化，而当人体发生运动时，相应的质心坐标也会发生变化，这时，这些多个雷达点云图对应的质心坐标表现为人体运动信息的轨迹，也即人体运动的轨迹可以表示为质心坐标构成的轨迹。
[0072]
在本技术实施例类中，在使用dbscan算法进行聚类之前，还采用恒定误报率(cfar)忽略低于预定信噪比(snr)的点，同时采用移动目标指示(mti)滤除出代表静态背景的点后，再使用dbscan算法分离每个目标，也即得到最终的人体运动信息，该人体运动信息可以准确地显示人体的运动，而且数据量更小。
[0073]
步骤s102，对上述人体形态信息进行预筛选处理，筛选出人体疑似跌倒信息。
[0074]
在本技术实施例中，人体形态信息包括有人体运动信息，人体运动信息即由运动的人体的形态信息构成，或者说仅有人体形态的运动信息，因此，对人体形态信息进行预筛选处理，可以筛选出人体疑似跌倒信息。其中人体疑似跌倒信息为人的身体发生了疑似跌倒行为的人体形态信息。
[0075]
具体的，本技术实施例采用了基于人体重心的预筛选方法来过滤大部分非摔倒的运动。对人体形态信息进行预筛选处理，筛选出人体疑似跌倒信息是为了进一步减少变分自编码网络要处理的图像数据量，减小变分自编码的计算量，提高实时性能，从而提高跌倒判断的准确率和效率。
[0076]
在本技术的一些实施例中，对人体运动信息进行卡尔曼滤波，减小环境对点云位置和状态的影响。具体的，通过卡尔曼滤波算法对人体形态信息也即人体运动信息进行滤波处理，得到人体重心轨迹。其中卡尔曼滤波算法的工作原理是：通过上一时刻的估计值预测下一时刻的值，通过预测值即下一时刻的值和估计值再进行加权得到当前时刻的估计
值，并将当前时刻的估计值作为下一个循环的输入，在预测过程中，预测下一时刻使用的参数和加权的比例会不断的更新。通过卡尔曼滤波算法可以对下一时刻的状态进行预测，并且减弱了观测值的波动性对预测结果的影响。将聚类得到的质心坐标输入到卡尔曼滤波中，即可以得到人体运动的轨迹，也即人体重心轨迹。
[0077]
请参考图2，图2是本技术实施例提供的一种人体疑似跌倒信息的筛选方法的流程示意图，详述如下：
[0078]
步骤s201，根据上述人体形态信息确定人体重心轨迹。
[0079]
在本技术实施例中，根据人体形态信息也即人体运动信息中的质心坐标信息，确定人体重心轨迹。在通过聚类算法得到人体质心坐标后，再将得到的一系列即预设时间段内的质心坐标输入到卡尔曼滤波器中，可以得到对应的人体重心轨迹。
[0080]
步骤s202，根据上述人体重心轨迹，确定人体重心的垂直速度，上述垂直速度为基于相邻两个人体重心计算得到的垂直向下运动的速度。
[0081]
在本技术实施例中，由于坠落也即跌倒与其他人类行为比如行走，躺下等的主要区别在于人体重心的垂直速度。当一个人摔倒时，身体会无法控制地移动到地面，由于重力的关系，摔倒时将会产生异常高的向下的垂直速度，而其他人类行为都没有这样的一个垂直速度。通过人体重心轨迹，可以计算得到人体重心的垂直速度。
[0082]
具体的，获取基于预设时间段内的人体运动信息得到的人体重心轨迹，计算相邻两个人体重心之间的垂直速度，取在该预设时间段内垂直速度最大的一个作为当前人体重心的垂直速度，或者，计算在该预设时间段内得到的多个垂直速度的平均值，将该平均值作为当前人体重心垂直速度。即将基于人体重心轨迹计算得到的多个人体重心的垂直速度的平均值，确定为人体重心的垂直速度。
[0083]
步骤s203，根据上述人体重心的垂直速度和预设速度阈值的比较结果，筛选出人体疑似跌倒信息。
[0084]
在本技术实施例中，通过设置适当的速度阈值，可以过滤掉97.4％的日常生活活动和95.2％的非坠落运动，同时保留垂直速度下降异常的数据，也即人体疑似跌倒数据。通过预设速度阈值，可以区分出所有的疑似跌倒行为和其他行为，这样，不仅可以提高跌倒检测的实时性能，也可以保持检测精确度。
[0085]
步骤s103，将上述人体疑似跌倒信息输入到训练好的变分自编码网络中进行跌倒判断，由上述变分自编码网络输出最终的跌倒判断结果。
[0086]
在本技术实施例中，变分自编码网络由编码器和解码器组成，其中，编码器用于通过变分推理学习每一帧图像中目标人体的潜在运动的后验概率，然后对多帧图像数据上的特征进行压缩。解码器用于重构潜在运动状态序列的可能性。
[0087]
在这里，编码器和解码器可以通过任何类型的神经网络来实现。多数情况下，解码器为编码器的镜像，编码器将输入数据x压缩为维度较低的潜在特征向量z，然后解码器在将该潜在特征向量z反向复原得到x
′
，要求x
′
尽可能地接近x。而多层感知机(mlp)在函数近似代替方面性能强大，且通用性较强，因此本技术实施例中可以采用mlp模拟x到z的非线性映射函数。除了sigmoid/tanh这些已经确定了的非线性激活函数外，mlp的主要区别就在于其权重和偏置的不同。训练目标是使x和x
′
之间的损失函数达到最小，而这与编码器mlp和解码器mlp的权重和偏置有关。这里所指的损失函数可以是分类问题中的交叉熵，也可以是
回归问题中的均方误差(mse)。
[0088]
同时，为了克服属于有监督学习的传统分类算法需要手动预处理跌倒样本数据，进行特征提取和分类训练存在的几个缺点，比如：
[0089]
1.收集跌倒数据、特别是老人的跌倒数据难度极高；
[0090]
2.采用实验人员模拟跌倒得到的数据容易带来很大的误差；
[0091]
3.由于需要从大量数据中手动记录和标注摔倒的瞬间，整理和标记非常困难，成本很高；
[0092]
4.传统分类方法没有考虑目标分离的情况。当有如吊扇等干扰源在运动时，这会造成错误。
[0093]
为了克服上述缺点，本技术实施例利用无监督的异常检测方法，来规避收集并标记现实生活中老年人跌倒数据的困难。异常检测是指在待检测数据中寻找不符合预期的行为。在本技术实施例中，符合预期的行为指正常的日常生活活动(activities of daily living，adl)，如行走、坐下、下蹲等，而跌倒则不属于这些正常的行为，也即不符合预期的行为。本技术实施例提供的基于毫米波雷达的跌倒检测方法，也即无监督的异常检测方法所使用的神经网络为变分自编码网络，只需要采用原始的adl数据进行模型训练。相比跌倒数据，采集大量adl数据所需成本极低，同时无监督的检测方法省去了数据标记的成本，这是本技术实施例的优势所在。
[0094]
在本技术实施例中，仅在正常的adl上采用半监督的异常检测方法训练变分自编码模型，这样，在遇到“看不见的”下降数据时会发生巨大的变化。通过该种方式变分自编码网络可以压缩数据维度，进而降低输入数据的冗余。而且通过该训练方法可以训练出一个既能压缩数据x又能保留其主要信息的隐特征向量。这样变分自编码网络就能以较低的损失复原出接近输入数据x的x
′
。但是，当有“看不见的”数据出现时，自编码器也会错将其压缩，之后复原，复原的结果很差。此时，损失函数会出现一个峰值，异常检测会发现这种情况。
[0095]
具体到本技术的实施例中，选择长短期记忆网络(long short-term memory，lstm)作为编码器和解码器的网络结构。lstm由遗忘门、输入门和输出门组成，维持单元内部状态。输入门处理lstm的输入。遗忘门从单元格状态中选择要保留的信息，并忘记不必要的信息。在输出门再次处理单元状态后，将计算结果作为当前时间的输出传递给下一次。与递归神经网络相比，lstm能够更好地处理长序列信息。
[0096]
作为本技术的一个具体实施，通过预设的损失函数，通过上述变分自编码网络计算上述人体疑似跌倒信息的损失值；再根据损失值与预设阈值的比较结果，判断是否发生跌倒事件；其中，上述预设的损失函数为：
[0097]
l
vae
＝eq[logq(z)]-eq[logp(z)]-eq[logp(x|z)]
[0098]
其中，l
vae
表示损失值，eq表示期望，q()表示高斯分布，q(z)表示变分自编码网络输出z的高斯分布，z表示变分自编码网络的输出，p()表示概率分布，p(z)表示变分自编码网络输出z的概率分布，p(x|z)表示在变分自编码网络输出为z时，行为x的概率分布，x表示人体疑似跌倒信息。
[0099]
在这里，当变分自编码网络的损失函数计算得到的损失值大于预设损失值时，即可认为发生了跌倒事件。
[0100]
请参考图3，图3是本技术实施例提供的一种计算人体疑似跌倒信息的损失值的方法的流程示意图，详述如下：
[0101]
步骤s301，通过上述编码器确定上述人体疑似跌倒信息中每一帧图像中目标人体的潜在运动的后验概率。
[0102]
步骤s302，根据上述后验概率对上述人体疑似跌倒信息中每一帧图像的特征进行压缩采样，得到潜在运动特征向量。
[0103]
步骤s303，通过解码器对上述潜在运动特征向量进行重构，得到潜在运动状态序列图像。
[0104]
步骤s304，通过预设损失函数对上述潜在运动状态序列图像进行拟合，计算上述人体疑似跌倒信息的损失值。
[0105]
在本技术实施例中，采用了变分自编码网络作为模型，以概率的方式而不是确定性的方式来拟合adl数据对应的雷达点云。模型的训练完全基于原始的adl数据，无需额外标注。对模型进行训练的目的在于让模型能够拟合常见的adl数据，即对于adl数据计算的损失函数值会极低。当使用时，由于模型没见过跌倒的数据，其损失函数的值会明显偏高，由此便可判断跌倒的发生。
[0106]
在本技术实施例中，通过对基于毫米波雷达获取到的点云数据进行聚类，得到人体形态信息，上述人体形态信息中包括人体运动信息；对上述人体形态信息进行预筛选处理，筛选出人体疑似跌倒信息；将上述人体疑似跌倒信息输入到训练好的变分自编码网络中进行跌倒判断，由上述变分自编码网络输出最终的跌倒判断结果，通过利用无监督的变分自编码网络对筛选出的人体疑似跌倒信息进一步判断是否发生了跌倒事件，提高了跌倒检测的效率以及准确率，具有较好实用性和易用性，鲁棒性较高，而且能够更好地保护用户的隐私。
[0107]
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
[0108]
基于上述实施例所提供的基于毫米波雷达的跌倒检测方法，本技术实施例进一步给出实现上述方法实施例的系统实施例。
[0109]
请参见图4，图4是本技术实施例提供的基于毫米波雷达的跌倒检测系统的示意图。包括的各单元用于执行图1对应的实施例中的各步骤。具体请参阅图1对应的实施例中的相关描述。为了便于说明，仅示出了与本实施例相关的部分。参见图4，基于毫米波雷达的跌倒检测系统4包括：
[0110]
点云聚类单元41，用于对基于上述毫米波雷达获取到的点云数据进行聚类，得到人体形态信息，上述人体形态信息中包括人体运动信息；
[0111]
人体疑似跌倒信息筛选单元42，用于对上述人体形态信息进行预筛选处理，筛选出人体疑似跌倒信息；
[0112]
跌倒判断单元43，用于将上述人体疑似跌倒信息输入到训练好的变分自编码网络中进行跌倒判断，由上述变分自编码网络输出最终的跌倒判断结果。
[0113]
可选的，在本技术的一些实施例中，人体疑似跌倒信息筛选单元42，包括：
[0114]
人体重心轨迹确定子单元，用于根据上述人体形态信息确定人体重心轨迹；
[0115]
垂直速度确定子单元，用于根据上述人体重心轨迹，确定人体重心的垂直速度，上述垂直速度为基于相邻两个人体重心计算得到的垂直向下运动的速度；
[0116]
人体疑似跌倒信息筛选子单元，用于根据上述人体重心的垂直速度和预设速度阈值的比较结果，筛选出人体疑似跌倒信息。
[0117]
可选的，在本技术的一些实施例中，人体重心轨迹确定子单元具体用于：
[0118]
通过卡尔曼滤波算法对上述人体形态信息进行滤波处理，得到人体重心轨迹。
[0119]
可选的，在本技术的一些实施例中，垂直速度确定子单元具体用于：
[0120]
将基于上述人体重心轨迹计算得到的多个人体重心的垂直速度的平均值，确定为上述人体重心的垂直速度。
[0121]
可选的，在本技术的一些实施例中，跌倒判断单元43，包括：
[0122]
损失值计算子单元，用于通过预设的损失函数，通过上述变分自编码网络计算上述人体疑似跌倒信息的损失值；
[0123]
跌倒判断子单元，用于根据损失值与预设阈值的比较结果，判断是否发生跌倒事件；
[0124]
其中，上述预设的损失函数为：
[0125]
l
vae
＝eq[logq(z)]-eq[logp(z)]-eq[logp(x|z)]
[0126]
其中，l
vae
表示损失值，eq表示期望，q()表示高斯分布，q(z)表示变分自编码网络输出z的高斯分布，z表示变分自编码网络的输出，p()表示概率分布，p(z)表示变分自编码网络输出z的概率分布，p(x|z)表示在变分自编码网络输出为z时，行为x的概率分布，x表示人体疑似跌倒信息。
[0127]
可选的，在本技术的一些实施例中，上述变分自编码网络包括编码器和解码器，上述人体疑似跌倒信息中至少包括两帧图像，上述损失值计算子单元具体用于：
[0128]
通过上述编码器确定上述人体疑似跌倒信息中每一帧图像中目标人体的潜在运动的后验概率；
[0129]
根据上述后验概率对上述人体疑似跌倒信息中每一帧图像的特征进行压缩采样，得到潜在运动特征向量；
[0130]
通过解码器对上述潜在运动特征向量进行重构，得到潜在运动状态序列图像；
[0131]
通过预设损失函数对上述潜在运动状态序列图像进行拟合，计算上述人体疑似跌倒信息的损失值。
[0132]
需要说明的是，上述模块之间的信息交互、执行过程等内容，由于与本技术方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
[0133]
图5是本技术实施例提供的基于毫米波雷达的跌倒检测设备的示意图。如图5所示，该实施例的基于毫米波雷达的跌倒检测设备5包括：处理器50、存储器51以及存储在存储器51中并可在处理器50上运行的计算机程序52，例如语音识别程序。处理器50执行计算机程序52时实现上述各个基于毫米波雷达的跌倒检测方法实施例中的步骤，例如图1所示的步骤101-104。或者，处理器50执行计算机程序52时实现上述各系统实施例中各模块/单元的功能，例如图4所示单元41-44的功能。
[0134]
示例性的，计算机程序52可以被分割成一个或多个模块/单元，一个或者多个模
块/单元被存储在存储器51中，并由处理器50执行，以完成本技术。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序52在基于毫米波雷达的跌倒检测设备5中的执行过程。例如，计算机程序52可以被分割成点云聚类单元41、人体疑似跌倒信息筛选单元42、跌倒判断单元43，各单元具体功能请参阅图1对应的实施例中地相关描述，此处不赘述。
[0135]
基于毫米波雷达的跌倒检测设备可包括，但不仅限于，处理器50、存储器51。本领域技术人员可以理解，图5仅仅是基于毫米波雷达的跌倒检测设备5的示例，并不构成对基于毫米波雷达的跌倒检测设备5的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如基于毫米波雷达的跌倒检测设备还可以包括输入输出设备、网络接入设备、总线等。
[0136]
所称处理器50可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0137]
存储器51可以是基于毫米波雷达的跌倒检测设备5的内部存储单元，例如基于毫米波雷达的跌倒检测设备5的硬盘或内存。存储器51也可以是基于毫米波雷达的跌倒检测设备5的外部存储设备，例如基于毫米波雷达的跌倒检测设备5上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。进一步地，存储器51还可以既包括基于毫米波雷达的跌倒检测设备5的内部存储单元也包括外部存储设备。存储器51用于存储计算机程序以及基于毫米波雷达的跌倒检测设备所需的其他程序和数据。存储器51还可以用于暂时地存储已经输出或者将要输出的数据。
[0138]
本技术实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时可实现上述基于毫米波雷达的跌倒检测方法。
[0139]
本技术实施例提供了一种计算机程序产品，当计算机程序产品在基于毫米波雷达的跌倒检测设备上运行时，使得基于毫米波雷达的跌倒检测设备执行时实现可实现上述基于毫米波雷达的跌倒检测方法。
[0140]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将系统的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0141]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0142]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单
元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0143]
以上所述实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围，均应包含在本技术的保护范围之内。

技术特征：
1.一种基于毫米波雷达的跌倒检测方法，其特征在于，所述方法包括：对基于所述毫米波雷达获取到的点云数据进行聚类，得到人体形态信息，所述人体形态信息中包括人体运动信息；对所述人体形态信息进行预筛选处理，筛选出人体疑似跌倒信息；将所述人体疑似跌倒信息输入到训练好的变分自编码网络中进行跌倒判断，由所述变分自编码网络输出最终的跌倒判断结果。2.如权利要求1所述的基于毫米波雷达的跌倒检测方法，其特征在于，所述对所述人体形态信息进行预筛选处理，筛选出人体疑似跌倒信息，包括：根据所述人体形态信息确定人体重心轨迹；根据所述人体重心轨迹，确定人体重心的垂直速度，所述垂直速度为基于相邻两个人体重心计算得到的垂直向下运动的速度；根据所述人体重心的垂直速度和预设速度阈值的比较结果，筛选出人体疑似跌倒信息。3.如权利要求2所述的基于毫米波雷达的跌倒检测方法，其特征在于，所述根据所述人体形态信息确定人体重心轨迹，包括：通过卡尔曼滤波算法对所述人体形态信息进行滤波处理，得到人体重心轨迹。4.如权利要求2所述的基于毫米波雷达的跌倒检测方法，其特征在于，所述根据所述人体重心轨迹，确定人体重心的垂直速度中，包括：将基于所述人体重心轨迹计算得到的多个人体重心的垂直速度的平均值，确定为所述人体重心的垂直速度。5.如权利要求1所述的基于毫米波雷达的跌倒检测方法，其特征在于，所述将所述人体疑似跌倒信息输入到训练好的变分自编码网络中进行跌倒判断，由所述变分自编码网络输出最终的跌倒判断结果中，包括：通过预设的损失函数，通过所述变分自编码网络计算所述人体疑似跌倒信息的损失值；根据损失值与预设阈值的比较结果，判断是否发生跌倒事件；其中，所述预设的损失函数为：l
vae
＝e
q
[log q(z)]-e
q
[log p(z)]-e
q
[log p(x|z)]其中，l
vae
表示损失值，e
q
表示期望，q()表示高斯分布，q(z)表示变分自编码网络输出z的高斯分布，z表示变分自编码网络的输出，p()表示概率分布，p(z)表示变分自编码网络输出z的概率分布，p(x|z)表示在变分自编码网络输出为z时，行为x的概率分布，x表示人体疑似跌倒信息。6.如权利要求5所述的基于毫米波雷达的跌倒检测方法，其特征在于，所述变分自编码网络包括编码器和解码器，所述人体疑似跌倒信息中至少包括两帧图像，所述通过预设的损失函数，通过所述变分自编码网络计算所述人体疑似跌倒信息的损失值，包括：通过所述编码器确定所述人体疑似跌倒信息中每一帧图像中目标人体的潜在运动的后验概率；根据所述后验概率对所述人体疑似跌倒信息中每一帧图像的特征进行压缩采样，得到潜在运动特征向量；
通过解码器对所述潜在运动特征向量进行重构，得到潜在运动状态序列图像；通过预设损失函数对所述潜在运动状态序列图像进行拟合，计算所述人体疑似跌倒信息的损失值。7.一种基于毫米波雷达的跌倒检测系统，其特征在于，所述系统包括：点云聚类单元，用于对基于所述毫米波雷达获取到的点云数据进行聚类，得到人体形态信息，所述人体形态信息中包括人体运动信息；人体疑似跌倒信息筛选单元，用于对所述人体形态信息进行预筛选处理，筛选出人体疑似跌倒信息；跌倒判断单元，用于将所述人体疑似跌倒信息输入到训练好的变分自编码网络中进行跌倒判断，由所述变分自编码网络输出最终的跌倒判断结果。8.如权利要求7所述的基于毫米波雷达的跌倒检测系统，其特征在于，所述人体疑似跌倒信息筛选单元，包括：人体重心轨迹确定子单元，用于根据所述人体形态信息确定人体重心轨迹；垂直速度确定子单元，用于根据所述人体重心轨迹，确定人体重心的垂直速度，所述垂直速度为基于相邻两个人体重心计算得到的垂直向下运动的速度；人体疑似跌倒信息筛选子单元，用于根据所述人体重心的垂直速度和预设速度阈值的比较结果，筛选出人体疑似跌倒信息。9.一种基于毫米波雷达的跌倒检测设备，其特征在于，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的基于毫米波雷达的跌倒检测方法。10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的基于毫米波雷达的跌倒检测方法。

技术总结
本申请提供一种基于毫米波雷达的跌倒检测方法、系统及设备，涉及人体行为检测技术领域。该方法包括：通过对基于毫米波雷达获取到的点云数据进行聚类，得到人体形态信息，人体形态信息中包括人体运动信息；对人体形态信息进行预筛选处理，筛选出人体疑似跌倒信息；将人体疑似跌倒信息输入到训练好的变分自编码网络中进行跌倒判断，由变分自编码网络输出最终的跌倒判断结果，通过利用无监督的变分自编码网络对筛选出的人体疑似跌倒信息进一步判断是否发生了跌倒事件，提高了跌倒检测的效率以及准确率，具有较好实用性和易用性，鲁棒性较高，而且能够更好地保护用户的隐私。而且能够更好地保护用户的隐私。而且能够更好地保护用户的隐私。


技术研发人员：于明 姬翔霖 许戟飞 张云皓
受保护的技术使用者：南方科技大学
技术研发日：2022.05.05
技术公布日：2023/10/6