日常行为检测方法、装置、设备和计算机存储介质与流程

1.本技术涉及计算机技术领域，尤其涉及一种日常行为检测方法、装置、设备和计算机存储介质。


背景技术：

2.如今人口老龄化已经成为一种普遍现象，如何更好的照顾老人的健康成为当今社会需要重点关注的问题，及时了解老人的日常行为对于照顾老人健康有重要的作用。
3.目前针对人们日常行为的识别，大致可以包括基于视频的行为识别、基于环境交互式传感器的行为识别等。基于视频的行为识别主要是通过热像机和深度相机分析视频或图像中的人的行为特征来进行行为识别。通常基于视频的行为识别的效果非常显著，对老年人起到了监督保护的作用，但是这种方式存在侵犯个人隐私的问题，而且在光线条件变化的环境中，基于视频的行为识别往往效果不是十分理想。基于环境交互式传感器的行为识别，主要是传感器通过嵌入在智能家居的屋顶、地板、物体上来追踪和定位用户的位置，与用户进行交互，收集用户行为的信息，该方法被广泛应用于智能家居环境和行为识别项目，但这种方式受到区域的限制，适用范围较窄。因此，如何提高日常行为检测的准确率和适用范围成为了技术领域人员重要的研究课题。


技术实现要素：

4.本技术实施方式主要解决的技术问题是如何提高日常行为检测的准确率和适用性。
5.为解决上述技术问题，本技术实施方式采用的一个技术方案是：提供一种日常行为检测方法，包括：获取待检测用户的日常行为数据；根据所述日常行为数据，得到与所述日常行为数据对应的局部特征信号，并根据所述局部特征信号得到与所述日常行为数据对应的全局特征信号；根据所述局部特征信号和所述全局特征信号，得到对应的融合特征；将所述融合特征输入至预设的日常行为检测模型，输出所述待检测用户的日常行为。
6.可选地，在执行所述获取待检测用户的日常行为数据的步骤之后，所述方法还包括：预处理所述日常行为数据；所述预处理所述日常行为数据包括：将所述日常行为数据进行同频处理，以使所述日常行为数据的数据采集频率在预设频率范围内；将所述日常行为数据进行同步处理，以使不同传感器采集的所述日常行为数据的时间戳差值在预设时间范围内。
7.可选地，所述根据所述日常行为数据，得到与所述日常行为数据对应的局部特征信号包括：根据所述日常行为数据获取所述待检测用户的角速度和加速度；获取所述角速度和所述加速度对应的检测时刻，并构成时间序列信号，所述时间序列信号为所述局部特征信号。
8.可选地，所述根据所述局部特征信号获得与所述日常行为数据对应的全局特征信号包括：将所述时间序列信号对应的数据进行归一化处理；将所述归一化处理的时间序列
信号的数据转换成极坐标形式数据；将所述极坐标形式数据转换为保留时间特征的二维图像。
9.可选地，所述根据所述局部特征信号和所述全局特征信号，得到对应的融合特征包括：基于多层感知机的原理对所述局部特征信号进行特征提取，以获得所述局部特征信号对应的特征；基于卷积神经网络的原理对所述全局特征信号进行特征提取，以获得所述全局特征信号对应的特征；融合处理所述局部特征信号对应的特征和所述全局特征信号对应的特征，以获得融合特征。
10.可选地，所述将所述融合特征输入至预设的日常行为检测模型，输出所述待检测用户的日常行为，包括：根据所述融合特征和预设的日常行为检测模型获得所述待检测用户属于各个日常行为类别的预测概率，并将最大预测概率对应的日常行为类别作为所述待检测用户的日常行为检测结果。
11.可选地，在执行将所述融合特征输入至预设的日常行为检测模型的步骤之前，还包括：获取所述预设的日常行为检测模型；所述获取所述预设的日常行为检测模型包括：采样用户的日常行为数据；预处理所述日常行为数据，以获得预处理后的样本数据；获取所述样本数据的局部特征信号，并根据所述局部特征信号获取所述样本数据的全局特征信号；基于所述局部特征信号提取所述样本数据的第一特征，并基于所述全局特征信号提取所述样本数据的第二特征；根据所述第一特征和所述第二特征，获得所述样本数据对应的融合特征；输入所述第一特征、所述第二特征和所述融合特征至预设分类器，输出对应的日常行为识别结果；基于所述日常行为识别结果构建多层次损失函数；根据所述多层次损失函数的结果优化训练所述日常行为检测模型，以获得使所述损失函数最小化时对应的模型参数，并根据所述模型参数确定所述日常行为检测模型。
12.可选地，所述基于所述日常行为识别结果构建多层次损失函数包括：
13.构建如下公式对应的损失函数，所述公式为：
[0014][0015]
l表示损失函数，m表示总的样本数，表示所述多层感知机预测第j个样本为第i类的概率，t
ij
表示第j个样本为第i类对应的真实标签，表示所述卷积神经网络预测第j个样本为第i类的概率，表示根据所述融合处理后所述融合特征预测第j个样本为第i类的概率。
[0016]
为解决上述技术问题，本技术实施方式采用的另一个技术方案是：提供一种日常行为检测装置，包括：第一数据获取模块，用于获取待检测用户的日常行为数据；第二数据获取模块，用于根据所述日常行为数据，得到与所述日常行为数据对应的局部特征信号，并根据所述局部特征信号得到与所述日常行为数据对应的全局特征信号；融合特征获取模块，用于根据所述局部特征信号和所述全局特征信号，得到对应的融合特征；日常行为检测模块，用于将所述融合特征输入至预设的日常行为检测模型，输出所述待检测用户的日常行为。
[0017]
为解决上述技术问题，本技术实施方式采用的又一个技术方案是：提供一种日常行为检测设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其
中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方法。
[0018]
为解决上述技术问题，本技术实施方式采用的还一个技术方案是：提供了一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令，当所述计算机可执行指令被日常行为检测设备执行时，使所述日常行为检测设备执行如上所述的方法。
[0019]
本技术实施例提供了一种日常行为检测方法、装置、设备以及计算机存储介质，通过获取待检测用户的日常行为数据，根据该日常行为数据获得该日常行为数据对应的局部特征信号，并根据该局部特征信号获得该日常行为数据对应的全局特征信号，再获取局部特征信号和全局特征信号对应的融合特征，最后基于该融合特征和预设的日常行为检测模型对待检测用户的日常行为进行检测。本技术实施例提供的方案通过对局部特征信号和全局特征信号进行特征提取和融合，能够更好的将局部特征信号的连续性和全局特征信号的全局性进行融合，从而能够更准确的识别出用户的日常行为。另外，识别用户日常行为的过程不需要将特定的传感器安装在特定的位置，因此本技术提供的实施方式适用范围更广，具有较强的适用性。
附图说明
[0020]
一个或多个实施例通过与之对应的附图进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
[0021]
图1是本技术实施例提供的一种日常行为检测方法的流程图；
[0022]
图2是本技术实施例提供的获取所述局部特征信号和所述全局特征信号对应的融合特征的方法的流程图；
[0023]
图3是本技术实施例提供的获取所述预设的日常行为检测模型的方法的流程图；
[0024]
图4是本技术实施例提供的一种对用户日常行为进行检测的示意图；
[0025]
图5是本技术实施例提供的对日常行为数据进行预处理的方法流程图；
[0026]
图6是本技术实施例提供的一种日常行为检测装置的结构示意图；
[0027]
图7是本技术实施例提供的一种日常行为检测设备的硬件结构示意图。
具体实施方式
[0028]
为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术。
[0029]
需要说明的是，如果不冲突，本技术实施例中的各个特征可以相互组合，均在本技术的保护范围之内。另外，虽然在装置示意图中进行了功能模块的划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置示意图中的模块划分，或流程图中的顺序执行所示出或描述的步骤。
[0030]
除非另有定义，本说明书所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。在本技术的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是用于限制本技术。本说明书所使用的术语“和/或”包括一个或多个
相关的所列项目的任意的和所有的组合。
[0031]
本技术实施例提供的日常行为检测方法、装置及设备，可以应用于老年人的日常行为检测。目前，人口老龄化现象很普遍，如何更好地照顾老年人是急需解决的问题，通过对老年人的日常行为进行检测，可以帮助照顾者及时掌握老年人的活动情况，从而能够更好地照顾老年人，避免一些意外情况的发生。其中，日常行为包括但不限于跑、静坐、站立、步行、上楼、下楼、吃饭、摔倒、躺下、睡觉、吸烟、看电视、扶墙、打喷嚏等等。该日常行为检测方法、装置及设备主要是对上述日常行为进行检测识别，其通过传感器获取用户的日常行为数据，通过对日常行为数据进行处理获得局部特征信号，利用相关图像化方法将局部特征信号转换为全局特征信号(具体是图像信号)，再通过多层感知机神经网络对局部特征信号进行特征提取，通过卷积神经网络对全局特征信号进行特征提取，再将二者分别提取的特征进行融合，获得融合特征，将该融合特征输入预设的日常行为检测模型，从而输出用户的日常行为检测结果。其中，在确定该预设的日常行为检测模型时，通过构建的多层回归损失函数指导该日常行为检测模型的训练。本技术实施例能够将全局特征信号的全局性和局部特征信号的局部性进行有效结合，从而进一步提升了用户的日常行为检测的准确度。
[0032]
所述日常行为检测方法和装置，可以在任何合适类型、具有运算能力的电子设备中执行，即所述日常行为检测设备可以是智能手表、智能手环、智能手机、服务器、台式计算机、平板电脑等其他电子产品。其中，所述服务器可以是一个物理服务器或者多个物理服务器虚拟而成的一个逻辑服务器。服务器也可以是多个可互联通信的服务器组成的服务器集群，且各个功能模块可分别分布在服务器集群中的各个服务器上。
[0033]
下面将结合本技术实施例中的附图对用户的日常行为检测的详细过程进行介绍。
[0034]
请参阅图1，图1是本技术实施例提供的一种日常行为检测方法的流程图。如图1所示，该方法包括：
[0035]
s11、获取待检测用户的日常行为数据。
[0036]
所述待检测用户可以是上述老年人，也可以是其他人群，比如需要医疗照顾的病人、进行康复训练的患者、儿童、进行某项实验的大学生等。所述日常行为数据包括加速度，其是速度对时间的变化率，表示速度变化的快慢。所述日常行为数据还包括角速度，其是连接运动质点和圆心的半径在单位时间内转过的弧度。所述日常行为数据与所述日常行为对应。
[0037]
获取待检测用户的日常行为数据具体可以采用诸如加速度计、陀螺仪等微型传感器来获取待检测用户的日常行为数据。这些传感器具备安装方便、体积小的特点，可以附着于多个身体部位，适用于长期的活动监测。
[0038]
在本技术实施例中，当对老年人的日常行为进行检测时，可以通过手机和手表的加速度计和陀螺仪两个传感器进行所述日常行为数据的采样，分别记录使用手机采集的加速度、使用手机采集的角速度、使用手表采集的加速度以及使用手表采集的角速度。在获取日常行为数据时可以采集预设时间内的用户的加速度和角速度，该预设时间可以是一小时、一天、一周等。其中，可以将预设时间段内的日常行为数据作为一个日常行为动作的识别长度，比如以3秒采集的日常行为数据作为一个日常行为动作的识别长度。
[0039]
在一些实施例中，如图1所示，在执行s11、获取待检测用户的日常行为数据的步骤之后，所述方法还包括：s12、预处理所述日常行为数据。
[0040]
所述预处理所述日常行为数据包括：将所述日常行为数据进行同频处理，以使所述日常行为数据的数据采集频率在预设频率范围内；将所述日常行为数据进行同步处理，以使不同传感器采集的所述日常行为数据的时间戳差值在预设时间范围内。
[0041]
不同的传感器设备采集的数据的频率不同，不同的传感器设备采集数据时的时间戳也可能存在较大区别。通常可以将获得的日常行为数据转换为符合的格式，从而降低数据噪声的干扰，使得后续日常行为的检测结果更准确。
[0042]
同频处理是一种通过滤波器来消除特定频率噪声的技术。上述进行同频处理时，具体可以是将采集频率最低的频率设置为标准频率(比如50hz)，将高频率的数据通过等距抽样，在时间区间不变的条件下减少数据量以此降低高频率的数据的频率，由此能够有效地减少特定频率噪声的影响。同步处理是一种通过在多个采样周期内对数据进行平均来降低噪声的技术。上述进行同步处理时，比如，如图5所示，可以获取加速度仪和陀螺仪分别采集日常行为数据时的时间戳，将两个时间戳作差并取绝对值，当该绝对值小于阈值时，则将加速度仪和陀螺仪分别采集的数据作为同步数据进行数据合并；当该差值不小于阈值时，则判断加速度仪检测数据时的时间戳是否小于陀螺仪检测数据时的时间戳，如果加速度仪检测数据时的时间戳小于陀螺仪检测数据时的时间戳，则取加速度仪下一帧数据对应的时间戳并且将该下一帧数据对应的时间戳与陀螺仪检测数据时的时间戳进行作差并取绝对值，如果该绝对值小于阈值就将其视为同步数据进行合并，否则重复上述比较加速度仪检测数据时的时间戳与陀螺仪检测数据时的时间戳的过程。如果加速度仪检测数据时的时间戳不小于陀螺仪检测数据时的时间戳，则取陀螺仪下一帧数据对应的时间戳并且将该下一帧数据对应的时间戳与加速度仪检测数据时的时间戳进行作差并取绝对值，如果该绝对值小于阈值就将其视为同步数据进行合并，否则重复上述比较加速度仪检测数据时的时间戳与陀螺仪检测数据时的时间戳的过程。由于噪声是随机的，它在不同采样周期内的影响是不同的，因此通过同步采样数据的时间戳可以消除噪声的影响。
[0043]
通过上述同频处理和同步处理后，可以使获得的日常行为数据的数据帧相同或者在预设范围内，比如全部都为150帧，其中采样帧率为50hz，一个日常行为动作对应的采样时长为3秒，从而确定一个日常行为动作对应的数据帧为150帧。
[0044]
s13、根据所述日常行为数据，得到与所述日常行为数据对应的局部特征信号，并根据所述局部特征信号得到与所述日常行为数据对应的全局特征信号。
[0045]
其中，根据所述日常行为数据，得到与所述日常行为数据对应的局部特征信号包括：根据所述日常行为数据获取所述待检测用户的角速度和加速度；获取所述角速度和所述加速度对应的检测时刻，并构成时间序列信号，所述时间序列信号为所述局部特征信号。可以理解的是，在步骤s13中，为了获取某一预设时间段内用户的日常行为，将日常行为数据中对应的预设时间段(即检测时刻)，以及待检测用户的角速度和加速度，一起构成局部特征信号。
[0046]
例如，获取一个预设时间段内目标老年人所使用的手机的加速度和角速度，以及老年人所使用的手表的加速度和角速度，然后根据该时间段内的时间戳、对应的加速度和对应的角速度生成对应的时间序列信号，将所述时间序列信号作为能表征该目标老年人在该时间段内的日常行为特征(例如，跑步、静坐、站立、步行、上楼和下楼等)的局部特征信号，比如，表征日常行为为跑步的局部特征信号和表征日常行为为静坐的局部特征信号不
同(比如，跑步时的加速度会随时间变化，而静坐时的加速度会一直接近于0，由于跑步时身体会有明显的加速和减速，因此可以观察到加速度的变化，在静坐时身体保持相对静止的状态，没有明显的加速度变化)。
[0047]
所述根据所述局部特征信号得到与所述日常行为数据对应的全局特征信号包括：将所述时间序列信号对应的数据进行归一化处理；将所述归一化处理的时间序列信号的数据转换成极坐标形式数据；将所述极坐标形式数据转换为保留时间特征的二维图像，即保留时间特征的二维图像为全局特征信号。
[0048]
在一些实施例中，使用格拉姆角场(gramian angular field，gaf)图像化方法将所述局部特征信号转化为所述全局特征信号，格拉姆角场的基本概率及格拉姆角场图像化的基本原理在此不再赘述。具体地，使用格拉姆角场表示极坐标系中的时间序列数据，而不是传统的笛卡尔坐标。在格拉姆矩阵中，每个元素都是成对时间值之和或差的余弦值，所述成对时间值是所述待检测用户的角速度和加速度分别对应的时间戳组成的。
[0049]
在一些实施例中，获取到n个实际观测值的时间序列数据x＝x1，x2,
……
,xn，使用归一化方法处理所述x，以使得所有数值都在区间[-1,1]中。其中，所述归一化方法处理过程中的特征量化公式如下：
[0050][0051]
其中，min(x)表示获取时间序列数据中的最小值；max(x)表示获取时间序列数据中的最大值；表示归一化后的时间序列中的数据；x表示时间序列。
[0052]
进一步地，因为区间[-1,1]与余弦函数的值域范围相同，则可以通过以下公式将归一化后的时间序列视为角余弦，将时间步长视为半径：
[0053][0054]
其中，表示归一化后的时间序列中的数据；表示归一化后的时间序列；ti表示时间步长；n表示一个常数因子，用于规范极坐标系的跨度。进一步地，在将所述归一化处理的时间序列信号的数据转换成极坐标形式数据之后，通过利用角度透视并考虑每个点之间的三角和，可以识别把不同时间间隔内的时间相关性。所述格拉姆角场定义如下：
[0055][0056]
其中，g表示为局部特征信号序列转为二维的图像信息。
[0057]
s14、根据所述局部特征信号和所述全局特征信号，得到对应的融合特征。
[0058]
如图2所示，所述根据所述局部特征信号和所述全局特征信号，得到对应的融合特征包括：
[0059]
s141、基于多层感知机的原理对所述局部特征信号进行特征提取，以获得所述局部特征信号对应的特征。
[0060]
在一些实施例中，所述多层感知机的结构包括输入层、多层隐藏层和输出层。其中，输入层为n(例如n＝150)个神经单元，隐藏层为q个神经单元，输出层为k(例如k＝6)个神经单元。首先，若输入层用向量x表示，则隐藏层的输出是f(w1x+b1)，其中，w1是第一权重系数(也称为连接系数)，b1是第一偏重系数，函数f可以是常用的sigmoid函数或者tanh函数。然后，将隐藏层到输出层可以看作是一个多类别的逻辑回归，也即softmax回归，所以输出层的输出是softmax(w2x1+b2)，x1表示隐藏层的输出f(w1x+b1)，w2是第二权重系数，b2是第二偏重系数。最后，多层感知机的网络结构公式表示如下：
[0061][0062]
其中，g表示softmax激活函数；h表示隐藏层的数量；wi和bi表示第i个隐藏层的权重和偏量；x表示输入的特征向量；w1和b1表示输入层的权重和偏量；s表示激活函数。
[0063]
s142、基于卷积神经网络的原理对所述全局特征信号进行特征提取，以获得所述全局特征信号对应的特征。
[0064]
在一些实施例中，所述卷积神经网络的卷积核的大小为3*3，步长设置为2，激活函数设置为relu。然后，经过多层的卷积运算，获得大小为5*5*256的特征图。最后，再连接两个全连接层。需要特殊说明的是，在本技术的实施例中，不对特征提取网络的网络结构进行限制，可以根据实际需求进行替换，特征提取网络的最终目的是为了获取输入图像的特征图。因此，用于对所述全局特征信号进行特征提取的特征提取网络由卷积层、激活函数层和实例归一化层构成，对应的数学公式如下：
[0065][0066]
其中，表示第l层的第m个特征图；表示第l+1层的第m个特征图；w表示卷积核，该卷积核的大小设置为3*3；b表示偏置项；σ表示relu激活函数；in表示实例归一化。需要特殊说明的是，由于下采样和上采样会带来信息损失，所以采用均步长卷积来代替传统卷积，其中，将每一层的卷积核数分别设置为16，32，64，128，256。
[0067]
s143、融合处理所述局部特征信号对应的特征和所述全局特征信号对应的特征，以获得融合特征。
[0068]
具体地，构建特征融合层对所述局部特征信号对应的特征和所述全局特征信号对应的特征进行融合处理。首先，在经过步骤s141之后得到所述局部特征信号对应的大小为1*1024的第一特征向量f1，在经过步骤s142之后得到所述全局特征信号对应的大小为1*1024的第二特征向量f2。然后，再通过如下公式得到对应的所述融合特征f：
[0069]
f＝α*f1+(1-α)*f2；
[0070]
其中，α表示自适应权重值；f表示所述融合特征。进行融合处理后得到的融合特征既包含了所述局部特征信号对应的特征，也包含了所述全局特征信号对应的特征，更加全面地包含了所述待检测用户的日常行为数据的数据特征，以使得最终基于该融合特征对用户日常行为的识别更加准确。
[0071]
s15、将所述融合特征输入至预设的日常行为检测模型，输出所述待检测用户的日常行为。
[0072]
根据所述融合特征和预设的日常行为检测模型获得所述待检测用户属于各个日常行为类别的预测概率，并将最大预测概率对应的日常行为类别作为所述待检测用户的日常行为检测结果。
[0073]
例如，得到某一目标老年人的一日常行为数据属于各个日常行为类别的预测概率为：跑步80％、静坐5％、站立5％、步行10％、上楼0％和下楼0％，则将最大概率80％对应的跑步作为该目标老人的日常行为数据对应的日常行为类别。
[0074]
在一些实施例中，所述方法还包括：获取所述预设的日常行为检测模型。
[0075]
如图3所示，所述获取所述预设的日常行为检测模型包括：
[0076]
s201、采样用户的日常行为数据；
[0077]
s202、预处理所述日常行为数据，以获得预处理后的样本数据；
[0078]
s203、获取所述样本数据的局部特征信号，并根据所述局部特征信号获取所述样本数据的全局特征信号；
[0079]
s204、基于所述局部特征信号提取所述样本数据的第一特征，并基于所述全局特征信号提取所述样本数据的第二特征；
[0080]
s205、根据所述第一特征和所述第二特征，获得所述样本数据对应的融合特征；
[0081]
s206、输入所述第一特征、所述第二特征和所述融合特征至预设分类器，输出对应的日常行为识别结果；
[0082]
在一些实施例中，所述分类器为softmax层。所述softmax层能够进行多类别进行分类，主要原理是将输入向量映射到一个概率分布上，从而对输入进行分类。具体地，将所述第一特征和所述第二特征分别发送至对应的softmax层，同时也将所述融合特征发送对应的softmax层，通过所述softmax层进行分类预测，得到所述样本数据对应的日常行为识别结果(例如，跑步、静坐、站立、步行、上楼、下楼等日常行为)。需要特别说明的是，所述softmax层输出的是一个预测所述样本数据对应为各种日常行为的概率分布，在所述日常行为检测模型的模型训练阶段可根据所述概率分布进行模型训练及优化，而在所述日常行为检测模型的模型使用阶段则是将所述概率分布中对应概率值最大的日常行为类别作为所述日常行为识别结果。
[0083]
s207、基于所述日常行为识别结果构建多层次损失函数；
[0084]
具体地，所述构建多层次损失函数包括：首先，获取所述多层感知机处理所述局部特征信号的输出结果pg(p
g0
，p
g1
，p
g2
，p
g3
，p
g4
，p
g5
),所述局部特征信号的真实标签则采用one-hot编码方式得到t(t0，t1，t2，t3，t4，t5)。同理，获取所述卷积神经网络对所述全局特征信号的输出结果pr(p
r0
，p
r1
，p
r2
，p
r3
，p
r4
，p
r5
)。然后，获取所述特征融合层对所述局部特征信号对应的特征和所述全局特征信号对应的特征的融合特征结果pb(p
b0
，p
b1
，p
b2
，p
b3
，p
b4
，p
b5
)。构建如下公式对应的损失函数，所述公式为：
[0085][0086]
其中，l表示损失函数，m表示总的样本数，表示所述多层感知机预测第j个样本
为第i类的概率，t
ij
表示第j个样本为第i类对应的真实标签，表示所述卷积神经网络预测第j个样本为第i类的概率，表示根据所述融合处理后所述融合特征预测第j个样本为第i类的概率。
[0087]
s208、根据所述多层次损失函数的结果优化训练所述日常行为检测模型，以获得使所述损失函数最小化时对应的模型参数，并根据所述模型参数确定所述日常行为检测模型。
[0088]
在一些实施例中，所述根据所述多层次损失函数的结果优化训练所述日常行为检测模型包括多个优化训练内容：
[0089]
第一优化训练内容是优化所述分类器的参数，以提高所述分类器根据所述第一特征、所述第二特征和所述融合特征得到所述日常行为识别结果的准确率；
[0090]
第二优化训练内容是优化所述特征融合层的参数，以提高所述融合特征对所述第一特征和所述第二特征的特征表示的全面性；
[0091]
第三优化训练内容是优化所述卷积神经网络的参数，以使得所述卷积神经网络对所述全局特征信号的特征提取更加全面；
[0092]
第四优化训练内容是优化所述多层感知机的参数，以使得所述多层次感知机对所述局部特征信号的特征提取更加全面；
[0093]
第五优化训练内容是优化所述gaf图像化方法处理所述局部特征信号序列的过程中所使用的参数，以提高所述全局特征信号表征所述日常行为数据的准确性；
[0094]
第六优化训练内容是优化其他参数，例如优化采集所述日常行为数据的频率、优化同频处理所述日常行为数据时使用的数据帧数等。
[0095]
下面通过举例说明上述日常行为检测的过程。例如，如图4所示，通过传感设备获取目标老年人的日常行为数据(主要是加速度和角速度)，然后将该日常行为数据进行数据预处理得到对应的局部特征信号，再使用图像化数据处理方法处理该局部特征信号得到对应的全局特征信号，通过多层感知机提取该局部特征信号的第一特征，通过卷积神经网络提取该全局特征信号的第二特征，然后将该第一特征和该第二特征分别输入对应的全连接层后再进行特征融合，以得到该第一特征和该第二特征对应的融合特征，最后将该第一特征、第二特征和融合特征输入softmax层进行分类预测，得到该目标老年人的日常行为数据对应的日常行为识别结果。
[0096]
请参阅图6，图6是本技术实施例提供的一种日常行为检测装置的结构示意图，该日常行为检测装置30包括：
[0097]
第一数据获取模块301，用于获取待检测用户的日常行为数据；
[0098]
第二数据获取模块302，用于根据所述日常行为数据，得到与所述日常行为数据对应的局部特征信号，并根据所述局部特征信号得到与所述日常行为数据对应的全局特征信号；
[0099]
融合特征获取模块303，用于根据所述局部特征信号和所述全局特征信号，得到对应的融合特征；
[0100]
日常行为检测模块304，用于将所述融合特征输入至预设的日常行为检测模型，输出所述待检测用户的日常行为。
[0101]
在一些实施例中，该日常行为检测装置30还包括预处理模块，该预处理模块用于预处理所述日常行为数据，其具体用于将所述日常行为数据进行同频处理，以使所述日常行为数据的数据采集频率在预设频率范围内；将所述日常行为数据进行同步处理，以使不同传感器采集的所述日常行为数据的时间戳差值在预设时间范围内。
[0102]
在一些实施例中，该日常行为检测装置30还包括日常行为检测模型确定模块，其具体用于：采样用户的日常行为数据；预处理所述日常行为数据，以获得预处理后的样本数据；获取所述样本数据的局部特征信号，并根据所述局部特征信号获取所述样本数据的全局特征信号；基于所述局部特征信号提取所述样本数据的第一特征，并基于所述全局特征信号提取所述样本数据的第二特征；根据所述第一特征和所述第二特征，获得所述样本数据对应的融合特征；输入所述第一特征、所述第二特征和所述融合特征至预设分类器，输出对应的日常行为识别结果；基于所述日常行为识别结果构建多层次损失函数；根据所述多层次损失函数的结果优化训练所述日常行为检测模型，以获得使所述损失函数最小化时对应的模型参数，并根据所述模型参数确定所述日常行为检测模型。
[0103]
需要说明的是，上述日常行为检测装置可执行本技术实施例所提供的日常行为检测方法，具备执行方法相应的功能模块和有益效果。未在日常行为检测装置实施例中详尽描述的技术细节，可参见本技术实施例所提供的日常行为检测方法。
[0104]
请参阅图7，图7是本技术实施例提供的一种日常行为检测设备的硬件结构示意图，该日常行为检测设备可以用于执行如上所述的日常行为检测方法。如图7所示，该日常行为检测设备40包括：
[0105]
一个或多个处理器401以及存储器402，图7中以一个处理器401为例。
[0106]
处理器401和存储器402可以通过总线或者其他方式连接，图7中以通过总线连接为例。
[0107]
存储器402作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本技术实施例中的日常行为检测方法对应的程序指令/模块(例如，附图6所示的各个模块)。处理器401通过运行存储在存储器402中的非易失性软件程序、指令以及模块，从而执行日常行为检测装置的各种功能应用以及数据处理，即实现上述方法实施例的日常行为检测方法。
[0108]
存储器402可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据日常行为检测装置的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器402可选包括相对于处理器401远程设置的存储器，这些远程存储器可以通过网络连接至日常行为检测装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0109]
所述一个或者多个模块存储在所述存储器402中，当被所述一个或者多个处理器401执行时，执行上述任意方法实施例中的日常行为检测方法，例如，执行以上描述的图1，图2和图3中的方法步骤，实现图6中的模块的功能。
[0110]
上述产品可执行本技术实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本技术实施例所提供的方法。
[0111]
本技术实施例提供了一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令被日常行为检测设备执行上述任意方法实施例中的日常行为检测方法，例如，执行以上描述的图1，图2和图3中的方法步骤，实现图6中的模块的功能。该计算机存储介质具体可以是非易失性计算机可读存储介质。
[0112]
本技术实施例提供了一种计算机程序产品，包括存储在非易失性计算机可读存储介质上的计算程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述任意方法实施例中的日常行为检测方法，例如，执行以上描述的图1，图2和图3中的方法步骤，实现图6中的模块的功能。
[0113]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0114]
通过以上的实施方式的描述，本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件来实现。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)或随机存储记忆体(random access memory，ram)等。
[0115]
最后应说明的是：以上实施例仅用以说明本技术的技术方案，而非对其限制；在本技术的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本技术的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的范围。

技术特征：
1.一种日常行为检测方法，其特征在于，包括：获取待检测用户的日常行为数据；根据所述日常行为数据，得到与所述日常行为数据对应的局部特征信号，并根据所述局部特征信号得到与所述日常行为数据对应的全局特征信号；根据所述局部特征信号和所述全局特征信号，得到对应的融合特征；将所述融合特征输入至预设的日常行为检测模型，输出所述待检测用户的日常行为。2.根据权利要求1所述的方法，其特征在于，在执行所述获取待检测用户的日常行为数据的步骤之后，所述方法还包括：预处理所述日常行为数据；所述预处理所述日常行为数据包括：将所述日常行为数据进行同频处理，以使所述日常行为数据的数据采集频率在预设频率范围内；将所述日常行为数据进行同步处理，以使不同传感器采集的所述日常行为数据的时间戳差值在预设时间范围内。3.根据权利要求1所述的方法，其特征在于，所述根据所述日常行为数据，得到与所述日常行为数据对应的局部特征信号包括：根据所述日常行为数据获取所述待检测用户的角速度和加速度；获取所述角速度和所述加速度对应的检测时刻，并构成时间序列信号，所述时间序列信号为所述局部特征信号。4.根据权利要求3所述的方法，其特征在于，所述根据所述局部特征信号得到与所述日常行为数据对应的全局特征信号包括：将所述时间序列信号对应的数据进行归一化处理；将所述归一化处理的时间序列信号的数据转换成极坐标形式数据；将所述极坐标形式数据转换为保留时间特征的二维图像。5.根据权利要求1至4任一项所述的方法，其特征在于，所述根据所述局部特征信号和所述全局特征信号，得到对应的融合特征包括：基于多层感知机的原理对所述局部特征信号进行特征提取，以获得所述局部特征信号对应的特征；基于卷积神经网络的原理对所述全局特征信号进行特征提取，以获得所述全局特征信号对应的特征；融合处理所述局部特征信号对应的特征和所述全局特征信号对应的特征，以获得融合特征。6.根据权利要求5所述的方法，其特征在于，所述将所述融合特征输入至预设的日常行为检测模型，输出所述待检测用户的日常行为，包括：根据所述融合特征和预设的日常行为检测模型获得所述待检测用户属于各个日常行为类别的预测概率，并将最大预测概率对应的日常行为类别作为所述待检测用户的日常行为检测结果。7.根据权利要求6所述的方法，其特征在于，在执行将所述融合特征输入至预设的日常行为检测模型的步骤之前，还包括：获取所述预设的日常行为检测模型；所述获取所述预设的日常行为检测模型包括：
采样用户的日常行为数据；预处理所述日常行为数据，以获得预处理后的样本数据；获取所述样本数据的局部特征信号，并根据所述局部特征信号获取所述样本数据的全局特征信号；基于所述局部特征信号提取所述样本数据的第一特征，并基于所述全局特征信号提取所述样本数据的第二特征；根据所述第一特征和所述第二特征，获得所述样本数据对应的融合特征；输入所述第一特征、所述第二特征和所述融合特征至预设分类器，输出对应的日常行为识别结果；基于所述日常行为识别结果构建多层次损失函数；根据所述多层次损失函数的结果优化训练所述日常行为检测模型，以获得使所述损失函数最小化时对应的模型参数，并根据所述模型参数确定所述日常行为检测模型。8.根据权利要求7所述的方法，其特征在于，所述基于所述日常行为识别结果构建多层次损失函数包括：构建如下公式对应的损失函数，所述公式为：l表示损失函数，m表示总的样本数，表示所述多层感知机预测第j个样本为第i类的概率，t
ij
表示第j个样本为第i类对应的真实标签，表示所述卷积神经网络预测第j个样本为第i类的概率，表示根据所述融合处理后所述融合特征预测第j个样本为第i类的概率。9.一种日常行为检测装置，其特征在于，包括：第一数据获取模块，用于获取待检测用户的日常行为数据；第二数据获取模块，用于根据所述日常行为数据，得到与所述日常行为数据对应的局部特征信号，并根据所述局部特征信号得到与所述日常行为数据对应的全局特征信号；融合特征获取模块，用于根据所述局部特征信号和所述全局特征信号，得到对应的融合特征；日常行为检测模块，用于将所述融合特征输入至预设的日常行为检测模型，输出所述待检测用户的日常行为。10.一种日常行为检测设备，其特征在于，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至8任一项所述的方法。11.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机可执行指令，当所述计算机可执行指令被日常行为检测设备执行时，使所述日常行为检测设备执行权利要求1至8任一项所述的方法。

技术总结
本申请涉及计算机技术领域，公开了一种日常行为检测方法、装置、设备。该方法通过获取待检测用户的日常行为数据；根据所述日常行为数据得到与日常行为数据对应的局部特征信号，根据所述局部特征信号得到与所述日常行为数据对应的全局特征信号；根据所述局部特征信号和所述全局特征信号，得到对应的融合特征；将所述融合特征输入至预设的日常行为检测模型，输出所述待检测用户的日常行为。本申请能够更好的将局部特征信号的连续性和全局特征信号的全局性进行融合，从而能够更准确的识别出用户的日常行为。另外，识别用户日常行为的过程不需要将特定的传感器安装在特定的位置，因此本申请提供的实施方式适用范围更广，具有较强的适用性。适用性。适用性。


技术研发人员：陈仿雄
受保护的技术使用者：深圳数联天下智能科技有限公司
技术研发日：2023.05.10
技术公布日：2023/9/7