一种基于多源异构数据的综合运动评估方法及系统

1.本发明涉及人体行为运动评估技术领域，更具体涉及一种基于多源异构数据的综合运动评估方法及系统。


背景技术：

2.传统的运动评估方法通常依赖于人工特征提取和手动规则设计，实现方案包括：
3.第一步、数据采集：使用传感器或仪器采集与运动相关的数据，如加速度计、陀螺仪等。这些传感器可以固定在身体上或嵌入在设备中，以记录运动的相关信息。
4.第二步、特征提取：根据采集到的原始数据，通过特定的算法和方法进行特征提取。这可能涉及到信号处理、时域分析、频域分析等技术，以提取与运动特征相关的特定参数。
5.第三步、运动模型和规则设计：根据特定运动类型和目标，设计运动模型和规则。这些模型和规则可以基于先验知识、领域专家的经验或人工定义的规则。例如，通过分析特征参数的幅度、频率、变化趋势等，来判断是否符合某种运动模式或规则。
6.第四步、运动评估指标：基于提取的特征和运动模型，计算和评估运动的相关指标。例如，步数、运动强度、运动时间等。
7.第五步、结果展示和报告：将运动评估的结果以可视化的方式展示给用户。这可能包括图表、报告或简单的文字描述，以便用户了解其运动状态和健康状况。
8.然而，传统的运动评估方法存在以下一些缺点：
9.1.主观性和局限性：传统方法通常依赖于人工定义的规则和特征设计，这可能受限于专家知识的主观性和局限性。不同的专家可能有不同的理解和定义，导致评估结果的一致性和准确性受到影响。
10.2.通用性和适应性差：传统方法往往是针对特定运动或特定任务设计的，对于新的运动类型或不同的应用场景可能不具备通用性和适应性。需要手动调整和重新设计规则和特征提取方法，增加了工作量和复杂度。
11.3.缺乏泛化能力：传统方法往往难以适应不同个体之间的差异和变化。由于传统方法通常是基于固定的规则和特征提取方法，对于不同个体的运动模式和特征表达能力的差异可能无法很好地适应，导致评估结果的个体化和泛化能力较差。
12.4.人力成本高：传统方法通常需要大量的人工参与，包括规则设计、特征提取和结果解释等环节。这需要耗费大量的人力和时间成本，并且难以实现大规模和实时的运动评估。
13.以上这些缺点限制了传统运动评估方法的准确性、通用性和效率。
14.有鉴于此，有必要对现有技术中的运动评估方法予以改进，以解决上述问题。


技术实现要素：

15.本发明的目的在于公开一种基于多源异构数据的综合运动评估方法及系统，以解
决上述技术问题，通过利用计算机视觉技术对视频数据进行分析，并结合指标数据进行综合计算，从而得出准确、可靠的运动评估结果。
16.为实现上述目的，本发明提供了一种基于多源异构数据的综合运动评估方法，包括以下步骤：
17.s1，从个体运动过程中采集指标数据，具体包括：
18.s11，使用穿戴式设备采集个体运动过程中的心电信号；
19.s12,对采集到的心电信号进行预处理，对预处理后的心电信号进行波形定位，定位出每个心拍的r峰，根据r峰的位置截取出每个心拍，同时对每个心拍的p波、q波、s波、t波进行定位；
20.s13，提取出每个心拍的特征，通过预先训练好的随机森林模型对运动过程中的心电信号进行类型识别；
21.s2，从个体运动过程中采集视频数据，具体包括：
22.s21，使用具有视频录制功能的移动端进行视频采集，采集的动作分为标准动作与测试动作；
23.s22，对采集的视频数据进行预处理，包括将获取的视频数据进行标准化转换，并对视频参数进行归一化，使视频数据的格式、分辨率、帧速率保持一致；
24.s23，对预处理后的视频数据进行分析，运用人体姿态估计算法进行关键点识别，并输出关键点坐标序列，对关键点坐标序列进行归一化和标准化处理，生成时间姿态序列，后输入到lstm模型中进行类型识别；
25.s3，使用加权平均的方法对所述s1步骤采集到的指标数据与所述s2步骤采集到的视频数据进行综合评价。
26.作为本发明的进一步改进，所述s12步骤中的预处理包括以下步骤：
27.s121，对心电信号作前置放大、滤波，
28.s122，通过a/d将心电信号转化为数字信号，运用去噪算法处理去除数据信号中的工频干扰、基线漂移、肌电伪迹并进行重采样，并提取心电信号；
29.其中，重采样频率为500hz。
30.作为本发明的进一步改进，所述s23步骤中，对关键点识别的过程中还需要对识别到的关键点进行噪声预处理，通过采用滤波技术处理关键点的离散形式的坐标值，以滤除零值或异常点的坐标。
31.作为本发明的进一步改进，所述s23步骤中，对关键点坐标序列进行归一化和标准化处理，其具体步骤如下：
32.通过将多帧中心点坐标(x
it
，y
it
)取平均值得到平均中心点坐标(mid
x
，midy)，在此基础上进行平移变换计算，公式如下：
[0033][0034]
同时在空间尺度上进行对齐，按照图像宽度和高度对所有的坐标进行尺度归一化，使待测姿态与标准姿态在空间上完成对齐，公式如下：
[0035][0036]
其中，height表示图像的高度。
[0037]
作为本发明的进一步改进，所述s23步骤中，所述lstm模型中的计算公式如下：
[0038]it
＝σ(w
ii
x
t
+b
ii
+w
hiht-1
+b
hi
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0039]ft
＝σ(w
if
x
t
+b
if
+w
hfht-1
+b
hf
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0040]ct
＝f
tct-1
+i
t
σ(w
ic
x
t
+b
ic
+w
hcht-1
+b
hc
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0041]ot
＝σ(w
io
x
t
+b
io
+w
hoht-1
+b
ho
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0042]ht
＝o
t
tanh(c
t
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
[0043]
其中，t表示时刻，h
t
表示隐藏状态，c
t
表示细胞状态，i
t
表示输入门，f
t
表示遗忘门，o
t
表示输出门，σ表示sigmoid激活函数，tanh表示激活函数，w和b表示权重和偏置参数。
[0044]
作为本发明的进一步改进，所述s3步骤中，综合评价的方法为通过设置决策路径确定综合评估结果，决策路径如下：
[0045]
假设视频数据评估结果为v，指标数据评估结果为i，v+表示为正常，v-表示为负常，i+表示为正常，i-表示为负常；
[0046]
当v＝v+，且i＝i+，则综合评估结果为正常；
[0047]
当v＝v-，且i＝i-，则综合评估结果为负常；
[0048]
当v＝v+，且i＝i-，则根据具体需求决定综合评估结果，如视为边缘情况或需进一步分析；
[0049]
当v＝v-，且i＝i+，同样根据具体需求决定综合评估结果。
[0050]
本发明还公开一种基于多源异构数据的综合运动评估系统，包括：
[0051]
可穿戴式设备，集成有原始生理信号采集模块；
[0052]
移动端，具有视频录制功能，用于对运动状态下的个体进行视频采集；
[0053]
指标数据处理模块，能够对所述采集模块采集的心电信号进行预处理，之后对预处理后的心电信号进行波形定位，并提取特征，随后通过随机森林模型对运动过程中的心电信号进行类型识别，并输出识别结果；
[0054]
视频处理模块，用于对所述移动端采集的视频数据作标准化转换，并对视频参数作归一化处理；
[0055]
计算机视觉模块，用于对处理后的视频进行关键点识别，并生成时间姿态序列；
[0056]
深度学习模块，用于对得到的时间姿态序列进行学习和识别；
[0057]
综合评价模块，用于对指标数据和视频数据进行综合评价。
[0058]
作为本发明的进一步改进，所述计算机视觉模块选择轻量化卷积神经网络blazepose模型，其包括：面部检测器与身体姿态估计器，所述面部检测器用于对采集到的面部图像进行处理，以检测和定位人脸区域；
[0059]
所述身体姿态估计器用于对人体姿态进行推断，其能够输出面部的眼睛、鼻子、嘴巴，以及身体的各个关节和部位的坐标位置。
[0060]
作为本发明的进一步改进，所述轻量化卷积神经网络blazepose模型的网络结构包括：
[0061]
姿态评估器，用于人体姿态检测，所述姿态评估器由一个深度卷积神经网络组成，该网络通过卷积和池化层提取特征，并通过多层感知器进行关键点的分类和回归，能够在图像中检测人体并估计初始的关键点位置，在输入图像中生成人体候选框，并为每个候选框生成对应的关键点热图，用于表示关键点的位置概率分布；
[0062]
姿态回归器，用于人体姿态回归，姿态回归器所述同样由一个深度卷积神经网络构成，其通过接收所述姿态评估器的关键点热图和原始图像作为输入，对关键点进行精细调整和回归，并输出最终关键点坐标。
[0063]
与现有技术相比，本发明的有益效果是：
[0064]
(1)一种基于多源异构数据的综合运动评估方法及系统，通过结合个体运动状态下的指标数据和视频数据，实现对个体运动状态的综合评估，该系统利用计算机视觉技术对视频数据进行分析，并结合指标数据进行综合计算，从而得出准确、可靠的运动评估结果；本方法能够很好的适应不同个体的运动模式和特征表达能力的差异，提高了对个体运动评估的准确性、通用性以及效率。
附图说明
[0065]
图1为本发明一种基于多源异构数据的综合运动评估方法及系统中对指标数据采集处理的流程示意图；
[0066]
图2为本发明一种基于多源异构数据的综合运动评估方法及系统中计算机视觉模块的工作示意图；
[0067]
图3为本发明一种基于多源异构数据的综合运动评估方法及系统中lstm的网络结构示意图。
具体实施方式
[0068]
下面结合附图所示的各实施方式对本发明进行详细说明，但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本发明的保护范围之内。
[0069]
请参图1至图3所示出的本发明一种基于多源异构数据的综合运动评估方法及系统的一种具体实施方式。
[0070]
一种基于多源异构数据的综合运动评估方法，包括以下步骤：s1，从个体运动过程中采集指标数据，具体包括：s11，使用穿戴式设备采集个体运动过程中的心电信号；s12,对采集到的心电信号进行预处理，对预处理后的心电信号进行波形定位，定位出每个心拍的r峰，根据r峰的位置截取出每个心拍，同时对每个心拍的p波、q波、s波、t波进行定位；s12步骤中的预处理包括以下步骤：s121，对心电信号作前置放大、滤波，s122，通过a/d将心电信号转化为数字信号，运用去噪算法处理去除数据信号中的工频干扰、基线漂移、肌电伪迹并进行重采样，并提取心电信号；其中，重采样频率为500hz。s13，提取出每个心拍的特征，通过预先训练好的随机森林模型对运动过程中的心电信号进行类型识别，识别结果为正常或不正常；随机森林模型的特征选择准则是基尼不纯度gini()，计算公式如下：
[0071][0072]
其中，k是类别的数量，pk表示样本属于第k类的概率；
[0073]
提取出每个心拍的17个特征，主要特征包括但不限于：
[0074]
a)p波缺失标志位；
[0075]
b)t波倒置标志位；
[0076]
c)p波峰值点幅值；
[0077]
d)q波波谷幅值；
[0078]
e)r峰幅值；
[0079]
f)s波波谷幅值；
[0080]
g)t波峰值点幅值；
[0081]
h)p波长度/心拍长度；
[0082]
i)qrs间期(即q波起点到s波终点)/心拍长度；
[0083]
j)t波长度/心拍长度；
[0084]
k)pr间期(即p波起点到q波起点)/心拍长度；
[0085]
l)qt间期(即q波起点到t波终点)/心拍长度；
[0086]
m)t波峰值点到t波终点/qt间期；
[0087]
n)j点(即s波终点)到t波峰值点/j点到t波终点；
[0088]
o)t波峰值点到t波终点/j点到t波峰值点；
[0089]
p)t波峰值点到t波终点/qrs间期；
[0090]
q)t波峰值点到t波终点/(qt间期
×
qrs间期)。
[0091]
具体的，s2，从个体运动过程中采集视频数据，具体包括：s21，使用具有视频录制功能的移动端进行视频采集，采集的动作分为标准动作与测试动作；s22，对采集的视频数据进行预处理，包括将获取的视频数据进行标准化转换，并对视频参数进行归一化，使视频数据的格式、分辨率、帧速率保持一致；视频数据的采集可能由不同的设备完成，它们之间往往会造成分辨率和帧速率的不同，这对于研究视频数据是不利的，因此，在获取视频数据后，要对其进行一个标准化的转换，使得视频数据的格式、分辨率、帧速率保持一致。采集到的视频数据根据智能终端的不同可能存在差异，为了更好的分析和使用数据，要将包括视频格式在内的参数进行一次归一化。常用的视频数据文件类型包括avi格式、mov格式、mpeg格式、webm格式等，其不同的类型主要是因为视频编码的方式不同造成的，mpeg格式又分为mpeg-1、mpeg-2、mpeg-4。为了方便处理数据，本课题中转换后所保存的动作视频文件类型为mpeg-4，帧速率为30帧/秒，分辨率为340
×
256，即帧宽度为340，帧高度为256。
[0092]
具体的，s23，对预处理后的视频数据进行分析，运用人体姿态估计算法进行关键点识别，并输出关键点坐标序列，对关键点坐标序列进行归一化和标准化处理，生成时间姿态序列，后输入到lstm模型中进行类型识别；s23步骤中，对关键点识别的过程中还需要对识别到的关键点进行噪声预处理，通过采用滤波技术处理关键点的离散形式的坐标值，以滤除零值或异常点的坐标。由于客观因素，识别过程中会出现异常值，所以本发明采用传统的滤波技术，如拉普拉斯平滑、高斯滤波、离散余弦变换(dct)和离散傅里叶变换(dft)，来处理关键点的离散形式的坐标值，通过这类操作可以滤除零值或异常点的坐标，保留低频分量，更可靠的检测骨骼点数据。除了对关键点进行噪声预处理，由于拍摄距离可能不一致，且人体本身也是存在身高大小差异的，则对应生成的骨骼点数据存在表征的人体大小不一致的情况，这时需要对原始数据进行一定的归一化，使其标准化到一定范围来进行后
续的处理，如果不使用标准化操作，则原本是相似的两个人体动作可能会产生不一样的输出结果，s23步骤中，对关键点坐标序列进行归一化和标准化处理，其具体步骤如下：
[0093]
通过将多帧中心点坐标(x
it
，y
it
)取平均值得到平均中心点坐标(mid
x
，midy)，在此基础上进行平移变换计算，公式如下：
[0094][0095]
同时在空间尺度上进行对齐，按照图像宽度和高度对所有的坐标进行尺度归一化，使待测姿态与标准姿态在空间上完成对齐，公式如下：
[0096][0097]
其中，height表示图像的高度。
[0098]
s3，使用加权平均的方法对s1步骤采集到的指标数据与s2步骤采集到的视频数据进行综合评价。s3步骤中，综合评价的方法为通过设置决策路径确定综合评估结果，决策路径如下：假设视频数据评估结果为v，指标数据评估结果为i，v+表示为正常，v-表示为负常，i+表示为正常，i-表示为负常；
[0099]
当v＝v+，且i＝i+，则综合评估结果为正常；
[0100]
当v＝v-，且i＝i-，则综合评估结果为负常；
[0101]
当v＝v+，且i＝i-，则根据具体需求决定综合评估结果，如视为边缘情况或需进一步分析；
[0102]
当v＝v-，且i＝i+，同样根据具体需求决定综合评估结果。
[0103]
本发明还公开一种基于多源异构数据的综合运动评估系统，包括：可穿戴式设备，集成有原始生理信号采集模块；移动端，具有视频录制功能，用于对运动状态下的个体进行视频采集；指标数据处理模块，能够对采集模块采集的心电信号进行预处理，之后对预处理后的心电信号进行波形定位，并提取特征，随后通过随机森林模型对运动过程中的心电信号进行类型识别，并输出识别结果；视频处理模块，用于对移动端采集的视频数据作标准化转换，并对视频参数作归一化处理；计算机视觉模块，用于对处理后的视频进行关键点识别，并生成时间姿态序列；深度学习模块，用于对得到的时间姿态序列进行学习和识别；综合评价模块，用于对指标数据和视频数据进行综合评价。
[0104]
具体的，计算机视觉模块选择轻量化卷积神经网络blazepose模型，其包括：面部检测器与身体姿态估计器，面部检测器用于对采集到的面部图像进行处理，以检测和定位人脸区域；
[0105]
身体姿态估计器用于对人体姿态进行推断，其能够输出面部的眼睛、鼻子、嘴巴，以及身体的各个关节和部位的坐标位置。
[0106]
轻量化卷积神经网络blazepose模型的网络结构包括姿态评估器与姿态回归器，其中，姿态评估器用于人体姿态检测，姿态评估器由一个深度卷积神经网络组成，该网络通过卷积和池化层提取特征，并通过多层感知器进行关键点的分类和回归，能够在图像中检测人体并估计初始的关键点位置，在输入图像中生成人体候选框，并为每个候选框生成对应的关键点热图，用于表示关键点的位置概率分布；姿态回归器用于人体姿态回归，姿态回
归器同样由一个深度卷积神经网络构成，其通过接收姿态评估器的关键点热图和原始图像作为输入，对关键点进行精细调整和回归，并输出最终关键点坐标。
[0107]
轻量化卷积神经网络blazepose模型能够提供33个人体特征点，33个关键点对应的标号及名称如下表所示：
[0108][0109][0110]
本发明中使用lstm模型来对得到的时间序列特征进行学习和识别。lstm在具有强记忆能力的同时，也有着更多的参数。lstm的网络结构如图3所示，符号i表示输入门，输入门决定了有多少新的信息应该被添加到细胞状态中，它的输入门i
t
是由当前时间步的输入x
t
、上一个时间步的隐藏状态输出h
t-1
和相应的权重参数w
xi
、w
hi
以及偏置参数bi组合计算而得。输入门的作用是控制新信息的重要性，以便更好地更新细胞状态。它在每个时刻t，隐藏状态h
t
，细胞状态
ct
都能够用下面的公式计算出来：
[0111]it
＝σ(w
ii
x
t
+b
ii
+w
hiht-1
+b
hi
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0112]ft
＝σ(w
if
x
t
+b
if
+w
hfht-1
+b
hf
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0113]ct
＝f
tct-1
+i
t
σ(w
ic
x
t
+b
ic
+w
hcht-1
+b
hc
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0114]ot
＝σ(w
io
x
t
+b
io
+w
hoht-1
+b
ho
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0115]ht
＝σ
t
tanh (c
t
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
[0116]
其中，t表示时刻，h
t
表示隐藏状态，c
t
表示细胞状态，i
t
表示输入门，f
t
表示遗忘门，o
t
表示输出门，σ表示sigmoid激活函数，tanh表示激活函数，w和b表示权重和偏置参数。
[0117]
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包
含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

技术特征：
1.一种基于多源异构数据的综合运动评估方法，其特征在于，包括以下步骤：s1，从个体运动过程中采集指标数据，具体包括：s11，使用穿戴式设备采集个体运动过程中的心电信号；s12,对采集到的心电信号进行预处理，对预处理后的心电信号进行波形定位，定位出每个心拍的r峰，根据r峰的位置截取出每个心拍，同时对每个心拍的p波、q波、s波、t波进行定位；s13，提取出每个心拍的特征，通过预先训练好的随机森林模型对运动过程中的心电信号进行类型识别；s2，从个体运动过程中采集视频数据，具体包括：s21，使用具有视频录制功能的移动端进行视频采集，采集的动作分为标准动作与测试动作；s22，对采集的视频数据进行预处理，包括将获取的视频数据进行标准化转换，并对视频参数进行归一化，使视频数据的格式、分辨率、帧速率保持一致；s23，对预处理后的视频数据进行分析，运用人体姿态估计算法进行关键点识别，并输出关键点坐标序列，对关键点坐标序列进行归一化和标准化处理，生成时间姿态序列，后输入到lstm模型中进行类型识别；s3，使用加权平均的方法对所述s1步骤采集到的指标数据与所述s2步骤采集到的视频数据进行综合评价。2.根据权利要求1所述的一种基于多源异构数据的综合运动评估方法，其特征在于，所述s12步骤中的预处理包括以下步骤：s121，对心电信号作前置放大、滤波，s122，通过a/d将心电信号转化为数字信号，运用去噪算法处理去除数据信号中的工频干扰、基线漂移、肌电伪迹并进行重采样，并提取心电信号；其中，重采样频率为500hz。3.根据权利要求1所述的一种基于多源异构数据的综合运动评估方法，其特征在于，所述s23步骤中，对关键点识别的过程中还需要对识别到的关键点进行噪声预处理，通过采用滤波技术处理关键点的离散形式的坐标值，以滤除零值或异常点的坐标。4.根据权利要求1所述的一种基于多源异构数据的综合运动评估方法，其特征在于，所述s23步骤中，对关键点坐标序列进行归一化和标准化处理，其具体步骤如下：通过将多帧中心点坐标(x
it
，y
it
)取平均值得到平均中心点坐标(mid
x
，mid
y
)，在此基础上进行平移变换计算，公式如下：同时在空间尺度上进行对齐，按照图像宽度和高度对所有的坐标进行尺度归一化，使待测姿态与标准姿态在空间上完成对齐，公式如下：其中，height表示图像的高度。
5.根据权利要求1所述的一种基于多源异构数据的综合运动评估方法，其特征在于，所述s23步骤中，所述lstm模型中的计算公式如下：i
t
＝σ(w
ii
x
t
+b
ii
+w
hi
h
t-1
+b
hi
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)f
t
＝σ(w
if
x
t
+b
if
+w
hf
h
t-1
+b
hf
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)c
t
＝f
t
c
t-1
+i
t
σ(w
ic
x
t
+b
ic
+w
hc
h
t-1
+b
hc
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)o
t
＝σ(w
io
x
t
+b
io
+w
ho
h
t-1
+b
ho
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)h
t
＝o
t
tanh(c
t
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)其中，t表示时刻，h
t
表示隐藏状态，c
t
表示细胞状态，i
t
表示输入门，f
t
表示遗忘门，o
t
表示输出门，σ表示sigmoid激活函数，tanh表示激活函数，w和b表示权重和偏置参数。6.根据权利要求1所述的一种基于多源异构数据的综合运动评估方法，其特征在于，所述s3步骤中，综合评价的方法为通过设置决策路径确定综合评估结果，决策路径如下：假设视频数据评估结果为v，指标数据评估结果为i，v+表示为正常，v-表示为负常，i+表示为正常，i-表示为负常；当v＝v+，且i＝i+，则综合评估结果为正常；当v＝v-，且i＝i-，则综合评估结果为负常；当v＝v+，且i＝i-，则根据具体需求决定综合评估结果，如视为边缘情况或需进一步分析；当v＝v-，且i＝i+，同样根据具体需求决定综合评估结果。7.一种基于多源异构数据的综合运动评估系统，其特征在于，包括：可穿戴式设备，集成有原始生理信号采集模块；移动端，具有视频录制功能，用于对运动状态下的个体进行视频采集；指标数据处理模块，能够对所述采集模块采集的心电信号进行预处理，之后对预处理后的心电信号进行波形定位，并提取特征，随后通过随机森林模型对运动过程中的心电信号进行类型识别，并输出识别结果；视频处理模块，用于对所述移动端采集的视频数据作标准化转换，并对视频参数作归一化处理；计算机视觉模块，用于对处理后的视频进行关键点识别，并生成时间姿态序列；深度学习模块，采用lstm模型，用于对得到的时间姿态序列进行学习和识别；综合评价模块，用于对指标数据和视频数据进行综合评价。8.根据权利要求7所述的一种基于多源异构数据的综合运动评估系统，其特征在于，所述计算机视觉模块选择轻量化卷积神经网络blazepose模型，其包括：面部检测器与身体姿态估计器，所述面部检测器用于对采集到的面部图像进行处理，以检测和定位人脸区域；所述身体姿态估计器用于对人体姿态进行推断，其能够输出面部的眼睛、鼻子、嘴巴，以及身体的各个关节和部位的坐标位置。9.根据权利要求7所述的一种基于多源异构数据的综合运动评估系统，其特征在于，所述轻量化卷积神经网络blazepose模型的网络结构包括：姿态评估器，用于人体姿态检测，所述姿态评估器由一个深度卷积神经网络组成，该网络通过卷积和池化层提取特征，并通过多层感知器进行关键点的分类和回归，能够在图像中检测人体并估计初始的关键点位置，在输入图像中生成人体候选框，并为每个候选框生
成对应的关键点热图，用于表示关键点的位置概率分布；姿态回归器，用于人体姿态回归，姿态回归器所述同样由一个深度卷积神经网络构成，其通过接收所述姿态评估器的关键点热图和原始图像作为输入，对关键点进行精细调整和回归，并输出最终关键点坐标。

技术总结
本发明公开了一种基于多源异构数据的综合运动评估方法及系统，方法包括以下步骤：S11，使用穿戴式设备采集个体运动过程中的心电信号；S12,对采集到的心电信号进行预处理，对预处理后的心电信号进行波形定位；S13，提取出每个心拍的特征，并进行类型识别；S21，使用具有视频录制功能的移动端进行视频采集；S22，对采集的视频数据进行预处理；S23，对预处理后的视频数据进行分析，运用人体姿态估计算法进行关键点识别，并生成时间姿态序列，后输入到LSTM模型中进行类型识别；S3，使用加权平均的方法进行综合评价。本发明利用计算机视觉技术对视频数据进行分析，并结合指标数据进行综合计算，从而得出准确、可靠的运动评估结果。可靠的运动评估结果。可靠的运动评估结果。


技术研发人员：王忠瑞 崔文波 陈永锐 王忠波 李树旺 吴永宏
受保护的技术使用者：中国人民大学
技术研发日：2023.07.07
技术公布日：2023/10/15