用于肩颈康复的运动监测系统、方法及存储介质与流程

1.本发明涉及一种用于肩颈康复的运动监测系统、方法及存储介质。


背景技术：

2.在现有技术中，患者进行肩颈手术后，需要每天进行一定的锻炼，来恢复肩颈活动度，以达到能正常活动、生活的目的。但是患者在锻炼时，无法确定运动是否标准、是否达标，是否能达到锻炼肩颈的目的。因此，需要一种运动监测系统以完成对患者在训练过程中的监控、指导等提示。
3.然而，现存的关于用于指导用户进行肩颈康复的运动监测反馈系统存在各种显著的问题。一方面，当前市面上存在的用于肩颈康复的运动监测产品基本都是一些锻炼器或者一些康复装置，其仅能够基于其机械和物理构造简单地对用户的动作进行约束而无法对其中存在的不规范动作进行监测并反馈至用户。另一方面，还存在一些基于可穿戴传感器的用于肩颈康复的运动监测产品，但是这种产品在进行运动监测前，需要相对复杂的穿戴以及校准过程，对于需要进行肩颈康复的用户而言，可能是一种显著的负担。进一步地，虽然还存在一些基于实时采集视频进行运动监测的产品，但是这些产品大部分基于所监测动作与标准动作的比较进行监测与反馈，这种情况下，计算过程相对复杂且算力要求相对更高。此外，市面上现存的康复装置大多是基于颈椎康复，对于肩部的运动监测效果并不理想。
4.因此，需要一种用于肩颈康复的运动监测系统，其一方面能够优化对于用户的运动进行监测和反馈的计算复杂程度，且另一方面能够针对于肩颈康复运动进行准确且及时的反馈。


技术实现要素：

5.根据本发明的第一方面，提供了一种用于肩颈康复的运动监测系统，其中，其包括存储器；以及处理器，处理器至少包括：采集模块，其被构造为获取用户的图像信息；关节点识别模块，其被构造为基于经训练的视觉模型识别由采集模块所获取的图像信息中的所述用户的关节点、图像信息中相应关节点的坐标以及所识别的关节点的预测值信息；人体判定模块，其被构造为基于由关节点识别模块所识别出的关节点的预测值信息确定所获取的图像信息中是否包含完整人体信息或者包含与要进行的训练运动有关的关键关节点信息；动作指导模块，其被构造为基于用户所选定的动作或者动作系列获取指导用户进行用于肩颈康复的训练运动信息；动作判定模块，其构造为识别基于动作指导模块进行运动的用户的训练运动是否满足预期要求；以及输出模块，其构造为基于人体判定模块和/或动作判定模块的判定结果和/或基于动作指导模块的训练运动信息输出相关提示。
6.进一步地，动作判定模块还被构造为确定对于图像信息的拍摄角度是否正确。
7.进一步地，处理器还包括特定关节排除模块，其被构造为接收由用户手动输入的特定关节点排除信息。
8.进一步地，动作判定模块基于用户进行训练运动时由关节点识别模块所识别的各个关节点中与训练动作相关的关节点之间的角度和/或坐标位置关系来确定用户当前执行的训练运动是否满足预期要求。
9.进一步地，对于卧姿训练运动，当动作判定模块确定拍摄角度不正确时，动作判定模块基于勾股定理基于肩关节和髋关节之间的连线相对于y轴的角度以及肩关节和髋关节的相应x轴的坐标的差值进行坐标处理并计算拍摄角度使得经变换后的坐标对应于正确拍摄角度的图像信息的坐标，其中y轴和x轴分别平行于或重合于竖直方向以及横向方向。
10.进一步地，经训练的视觉模型基于预先采集的关于各种人员的所有姿势的图像和/或图像流和/或视频数据进行对于人体的关节点的识别训练并且图像和/或图像流和/或视频数据的姿势包括卧姿数据。
11.进一步地，运动监测系统还还包括人机交互界面，人机交互界面被构造为接收由用户输入的初始信息，初始信息包括特定关节点排除信息以及用户的训练动作选择信息。
12.根据本发明的另一方面，提供了一种用于肩颈康复的运动监测方法，其中所述运动监测方法至少包括如下步骤：启动用于肩颈康复的运动监测系统；由用户选择训练运动；提示所述用户处于正确初始位置；实时获取所述用户的图像信息；基于经训练的视觉模型识别所获取的图像信息中的所述用户的关节点、相应关节点坐标以及所识别的关节点的预测值信息；基于所识别的关节点的预测值信息进行人体判定以确定图像信息中是否检测到完整人体或者是否包含与待进行的训练动作相关的关键关节点信息；如果确定图像信息中检测到完整人体或包括关键关节点，则提示用户变换朝向和/或进行动作等训练动作信息；基于用户进行所述动作时所获取的图像信息判断用户所执行的动作是否满足要求；如果动作不满足要求，则提示用户修正所述动作。
13.进一步地，对于卧姿训练动作，该方法还包括确定拍摄角度是否正确的判定过程。
14.根据本发明的另一方面，提供了一种存储实现用于肩颈康复的运动监测方法的指令的存储介质。
15.借助本发明的用于肩颈康复的运动监测系统、方法及存储介质，其一方面能够优化对于用户的运动进行监测和反馈的计算复杂程度，且另一方面能够针对于肩颈康复运动进行准确且及时的反馈。
附图说明
16.现在将参照附图描述本发明的上述和其他优点，这些附图仅用于说明目的，其中：
17.图1示出了根据本发明的用于肩颈康复的运动监测系统的示意性框图；
18.图2示出了根据本发明的优选实施例的用于肩颈康复的运动监测方法的流程图；
19.图3示出了根据本发明的优选实施例的用于肩颈康复的运动监测系统的总体结构图。
具体实施方式
20.在本技术的实施例中，采用彼此垂直的三个方向对本技术的实施例进行描述。具体地，竖直方向y或y轴与重力方向一致。纵向方向z或z轴平行于水平地面并且垂直于竖直方向y。横向方向x或x轴也平行于水平地面并且垂直于竖直方向y和纵向方向z两者，因此，
横向方向x和纵向方向z两者共同所在的平面平行于水平地面。进一步地，横向方向x还可以更具体地定义为图像中所显示的水平方向。
21.图1示出了根据本发明的用于肩颈康复的运动监测系统1的示意性框图。
22.根据本技术的实施例的用于肩颈康复的运动监测系统至少包括存储器14以及处理器12，该处理器12至少包括：采集模块1202、关节点识别模块1204、人体判定模块1206、动作判定模块1208、动作指导模块1210、输出模块1212。如本领域技术人员所理解的，在本技术的上下文中，对于实现处理器的功能的各种模块仅是示例性。
23.采集模块1202被构造为获取用户的图像信息。作为示例，在本技术的实施例中，用于肩颈康复的运动监测系统1的采集模块1202可以例如为诸如相机等的光学采集装置。由该采集模块1202所获得用户的图像信息被传递至该处理器中的其他各个模块以进行各种处理。在本技术的实施例中，该采集模块被构造为实时获取用户的图像信息。
24.关节点识别模块1204被构造为基于经训练的视觉模型识别由采集模块1202所获取的图像信息中的用户的关节点、图像信息中相应关节点坐标以及所识别的关节点的预测值信息。作为示例，由该关节点识别模块1204所识别的关节点例如包括双眼、双耳、鼻子，双肩关节、双肘关节、双腕关节、双髋关节、双膝关节、双踝关节等17个关节点，但这仅是示例性的，本领域技术人员能够根据其需要适当的增加或者删减或者变换这些关节点中的一个或多个关节点而不脱离本技术的范围。进一步地，在本技术的实施例中，该经训练的视觉模型例如基于预先采集的关于各种人员的所有姿势的图像和/或图像流和/或视频数据进行对于人体的关节点的识别训练。在本技术的实施例中，用于对视觉模型进行训练的图像和/或图像流和/或视频数据的姿势包括卧姿数据。在本技术的实施例中，所识别的关节点的预测值信息表示由于视觉模型识别的关节点的概率值信息。应该理解的是，在经训练视觉模型中，识别所获取的图像信息的关节点实际上对应于识别图像信息中为特定关节点的概率最高的像素(像素坐标)，因此，在本技术的实施例中，识别关节点的同时也会相应确定与所识别出的关节点相对应的像素(像素坐标)确实为该关节点的预测值信息(概率信息)。如本领域普通技术人员将理解地，在本技术的范围中，关节点识别模块1204进一步地被构造为基于经训练的视觉模型实时识别由采集模块1202所获取的图像信息中的用户的关节点、图像信息中相应关节点坐标以及所识别的关节点的预测值信息。进一步地，在本技术的实施例中，利用tnesorflow对所需视觉模型进行预先训练。
25.人体判定模块1206被构造为基于由所述关节点识别模块1204所识别出的关节点的预测值信息确定所获取的图像信息中是否包含完整人体信息。具体地，基于上文所述，由于与由关节点识别模块1206所识别的每个关节点均包含与所识别出的关节点相对应的像素(像素坐标)确实为该关节点的预测值信息(概率信息)，因此，可以基于这些预测信息值确定所获取的图像信息中是否包含完整人体信息。具体地且非限制性地，可以确定由关节点识别模块1204所识别的每个关节点的相应预测值信息是否均大于预定阈值，例如均大于0.5，则表明所识别的所有关节点均均很可能为人体关节点，则因此可以确定该图像信息中包含完整人体信息。进一步地，可以确定由关节点识别模块1204所识别的每个关节点的相应预测值信息是否均小于预定阈值，例如均小于0.2，则表明所识别的所有关节点均极不可能为人体关节点，则因此可以确定该图像信息中完全不包含人体信息。作为另一个示例，可以对由关节点识别模块1204所识别的每个关节点的预测值信息进行独立综合计算，例如求
和、对数和绝对值、最小值判定等，来确定图像信息中是否包含完整人体信息。作为独立综合计算中的求和的示例，例如，可以对与所识别的关节点相关联的每个预测值信息进行求和并且将该求和值与预定值进行比较以确定所获取的图像信息中是否包括完整人体信息。作为另一示例，除了上述独立计算方法外，该综合计算例如可以采取集成至tnesorflow或其他类似视觉训练模型中的预定计算方法进行计算，该预定计算方法的调用和原理属于本领域的公知常识，在此不再额外赘述。
26.作为上述独立综合运算中最小判定的示例，例如，可以对与所识别的关节点相关联的每个预测值信息中的最小值与预定值进行比较以确定所获取的图像信息中是否包括完整人体信息，例如当预测值信息中的最小值小于0.1，则表明所识别的关节点中存在极不可能为该关节点的情况，则可以确定存在所获取的图像信息中不包括完整人体信息的情况。当然，可以对小于预定值的预测值信息进一步地进行计数，并且当存在小于预定值的最小值且小于预定值的预测值的数量小于一定总数时，则确定存在所获取的图像信息中不包括完整人体信息的情况。
27.可替代地，人体判定模块1206被构造为基于由所述关节点识别模块1204所识别出的关节点的预测值信息确定所获取的图像信息中是否包含与要进行的肩颈康复运动或者训练动作有关的关键关节点信息。关于肩颈康复运动或者动作将在后文具体描述。对于肩颈训练运动或者训练动作而言，这些运动或者动作可能只与特定关节点有关，因此在进行监测时，运动监测系统1并不需要对与该运动或者动作无关的其他关节点持续保持关注，因此，只需要确保与要进行的肩颈康复运动或者动作有关的关键关节点信能够得到有效地覆盖即可，这可以显著降低对运动或者训练动作进行监测时，监测系统1的负担得到显著降低并且能够适应不同视野或者视角的图像/图像流。
28.作为替代例且可选地，在本技术的实施例中，该处理器12还可以包括特定关节排除模块1214，该模块可以接收由用户手动输入的特定关节点排除信息。在某些用户为缺失某些肢体或者器官的特殊群体时，在对所获取的图像信息进行各种处理前，可以基于由特定关节排除模块1214所获取的特定关节点排除信息对所获取的图像信息进行各种处理，例如由关节点识别模块1204进行的处理。因此，在这种情况下，用于关节点识别模块1204的经训练的视觉模型例如还基于预先采集的关于包括存在特定关节点缺失的各种人员的所有姿势的图像和/或图像流和/或视频数据进行对于人体的关节点的识别训练。
29.动作指导模块1208被构造为基于用户所选定的动作或者动作系列获取指导用户进行用于肩颈康复的训练运动信息。作为示例，用于进行肩颈康复的运动信息存储于存储器14中并基于用户的选定由动作指导模块1208获取相关选定数据。例如，当用户选定动作后，动作指导模块1208获取训练名称并获取相关训练运动信息。该训练运动信息例如包括用户距运动监测系统1的距离和朝向、运动监测系统1的放置方式、用户需要注意的动作要领以及与训练运动相关的各种时间信息等。例如，该训练运动信息包括指导用户正对摄像头、距离手机3米左右、训练运动起始时间、训练运动持续时间等各种相关信息。
30.动作判定模块1210被构造为识别基于动作指导模块1208进行运动的用户的训练运动是否满足预期要求。在本技术的实施例中，动作判定模块被构造为基于用户进行训练运动时由关节点识别模块1204所识别的各个关节点中与该训练动作相关的关节点之间的位置关系来确定用户当前执行的训练运动是否满足预期要求。进一步地，在本技术的实施
例中，动作判定模块1210基于用户进行训练运动时由关节点识别模块1204所识别的各个关节点与该训练动作相关的关节点之间的角度和/或坐标位置关系来确定用户当前执行的训练运动是否满足预期要求。当然，如本领域技术人员将理解的，上述判断训练动作是否满足预期要求的标准仅是示例性的，例如，在本技术的范围内，动作判定模块1210还可以被基于用户进行训练运动时由关节点识别模块1204所识别的各个关节点之间在不同图像帧之间的位置关系变化或者变化率或者幅度来确定用户当前执行的训练运动是否满足预期要求。作为示例且非限制性的，动作判定模块1210被构造为基于相关关节点之间的连线确定由关节点识别模块所识别的各个关节点中与该训练动作相关的关节点之间的位置关系。
31.虽然在此描述了动作判定模块1210的具体功能，但是，在本技术的实施例中，该动作判定模块1210还被构造为确定对于图像信息的拍摄角度是否正确。具体地，该动作判定模块1210还被构造为基于所识别的关节点中的选定关节点的坐标关系确定拍摄角度是否正确。例如，对于处于卧姿的用户而言，当贴近地面那侧的肩关节和髋关节的y坐标大体相同(肩关节和髋关节之间的连线相对于y轴大体平行)(例如差值《30
°
)时，该动作判定模块判定拍摄角度正确且对图像信息的坐标不进行额外处理，否则是判定拍摄角度不正确。当动作判定模块确定拍摄角度不正确时，一方面可以经由输出模块1212输出调整角度的提示，另一方面则可以经由动作判定模块1210基于勾股定理计算拍摄角度，具体地，基于肩关节和髋关节之间的连线相对于y轴的角度以及肩关节和髋关节的相应x轴坐标的差值进行坐标处理并计算相应的拍摄角度使得该经变换后的坐标对应于正确拍摄角度的图像信息的坐标，使得动作判定模块1210能够在后续的动作判定过程中基于该拍摄角度以及相应经处理坐标确定动作是否满足要求。
32.输出模块1212被构造为基于人体判定模块1206和/或动作判定模块1210的判定结果并且基于动作指导模块1208的训练运动信息输出对于训练动作的相关提示。作为示例，该输出模块1212被构造为能够被构造为输出由人体判定模块1206和/或动作判定模块1210所确定的否定判定结果或者将与训练运动信息的相关的信息并以音频和/或视频和/或其组合的方式反馈给用户以实现用户的相关改进以满足各种要求。有利地，该输出模块1212优选地为屏幕，例如液晶显示器、有机发光二极管等形式。但是可以预见，作为示例而非限制性的，输出装置还可以是语音播报装置、投影装置等输出装置硬件或其组合。
33.可选地，在本技术的实施例中，本技术的运动监测系统1还包括人机交互界面，其中，该人机交互界面被构造为接收由用户输入的初始信息，该初始信息例如包括特定关节点排除信息以及用户的训练动作选择信息。该人机交互界面构造成以用户可实现的任何形式(例如，语音输入、文字输入、图像识别)接收用户初始信息。作为示例而非限制性的，该人机交互界面可以实施为键盘、鼠标、触摸屏幕、操纵杆、麦克风等任何可以接收用户所输入的初始信息的硬件或其组合。
34.在肩颈康复的领域中，作为示例，训练动作总体上能够区分为站姿训练动作和卧姿训练动作。还更进一步地，作为示例，下文将分别选取站姿训练动作和卧姿训练动作对本技术所记载的用于肩颈康复的运动监测系统1的运行流程进行描述，但是需要注意的是，无论用户实际选择的训练动作或者训练动作系列如何，均不脱离本技术的范围。对于站姿训练动作和卧姿训练动作的划分仅是示例性的，如本领域技术人员可以理解的，可以存在其他类型的训练动作，例如坐姿训练动作。还进一步地，在本技术的实施例中，虽然描述为用
于肩颈康复运动的运动监测系统1，但是本技术范围可以并不限制于此，基于本技术的思想和设计，该运动监测系统还可以用于其他部位的康复运动监测，甚至用于诸如运动员的用户的动作标准度监测等各种范围。
35.现在，详细描述对于站姿训练运动而言，本技术的运动监测系统1的具体操作：当用户启动该运动监测系统1后，用户输入特定关节排除信息(可选地)并经由人机交互界面选择训练运动，然后，动作指导模块1208经由输出模块1212提示用户正对摄像头、距离手机3米左右；采集模块1202开始实时获取用户的图像信息，关节点识别模块1204基于经训练的视觉模型开始识别由采集模块1202所获取的图像信息中的用户的关节点、图像信息中相应关节点坐标以及所识别的关节点的预测值信息；人体判定模块1206在用户选择训练运动一定时间间隔后或者实时地开始基于关节点识别模块中所识别的关节点的预测值信息进行人体判定；当人体判定模块1296确定未检测到完整人体或者未检测到人体或者未检测到与将进行的训练动作相关的关键关节点时，经由输出模块1212输出人体判定失败的提示并提示用户改进动作并重复上述人体判定过程直至人体判定成功；当人体判定成功时，动作指导模块1208经由输出模块1212提示用户变换朝向(例如从正对摄像头变化为侧对摄像头)和/或进行动作等训练动作信息。
36.对于站姿训练动作而言，训练动作可以包括初始动作，例如使双臂自然下垂、贴近大腿，此时，由基于采集模块1202获取的图像信息由关节点识别模块1204所确定的肩关节、肘关节、腕关节的坐标的表现形式大体为x坐标大致相等但是y坐标相差较大，因此动作判定模块1210基于肩关节与腕关节坐标连线确定该连线分别与y轴/x轴的各自夹角，此时相对于y轴/x轴的角度应该大体为0
°
/90
°
，因此，以y轴为例，当该夹角《＝10
°
时，则动作判定模块1210判定该初始动作满足要求，动作指导模块进一步经由输出模块1212输出下一步动作，例如，双手上抬，举过头顶。当该夹角》10
°
，则动作判定模块1210判定该初始动作不满足要求并经由输出模块1212输出双手自然下垂，贴近双腿的提示。
37.作为示例，当用户进行下一步动作时，需要用户双臂保持一致，则动作判定模块1210被构造为基于肩关节与腕关节坐标连线确定两条手臂在进行下一步动作过程中两条连线是否一直保持成平行关系，当不保持平行时，动作判定模块1210判定该动作不满足要求并经由输出模块1212输出动作不规范，双手臂需要平行的提示。
38.作为示例，当用户进行下一步动作时，需要用户手臂保持伸直，则动作判定模块1210被构造为基于肩关节与肘关节连线与肘关节与腕关节连线之间的夹角判断该角度是否《10
°
或》170
°
当不处于《10
°
或》170
°
的范围内时，动作判定模块1210判定该动作不满足要求并经由输出模块1212输出动作不符合要求的提示。
39.作为示例，当用户进行下一步动作时，需要用户手臂保持某一动作(例如保持水平)一定时间，则动作判定模块1210被构造为基于在两个时刻由采集模块1202分别采集的图像信息中肩关节与腕关节坐标连线相对于特定坐标轴线(例如x轴、y轴或z轴)的角度变化来判断手臂是上升还是下降，例如，对于标准动作而言，在两个时刻由采集模块1202分别采集的图像信息中肩关节与腕关节坐标连线相对于y轴的角度表现为前一次所识别角度《当前所识别角度且差值》5
°
，则表明用户手臂发生下垂而不满足动作要求并经由输出模块1212输出动作不符合要求的提示。当然，在一些动作中，动作判定模块1210在动作满足要求时也可以经由输出模块1212提示用户保持此动作等动作指示。在动作保持时，也会判断两
条手臂是否伸直，是否平行的判定过程与上述一致。
40.进一步地，现在，详细描述对于卧姿训练运动而言，本技术的运动监测系统1的具体操作：当用户启动该运动监测系统1后，用户输入特定关节排除信息(可选地)并经由人机交互界面选择训练运动，然后，动作指导模块1206经由输出模块提示用户躺下、手臂对着相机、手机角度尽量拍摄全身、不要从头部或脚部拍摄；采集模块1202开始实时获取用户的图像信息，关节点识别模块1204基于经训练的视觉模型开始识别由采集模块1202所获取的图像信息中的用户的关节点、图像信息中相应关节点坐标以及所识别的关节点的预测值信息；人体判定模块1206在用户选择训练运动一定时间间隔后或者实时地开始基于关节点识别模块1204中所识别的关节点的预测值信息进行人体判定；当人体判定模块1206确定未检测到完整人体或者未检测到人体或者未检测到与将进行的训练动作相关的关键关节点时，经由输出模块1212输出人体判定失败的提示并提示用户改进动作并重复上述人体判定过程直至人体判定成功；当人体判定成功时，动作指导模1208块经由输出模块1212提示用户变换朝向和/或进行动作等训练动作信息。
41.此外，在此需要额外注意的是，在进行卧姿训练动作的情况下，在动作指导模块1208输出训练动作信息的之前，需要判断是采集模块1202的拍摄角度，该拍摄角度经由动作判定模块1210按照之前所述进行判断，在此不再赘述。当然，经由动作判定模块1210进行这种拍摄角度确定的过程并非强制性的而是示例性的。在本文后文关于卧姿训练动作的实施例中，均认为该动作判定模块1210已经实现确定了采集模块1202的拍摄角度并对图像信息的坐标进行适当变换，使得动作判定模块1210能够基于正常放置的xyz坐标系进行动作判定。
42.作为示例，在卧姿训练动作的情况下，训练动作可以包括初始动作，例如作为哑铃肩部外旋训练的初始动作是患侧小臂需要平行于y轴，因此动作判定模块1210基于肘关节和腕关节之间的连线是否平行于y轴，判断标准与上述用于站姿训练动作的初始动作情况类似，这里不在赘述。
43.作为示例，当用户进行下一步动作时，需要用户保持某一动作(例如小臂保持竖直)一定时间，则动作判定模块1210被构造为基于在两个时刻由采集模块1202分别采集的图像信息中患侧的肘关节与腕关节坐标连线和/或肩关节和肘关节连线相对于特定坐标轴线(例如x轴、y轴或z轴)的角度变化来判断手臂是上升还是下降，例如，该判定过程与上述对于站姿训练动作中保持手臂水平的判定过程类似，在此不再额外赘述。当动作不符合标准时，动作判定模块1210由输出模块1212输出动作不符合要求的提示。
44.虽然在上文中，针对站姿训练动作和卧姿训练动作分别详细描述了本技术的用于肩颈康复的运动监测系统1的具体过程，但是这些过程仅是示例性的而非限制性的。本领域技术人员能够基于本技术的公开内容进行各种适当的变换而不脱离本技术的范围。
45.有利地，本技术范围的用于肩颈康复的运动监测系统1的存存储器14可以例如包括存储器，例如u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等或者其他可存储数据的硬件存储。进一步地，根据本发明的存储器可以包括数据库、云存储等软件存储。进一步地，存储器可以包括还可以存储用于实现本技术的用于肩颈康复的运动监测系统1的功能的任何软件程序。
46.图2示出了根据本发明的优选实施例的用于肩颈康复的运动监测方法的流程图。
在本技术的实施例中，用于肩颈康复的运动监测方法包括如下步骤。
47.在步骤200处，启动用于肩颈康复的运动监测系统。
48.在步骤202处，由用户选择训练运动。在步骤202处，还可以包括经由用户输入特定关节点排除信息等信息。
49.在步骤204处，提示用户处于正确初始位置。例如，提示用户正对摄像头、距离手机3米左右等。
50.在步骤206处，实时获取用户的图像信息。
51.在步骤208处，基于经训练的视觉模型识别所获取的图像信息中的用户的关节点、相应关节点坐标以及所识别的关节点的预测值信息。
52.在步骤210处，基于所识别的关节点的预测值信息进行人体判定以确定图像信息中是否检测到完整人体或者是否检测到与将进行的训练动作相关的关键关节点。
53.在步骤212处，当人体判定成功时，提示用户变换朝向和/或进行动作等训练动作信息。
54.在步骤214处，基于所获取的图像信息判断用户所执行的动作是否满足要求。
55.在步骤216处，当动作不满足要求时，提示用户修正动作。
56.对于卧姿训练动作，还可能包括确定拍摄角度是否正确的判定，该过程例如参见上文对于动作判定模块的相关记载。
57.如图3所示，图3示出了根据本发明的实施例的用于肩颈康复的运动监测系统1的总体结构图，其中，基于相同的发明构思，所述用于肩颈康复的运动监测系统总体上至少包括如下部件：处理器301、存储器302、通信接口303和总线304；其中，所述处理器301、存储器302、通信接口303通过所述总线304完成相互间的通信；所述通信接口303用于实现用于肩颈康复的运动监测系统的信息交互通信以及与其他软件或硬件的信息传输；所述处理器301用于调用所述存储器302中的计算机程序，所述处理器执行所述程序时实现如本技术之前所述的用于肩颈康复的运动监测系统所执行的流程。
58.基于相同的发明构思，本发明的又一实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现如本技术之前所述的用于肩颈康复的运动监测系统1所执行的流程，在此不再赘述。
59.此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述用于辅助疾病推理的系统所执行的流程的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
60.对于本发明实施例提供的计算机可读存储介质，其上存储的计算机程序的工作原理和有益效果和上述实施例提供的用于肩颈康复的运动监测系统类似，具体内容和参见上述实施例的介绍，本发明实施例对此不再详述。
61.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可
以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
62.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分。
63.还应该理解，可以根据具体要求而进行各种变型。例如，也可以使用定制硬件，和/或可以用硬件、软件、固件、中间件、微代码，硬件描述语言或其任何组合来实现特定元件。例如，所公开的用于辅助疾病推理的系统及其所执行的流程中的一些或全部可以通过使用根据本公开的逻辑和算法，用汇编语言或硬件编程语言(诸如verilog，vhdl，c++)对硬件(例如，包括现场可编程门阵列(fpga)和/或可编程逻辑阵列(pla)的可编程逻辑电路)进行编程来实现。
64.还应该理解，前述用于肩颈康复的运动监测系统所执行的流程可以通过服务器-客户端模式来实现。例如，客户端可以接收用户输入的数据并将所述数据发送到服务器。客户端也可以接收用户输入的数据，进行前述用于肩颈康复的运动监测系统所执行的流程中的一部分处理，并将处理所得到的数据发送到服务器。服务器可以接收来自客户端的数据，并且执行前述用于辅助疾病推理的系统所执行的流程或前述用于肩颈康复的运动监测系统所执行的流程中的另一部分，并将执行结果返回给客户端。客户端可以从服务器接收到用于肩颈康复的运动监测系统所执行的流程的执行结果，并例如可以通过输出模块呈现给用户。
65.还应该理解，用于肩颈康复的运动监测系统的组件可以分布在网络上。例如，可以使用一个处理器执行一些处理，而同时可以由远离该一个处理器的另一个处理器执行其他处理。用于肩颈康复的运动监测系统的其他组件也可以类似地分布。这样，用于肩颈康复的运动监测系统可以被解释为在多个位置执行处理的分布式计算系统。
66.虽然已经参照附图描述了本公开的实施例或示例，但应理解，上述的方法、系统和设备仅仅是示例性的实施例或示例，本发明的范围并不由这些实施例或示例限制，而是仅由授权后的权利要求书及其等同范围来限定。实施例或示例中的各种要素可以被省略或者可由其等同要素替代。此外，可以通过不同于本公开中描述的次序来执行各步骤。进一步地，可以以各种方式组合实施例或示例中的各种要素。重要的是随着技术的演进，在此描述的很多要素可以由本公开之后出现的等同要素进行替换。

技术特征：
1.一种用于肩颈康复的运动监测系统，其中，其包括存储器；以及处理器，所述处理器至少包括：采集模块，其被构造为获取用户的图像信息；关节点识别模块，其被构造为基于经训练的视觉模型识别由所述采集模块所获取的所述图像信息中的所述用户的关节点、所述图像信息中相应关节点的坐标以及所识别的所述关节点的预测值信息；人体判定模块，其被构造为基于由所述关节点识别模块所识别出的关节点的所述预测值信息确定所获取的所述图像信息中是否包含完整人体信息或者包含与要进行的训练运动有关的关键关节点信息；动作指导模块，其被构造为基于所述用户所选定的动作或者动作系列获取指导所述用户进行用于肩颈康复的训练运动信息；动作判定模块，其构造为识别基于所述动作指导模块进行运动的所述用户的所述训练运动是否满足预期要求；以及输出模块，其构造为基于所述人体判定模块和/或所述动作判定模块的判定结果和/或基于所述动作指导模块的所述训练运动信息输出相关提示。2.根据权利要求1所述的运动监测系统，其中，所述动作判定模块还被构造为确定对于所述图像信息的拍摄角度是否正确。3.根据权利要求1所述的运动监测系统，其中，所述处理器还包括特定关节排除模块，其被构造为接收由所述用户手动输入的特定关节点排除信息。4.根据权利要求1所述的运动监测系统，其中，所述动作判定模块基于所述用户进行所述训练运动时由所述关节点识别模块所识别的各个关节点中与所述训练动作相关的关节点之间的角度和/或坐标位置关系来确定所述用户当前执行的所述训练运动是否满足预期要求。5.根据权利要求2所述的运动监测系统，其中，对于卧姿训练运动，当所述动作判定模块确定所述拍摄角度不正确时，所述动作判定模块基于勾股定理基于肩关节和髋关节之间的连线相对于y轴的角度以及肩关节和髋关节的相应x轴坐标的差值进行坐标处理并计算所述拍摄角度使得经变换后的所述坐标对应于正确拍摄角度的所述图像信息的坐标，其中所述y轴和所述x轴分别平行于或重合于竖直方向以及横向方向。6.根据权利要求1所述的运动监测系统，其中，所述经训练的视觉模型基于预先采集的关于各种人员的所有姿势的图像和/或图像流和/或视频数据进行对于人体的关节点的识别训练并且所述图像和/或图像流和/或视频数据的姿势包括卧姿数据。7.根据权利要求1所述的运动监测系统，其中，所述运动监测系统还还包括人机交互界面，所述人机交互界面被构造为接收由所述用户输入的初始信息，所述初始信息包括特定关节点排除信息以及用户的训练动作选择信息。8.一种用于肩颈康复的运动监测方法，其中所述运动监测方法至少包括如下步骤：启动用于肩颈康复的运动监测系统；由用户选择训练运动；提示所述用户处于正确初始位置；实时获取所述用户的图像信息；
基于经训练的视觉模型识别所获取的所述图像信息中的所述用户的关节点、相应关节点坐标以及所识别的所述关节点的预测值信息；基于所识别的所述关节点的所述预测值信息进行人体判定以确定所述图像信息中是否检测到完整人体或者包含与要进行的训练运动有关的关键关节点信息；如果确定所述图像信息中检测到完整人体，则提示所述用户变换朝向和/或进行动作等训练动作信息；基于用户进行所述动作时所获取的所述图像信息判断所述用户所执行的所述动作是否满足要求；如果所述动作不满足要求，则提示用户修正所述动作。9.根据权利要求8所述的运动监测方法，其中，对于卧姿训练动作，所述方法还包括确定拍摄角度是否正确的判定过程。10.一种存储介质，其存储指令，当所述指令被执行时，所述指令实现如权利要求8或9所述的方法。

技术总结
用于肩颈康复的运动监测系统，其中，其包括存储器；以及处理器，至少包括：采集模块，其被构造为获取图像信息；关节点识别模块，其被构造为基于经训练的视觉模型识别图像信息中的所关节点、相应关节点的坐标以及预测值信息；人体判定模块，其被构造为确定图像信息中是否包含完整人体信息或者包含与要进行的训练运动有关的关键关节点信息；动作指导模块，其被构造为获取训练运动信息；动作判定模块，其构造为识用户的训练运动是否满足预期要求；以及输出模块，其构造为输出相关提示。本发明还涉及运动监测方法以及实现该方法的存储介质。借助本发明能够优化对运动进行监测和反馈的计算复杂程度且能够针对于肩颈康复运动进行准确且及时的反馈。行准确且及时的反馈。行准确且及时的反馈。


技术研发人员：董皓 李景阳
受保护的技术使用者：北京欧应科技有限公司
技术研发日：2023.05.31
技术公布日：2023/8/21