用于康复训练的基于视觉的运动捕获系统的制作方法

1.本公开涉及关于用于康复训练的基于视觉的运动捕获系统(vmcs)的技术方案。


背景技术：

2.物理治疗师可以为诸如患有运动功能障碍相关疾病和/或损伤的患者(包括老年人)提供物理康复。然而，这样的康复训练需要专业物理治疗师亲自监督，当患者进行康复锻炼时，还需要康复专家的继续指导。这样，训练和锻炼需要这些专业人员和专家对这样的患者进行辛勤的监测和关注，需要大量时间和精力帮助康复工作。另外，即使没有专业人员和专家，预计患者自己训练(例如在家中而不是在诊所)会缺乏由物理治疗师提供的专业康复经验和指导，从而导致康复表现不佳，甚至导致进一步的身体伤害。
3.诸如通过基于传感器的方法(例如，可穿戴相机、红外相机)使评估系统自动化的尝试，使用起来复杂、昂贵并且可扩展性不足。例如，这样的基于传感器的运动捕获系统(smcs)在技术上是不够的，因为至少需要特定的硬件、获得处理数据的专门编程、捕获人体运动的复杂要求，这样的软件和硬件成本高，从而限制了关于康复训练的实际应用。


技术实现要素：

4.本发明包括一种方法和装置。该装置包括：存储器，其被配置为存储计算机程序代码；以及一个或多个处理器，其被配置为访问计算机程序代码并且如计算机程序代码指示的进行操作。计算机程序代码包括：获得代码，其被配置使至少一个处理器获得包括人的至少一个身体部位的视频数据；选择代码，其被配置使至少一个处理器基于预定的康复类别，选择至少一个身体部位的关键点；提取代码，其被配置使至少一个处理器从视频数据中提取至少一个身体部位的运动特征；评分代码，其被配置为使至少一个处理器基于预定的康复类别，对运动特征进行评分(即确定其评分)；以及生成代码，其被配置为使至少一个处理器生成图示运动特征和该运动特征的评分的显示。
5.根据示例性实施例，所述根据视频数据对至少一个身体部位的运动特征进行评分，包括：确定关键点距离和角度中的至少一个，该关键点距离包括人的至少一个身体部位的多个关键点之间的欧几里得距离，该角度包括人的至少一个身体部位的部分之间的角度。
6.根据示例性实施例，计算机代码进一步包括缩放代码，该缩放代码被配置为使至少一个处理器基于人的身高，将人的至少一个身体部位缩放到预定大小，所述基于预定的康复类别，对运动特征进行评分，包括：在对人的至少一个身体部位缩放之后，进行评分。
7.根据示例性实施例，计算机代码进一步包括应用代码，该应用代码被配置为使至少一个处理器将一个或多个高斯滤波器应用于运动特征。
8.根据示例性实施例，所述生成图示运动特征和该运动特征的评分的显示，包括：在视频中绘制运动特征。
9.根据示例性实施例，其中所述基于预定的康复类别，选择至少一个身体部位的关
键点，包括：通过深度神经网络(dnn)预测预定的康复类别，该dnn被配置为预测表示关键点相对于至少一个身体部位的可能位置的n个可能区域，n是整数。
10.根据示例性实施例，所述通过dnn预测预定的康复类别，包括：将包括人的至少一个身体部位的视频数据与多个锚定姿态进行比较，多个锚定姿态各自包括一些预定的康复类别的姿态，所述一些预定的康复类别包括所述预定的康复类别。
11.根据示例性实施例，所述通过dnn预测预定的康复类别，包括：对n*k个姿态区域进行排序，其中，k是一指示人体的预定关键点的数目的整数。
12.根据示例性实施例，所述生成图示运动特征和该运动特征的评分的显示，包括：生成显示，使得锚定姿态中的至少一个被图示为覆盖在人的至少一个身体部位上。
13.根据示例性实施例，其中人的至少一个身体部位的视频数据包括通过单目相机获得的人的至少一个身体部位的红-绿-蓝(rgb)图像。
附图说明
14.从以下详细描述和附图中，所公开的主题的进一步的特征、性质和各种优点将更加显而易见，在附图中：
15.图1是根据实施例的示意图的简化图示。
16.图2是根据实施例的示意图的简化图示。
17.图3是根据实施例的图的简化图示。
18.图4是根据实施例的流程图的简化图示。
19.图5是根据实施例的图的简化图示。
20.图6是根据实施例的图的简化图示。
21.图7是根据实施例的图的简化图示。
22.图8是根据实施例的图的简化图示。
23.图9是根据实施例的图的简化图示。
24.图10是根据实施例的图的简化图示。
25.图11是根据实施例的流程图的简化图示。
具体实施方式
26.以下讨论的所提出的特征可以单独使用或以任何顺序组合使用。进一步地，实施例可以通过处理电路(例如，一个或多个处理器或一个或多个集成电路)来实现。在一个示例中，一个或多个处理器执行存储在非易失性计算机可读介质中的程序。
27.图1图示了根据本公开的实施例的通信系统100的简化框图。通信系统100可以包括经由网络105互连的至少两个终端102和103。对于数据的单向传输，第一终端103可以在本地位置对视频数据进行编码，以经由网络105传输到另一个终端102。第二终端102可以从网络105接收另一个终端的已编码视频数据，对已编码数据进行解码并且显示恢复的视频数据。单向数据传输在媒体服务应用等中可能是常见的。
28.图1图示了第二对终端101和104，它们被设置用于支持例如在视频会议期间可能发生的已编码视频的双向传输。对于数据的双向传输，每个终端101和104可以对在本地位置捕获的视频数据进行编码，以便经由网络105传输到另一个终端。每个终端101和104还可
以接收由另一个终端发送的已编码视频数据，可以对已编码数据进行解码，并且可以在本地显示设备上显示恢复的视频数据。
29.在图1中，终端101、102、103和104可能图示为服务器、个人计算机和智能手机，但是本公开的原理不限于此。本公开的实施例适用于膝上型计算机、平板计算机、媒体播放器和/或专用视频会议设备。网络105表示在终端101、102、103和104当中传送已编码视频数据的任意数量的网络，包括例如有线和/或无线通信网络。通信网络105可以在电路交换和/或分组交换信道中交换数据。代表性网络包括电信网络、局域网、广域网和/或因特网。为了本讨论的目的，网络105的架构和拓扑对于本公开的操作可能是不重要的，除非在下文中说明。
30.图2作为所公开主题的应用的示例图示了视频编码器和解码器在流式传输环境中的布置。所公开的主题可以等同适用于其它支持视频的应用，包括例如视频会议、数字tv、在包括cd、dvd、记忆棒等数字媒体上存储压缩视频等。
31.流式传输系统可以包括捕获子系统203，捕获子系统203可以包括视频源201，例如数码相机，其创建例如未压缩的视频样本流213。与已编码视频码流相比，样本流213可以被强调为高数据量，并且可以由耦合到相机201的编码器202处理。编码器202可以包括硬件、软件或其组合，以启用或实现如以下更详细描述的所公开的主题的各方面。已编码视频码流204可以存储在流式传输服务器205上以供将来使用，与样本流相比，已编码视频码流204可以被强调为较低的数据量。一个或多个流式传输客户端212和207可以访问流式传输服务器205，以检索已编码视频码流204的副本208和206。客户端212可以包括视频解码器211，视频解码器211对已编码视频码流208的传入副本进行解码，并且创建可以在显示器209或其它呈现设备(未描绘)上呈现的传出视频样本流210。在一些流式传输系统中，可以根据某些视频编码/压缩标准对视频码流204、206和208进行编码。在以上指出了这些标准的示例并且在本文中对其进行进一步描述。
32.图3图示了示例图300，其中存在由至少单目相机(诸如本文中描述的智能手机)捕获的视频的图像301，其中这样的图像301是人311。本文中的示例性实施例被配置为识别在层图像302中示出的人311的模型312的各种关节，并且如图像303中所示，可以将模型312(可以认为是一个关键点估计)叠加到人311上，图像303还可以包括评论313，诸如本文中描述的建议的物理疗法调节。图像303还可以是输出到上述智能手机的图像，以便向患者提供评论和分析，具体图示可能会进行各种修改，而不是此处显示的具体示例。
33.图4图示了示例性流程图400，其中，在s401处可以接收数据。根据示例性实施例，这样的流程图400可以表示不同的场景中的任一个，诸如关于在康复室/诊所的场景和在患者家中/在这样的诊所之外的场景。在康复室场景中，物理治疗师可能已经要求患者进行了康复动作，之后可以例如通过使用他们的手机的相机获得关于患者的康复动作的相机记录的数据。这些记录的视频(即，s401的数据)然后可以上传到服务器(诸如云服务器和/或医生办公室计算机)，用于在这样的服务器和/或计算机中评估患者运动的正确性，例如下面描述的s402-s411。在评估过程之后，我们的系统将评估结果与诸如以上描述的评论313一起，发送给物理治疗师，从而帮助物理治疗师对患者的恢复状态进行在其他情况下不能实现的分析和诊断。根据家庭场景中的实施例，患者可以使用他们的手机的相机，记录他们的康复动作，其中在评估他们的康复动作的正确性之后，这样的云服务器可以直接向患者提
供表现评分和康复建议。
34.例如，在这样的运动曲线生成流水线中，存在如下的对一系列3d身体关键点的输入的分析及其可视化。例如，在s402处，存在3d人体关键点估计，使得这样的云服务器的人体关键点检测模块旨在从输入rgb图像(诸如图5的示例图500中的图像301和/或图像501)捕获身体关节的3d位置。图3中的图像302是由一组3d关键点312表示的估计的人体姿态。另外，在s402处存在关键点选择，其中可以根据康复动作类别选择特定关键点，诸如例如，可以例如在图5的图像502中的选择523中，对于手康复动作，仅选择手上关键点。
35.这样的3d人体姿态可以利用深度神经网络估计，例如但不限于图6中所示的示例性网络架构600。如图6中所示，网络架构600包括至少两个模块：区域候选模块611以及作为姿态微调模块的模块630和640的组合。区域候选模块611可以用于预测每个身体关键点的可能区域。示例性实施例利用姿态候选网络预测n个可能区域，以表示每个身体关键点的可能位置，假设人体姿态由k个身体关键点组成，则这样的示例性区域候选网络将输出n*k个姿态区域。进一步地，这样的姿态微调模块(即，模块630(分类)和640(回归))用于利用分类器和回归器，对姿态候选进行排序，并且输出如本文中描述的最终的姿态估计结果。
36.例如，在s403处，可以存在运动特征提取，由此实现基于康复运动类别对一个或多个运动特征的提取。实施例提供两个运动特征提取器，包括关键点距离提取器和关键点角度提取器。对于关键点距离提取器，计算两个特定关键点之间的欧几里得距离。对于角度提取器，计算两个肢体之间的角度，诸如手臂的上部分与下部分之间的角度，手臂的上部分和下部分之间用肘部隔开。这种计算是相对于神经网络和诸如来自智能手机的输入图像进行的。
37.在s404处，可以确定是否预设要实现运动特征归一化，这样的确定可以还包括确定视频的拍摄条件是否与一个或多个预设条件不同，使得需要用运动特征归一化进行运动特征分析。如果是，则在s405处，可以进行归一化，使得患者的比例和位置归一化，使得基于患者的身高将患者身体缩放为固定大小。
38.在s406处，可以确定是否预设要实现任何特征平滑和去噪，例如，由于可能的错误姿态估计，视频中一些估计的3d关键点可能不精确，这将导致估计的运动特征不平滑。这样，如果要实现这样的平滑和去噪，则在s407处，特征平滑和去噪过程可以采用高斯滤波器使运动特征平滑。
39.在s407处，存在运动曲线可视化，由此可以通过输入视频中的所有运动特征的图，将患者的分析后的运动可视化，在s408处，存在表现评分估计，诸如将表现评分估计器定制为深度神经网络(dnn)分类器，如果在s410处确定需要训练这种表现评分估计器，可以在s411处利用估计的运动曲线训练。示例性实施例包括表现评分估计器的评分范围{0，1，2，3，4}。
40.这样，对物理疗法方面的技术问题进行了技术改进，使得本文中的实施例可以避免对物理疗法引导的不切实际的限制。例如，本技术所描述的运动曲线生成过程的目标可以是在输入视频中将患者的运动轨迹可视化，并且估计的运动曲线提高了任何物理治疗师在监测患者康复状态方面的实用性。此外，所述运动曲线可以用于训练表现评分估计器，给定患者的运动视频，本技术中的实施例可以有利地从输入视频的每一帧估计3d人体姿态(3d身体关键点)，并且根据图4和图6示出了包括运动曲线生成过程的流水线。
41.根据示例性实施例，图5图示了示例500，其中图示了来自相机(诸如拍摄视频的智能手机)的图像501，图像501包括人511和人512。根据示例性实施例，在s402处，可以进行选择521、522和522，其中选择521是选择整个人511，选择522是选择整个人512，如以上解释的，由于可能仅具体分析人的一些部分，所以选择523例如是选择人511的这种部分。
42.参见图7，示出了示例性姿态701、702和703的图700，也可以包括锚定姿态和其它姿态。可以根据提供的任何图像和从中做出的选择来分析这种锚定姿态。例如，如图8中的特征800图示的，可以分别在框801、802和803处，根据姿态701、702和703分析图5的选择521。类似地，如图9中的特征900图示的，可以分别在框901、902和903处，根据姿态701、702和703分析图5的选择522。此外，如图10中的特征1000图示的，可以分别在框1001、1002和1003处，根据姿态701、702和703分析图5的选择523。
43.观察图6中的网络架构600，图5的图像501可以是到简化网络框621的输入数据，简化网络框621可以提供关于区域候选模块611(定位)以及作为姿态微调模块的模块630(分类)和640(回归)的组合的特征。例如，如图6中所示，将姿态700馈送到图像502的选择中，作为分别与图8、图9和图10的特征相对应的特征800、900和1000。
44.相应地，rgb图像可以用于确定具有估计的3d人体关节的3d人体关键点的估计。vmcs中的示例性实施例的核心功能包括这样的三个主要模块：人体关键点估计、运动曲线生成和表现评分估计。相应地，示例性实施例有利地利用移动设备的单个相机来捕获3d人体运动，通过将vmcs应用于各种康复动作，极大地减轻了现有smcs的不便，降低了设备成本，并且提高了保健专家的物理疗法的实用性。例如，所述运动曲线生成过程的目标是使输入视频中患者的运动轨迹可视化，并且估计的运动曲线可以帮助物理治疗师监测患者的康复状态。进一步地，除此之外，运动曲线可以用于训练表现评分估计器，使得给定患者的运动视频，示例性实施例有利地从输入视频的每一帧估计3d人体姿态(3d身体关键点)，诸如根据图4和图6描述的。
45.另外，关于模块640，可以分析那些特征800、900和1000，以产生诸如模块630的图表631、632和633的数据。例如，分类图表631表明，关于特征800，姿态803对于图5的人511的姿态最精确。类似地，分类图表632表明，关于特征900，姿态901对于图5的人512的姿态最精确。此外，分类图表633表明，关于特征1000，锚定姿态700中没有一个精确地反映选择523的姿态。
46.实施例体现出用于康复训练的基于视觉的运动捕获系统的显著技术改进，使得该系统可以仅依赖任何移动设备中的单个相机，这与传统的基于传感器的运动捕获系统相比极大地提高了可用性，这样，可以更实用地对患有运动功能障碍疾病的患者进行诊断并使其康复。
47.这样，根据示例性实施例，存在一种用于康复训练的基于视觉的运动捕获系统，其仅依赖于任何移动设备中的单个相机，与传统的基于传感器的运动捕获系统相比，该基于视觉的运动捕获系统极大地提高了可用性，这样，对于本技术中的实施例，可以通过这样具有用于康复训练的单目相机的vmcs，更实际地对患有运动功能障碍疾病的患者进行诊断并且使其康复。
48.如本技术中所描述的，可以存在一个或多个硬件处理器和计算机部件，诸如缓冲器、算术逻辑单元、存储器指令，其被配置为确定或存储根据示例性实施例在本技术中描述
的值中的值之间的预定增量值(差值)。
49.上文所描述的技术可使用计算机可读指令实施为计算机软件且以物理方式存储在一个或多个计算机可读介质中，或由专门配置的一个或多个硬件处理器实施。举例来说，图11示出适于实施所公开主题的某些实施例的计算机系统1100。
50.所述计算机软件可使用任何合适的机器代码或计算机语言来编码，所述机器代码或计算机语言可经受汇编、编译、链接或类似机制以创建包括指令的代码，所述指令可直接或通过解译、微码执行等而由计算机中央处理单元(cpu)、图形处理单元(gpu)等执行。
51.所述指令可在各种类型的计算机或计算机组件上执行，所述计算机或计算机组件包括例如个人计算机、平板电脑、服务器、智能手机、游戏装置、物联网装置等。
52.图11中所示的用于计算机系统1100的组件在本质上是示范性的，并非旨在暗示关于实施本技术实施例的计算机软件的使用或功能的范围的任何限制。也不应将组件的配置解释为对计算机系统1100的示范性实施例中所示的组件中的任一个组件或组件组合有任何依赖或需求。
53.计算机系统1100可包括某些人机接口输入装置。此类人机接口输入装置可响应于一个或多个人类用户通过例如触觉输入(例如：按键、滑动、数据手套移动)、音频输入(例如：语音、拍击)、视觉输入(例如：手势)、嗅觉输入(未描绘)进行的输入。人机接口装置还可用于捕获未必与人的有意识输入直接相关的某些媒体，例如音频(例如：话语、音乐、环境声)、图像(例如：扫描图像、从静态图像相机获得的摄影图像)、视频(例如，二维视频、包括立体视频的三维视频)。
54.输入人机接口装置可包括以下一个或多个(每种仅描绘一个)：键盘1101、鼠标1102、轨迹垫1103、触摸屏1110、操纵杆1105、麦克风1106、扫描仪1108、相机1107。
55.计算机系统1100还可包括某些人机接口输出装置。此类人机接口输出装置可通过例如触觉输出、声音、光和气味/味道刺激一个或多个人类用户的感觉。此类人机接口输出装置可包括触觉输出装置(例如，触摸屏1110或操纵杆1105的触觉反馈，但还可存在不充当输入装置的触觉反馈装置)、音频输出装置(例如：扬声器1109、头戴式耳机(未描绘))、视觉输出装置(例如，屏幕1110，包括阴极射线管(crt)屏幕、液晶显示(lcd)屏幕、等离子体屏幕、有机发光二极管(oled)屏幕，各自具有或不具有触摸屏输入能力，各自具有或不具有触觉反馈能力
‑‑
其中的一些能够通过例如立体平画输出的方式输出二维视觉输出或大于三维的输出；虚拟现实眼镜(未描绘)、全息显示器和烟雾箱(未描绘)，以及打印机(未描绘)。
56.计算机系统1100还可包括人类可访问的存储装置和存储装置的相关联介质，例如，光学介质，包括具有cd/dvd1111等介质的cd/dvd rom/rw 1120、拇指驱动器1122、可移动硬盘驱动器或固态驱动器1123、磁带和软盘(未描绘)等旧版磁性媒体、基于rom/专用集成电路(asic)/可编程逻辑设备(pld)的专用装置，例如，安全保护装置(未描绘)，等等。
57.所属领域的技术人员还应理解，结合当前公开的主题使用的术语“计算机可读介质”并未涵盖传输介质、载波或其它瞬时信号。
58.计算机系统1100还可包括到一个或多个通信网络1198的接口1199。网络1198可例如是无线的、有线的、光学的。网络1198还可以是本地的、广域的、城域的、车载和工业的、实时的、容忍延迟的等等。网络1198的实例包括例如以太网、无线lan的局域网、包括全球移动通信系统(gsm)、第三代(3g)、第四代(4g)、第五代(5g)、长期演进(lte)等的蜂窝网络、包括
有线tv、卫星tv和地面广播tv的tv有线或无线广域数字网络、包括控制器局域网总线(canbus)的车载网络和工业网络等。某些网络1198通常需要附接到某些通用数据端口或外围总线(1150和1151)(例如，计算机系统1100的通用串行总线(usb)端口)的外部网络接口适配器；其它网络通常通过附接到如下文所描述的系统总线而集成到计算机系统1100的核心中(例如，通过以太网接口集成到pc计算机系统中，或通过蜂窝网络接口集成到智能手机计算机系统中)。通过使用这些网络1198中的任一网络，计算机系统1100可与其它实体通信。此类通信可以是仅单向接收(例如，广播tv)、仅单向发送(例如，连到某些canbus装置的canbus)或是双向的，例如，使用局域数字网络或广域数字网络连接到其它计算机系统。可在如上文所描述的那些网络和网络接口中的每一个上使用某些协议和协议栈。
59.上述人机接口装置、人类可访问存储装置和网络接口可附接到计算机系统1100的核心1140。
60.核心1140可包括一个或多个中央处理单元(cpu)1141、图形处理单元(gpu)1142、图形适配器1117、现场可编程门区域(field programmable gate areas，fpga)形式的专用可编程处理单元1143、用于某些任务的硬件加速器1144等等。这些装置连同只读存储器(read-only memory，rom)1145、随机存取存储器1146、例如内部非用户可访问的硬盘驱动器、固态驱动器(ssd)等内部大容量存储装置1147可通过系统总线1148连接。在一些计算机系统中，系统总线1148可通过一个或多个物理插头形式访问以实现通过额外cpu、gpu等来扩展。外围装置可直接或通过外围总线1151附接到核心的系统总线1148。用于外围总线的架构包括外围设备互连(pci)、usb等等。
61.cpu 1141、gpu 1142、fpga 1143和加速器1144可执行某些指令，所述指令组合起来可构成上述计算机代码。计算机代码可存储在rom 1145或ram 1146中。过渡数据也可存储在ram 1146中，而永久性数据可例如存储在内部大容量存储装置1147中。可通过使用高速缓冲存储器来实现对任一存储器装置的快速存储和检索，所述高速缓冲存储器可与一个或多个cpu 1141、gpu 1142、大容量存储装置1147、rom 1145、ram 1146等紧密关联。
62.计算机可读介质上可具有用于执行各种计算机实施的操作的计算机代码。所述介质和计算机代码可以是专为本技术的目的设计和构建的介质和计算机代码，或可属于计算机软件领域中的技术人员众所周知且可用的种类。
63.举例来说但不作为限制，具有架构1100且尤其是核心1140的计算机系统可提供因处理器(包括cpu、gpu、fpga、加速器等)执行以一个或多个有形计算机可读介质体现的软件而产生的功能。此类计算机可读介质可以是与上文所介绍的用户可访问大容量存储装置以及核心1140的非暂时性质的某些存储装置(例如，核心内部大容量存储装置1147或rom 1145)相关联的介质。实施本技术的各种实施例的软件可存储在此类装置中且由核心1140执行。根据特定需求，计算机可读介质可包括一个或多个存储器装置或芯片。软件可使核心1140且具体地说使其中的处理器(包括cpu、gpu、fpga等等)执行本文中所描述的特定过程或特定过程的特定部分，包括限定存储在ram 1146中的数据结构以及根据由软件限定的过程修改此类数据结构。另外或作为替代方案，计算机系统可提供由硬连线的或以其它方式体现于电路(例如：加速器1144)中的逻辑所产生的功能，所述逻辑可代替或连同软件一起操作以执行本文描述的特定过程或特定过程的特定部分。适当时，对软件的引用可涵盖逻辑，且反之亦然。适当时，对计算机可读介质的引用可涵盖存储用于执行的软件的电路(例
如，集成电路(ic))、体现用于执行的逻辑的电路或这两种电路。本技术涵盖硬件与软件的任何合适的组合。
64.尽管本技术描述了若干示范性实施例，但在本技术的范围内，可以有各种改动、排列组合方式以及各种替代等同物。因此，应该理解，在申请的精神和范围内，本领域技术人员能够设计出各种虽未在本文明确示出或描述、但可以体现本技术的原理的系统和方法。

技术特征：
1.一种能够由至少一个处理器执行的基于视频的运动捕获方法，其特征在于，所述方法包括：获得包括人的至少一个身体部位的视频数据；在所述视频数据中，基于预定的康复类别，选择所述至少一个身体部位的关键点；从所述视频数据中提取所述至少一个身体部位的运动特征；基于所述预定的康复类别，确定所述运动特征的评分；以及生成图示所述运动特征和所述运动特征的评分的显示。2.根据权利要求1所述的方法，其特征在于，从所述视频数据中确定所述至少一个身体部位的运动特征的评分，包括：确定关键点距离和角度中的至少一个，其中所述关键点距离包括所述人的所述至少一个身体部位的多个关键点之间的欧几里得距离，所述角度包括所述人的所述至少一个身体部位的部分之间的角度。3.根据权利要求2所述的方法，其特征在于，进一步包括：基于所述人的身高，将所述人的所述至少一个身体部位缩放到预定大小，所述基于所述预定的康复类别，确定所述运动特征的评分，包括：在对所述人的所述至少一个身体部位缩放之后，进行所述评分。4.根据权利要求3所述的方法，其特征在于，进一步包括：将一个或多个高斯滤波器应用于所述运动特征。5.根据权利要求1所述的方法，其特征在于，所述生成图示所述运动特征和所述运动特征的评分的显示，包括：在所述视频中绘制所述运动特征。6.根据权利要求1所述的方法，其特征在于，所述基于预定的康复类别，选择所述至少一个身体部位的关键点，包括：通过深度神经网络(dnn)预测所述预定的康复类别，所述dnn被配置为预测表示所述关键点相对于所述至少一个身体部位的可能位置的n个可能区域，其中，n是正整数。7.根据权利要求6所述的方法，其特征在于，所述通过dnn预测所述预定的康复类别，包括：将所述包括人的至少一个身体部位的视频数据与多个锚定姿态进行比较，所述多个锚定姿态各自包括一些预定的康复类别的姿态，所述一些预定的康复类别包括所述预定的康复类别。8.根据权利要求7所述的方法，其特征在于，所述通过dnn预测所述预定的康复类别，包括：对n*k个姿态区域进行排序，其中，k是一指示人体的预定关键点的数目的整数。9.根据权利要求7所述的方法，其特征在于，所述生成图示所述运动特征和所述运动特征的评分的显示，包括：生成所述显示，使得所述锚定姿态中的至少一个被图示为覆盖在所述人的所述至少一个身体部位上。10.根据权利要求1所述的方法，其特征在于，所述人的所述至少一个身体部位的视频数据包括通过单目相机获得的所述人的所述
至少一个身体部位的红-绿-蓝(rgb)图像。11.一种用于视频编码的装置，其特征在于，所述装置包括：至少一个存储器，其被配置为存储计算机程序代码；至少一个处理器，其被配置为访问所述计算机程序代码并且如所述计算机程序代码指示的进行操作，所述计算机程序代码包括：获得代码，其被配置为使所述至少一个处理器获得包括人的至少一个身体部位的视频数据；选择代码，其被配置为使所述至少一个处理器基于预定的康复类别，选择所述至少一个身体部位的关键点；提取代码，其被配置为使所述至少一个处理器从所述视频数据中提取所述至少一个身体部位的运动特征；评分代码，其被配置为使所述至少一个处理器基于所述预定的康复类别，确定所述运动特征的评分；以及生成代码，其被配置为使所述至少一个处理器生成图示所述运动特征和所述运动特征的评分的显示。12.根据权利要求11所述的装置，其特征在于，从所述视频数据中确定所述至少一个身体部位的运动特征的评分，包括：确定关键点距离和角度中的至少一个，其中所述关键点距离包括所述人的所述至少一个身体部位的多个关键点之间的欧几里得距离，所述角度包括所述人的所述至少一个身体部位的部分之间的角度。13.根据权利要求12所述的装置，其特征在于，所述计算机代码进一步包括缩放代码，所述缩放代码被配置为使所述至少一个处理器基于所述人的身高，将所述人的所述至少一个身体部位缩放到预定大小，所述基于所述预定的康复类别，确定所述运动特征的评分，包括：在对所述人的所述至少一个身体部位缩放之后，进行所述评分。14.根据权利要求13所述的装置，其特征在于，所述计算机代码进一步包括应用代码，所述应用代码被配置为使所述至少一个处理器将一个或多个高斯滤波器应用于所述运动特征。15.根据权利要求11所述的装置，其特征在于，所述生成图示所述运动特征和所述运动特征的评分的显示，包括：在所述视频中绘制所述运动特征。16.根据权利要求11所述的装置，其特征在于，所述基于预定的康复类别，选择所述至少一个身体部位的关键点，包括：通过深度神经网络(dnn)预测所述预定的康复类别，所述dnn被配置为预测表示所述关键点相对于所述至少一个身体部位的可能位置的n个可能区域，其中，n是整数。17.根据权利要求16所述的装置，其特征在于，所述通过dnn预测所述预定的康复类别，包括：将所述包括人的至少一个身体部位的视频数据与多个锚定姿态进行比较，
所述多个锚定姿态各自包括一些预定的康复类别的姿态，所述一些预定的康复类别包括所述预定的康复类别。18.根据权利要求17所述的装置，其特征在于，所述通过dnn预测所述预定的康复类别，包括：对n*k个姿态区域进行排序，其中，k是一指示人体的预定关键点的数目的整数。19.根据权利要求17所述的装置，其特征在于，所述生成图示所述运动特征和所述运动特征的评分的显示，包括：生成所述显示，使得所述锚定姿态中的至少一个被图示为覆盖在所述人的所述至少一个身体部位上。20.一种存储程序的非易失性计算机可读介质，所述程序使计算机执行过程，其特征在于，所述过程包括：获得包括人的至少一个身体部位的视频数据；基于预定的康复类别，选择所述至少一个身体部位的关键点；从所述视频数据中提取所述至少一个身体部位的运动特征；基于所述预定的康复类别，对所述运动特征进行评分；以及生成图示所述运动特征和所述运动特征的评分的显示。

技术总结
本发明包括一种方法和装置。该装置包括计算机代码，该计算机代码被配置为使一个或多个处理器执行：获得包括人的至少一个身体部位的视频数据；基于预定的康复类别，选择至少一个身体部位的关键点；从视频数据中提取至少一个身体部位的运动特征；基于预定的康复类别，对运动特征进行评分；以及生成图示运动特征和该运动特征的所述评分的显示。运动特征的所述评分的显示。


技术研发人员：林斯姚 杨陶 黄超 钱真 范伟
受保护的技术使用者：腾讯美国有限责任公司
技术研发日：2021.12.16
技术公布日：2023/8/24