基于混合现实的截肢康复训练系统的制作方法

1.本发明涉及混合现实的技术领域，尤其涉及基于混合现实的截肢康复训练系统。


背景技术：

2.幻肢通是指被截肢或残肢患者在残肢的肢体不存在的情况下，仍然感受到残端疼痛。现有治疗幻肢痛的方法主要包括镜像疗法，其通过镜子反射出患者健侧肢体的影像，让患者大脑认为残端的肢体仍然存在，但是镜像疗法只能提供二维镜像，患者难以通过想象形成三维影像，并且还容易想成视错觉。为了克服镜像疗法无法提供三维影像的缺陷，通过采集大量健康患者肢体影像数据并利用vr技术，在残肢端展示出三维画面，这需要配置动作捕捉系统，捕捉患者整体肢体动作，再通过高清显示器进行三维影像显示。但是上述利用vr技术实施镜像疗法过程中，患者只能观看到虚拟世界，患者的视觉系统只能进入虚拟世界的逻辑，割裂了虚拟世界与现实世界的联系，降低了治疗效果，并且还需要采集大量健康肢体数据，提高了镜像疗法的成本。


技术实现要素：

3.针对上述现有技术存在的缺陷，本发明提供基于混合现实的截肢康复训练系统，其对目标对象的截肢部分的健侧肢体进行扫描拍摄和影像识别，得到与健侧肢体关联设置的标志物的三维结构特征，以此在混合现实场合对标志物进行拍摄，得到关于标志物的影像；识别标志物的影像，得到标志物相对于混合现实显示设备的空间位置信息，并结合混合现实显示设备的空间位置信息，在混合现实显示设备的图像显示空间对健侧肢体和虚拟对象进行匹配，从而在图像显示空间显示虚拟对象，其根据患者的真实数据，利用混合现实技术提高患者对健侧肢体重新生成完整肢体的视觉逼真性，并不需要依靠他人的数据，降低康复训练的成本和改善训练效果；患者可长期佩戴混合现实显示设备，将康复训练融入日常生活中，减少康复训练过程中虚拟环境与现实环境的割裂感，能够使患者一直完全沉浸在虚拟康复训练环境中；该系统将动作捕捉与影像呈现集中一体，利用混合现实显示设备自带的摄像头即可实现动作捕捉，并利用混合现实显示设备自带的显示器实现沉浸式三维影像的呈现，有效提高康复训练的可靠性和效果。
4.本发明提供基于混合现实的截肢康复训练系统，包括：
5.扫描模块，对目标对象的截肢部位的健侧肢体进行扫描拍摄，得到所述健侧肢体的第一影像；
6.第一影像识别模块，对所述第一影像进行识别，得到与所述健侧肢体关联设置的标志物的三维结构特征；
7.混合现实摄像模块，基于所述三维结构特征，对所述标志物进行拍摄，得到关于所述标志物的第二影像；
8.第二影像识别模块，对所述第二影像进行识别，得到所述标志物相对于混合现实显示设备的空间位置信息；
9.姿态检测模块，采集所述混合现实显示设备的空间位置信息；
10.匹配模块，基于所述标志物相对于所述混合现实显示设备的空间位置信息和所述混合现实显示设备的空间位置信息，在所述混合现实显示设备的图像显示空间对所述健侧肢体和虚拟对象进行匹配；
11.图像显示控制模块，基于所述健侧肢体和所述虚拟对象在所述图像显示空间进行匹配的结果，在所述图像显示空间显示所述虚拟对象。
12.进一步，所述扫描模块对目标对象的截肢部位的健侧肢体进行扫描拍摄，得到所述健侧肢体的第一影像，包括：
13.对所述目标对象的截肢部位的健侧肢体及其穿戴的校准物体进行扫描拍摄，得到包含所述健侧肢体和所述校准物体的第一影像；其中，所述校准物体为所述截肢部位的患侧肢体对应的等比例模型，并且所述校准物体设置有所述标志物。
14.进一步，所述第一影像识别模块对所述第一影像进行识别，得到与所述健侧肢体关联设置的标志物的三维结构特征，包括：
15.对所述第一影像进行像素轮廓识别处理，得到所述标志物的三维形状轮廓特征信息。
16.进一步，所述混合现实摄像模块基于所述三维结构特征，对所述标志物进行拍摄，得到关于所述标志物的第二影像，包括：
17.基于所述标志物的三维形状轮廓特征信息，生成所述标志物在所述混合现实摄像模块的摄像空间的可识别轮廓；基于所述可识别轮廓，对所述标志物进行追踪拍摄，得到关于所述健侧肢体在活动过程中同步带动所述标志物活动对应的第二影像。
18.进一步，所述第二影像识别模块对所述第二影像进行识别，得到所述标志物相对于混合现实显示设备的空间位置信息，包括：
19.对所述第二影像进行识别处理，得到所述标志物在所述混合现实摄像模块的拍摄空间坐标系的空间位置信息；
20.基于所述混合现实摄像模块与混合现实显示设备之间的相对位置关系，以及所述标志物在所述拍摄空间坐标系的空间位置信息，得到所述标志物相对于所述混合现实显示设备的空间位置信息。
21.进一步，所述姿态检测模块采集所述混合现实显示设备的空间位置信息，包括：
22.采集目标对象佩戴所述混合现实显示设备过程中所述混合现实显示设备的运动姿态数据；对所述运动姿态数据进行分析，得到所述混合现实显示设备在真实环境空间对应的空间位置信息。
23.进一步，所述匹配模块基于所述标志物相对于所述混合现实显示设备的空间位置信息和所述混合现实显示设备的空间位置信息，在所述混合现实显示设备的图像显示空间对所述健侧肢体和虚拟对象进行匹配，包括：
24.基于所述标志物相对于所述混合现实显示设备的空间位置信息和所述混合现实显示设备的空间位置信息，在所述混合现实显示设备的图像显示空间对所述健侧肢体和虚拟对象进行静态匹配和动态对标匹配；其中，所述静态匹配包括在所述混合现实显示设备的图像显示空间对所述健侧肢体和虚拟对象进行静态位置匹配；所述动态对标匹配包括在所述混合现实显示设备的图像显示空间对所述健侧肢体和所述虚拟对象进行动作一致性
匹配。
25.进一步，在所述混合现实显示设备的图像显示空间对所述健侧肢体和虚拟对象进行静态匹配，包括：
26.基于所述标志物相对于所述混合现实显示设备的空间位置信息和所述混合现实显示设备的空间位置信息，得到所述标志物在所述混合现实显示设备所在真实环境空间的世界坐标系的空间位置信息；
27.基于所述混合现实显示设备所在真实环境空间的世界坐标系与所述图像显示空间对应的图像显示空间坐标系之间的坐标系变换关系，以及所述标志物在所述混合现实显示设备所在真实环境空间的世界坐标系的空间位置信息，得到所述标志物在所述图像显示空间坐标系的空间位置信息；
28.基于所述标志物在所述图像显示空间坐标系的空间位置信息，在所述图像显示空间对所述健侧肢体和虚拟对象进行静态位置匹配，使得所述健侧肢体与所述虚拟对象在所述图像显示空间始终保持相对位置不变状态。
29.进一步，在所述混合现实显示设备的图像显示空间对所述健侧肢体和虚拟对象进行动态对标匹配，包括：
30.基于所述标志物在所述图像显示空间坐标系的空间位置信息，确定所述标志物在所述图像显示空间的动作姿态信息；
31.基于所述健侧肢体在所述图像显示空间的动作姿态信息，确定所述虚拟对象在所述图像显示空间的动作姿态信息，以使所述健侧肢体和所述虚拟对象在所述图像显示空间的动作姿态相匹配。
32.进一步，所述图像显示控制模块基于所述健侧肢体和所述虚拟对象在所述图像显示空间进行匹配的结果，在所述图像显示空间显示所述虚拟对象，包括：
33.基于所述虚拟对象在所述图像显示空间的和位置信息和动作姿态信息，在所述图像显示空间显示所述虚拟对象。
34.相比于现有技术，本发明的基于混合现实的截肢康复训练系统对目标对象的截肢部分的健侧肢体进行扫描拍摄和影像识别，得到与健侧肢体关联设置的标志物的三维结构特征，以此在混合现实场合对标志物进行拍摄，得到关于标志物的影像；识别标志物的影像，得到标志物相对于混合现实显示设备的空间位置信息，并结合混合现实显示设备的空间位置信息，在混合现实显示设备的图像显示空间对健侧肢体和虚拟对象进行匹配，从而在图像显示空间显示虚拟对象，其根据患者的真实数据，利用混合现实技术提高患者对健侧肢体重新生成完整肢体的视觉逼真性，并不需要依靠他人的数据，降低康复训练的成本和改善训练效果；患者可长期佩戴混合现实显示设备，将康复训练融入日常生活中，减少康复训练过程中虚拟环境与现实环境的割裂感，能够使患者一直完全沉浸在虚拟康复训练环境中；该系统将动作捕捉与影像呈现集中一体，利用混合现实显示设备自带的摄像头即可实现动作捕捉，并利用混合现实显示设备自带的显示器实现沉浸式三维影像的呈现，有效提高康复训练的可靠性和效果。
附图说明
35.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或有
技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
36.图1为本发明提供的基于混合现实的截肢康复训练系统的结构示意图。
具体实施方式
37.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
38.参阅图1，为本发明提供的基于混合现实的截肢康复训练系统的结构示意图。该基于混合现实的截肢康复训练系统包括：
39.扫描模块，对目标对象的截肢部位的健侧肢体进行扫描拍摄，得到该健侧肢体的第一影像；
40.第一影像识别模块，对该第一影像进行识别，得到与该健侧肢体关联设置的标志物的三维结构特征；
41.混合现实摄像模块，基于该三维结构特征，对该标志物进行拍摄，得到关于该标志物的第二影像；
42.第二影像识别模块，对该第二影像进行识别，得到该标志物相对于混合现实显示设备的空间位置信息；
43.姿态检测模块，采集该混合现实显示设备的空间位置信息；
44.匹配模块，基于该标志物相对于该混合现实显示设备的空间位置信息和该混合现实显示设备的空间位置信息，在该混合现实显示设备的图像显示空间对该健侧肢体和虚拟对象进行匹配；
45.图像显示控制模块，基于该健侧肢体和该虚拟对象在该图像显示空间进行匹配的结果，在该图像显示空间显示该虚拟对象。
46.通过上述方式，该基于混合现实的截肢康复训练系统对目标对象的截肢部分的健侧肢体进行扫描拍摄和影像识别，得到与健侧肢体关联设置的标志物的三维结构特征，以此在混合现实场合对标志物进行拍摄，得到关于标志物的影像；识别标志物的影像，得到标志物相对于混合现实显示设备的空间位置信息，并结合混合现实显示设备的空间位置信息，在混合现实显示设备的图像显示空间对健侧肢体和虚拟对象进行匹配，从而在图像显示空间显示虚拟对象，其根据患者的真实数据，利用混合现实技术提高患者对健侧肢体重新生成完整肢体的视觉逼真性，并不需要依靠他人的数据，降低康复训练的成本和改善训练效果；患者可长期佩戴混合现实显示设备，将康复训练融入日常生活中，减少康复训练过程中虚拟环境与现实环境的割裂感，能够使患者一直完全沉浸在虚拟康复训练环境中；该系统将动作捕捉与影像呈现集中一体，利用混合现实显示设备自带的摄像头即可实现动作捕捉，并利用混合现实显示设备自带的显示器实现沉浸式三维影像的呈现，有效提高康复训练的可靠性和效果。
47.可选地，该扫描模块对目标对象的截肢部位的健侧肢体进行扫描拍摄，得到该健
侧肢体的第一影像，包括：
48.对该目标对象的截肢部位的健侧肢体及其穿戴的校准物体进行扫描拍摄，得到包含该健侧肢体和该校准物体的第一影像；其中，该校准物体为该截肢部位的患侧肢体对应的等比例模型，并且该校准物体设置有该标志物。
49.通过上述方式，为了对患者等目标对象的截肢部位的健侧肢体的患肢(即已经截肢部分)进行有效准确的视觉复原构建，可基于患者原有的肢体形状，借助3d打印技术打印得到对应等比例的肢体模型，以此作为用穿戴在患者健侧肢体的校准物体，并且在该肢体模型上设置相应的标志物，该校准物体与患者健侧肢体之间是刚性连接，并且该标志物与该校准物体之间也是刚性连接，这样标志物与患者健侧肢体之间也是刚性连接，使得患者健侧肢体进行活动过程中，该标志物也同步活动，此时该标志物在空间的活动坐标和轨迹可等同于患者健侧肢体在空间的活动坐标和轨迹。此外，该标志物可具有独特的外形，比如在整体形状或表面轮廓上具有一定的独特性，从而便于将标志物与其他物体进行有效显著的区分。通过对患者的截肢部位的健侧肢体及其穿戴的校准物体进行全景扫描拍摄，得到包含患者健侧肢体、校准物体和标志物的第一影像，这样能够对标志物进行有效的视觉定位。而通过在患者健侧肢体佩戴校准物体，能够对患者健侧肢体的活动进行准确可靠的追踪拍摄，从而形成关于患者本身的活动数据，为后续在混合现实场景模拟出患者的肢体提供可靠的依据。
50.可选地，该第一影像识别模块对该第一影像进行识别，得到与该健侧肢体关联设置的标志物的三维结构特征，包括：
51.对该第一影像进行像素轮廓识别处理，得到该标志物的三维形状轮廓特征信息。
52.通过上述方式，对第一影像进行识别处理，提取得到第一影像的画面像素轮廓特征信息，再从该画面像素轮廓特征信息中进一步提取得到该标志物的三维形状轮廓特征信息，从而对该标志物进行准确的视觉识别，便于后续以该标志物的三维形状轮廓作为参照，在患者健侧肢体活动过程中对该标志物进行精确的追踪拍摄。
53.可选地，该混合现实摄像模块基于该三维结构特征，对该标志物进行拍摄，得到关于该标志物的第二影像，包括：
54.基于该标志物的三维形状轮廓特征信息，生成该标志物在该混合现实摄像模块的摄像空间的可识别轮廓；基于该可识别轮廓，对该标志物进行追踪拍摄，得到关于该健侧肢体在活动过程中同步带动该标志物活动对应的第二影像。
55.通过上述方式，在实际操作中，可利用3d unity平台对该标志物的三维形状轮廓特征信息进行处理，生成该标志物在该混合现实摄像模块(比如混合现实显示设备自带的摄像头)的摄像空间的可识别轮廓；该3d unity平台对该三维形状轮廓特征信息的处理方式属于本领域的常规技术手段，这里不做详细的叙述。该混合现实摄像模块能够以该可识别轮廓为基准，在患者健侧肢体活动过程中，对该标志物进行追踪拍摄，得到患者健侧肢体在活动过程中同步带动该标志物活动对应的第二影像，从而形成关于患者健侧肢体的活动数据，为后续在混合现实场景模拟出患者原有的肢体提供可靠丰富的数据支持。
56.可选地，该第二影像识别模块对该第二影像进行识别，得到该标志物相对于混合现实显示设备的空间位置信息，包括：
57.对该第二影像进行识别处理，得到该标志物在该混合现实摄像模块的拍摄空间坐
标系的空间位置信息；
58.基于该混合现实摄像模块与混合现实显示设备之间的相对位置关系，以及该标志物在该拍摄空间坐标系的空间位置信息，得到该标志物相对于该混合现实显示设备的空间位置信息。
59.通过上述方式，当完成第二影像的拍摄后，对在婚摄现实摄像模块的拍摄空间坐标系内对第二影像进行识别处理，得到该标志物在混合现实摄像模块的拍摄空间坐标系的空间位置信息(即空间坐标)；再结合混合现实摄像模块与混合现实显示设备之间的相对位置关系(即混合现实摄像模块与混合现实显示设备之间在世界坐标系的相对坐标位置关系)，以及该标志物在该拍摄空间坐标系的空间位置信息，得到该标志物相对于该混合现实显示设备的空间位置信息，从而在混合现实显示设备的虚拟显示空间对该标志物进行位置标定。
60.可选地，该姿态检测模块采集该混合现实显示设备的空间位置信息，包括：
61.采集目标对象佩戴该混合现实显示设备过程中该混合现实显示设备的运动姿态数据；对该运动姿态数据进行分析，得到该混合现实显示设备在真实环境空间对应的空间位置信息。
62.通过上述方式，混合现实显示设备还自带有陀螺仪或者三轴加速度传感器等姿态检测模块。利用姿态检测模块对在患者佩戴混合现实显示设备过程中因患者头部发生运动而导致混合现实显示设备同步发生运动时，采集混合现实显示设备的运动姿态数据，再对该运动姿态数据进行分析处理，得到混合现实显示设备在真实环境空间对应的空间位置信息(即在世界坐标系下的空间坐标)。
63.可选地，该匹配模块基于该标志物相对于该混合现实显示设备的空间位置信息和该混合现实显示设备的空间位置信息，在该混合现实显示设备的图像显示空间对该健侧肢体和虚拟对象进行匹配，包括：
64.基于该标志物相对于该混合现实显示设备的空间位置信息和该混合现实显示设备的空间位置信息，在该混合现实显示设备的图像显示空间对该健侧肢体和虚拟对象进行静态匹配和动态对标匹配；其中，该静态匹配包括在该混合现实显示设备的图像显示空间对该健侧肢体和虚拟对象进行静态位置匹配；该动态对标匹配包括在该混合现实显示设备的图像显示空间对该健侧肢体和该虚拟对象进行动作一致性匹配。
65.通过上述方式，为了保证患者佩戴混合现实显示设备后，患者从混合现实显示设备提供的显示空间中能够观看到自身的健侧肢体与虚拟对象(即患者已经被截肢对应的肢体部分的虚拟图像)之间的正常结合以及健侧肢体与虚拟对象之间的连贯协调活动，需要在该混合现实显示设备的图像显示空间对该健侧肢体和虚拟对象进行静态匹配和动态对标匹配；通过静态匹配使得在该混合现实显示设备的图像显示空间对该健侧肢体和虚拟对象进行静态位置匹配，保证在该混合现实显示设备中健侧肢体与虚拟对象之间保证良好有效的结合；通过动态对标匹配保证在该混合现实显示设备的图像显示空间对该健侧肢体和该虚拟对象进行动作一致性匹配，使得患者在图像显示空间能够观看到与未截肢之前相一致的肢体活动图像。
66.可选地，在该混合现实显示设备的图像显示空间对该健侧肢体和虚拟对象进行静态匹配，包括：
67.基于该标志物相对于该混合现实显示设备的空间位置信息和该混合现实显示设备的空间位置信息，得到该标志物在该混合现实显示设备所在真实环境空间的世界坐标系的空间位置信息；
68.基于该混合现实显示设备所在真实环境空间的世界坐标系与该图像显示空间对应的图像显示空间坐标系之间的坐标系变换关系，以及该标志物在该混合现实显示设备所在真实环境空间的世界坐标系的空间位置信息，得到该标志物在该图像显示空间坐标系的空间位置信息；
69.基于该标志物在该图像显示空间坐标系的空间位置信息，在该图像显示空间对该健侧肢体和虚拟对象进行静态位置匹配，使得该健侧肢体与该虚拟对象在该图像显示空间始终保持相对位置不变状态。
70.通过上述方式，通过上述坐标系变换处理，将在该图像显示空间对该健侧肢体和虚拟对象进行静态位置匹配，使得该健侧肢体与该虚拟对象在该图像显示空间始终保持相对位置不变状态，这样患者在混合现实显示设备的图像显示空间观看影像过程中不会发生健侧肢体与虚拟对象发生分离或者间隙过大的情况，有效提高影像的逼真性。
71.可选地，在该混合现实显示设备的图像显示空间对该健侧肢体和虚拟对象进行动态对标匹配，包括：
72.基于该标志物在该图像显示空间坐标系的空间位置信息，确定该标志物在该图像显示空间的动作姿态信息；
73.基于该健侧肢体在该图像显示空间的动作姿态信息，确定该虚拟对象在该图像显示空间的动作姿态信息，以使该健侧肢体和该虚拟对象在该图像显示空间的动作姿态相匹配。
74.通过上述方式，由于该标志物与该监测肢体之间是刚性连接，使得该标志物在该图像显示空间的动作姿态信息可直接作为该健侧肢体在该图像显示空间的动作姿态信息，即该标志物在该图像显示空间的动作姿态信息等价于该健侧肢体在该图像显示空间的动作姿态信息；再以该健侧肢体在该图像显示空间的动作姿态信息，确定该虚拟对象在该图像显示空间的动作姿态信息，使得虚拟对象在该图像显示空间的动作姿态与健侧肢体在该图像显示空间的动作姿态相互协调，避免两者的动作姿态存在不同步或者不协调的情况，保证患者通过混合现实显示设备观看影像的协调性和真实性。
75.可选地，该图像显示控制模块基于该健侧肢体和该虚拟对象在该图像显示空间进行匹配的结果，在该图像显示空间显示该虚拟对象，包括：
76.基于该虚拟对象在该图像显示空间的和位置信息和动作姿态信息，在该图像显示空间显示该虚拟对象。
77.通过上述方式，基于该虚拟对象在该图像显示空间的和位置信息和动作姿态信息，在该图像显示空间显示该虚拟对象，这样当患者佩戴混合现实显示设备部后，能够同时观看到真实环境存在的自身的健侧肢体以及虚拟环境显示的虚拟对象对应的影像，该健侧肢体和该虚拟对象的影像在患者的视觉系统中进行处理，使得患者能够产生自身已经截肢的肢体部分重新长出来以及能够自由活动的视觉意识，从而实现对患者的截肢康复训练。
78.从上述实施例的内容可知，该基于混合现实的截肢康复训练系统对目标对象的截肢部分的健侧肢体进行扫描拍摄和影像识别，得到与健侧肢体关联设置的标志物的三维结
构特征，以此在混合现实场合对标志物进行拍摄，得到关于标志物的影像；识别标志物的影像，得到标志物相对于混合现实显示设备的空间位置信息，并结合混合现实显示设备的空间位置信息，在混合现实显示设备的图像显示空间对健侧肢体和虚拟对象进行匹配，从而在图像显示空间显示虚拟对象，其根据患者的真实数据，利用混合现实技术提高患者对健侧肢体重新生成完整肢体的视觉逼真性，并不需要依靠他人的数据，降低康复训练的成本和改善训练效果；患者可长期佩戴混合现实显示设备，将康复训练融入日常生活中，减少康复训练过程中虚拟环境与现实环境的割裂感，能够使患者一直完全沉浸在虚拟康复训练环境中；该系统将动作捕捉与影像呈现集中一体，利用混合现实显示设备自带的摄像头即可实现动作捕捉，并利用混合现实显示设备自带的显示器实现沉浸式三维影像的呈现，有效提高康复训练的可靠性和效果。
79.上述仅为本发明的一个具体实施方式，其它基于本发明构思的前提下做出的任何改进都视为本发明的保护范围。

技术特征：
1.基于混合现实的截肢康复训练系统，包括：扫描模块，对目标对象的截肢部位的健侧肢体进行扫描拍摄，得到所述健侧肢体的第一影像；第一影像识别模块，对所述第一影像进行识别，得到与所述健侧肢体关联设置的标志物的三维结构特征；混合现实摄像模块，基于所述三维结构特征，对所述标志物进行拍摄，得到关于所述标志物的第二影像；第二影像识别模块，对所述第二影像进行识别，得到所述标志物相对于混合现实显示设备的空间位置信息；姿态检测模块，采集所述混合现实显示设备的空间位置信息；匹配模块，基于所述标志物相对于所述混合现实显示设备的空间位置信息和所述混合现实显示设备的空间位置信息，在所述混合现实显示设备的图像显示空间对所述健侧肢体和虚拟对象进行匹配；图像显示控制模块，基于所述健侧肢体和所述虚拟对象在所述图像显示空间进行匹配的结果，在所述图像显示空间显示所述虚拟对象。2.根据权利要求1所述的基于混合现实的截肢康复训练系统，其特征在于：所述扫描模块对目标对象的截肢部位的健侧肢体进行扫描拍摄，得到所述健侧肢体的第一影像，包括：对所述目标对象的截肢部位的健侧肢体及其穿戴的校准物体进行扫描拍摄，得到包含所述健侧肢体和所述校准物体的第一影像；其中，所述校准物体为所述截肢部位的患侧肢体对应的等比例模型，并且所述校准物体设置有所述标志物。3.根据权利要求2所述的基于混合现实的截肢康复训练系统，其特征在于：所述第一影像识别模块对所述第一影像进行识别，得到与所述健侧肢体关联设置的标志物的三维结构特征，包括：对所述第一影像进行像素轮廓识别处理，得到所述标志物的三维形状轮廓特征信息。4.根据权利要求3所述的基于混合现实的截肢康复训练系统，其特征在于：所述混合现实摄像模块基于所述三维结构特征，对所述标志物进行拍摄，得到关于所述标志物的第二影像，包括：基于所述标志物的三维形状轮廓特征信息，生成所述标志物在所述混合现实摄像模块的摄像空间的可识别轮廓；基于所述可识别轮廓，对所述标志物进行追踪拍摄，得到关于所述健侧肢体在活动过程中同步带动所述标志物活动对应的第二影像。5.根据权利要求4所述的基于混合现实的截肢康复训练系统，其特征在于：所述第二影像识别模块对所述第二影像进行识别，得到所述标志物相对于混合现实显示设备的空间位置信息，包括：对所述第二影像进行识别处理，得到所述标志物在所述混合现实摄像模块的拍摄空间坐标系的空间位置信息；基于所述混合现实摄像模块与混合现实显示设备之间的相对位置关系，以及所述标志物在所述拍摄空间坐标系的空间位置信息，得到所述标志物相对于所述混合现实显示设备的空间位置信息。
6.根据权利要求5所述的基于混合现实的截肢康复训练系统，其特征在于：所述姿态检测模块采集所述混合现实显示设备的空间位置信息，包括：采集目标对象佩戴所述混合现实显示设备过程中所述混合现实显示设备的运动姿态数据；对所述运动姿态数据进行分析，得到所述混合现实显示设备在真实环境空间对应的空间位置信息。7.根据权利要求6所述的基于混合现实的截肢康复训练系统，其特征在于：所述匹配模块基于所述标志物相对于所述混合现实显示设备的空间位置信息和所述混合现实显示设备的空间位置信息，在所述混合现实显示设备的图像显示空间对所述健侧肢体和虚拟对象进行匹配，包括：基于所述标志物相对于所述混合现实显示设备的空间位置信息和所述混合现实显示设备的空间位置信息，在所述混合现实显示设备的图像显示空间对所述健侧肢体和虚拟对象进行静态匹配和动态对标匹配；其中，所述静态匹配包括在所述混合现实显示设备的图像显示空间对所述健侧肢体和虚拟对象进行静态位置匹配；所述动态对标匹配包括在所述混合现实显示设备的图像显示空间对所述健侧肢体和所述虚拟对象进行动作一致性匹配。8.根据权利要求7所述的基于混合现实的截肢康复训练系统，其特征在于：在所述混合现实显示设备的图像显示空间对所述健侧肢体和虚拟对象进行静态匹配，包括：基于所述标志物相对于所述混合现实显示设备的空间位置信息和所述混合现实显示设备的空间位置信息，得到所述标志物在所述混合现实显示设备所在真实环境空间的世界坐标系的空间位置信息；基于所述混合现实显示设备所在真实环境空间的世界坐标系与所述图像显示空间对应的图像显示空间坐标系之间的坐标系变换关系，以及所述标志物在所述混合现实显示设备所在真实环境空间的世界坐标系的空间位置信息，得到所述标志物在所述图像显示空间坐标系的空间位置信息；基于所述标志物在所述图像显示空间坐标系的空间位置信息，在所述图像显示空间对所述健侧肢体和虚拟对象进行静态位置匹配，使得所述健侧肢体与所述虚拟对象在所述图像显示空间始终保持相对位置不变状态。9.根据权利要求8所述的基于混合现实的截肢康复训练系统，其特征在于：在所述混合现实显示设备的图像显示空间对所述健侧肢体和虚拟对象进行动态对标匹配，包括：基于所述标志物在所述图像显示空间坐标系的空间位置信息，确定所述标志物在所述图像显示空间的动作姿态信息；基于所述健侧肢体在所述图像显示空间的动作姿态信息，确定所述虚拟对象在所述图像显示空间的动作姿态信息，以使所述健侧肢体和所述虚拟对象在所述图像显示空间的动作姿态相匹配。10.根据权利要求9所述的基于混合现实的截肢康复训练系统，其特征在于：所述图像显示控制模块基于所述健侧肢体和所述虚拟对象在所述图像显示空间进行匹配的结果，在所述图像显示空间显示所述虚拟对象，包括：基于所述虚拟对象在所述图像显示空间的和位置信息和动作姿态信息，在所述图像显
示空间显示所述虚拟对象。

技术总结
本发明提供基于混合现实的截肢康复训练系统，其对目标对象的截肢部分的健侧肢体进行扫描拍摄和影像识别，得到与健侧肢体关联设置的标志物的三维结构特征，以此在混合现实场合对标志物进行拍摄，得到关于标志物的影像；识别标志物的影像，得到标志物相对于混合现实显示设备的空间位置信息，并结合混合现实显示设备的空间位置信息，在混合现实显示设备的图像显示空间对健侧肢体和虚拟对象进行匹配，从而在图像显示空间显示虚拟对象，其根据患者的真实数据，利用混合现实技术提高患者对健侧肢体重新生成完整肢体的视觉逼真性，并不需要依靠他人的数据，降低康复训练的成本和改善训练效果。果。果。


技术研发人员：张玥 倪勇 张致诚 王丽娜 聂莉翔
受保护的技术使用者：核工业总医院
技术研发日：2023.07.24
技术公布日：2023/10/8