一种养老院视力障碍人群行走辅助导航方法及系统与流程
未命名
09-09
阅读:154
评论:0

1.本技术涉及视障人士导航技术领域,具体涉及一种养老院视力障碍人群行走辅助导航方法以及养老院视力障碍人群行走辅助导航系统。
背景技术:
2.现阶段的公办养老院通常是由国家出钱建立并经营,其主要有地方财政支持,而由于地方财政的资金有限,导致很多养老院没有办法为每个老人提供独立的住房,且住房能配置齐全厨房、卫生间等设施,这种养老院通常只在每一次配置一个公共的卫生间,而这种养老院一般也只会在某一层设置一个医护站。
3.在这种情况下,养老院的老人们不得不必须在需要去卫生间或者取医护站时,从自己房间内出去而通过步行的方式去卫生间或医护站。
4.大部分养老院的人手都比较欠缺(尤其是到了晚上),这就导致了,并不是每次老人需要去卫生间或者医护站时,都能够有陪护人员带领去卫生间或医护站,这就导致了,如果住在养老院的老人如果有视觉上的缺陷(例如,天生的盲人、青光眼人群、由于糖尿病等并引起的眼部疾病等),导致老人不能够或者不太能够清楚看清前方景象的情况下,无法自行走到卫生间或医护站。
5.现有技术对于视力障碍人员的辅助行走,一般通过智能引导装置(例如智能拐杖又或者头戴式智能引导装置)引导盲人的行走,这种方式的缺点在于,一方面需要周围有一定的光源,即如果在黑暗环境下,一般无法很好的去进行引导工作,另一种是必须是使用者自己拿着,如果使用者不拿着就无法起到导航的作用。
技术实现要素:
6.本发明的目的在于提供一种养老院视力障碍人群行走辅助导航方法来至少解决上述的一个技术问题。
7.本发明的一个方面,提供一种养老院视力障碍人群行走辅助导航方法,所述养老院视力障碍人群行走辅助导航方法包括:获取房间开门信息;根据房间开门信息获取第一坐标信息,并将第一坐标信息发送给养老院的各个摄像装置中能够拍摄所述第一坐标信息的摄像装置;获取能够根据所述第一坐标信息获取房间门口景象的摄像装置所传递的图像信息;根据各个图像信息中的一个或多个图像信息获取第一人物识别信息以及第一人物手势信息;获取辅助知识图谱,所述辅助知识图谱包括多个人物节点、每个人物节点对应的手势节点、每个手势节点对应的个性辅助导航方式以及每个手势节点对应的目的地信息;获取与所述第一人物识别信息对应的人物节点的各个手势节点;
将第一人物手势信息与各个所述手势节点进行相似性度量,从而获取该对应的人物节点的各个手势节点中与第一人物手势信息相似度最高的手势节点所对应的个性辅助导航方式以及目的地信息;根据所述个性辅助导航方式以及目的地信息生成第一辅助个性辅助导航方法;将所述第一辅助个性辅助导航方法发送给养老院视力障碍人群行走辅助导航系统,从而使养老院视力障碍人群行走辅助导航系统根据所述个性辅助导航方法进行辅助导航。
8.可选地,所述获取房间开门信息包括:获取开门检测器所传递的开门检测信号以及该开门检测器的标识信息。
9.可选地,所述根据房间开门信息获取第一坐标信息,并将第一坐标信息发送给养老院的各个摄像装置中能够拍摄所述第一坐标信息的摄像装置包括:获取坐标数据库,所述坐标数据库包括至少一个预设开门检测器标识以及每个预设开门检测器标识所对应的第一坐标信息;获取与所述开门检测器的标识信息相同的预设开门检测器标识所对应的第一坐标信息;获取预设摄像装置坐标数据库,所述预设摄像装置坐标数据库包括至少一个预设摄像装置标识以及每个预设摄像装置标识所对应的可拍摄坐标表,每个可拍摄坐标表内包括至少一个预设第一坐标信息;获取具有与该第一坐标信息相同的预设第一坐标信息的各个可拍摄坐标表所对应的预设摄像装置标识;根据获取的各个预设摄像装置标识向每个预设摄像装置标识对应的各个摄像装置发送所述第一坐标信息。
10.可选地,所述根据各个图像信息中的一个或多个图像信息获取第一人物识别信息以及第一人物手势信息包括:获取经过训练的人脸神经网络模型;分别提取每个图像信息中的人脸特征;将所述人脸特征输入至所述经过训练的人脸神经网络模型,从而获取第一人物识别信息;获取预设手势导航数据库,所述预设手势导航数据库包括预设人物识别信息以及每个预设人物识别信息对应的手势导航提醒信息;获取与所述人物识别信息相同的预设人物识别信息所对应的手势导航提醒信息;将所述手势导航提醒信息发送给对应的提醒装置,从而使提醒装置根据所述手势导航提醒信息进行提醒操作;获取经过训练的手势神经网络模型;分别提取在进行提醒操作之后,所述能够拍摄所述第一坐标信息的摄像装置所传递的每个图像信息中的手势特征;将所述手势特征输入至所述经过训练的手势神经网络模型,从而获取第一人物手势信息。
11.可选地,所述个性辅助导航方式包括灯光指引导航、语音指引导航、混合指引导
航。
12.可选地,所述根据所述个性辅助导航方式以及目的地信息生成辅助个性辅助导航方法包括:根据所述目的地信息以及所述第一坐标信息生成第一规划行走轨迹,所述第一规划行走轨迹包括多个从目的地信息至所述第一坐标信息之间的多个必经坐标信息;获取养老院视力障碍人群行走辅助导航系统预存数据库,所述养老院视力障碍人群行走辅助导航系统预存数据库包括各个辅助装置标识以及每个辅助装置标识对应的预设辅助坐标信息;获取与多个必经坐标信息中的至少一个必经坐标信息相同的预设辅助坐标信息所对应的每个辅助装置标识;根据所述辅助装置标识以及所述个性辅助导航方式生成个性辅助导航方法。
13.可选地,在将所述个性辅助导航方法发送给养老院视力障碍人群行走辅助导航系统之后,所述养老院视力障碍人群行走辅助导航方法进一步包括:判断在预设时间段内,是否获取到新的房间开门信息,若是,则根据新的房间开门信息获取第二坐标信息;判断所述第一坐标信息是否与所述第二坐标信息相同,若否,则将第二坐标信息发送给养老院的各个摄像装置中能够拍摄所述第二坐标信息的摄像装置;获取能够根据所述第二坐标信息获取新的房间门口景象的摄像装置所传递的新的图像信息;根据各个新的图像信息中的一个或多个图像信息获取第二人物识别信息以及第二人物手势信息;获取所述辅助知识图谱,所述辅助知识图谱包括多个人物节点、每个人物节点对应的手势节点、每个手势节点对应的个性辅助导航方法以及每个手势节点对应的目的地信息;获取与所述第二人物识别信息对应的人物节点的各个手势节点;将第二人物手势信息与各个所述手势节点进行相似性度量,从而获取该对应的人物节点的各个手势节点中与第二人物手势信息相似度最高的手势节点所对应的个性辅助导航方式以及目的地信息,其中,通过第二人物手势信息所获取的个性辅助导航方式称为第二个性辅助导航方式、通过第二人物手势信息所获取的目的地信息称为第二目的地信息;根据所述第二个性辅助导航方式以及第二目的地信息生成第二辅助个性辅助导航方法;根据所述第二目的地信息以及所述第二坐标信息生成第二规划行走轨迹,所述第二规划行走轨迹包括多个从目的地信息至所述第二坐标信息之间的多个必经坐标信息;判断所述第二规划行走轨迹与所述第一规划行走轨迹是否具有共同的必经坐标信息,若是,则判断所述个性辅助导航方式与第二个性辅助导航方式是否冲突,若否,则将所述第二辅助个性辅助导航方法发送给养老院视力障碍人群行走辅助导航系
统,从而使养老院视力障碍人群行走辅助导航系统根据所述第二辅助个性辅助导航方法进行辅助导航。
14.可选地,所述在将所述个性辅助导航方法发送给养老院视力障碍人群行走辅助导航系统之后,所述养老院视力障碍人群行走辅助导航方法进一步包括:判断所述个性辅助导航方式与第二个性辅助导航方式是否冲突,若是,则通过养老院视力障碍人群行走辅助导航系统中的各个摄像装置获取第一人物识别信息所对应的行人所处楼层信息以及第二人物识别信息所对应的行人所处楼层信息;若所述第一人物识别信息所对应的行人所处楼层信息与所述第二人物识别信息所对应的行人所处楼层信息并非同一楼层,则将养老院视力障碍人群行走辅助导航系统中位于所述第一人物识别信息所对应的行人所处楼层信息根据所述第一辅助个性辅助导航方法进行辅助导航并生成第二人物识别信息导航信息通过语音播报的方式通知所述第一人物识别信息所对应的行人;将所述养老院视力障碍人群行走辅助导航系统中位于所述第二人物识别信息所对应的行人所处楼层信息根据所述第二个性辅助导航方法进行辅助导航并生成第一人物识别信息导航信息通过语音播报的方式通知所述第二人物识别信息所对应的行人。
15.可选地,在将所述养老院视力障碍人群行走辅助导航系统中位于所述第二人物识别信息所对应的行人所处楼层信息根据所述第二个性辅助导航方法进行辅助导航之后,所述养老院视力障碍人群行走辅助导航方法进一步包括:实时监控所述第一人物识别信息所对应的行人的位置以及所述第二人物识别信息所对应的行人的位置,当所述第一人物识别信息所对应的行人的位置以及所述第二人物识别信息所对应的行人的位置位于同一楼层时,将所述第二个性辅助导航方法固定为语音指引导航。
16.本技术还提供了一种养老院视力障碍人群行走辅助导航系统,所述养老院视力障碍人群行走辅助导航系统包括:摄像装置,所述摄像装置的数量为多个,各个摄像装置分别设置在所述养老院的各个第一位置,所述第一位置包括养老院的每个楼道、电梯,所述摄像装置包括多个可转动摄像装置以及多个不可转动摄像装置,所述可转动摄像装置用于根据第一坐标信息以及第二坐标信息进行转动拍摄,所述不可转动摄像装置用于拍摄固定位置的图像;其中,每个楼道内都具有至少一个可转动摄像装置以及至少一个不可转动摄像装置,每个楼道内的不可转动摄像装置能够覆盖整个楼道内的拍摄区域;语音播报装置,所述语音播报装置的数量为多个,各个摄像装置分别设置在所述养老院的各个第二位置,所述第一位置包括养老院的每个楼道、电梯;夜灯,所述夜灯的数量为多个,各个夜灯分别设置在所述养老院的各个第三位置,所述第三位置包括养老院的每个楼道、电梯、厕所大门以及功能房间的大门上,不同夜灯同时亮起时可形成不同的灯光轨迹,不同灯光轨迹能够进行不同的灯光轨迹指引;总控制器,所述总控制器分别与各个所述夜灯、各个摄像装置、各个语音播报装置连接,所述总控制器用于执行如上所述的养老院视力障碍人群行走辅助导航方法。
有益效果
17.本技术的养老院视力障碍人群行走辅助导航方法将整个建筑作为一个辅助对象,将所有辅助装置(例如摄像装置、语音播报装置、提示灯)分布在楼房的每个角落,通过各个辅助装置的协同工作,能够使视力障碍人群在各个楼道行走至目的地的过程中,能够根据每个视力障碍人自己的个性化设置,选择最为合适其使用的引导方式,从而解决了现有技术中所有辅助装置只能专人专用的问题、解决了现有技术中所有辅助装置都需要使用者手提或者佩戴的问题、实现了整个建筑对视力障碍人群的人工智能导航。
附图说明
18.图1是本技术一实施例的养老院视力障碍人群行走辅助导航方法的流程示意图;
19.图2是用于实现图1所示的养老院视力障碍人群行走辅助导航方法的电子设备示意图;
20.图3是本技术一实施例的地面夜灯布置示意图。
具体实施方式
21.为使本技术实施的目的、技术方案和优点更加清楚,下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行更加详细的描述。在附图中,自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施例是本技术一部分实施例,而不是全部的实施例。下面通过参考附图描述的实施例是示例性的,旨在用于解释本技术,而不能理解为对本技术的限制。基于本技术中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。下面结合附图对本技术的实施例进行详细说明。
22.图1是本技术一实施例的养老院视力障碍人群行走辅助导航方法的流程示意图。
23.如图1所示的养老院视力障碍人群行走辅助导航方法包括:步骤1:获取房间开门信息;步骤2:根据房间开门信息获取第一坐标信息,并将第一坐标信息发送给养老院的各个摄像装置中能够拍摄所述第一坐标信息的摄像装置;步骤3:获取能够根据所述第一坐标信息获取房间门口景象的摄像装置所传递的图像信息;步骤4:根据各个图像信息中的一个或多个图像信息获取第一人物识别信息以及第一人物手势信息;步骤5:获取辅助知识图谱,所述辅助知识图谱包括多个人物节点、每个人物节点对应的手势节点、每个手势节点对应的个性辅助导航方式以及每个手势节点对应的目的地信息;步骤6:获取与所述第一人物识别信息对应的人物节点的各个手势节点;步骤7:将第一人物手势信息与各个所述手势节点进行相似性度量,从而获取该对应的人物节点的各个手势节点中与第一人物手势信息相似度最高的手势节点所对应的个性辅助导航方式以及目的地信息;步骤8:根据所述个性辅助导航方式以及目的地信息生成第一辅助个性辅助导航
方法;步骤9:将所述第一辅助个性辅助导航方法发送给养老院视力障碍人群行走辅助导航系统,从而使养老院视力障碍人群行走辅助导航系统根据所述个性辅助导航方法进行辅助导航。
24.本技术的养老院视力障碍人群行走辅助导航方法将整个建筑作为一个辅助对象,将所有辅助装置(例如摄像装置、语音播报装置、提示灯)分布在楼房的每个角落,通过各个辅助装置的协同工作,能够使视力障碍人群在各个楼道行走至目的地的过程中,能够根据每个视力障碍人自己的个性化设置,选择最为合适其使用的引导方式,从而解决了现有技术中所有辅助装置只能专人专用的问题、解决了现有技术中所有辅助装置都需要使用者手提或者佩戴的问题、实现了整个建筑对视力障碍人群的人工智能导航。
25.在本实施例中,本技术的坐标信息可以通过slam技术(机器人同时定位与建图)生成,即通过机器人首先将整个建筑都跑一遍,从而建立其该建筑的虚拟地图,并为每个位置提供坐标信息。
26.在本实施例中,获取房间开门信息包括:获取开门检测器所传递的开门检测信号以及该开门检测器的标识信息。
27.举例来说,开门检测器包括加速度传感器以及开门控制器,加速度传感器感应到门被打开后,开门控制器生成开门检测信号,将开门检测信号以及该开门检测器的标识信息发送给总控制器。
28.在本实施例中,所述根据房间开门信息获取第一坐标信息,并将第一坐标信息发送给养老院的各个摄像装置中能够拍摄所述第一坐标信息的摄像装置包括:获取坐标数据库,所述坐标数据库包括至少一个预设开门检测器标识以及每个预设开门检测器标识所对应的第一坐标信息;获取与所述开门检测器的标识信息相同的预设开门检测器标识所对应的第一坐标信息;获取预设摄像装置坐标数据库,所述预设摄像装置坐标数据库包括至少一个预设摄像装置标识以及每个预设摄像装置标识所对应的可拍摄坐标表,每个可拍摄坐标表内包括至少一个预设第一坐标信息;获取具有与该第一坐标信息相同的预设第一坐标信息的各个可拍摄坐标表所对应的预设摄像装置标识;根据获取的各个预设摄像装置标识向每个预设摄像装置标识对应的各个摄像装置发送所述第一坐标信息。
29.在本实施例中,为每个房间外的部分区域设置一个坐标位置,可以理解的是,该坐标位置可以是某个坐标点,也可以是一个坐标区域。
30.当摄像装置获取到该坐标位置时,可以通过摄像装置自带的云台进行旋转,从而将摄像装置的拍摄区域对准坐标位置。
31.可以理解的是,每次摄像装置对准坐标位置的过程,可以看成摄像装置找目标点位的过程。
32.在本实施例中,根据各个图像信息中的一个或多个图像信息获取第一人物识别信息以及第一人物手势信息包括:
获取经过训练的人脸神经网络模型;分别提取每个图像信息中的人脸特征;将所述人脸特征输入至所述经过训练的人脸神经网络模型,从而获取第一人物识别信息;获取预设手势导航数据库,所述预设手势导航数据库包括预设人物识别信息以及每个预设人物识别信息对应的手势导航提醒信息;获取与所述人物识别信息相同的预设人物识别信息所对应的手势导航提醒信息;将所述手势导航提醒信息发送给对应的提醒装置,从而使提醒装置根据所述手势导航提醒信息进行提醒操作;获取经过训练的手势神经网络模型;分别提取在进行提醒操作之后,所述能够拍摄所述第一坐标信息的摄像装置所传递的每个图像信息中的手势特征;将所述手势特征输入至所述经过训练的手势神经网络模型,从而获取第一人物手势信息。
33.在本实施例中,所述个性辅助导航方式包括灯光指引导航、语音指引导航、混合指引导航。
34.在本实施例中,所述根据所述个性辅助导航方式以及目的地信息生成辅助个性辅助导航方法包括:根据所述目的地信息以及所述第一坐标信息生成第一规划行走轨迹,所述第一规划行走轨迹包括多个从目的地信息至所述第一坐标信息之间的多个必经坐标信息;获取养老院视力障碍人群行走辅助导航系统预存数据库,所述养老院视力障碍人群行走辅助导航系统预存数据库包括各个辅助装置标识以及每个辅助装置标识对应的预设辅助坐标信息;获取与多个必经坐标信息中的至少一个必经坐标信息相同的预设辅助坐标信息所对应的每个辅助装置标识;根据所述辅助装置标识以及所述个性辅助导航方式生成个性辅助导航方法。
35.在本实施例中,在将所述个性辅助导航方法发送给养老院视力障碍人群行走辅助导航系统之后,所述养老院视力障碍人群行走辅助导航方法进一步包括:判断在预设时间段内,是否获取到新的房间开门信息,若是,则根据新的房间开门信息获取第二坐标信息;判断所述第一坐标信息是否与所述第二坐标信息相同,若否,则将第二坐标信息发送给养老院的各个摄像装置中能够拍摄所述第二坐标信息的摄像装置;获取能够根据所述第二坐标信息获取新的房间门口景象的摄像装置所传递的新的图像信息;根据各个新的图像信息中的一个或多个图像信息获取第二人物识别信息以及第二人物手势信息;获取所述辅助知识图谱,所述辅助知识图谱包括多个人物节点、每个人物节点对应的手势节点、每个手势节点对应的个性辅助导航方法以及每个手势节点对应的目的地信
息;获取与所述第二人物识别信息对应的人物节点的各个手势节点;将第二人物手势信息与各个所述手势节点进行相似性度量,从而获取该对应的人物节点的各个手势节点中与第二人物手势信息相似度最高的手势节点所对应的个性辅助导航方式以及目的地信息,其中,通过第二人物手势信息所获取的个性辅助导航方式称为第二个性辅助导航方式、通过第二人物手势信息所获取的目的地信息称为第二目的地信息;根据所述第二个性辅助导航方式以及第二目的地信息生成第二辅助个性辅助导航方法;根据所述第二目的地信息以及所述第二坐标信息生成第二规划行走轨迹,所述第二规划行走轨迹包括多个从目的地信息至所述第二坐标信息之间的多个必经坐标信息;判断所述第二规划行走轨迹与所述第一规划行走轨迹是否具有共同的必经坐标信息,若是,则判断所述个性辅助导航方式与第二个性辅助导航方式是否冲突,若否,则将所述第二辅助个性辅助导航方法发送给养老院视力障碍人群行走辅助导航系统,从而使养老院视力障碍人群行走辅助导航系统根据所述第二辅助个性辅助导航方法进行辅助导航。
36.在本实施例中,所述在将所述个性辅助导航方法发送给养老院视力障碍人群行走辅助导航系统之后,所述养老院视力障碍人群行走辅助导航方法进一步包括:判断所述个性辅助导航方式与第二个性辅助导航方式是否冲突,若是,则通过养老院视力障碍人群行走辅助导航系统中的各个摄像装置获取第一人物识别信息所对应的行人所处楼层信息以及第二人物识别信息所对应的行人所处楼层信息;若所述第一人物识别信息所对应的行人所处楼层信息与所述第二人物识别信息所对应的行人所处楼层信息并非同一楼层,则将养老院视力障碍人群行走辅助导航系统中位于所述第一人物识别信息所对应的行人所处楼层信息根据所述第一辅助个性辅助导航方法进行辅助导航并生成第二人物识别信息导航信息通过语音播报的方式通知所述第一人物识别信息所对应的行人;将所述养老院视力障碍人群行走辅助导航系统中位于所述第二人物识别信息所对应的行人所处楼层信息根据所述第二个性辅助导航方法进行辅助导航并生成第一人物识别信息导航信息通过语音播报的方式通知所述第二人物识别信息所对应的行人。
37.在本实施例中,在将所述养老院视力障碍人群行走辅助导航系统中位于所述第二人物识别信息所对应的行人所处楼层信息根据所述第二个性辅助导航方法进行辅助导航之后,所述养老院视力障碍人群行走辅助导航方法进一步包括:实时监控所述第一人物识别信息所对应的行人的位置以及所述第二人物识别信息所对应的行人的位置,当所述第一人物识别信息所对应的行人的位置以及所述第二人物识别信息所对应的行人的位置位于同一楼层时,将所述第二个性辅助导航方法固定为语音指引导航。
38.本技术还提供了一种养老院视力障碍人群行走辅助导航系统,所述养老院视力障碍人群行走辅助导航系统包括摄像装置,语音播报装置,夜灯以及总控制器,其中,
摄像装置的数量为多个,各个摄像装置分别设置在养老院的各个第一位置,所述第一位置包括养老院的每个楼道、电梯,所述摄像装置包括多个可转动摄像装置以及多个不可转动摄像装置,所述可转动摄像装置用于根据第一坐标信息以及第二坐标信息进行转动拍摄,所述不可转动摄像装置用于拍摄固定位置的图像;其中,每个楼道内都具有至少一个可转动摄像装置以及至少一个不可转动摄像装置,每个楼道内的不可转动摄像装置能够覆盖整个楼道内的拍摄区域;语音播报装置的数量为多个,各个摄像装置分别设置在所述养老院的各个第二位置,所述第一位置包括养老院的每个楼道、电梯;夜灯的数量为多个,各个夜灯分别设置在所述养老院的各个第三位置,所述第三位置包括养老院的每个楼道、电梯、厕所大门以及功能房间的大门上,不同夜灯同时亮起时可形成不同的灯光轨迹,不同灯光轨迹能够进行不同的灯光轨迹指引;总控制器分别与各个所述夜灯、各个摄像装置、各个语音播报装置连接,所述总控制器用于执行如上所述的养老院视力障碍人群行走辅助导航方法。
39.下面以举例的方式对本技术进行详细阐述,可以理解的是,该举例并不构成对本技术的任何限制。
40.背景介绍:用于供老人居住的建筑为多层建筑,例如,有6层楼高,每层有10个房间以及1个卫生间,其中第一层有医务室(可以理解的是,每层楼内还可能具有其他房间或者其他设施,由于其他房间与其他设施不在本实施例的范围内,因此在此不再赘述)。
41.在本实施例中,每层楼道内都设置有多个摄像装置,每个摄像装置用于拍摄楼道内的部分景象,各个摄像装置可以实现整个楼道无死角拍摄。
42.在本实施例中,每个楼道与楼道之间的楼梯部分也会有相应的摄像装置进行监控。
43.在本实施例中,部分摄像装置是可转动的摄像装置,这些可转动的摄像装置可以根据需要向不同的方位转动,这些摄像装置的组合可以实现能覆盖每一个房门口。一种最极端的方式,在每一个房门的对面都安装一个摄像装置。
44.在本实施例中,其余的摄像装置是不可转动的摄像装置,这些摄像装置一般都设置成能最大程度观察到楼道情况的位置,主要用于监控楼道内的情况。
45.在本实施例中,楼道内设置有语音播报装置,例如喇叭等设施,在一个实施例中,本技术的语音播报装置分别设置在每一个房间门口旁边的墙面上,将每个房间门口旁边的墙面上都设置有语音播报装置,就可以将语音播报装置的声量调节的尽量小,但是也能够使得行走人通过身旁的语音播报装置进行语音导航。
46.在本实施例中,本技术的楼道内设置有多个夜灯,夜灯可以是信号灯,可以是一闪一闪的信号灯,也可以是随时变换颜色的信号灯,还可以是常亮的信号灯。
47.在本实施例中,夜灯可以遍布在楼道的墙面内,可以在沿楼道长度方向上每个几厘米就设置一个夜灯,从而使得整个夜灯在亮起来能够显现出明显的行走方向。可以理解的是,夜灯本身也可以是灯串形式。
48.在本实施例中,夜灯的布置方式能够使得在夜灯明亮的时候能明显指引出路径,举例来说,假设房间a位于楼道的一端,房间b位于楼道的另一端,则至少有多个夜灯设置在
房间a与房间b之间的墙面上,当这些夜灯全部亮起(这种点亮可以是同时点亮,也可以是以某一种方向从一端向另一端方向一次点亮,比如一共三个夜灯,分别为第一夜灯、第二夜灯、第三夜灯,三者的点亮方式可以是同时亮,也可以是依次先第一夜灯亮,第二夜灯、第三夜灯不亮,间隔一个预设时间,例如1秒后,第二夜灯亮,第一夜灯、第三夜灯不亮,再间隔一个1秒后,第三夜灯亮,第一夜灯以及第二夜灯不良),采用这种方式,就可能形成一条比较明显的光路,让行走者能够跟着光路行走。
49.在一个实施例中,可以不仅在墙面上设置有夜灯,在地面上也可以设置嵌入地面的夜灯,从而能够使得地面上的夜灯以及墙面的夜灯同时亮起时,能够观测到夜灯的使用者能够有更为立体的空间感。
50.参见图3,图3中的圆圈表示夜灯,在该实施例中,设置在地面的夜灯位于地面的中央位置,举例来说,可以将地面看成是一个长方形,则长方形具有两个长边也具有两个短边,其中,设置在该长方形上的夜灯沿长方形的长边的一端向另一端方向均匀分布,这种分布可以每个10厘米布设一个,也可以采用其他间距布置,而每个夜灯在短边方向设置的位置位于短边方向的中心点。
51.采用这种方式,一方面可以用来指引线路,另一方面,可以让使用者在昏暗或者没有灯光的环境下了解楼道的中线的位置。
52.可以理解的是,上述的每个夜灯、每个摄像装置、每个语音播报装置均有自己的标识。
53.在本实施例中,本技术的总控制器分别与每一层楼内的每个夜灯、每个摄像装置、每个语音播报装置连接。
54.通过总控制器的控制,可以分别控制每个夜灯的亮灭,控制每个摄像装置并获取每个摄像装置所获取的图像,控制每个语音播报装置。
55.在本实施例中,当不需要进行辅助导航时,各个语音播报装置、各个夜灯、以及摄像装置中的可运动摄像装置都可以处于休眠状态,这样可以节省电量,只有在总控制器获取到房间开门信息后,才会唤醒这些装置,可以理解的是,所唤醒的装置是根据该房间开门信息需要唤醒的装置,举例来说,一个使用者在二层,其想从其所在的房间走到二层的卫生间,此时则不需要唤醒三层的各个装置(例如摄像装置、语音播报装置等)。
56.本技术之所以可以采用灯光指引导航、语音指引导航、混合指引导航,是因为,对于视力障碍人群来说,并不是每个视力障碍人群都无法看到光亮,举例来说,视力障碍一般分为五级:即低视力一级(0.1≤最好眼的矫正视力《0.3)、低视力二级(0.05≤最好眼的矫正视力《0.1)、盲目一级(0.02≤最好眼的矫正视力《0.05)、盲目二级(光感≤最好眼的矫正视力《0.02)和盲目三级(双眼无光感)。
57.从上述描述可以看出,一些视力障碍人群虽然无法完全看清楚具体事物,但是其可以有光感,也就是说能感受到光源,此时,就可以通过灯光指引来进行。
58.本技术的方法在实际使用中,具体如下:场景:夜晚,楼道内灯光昏暗或基本无灯光。
59.步骤1:获取房间开门信息,以本实施例来说,假设位于二层的其中一个房间(称为a房间)开门,则此时获取a房间标识,在本技术中,会为每个房间设置有开门检测器,开门检
测器包括加速度传感器以及开门控制器,通过加速度传感器就可以确定是否进行了开门动作,而每个开门控制器中都预存有该房间的一个房间身份标识;根据房间开门信息获取第一坐标信息,并将第一坐标信息发送给养老院的各个摄像装置中能够拍摄所述第一坐标信息的摄像装置,具体而言,本技术设置有每一个房间的门口的坐标数据,本技术每一个摄像装置也同样设置有摄像装置身份标识,且本技术设置有预设摄像装置坐标数据库,所述预设摄像装置坐标数据库包括至少一个预设摄像装置标识以及每个预设摄像装置标识所对应的可拍摄坐标表,每个可拍摄坐标表内包括至少一个预设第一坐标信息;举例来说,假设a房间的房间标识为a,通过坐标数据库查询,发现a对应的第一坐标信息为(x1、y1、z1),则通过预设摄像装置坐标数据库查找,发现预设摄像装置标识为b的摄像装置所对应的可拍摄坐标表有(x1、y1、z1),则认为预设摄像装置标识为b的摄像装置可以拍摄到第一坐标信息位置的图像,则将第一坐标信息发送给养老院的各个摄像装置中能够拍摄所述第一坐标信息的摄像装置,即将(x1、y1、z1)发送给预设摄像装置标识为b的摄像装置。
60.可以理解的是,每一层楼的摄像装置、房间、夜灯以及语音播报装置都是单独设置的,也就是说,总控制器获取到a房间的房间标识时,就会了解该a房间位于第二层,因此,在其将第一坐标信息发送给养老院的各个摄像装置中能够拍摄所述第一坐标信息的摄像装置,也不会发送给其他层的摄像装置。
61.采用这种方式,可以将每一层通过标识进行分割,这样在进行坐标系的建立时,每层的坐标系可以是相同的,例如,位于二层的a房间的坐标信息为(x1、y1、z1)时,位于三层的某个房间的坐标信息也可以是(x1、y1、z1)时,它们两者的区别在于通过房间的标识可以让控制器了解房间所位于的楼层,从而不会将二层的a房间的坐标发送给三层对应的装置。
62.可以理解的是,在其他实施例中,还可以为每个楼层分别设置不同的坐标系,从而用于区分不同楼层的不同位置。
63.将坐标信息发送给能够拍摄到坐标信息的摄像装置后,会获取能够根据所述第一坐标信息获取房间门口景象的摄像装置所传递的图像信息;根据各个图像信息中的一个或多个图像信息获取第一人物识别信息以及第一人物手势信息。
64.具体而言,根据各个图像信息中的一个或多个图像信息获取第一人物识别信息以及第一人物手势信息包括:获取经过训练的人脸神经网络模型;分别提取每个图像信息中的人脸特征;将所述人脸特征输入至所述经过训练的人脸神经网络模型,从而获取第一人物识别信息;获取预设手势导航数据库,所述预设手势导航数据库包括预设人物识别信息以及每个预设人物识别信息对应的手势导航提醒信息;获取与所述人物识别信息相同的预设人物识别信息所对应的手势导航提醒信息;将所述手势导航提醒信息发送给对应的提醒装置,从而使提醒装置根据所述手势导航提醒信息进行提醒操作;获取经过训练的手势神经网络模型;
分别提取在进行提醒操作之后,所述能够拍摄所述第一坐标信息的摄像装置所传递的每个图像信息中的手势特征;将所述手势特征输入至所述经过训练的手势神经网络模型,从而获取第一人物手势信息。
65.在本实施例中,人脸识别可以采用括resnet50卷积神经网络和带有多头自注意力机制的transformer模型,具体人脸识别方式属于本领域常规技术手段,在此不再赘述。
66.在本实施例中,手势识别也采用卷积神经网络即可,举例来说,当使用者伸出手并伸出一根手指时,代表一个含义,伸出两根手指时代表另一个含义。
67.在本实施例中,本技术通过图像识别的方式,能够判断是否有视障人士从屋子中出来,而通过视障人士进行的手势操作来获取视障人士是否需要导航以及导航的具体目的地。
68.由于视障人士并无法很明确的分清楚摄像装置是否对准其自身,又或者不知道合适进行手势操作比较合适,因此,通过将所述手势导航提醒信息发送给对应的提醒装置,从而使提醒装置根据所述手势导航提醒信息进行提醒操作。
69.在本实施例中,提醒装置可以是语音播报装置。
70.举例来说,一个视力障碍人(例如张三)从房间a出来,此时,通过摄像装置所拍摄的图像识别出张三位于房间a的门口(即第一坐标信息附近,并且能够被摄像装置拍摄到),此时,通过语音播报装置进行手势导航提醒信息的播报(例如,请您举起手并下达手势指令),可以理解的是,手势导航提醒信息的具体语言信息是预设的,因此,每一个使用本辅助导航方法的人都了解具体应该如何举起手进行手势操作。
71.当获取到该手势以及人脸图像后,获取辅助知识图谱,所述辅助知识图谱包括多个人物节点、每个人物节点对应的手势节点、每个手势节点对应的个性辅助导航方式以及每个手势节点对应的目的地信息;获取与所述第一人物识别信息对应的人物节点的各个手势节点,举例来说,其中一个人物节点表示张三,则该人物节点与第一人物识别信息对应,在本实施例中,第一人物识别信息是根据人脸神经网络模型获取的,该模型可以输出一个分类标识,而人物节点也可以设置为预设的分类标识,当输出的分别标识与一个预设的分类标识相同时,即认为对应;将第一人物手势信息与各个所述手势节点进行相似性度量,从而获取该对应的人物节点的各个手势节点中与第一人物手势信息相似度最高的手势节点所对应的个性辅助导航方式以及目的地信息;通过这种方式,就可以获取到这个人物的第一人物识别信息(即张三)以及第一人物手势信息(例如,张三伸出一根手指头)。
72.例如,张三所设置的个性辅助导航方式为灯光指引导航,伸出一根手指头代表要去一层的医疗室。
73.根据所述个性辅助导航方式以及目的地信息生成第一辅助个性辅助导航方法;具体而言,根据目的地信息以及第一坐标信息生成第一规划行走轨迹,所述第一规划行走轨迹包括多个从目的地信息至所述第一坐标信息之间的多个必经坐标信息;获取养老院视力障碍人群行走辅助导航系统预存数据库,所述养老院视力障碍人
群行走辅助导航系统预存数据库包括各个辅助装置标识以及每个辅助装置标识对应的预设辅助坐标信息;获取与多个必经坐标信息中的至少一个必经坐标信息相同的预设辅助坐标信息所对应的每个辅助装置标识;根据所述辅助装置标识以及所述个性辅助导航方式生成个性辅助导航方法。
74.举例来说,一种实现方式为:将建筑物的bim模型与点云模型进行双向空间对照,确定有效活动范围,以及有效活动范围内的路径连接网络,生成有效导航图像;根据任务数据在bim模型上确定行人的起始点以及目的地,基于有效导航图像确定所述机器人的第一规划行走轨迹并且获取该第一规划行走轨迹上的多个坐标点作为必经坐标信息,可以理解的是,坐标点的选取可以是任意选取,例如,每隔几个坐标点去一个坐标点作为必经坐标信息,另外,这些必经坐标点可以是都在第一规划行走轨迹上的点。
75.通过养老院视力障碍人群行走辅助导航系统预存数据库,获取到能够用于这些必经坐标点的辅助装置标识,可以理解的是,这时所获取的辅助装置标识包括语音播报装置、夜灯。
76.此时,根据所述辅助装置标识以及所述个性辅助导航方式生成个性辅助导航方法,在本实施例中,由于张三的个性辅助导航方式选择的是灯光指引导航,因此,只获取上述的辅助装置标识中属于夜灯的辅助装置标识。
77.根据获取的辅助装置标识控制这些夜灯点亮,即可形成有效的导航指引路线,从而为张三进行导航。
78.可以理解的是,当获取到个性辅助导航方式为灯光指引导航时,本技术的养老院视力障碍人群行走辅助导航方法进一步包括:获取当前楼层多个预设位置的灯光亮度;判断当前楼层的各个预设位置的灯光亮度是否均超过预设灯光亮度阈值,若是,则生成导航语音并发送给语音播报装置;获取在将导航语音发送给语音播报装置之后的预设时间内的能够根据所述第一坐标信息获取房间门口景象的摄像装置所传递的图像信息;对获取的各个图像进行图像识别,从而获取新的第一人物手势信息,判断第一人物手势信息是否与之前获取的第一人物手势信息不同,若是,则根据第一人物手势信息与各个所述手势节点进行相似性度量。
79.在本实施例中,单独使用灯光指引导航比较适合较为昏暗的场景,例如晚上没有开灯的场景,这种场景使用灯光指引导航一方面可以起到很好的指引作用,另一方面减少语音播报,可以防止干扰到其他人。
80.但是,在一些情况下,可能使用者忘记当前是夜晚灯光较为昏暗的情况,也可能是当时楼道灯光比较充足,导致不适用于使用灯光指引导航,此时,通过上述的方法可以导航使用者,从而改为其他导航方式。
81.可以理解的是,在另一个实施例中,还可以不导航使用者,直接在判断灯光较亮的情况下自动修改为语音指引导航。
82.可以理解的是,在本实施例中,当涉及进行楼层切换时,可以在进行轨迹规划时,将其中起始楼层的目的地规划到电梯间,使用者通过电梯进入到其他层,可以理解的是,有专用于为视障人士使用的电梯,在此不再赘述。
83.在一些特殊情况下,有可能会出现两个视障人士同时使用本技术的方法的可能,例如,在一个特殊例子中,位于三层的张三在9点50分时从房间出来,并希望去一楼的医务室。而在9点55分时,位于三层的李四也从房间出来了,此时李四可能想去三层的卫生间,此时,本技术可以采用如下方法进行导航:判断在预设时间段内,是否获取到新的房间开门信息,若是,则根据新的房间开门信息获取第二坐标信息;判断所述第一坐标信息是否与所述第二坐标信息相同,若否,则将第二坐标信息发送给养老院的各个摄像装置中能够拍摄所述第二坐标信息的摄像装置;获取能够根据所述第二坐标信息获取新的房间门口景象的摄像装置所传递的新的图像信息;根据各个新的图像信息中的一个或多个图像信息获取第二人物识别信息以及第二人物手势信息;获取所述辅助知识图谱,所述辅助知识图谱包括多个人物节点、每个人物节点对应的手势节点、每个手势节点对应的个性辅助导航方法以及每个手势节点对应的目的地信息;获取与所述第二人物识别信息对应的人物节点的各个手势节点;将第二人物手势信息与各个所述手势节点进行相似性度量,从而获取该对应的人物节点的各个手势节点中与第二人物手势信息相似度最高的手势节点所对应的个性辅助导航方式以及目的地信息,其中,通过第二人物手势信息所获取的个性辅助导航方式称为第二个性辅助导航方式、通过第二人物手势信息所获取的目的地信息称为第二目的地信息;根据所述第二个性辅助导航方式以及第二目的地信息生成第二辅助个性辅助导航方法;根据所述第二目的地信息以及所述第二坐标信息生成第二规划行走轨迹,所述第二规划行走轨迹包括多个从目的地信息至所述第二坐标信息之间的多个必经坐标信息;判断所述第二规划行走轨迹与所述第一规划行走轨迹是否具有共同的必经坐标信息,若是,则判断所述个性辅助导航方式与第二个性辅助导航方式是否冲突,若否,则将所述第二辅助个性辅助导航方法发送给养老院视力障碍人群行走辅助导航系统,从而使养老院视力障碍人群行走辅助导航系统根据所述第二辅助个性辅助导航方法进行辅助导航。
84.举例来说,如果张三规划行走轨迹与李四规划行走轨迹完全不同,此时不需要进行干扰,不论两者是否使用相同的个性辅助导航方式(例如,即使都是使用灯光指引导航)都不会影响互相的行走,因为视障人士虽然可能看不清具体的物品,但是其所要去的目的地的大概位置是了解的,例如,去卫生间需要出门左转,此时视障人士就不会考虑其右侧是
否具有灯光指引导航,因为使用本技术的方法的视障人士在使用本技术的方式时,自然知道可能会有其他人同时使用本技术的方法。
85.在一个实施例中,还可以在李四出来时通过语音播报的方式导航李四,例如,导航语音为:在您之前有另一个使用者在进行导航中,其与您所行走路线不同,请不用担心。
86.而如果两者的规划行走轨迹有重叠时,此时,就可能导致如果都采用灯光指引导航的方式可能会出现误导,因此,此时,判断所述个性辅助导航方式与第二个性辅助导航方式是否冲突,若否,则将所述第二辅助个性辅助导航方法发送给养老院视力障碍人群行走辅助导航系统,从而使养老院视力障碍人群行走辅助导航系统根据所述第二辅助个性辅助导航方法进行辅助导航。
87.具体而言,如果张三采用语音指引导航,而李四采用灯光指引导航,那么他们根据各自的指引走路即可。
88.另外,在这种情况下,可以通过摄像装置的实时监控来判断张三与李四是否在相同的楼层,如果是的话,可以通过语音播报方式进行播报,例如,播报为:您好,在您所在楼层有他人行走,两位可通过语言交流,防止碰撞。
89.可以理解的是,如果判断个性辅助导航方式与第二个性辅助导航方式是否冲突,若是,则通过养老院视力障碍人群行走辅助导航系统中的各个摄像装置获取第一人物识别信息所对应的行人所处楼层信息以及第二人物识别信息所对应的行人所处楼层信息;若所述第一人物识别信息所对应的行人所处楼层信息与所述第二人物识别信息所对应的行人所处楼层信息并非同一楼层,则将养老院视力障碍人群行走辅助导航系统中位于所述第一人物识别信息所对应的行人所处楼层信息根据所述第一辅助个性辅助导航方法进行辅助导航并生成第二人物识别信息导航信息通过语音播报的方式通知所述第一人物识别信息所对应的行人;将所述养老院视力障碍人群行走辅助导航系统中位于所述第二人物识别信息所对应的行人所处楼层信息根据所述第二个性辅助导航方法进行辅助导航并生成第一人物识别信息导航信息通过语音播报的方式通知所述第二人物识别信息所对应的行人。
90.举例来说,如果在判断冲突后,实际两者并非在一个楼层,那么可以每个楼层单独导航,例如,张三在二层李四在三层,则二层的各个装置为张三进行导航,而三层的各个装置为李四导航。
91.在本实施例中,在将所述养老院视力障碍人群行走辅助导航系统中位于所述第二人物识别信息所对应的行人所处楼层信息根据所述第二个性辅助导航方法进行辅助导航之后,所述养老院视力障碍人群行走辅助导航方法进一步包括:实时监控所述第一人物识别信息所对应的行人的位置以及所述第二人物识别信息所对应的行人的位置,当所述第一人物识别信息所对应的行人的位置以及所述第二人物识别信息所对应的行人的位置位于同一楼层时,将所述第二个性辅助导航方法固定为语音指引导航。
92.具体而言,一旦当两者由于运动在同一楼层时,则将所述第二个性辅助导航方法固定为语音指引导航。
93.可以理解的是,本技术的方法在有多人出来时也可以采用上述的逻辑进行调控,另外,还可以对人员进行限制,例如,最多只可以导航两个人,在两个人之后如果判断还有人出来并进行手势之后,可以通过语音来让第三个人先回房等待,例如,通过语音来播报:您好,现在需辅助人较多,请您先回房间等待10分钟(该时间可以自由设定)后再出来。
94.另外,本技术的各个摄像装置均与中控屏连接,会将实时画面传递给中控屏,养老院都会有专人监视每层楼道情况,如果在导航过程中出现任何问题,可以实时处理。
95.另外,本技术的各个摄像装置还可以进行摔倒检测,一旦发现摔倒,还可以进行报警导航。
96.本技术相对于现有技术具有如下优点:1、本技术的所有设施均设置在建筑物内,并不需要为每个视障人士准备单独的导航设备。
97.2、本技术的所有设施均设置在建筑物内,在视障人士需要行走时,不需要额外拿去辅助设备,减轻了视障人士在无人陪伴下需要手持或者头戴辅助设备的麻烦,尤其是在夜晚,视障人士如果想去卫生间,可能忘记手持或者头戴辅助设备,又或者觉得手持或者头戴辅助设备很麻烦。
98.3、本技术使得整个建筑实现了智能化的导航辅助,一旦安装后,不论如何改变居住人,都不需要再额外添置设备。
99.4、本技术的导航能够实现为每个人进行个性化设置,每个人可以根据自己的喜好而进行个性辅助导航方式的辅助导航,例如,有些视障人士虽然看不清光,但是从心里害怕黑暗,此时,就可以选择混合指引导航(包括灯光指引以及语音指引),这样虽然其看不清光,通过本技术的方式也会有心里安慰。
100.5、本技术的导航可以为每个使用者设置多个导航目的地,从而形成多个导航路线,而现有的头戴或者手持设备,仅仅只能实现行走避障功能,无法实现多个目的地的随时导航功能。
101.需要说明的是,前述对方法实施例的解释说明也适用于本实施例的装置,此处不再赘述。
102.本技术还提供了一种电子设备(即上述的总控制器),包括存储器、处理器以及存储在存储器中并能够在处理器上运行的计算机程序,处理器执行计算机程序时实现如上的养老院视力障碍人群行走辅助导航方法。
103.本技术还提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时能够实现如上的养老院视力障碍人群行走辅助导航方法。
104.图2是能够实现根据本技术一个实施例提供的养老院视力障碍人群行走辅助导航方法的电子设备的示例性结构图。
105.如图2所示,电子设备包括输入设备501、输入接口502、中央处理器503、存储器504、输出接口505以及输出设备506。其中,输入接口502、中央处理器503、存储器504以及输出接口505通过总线507相互连接,输入设备501和输出设备506分别通过输入接口502和输出接口505与总线507连接,进而与电子设备的其他组件连接。具体地,输入设备504接收来自外部的输入信息,并通过输入接口502将输入信息传送到中央处理器503;中央处理器503基于存储器504中存储的计算机可执行指令对输入信息进行处理以生成输出信息,将输出
(field-programmable gate array,fpga) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
115.存储器可用于存储计算机程序和/或模块,处理器通过运行或执行存储在存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现装置/终端设备的各种功能。存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(smart media card, smc),安全数字(secure digital, sd)卡,闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
116.在本实施例中,装置/终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,计算机程序包括计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括:能够携带计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。本技术虽然以较佳实施例公开如上,但其实并不是用来限定本技术,任何本领域技术人员在不脱离本技术的精神和范围内,都可以做出可能的变动和修改,因此,本技术的保护范围应当以本技术权利要求所界定的范围为准。
117.本领域技术人员应明白,本技术的实施例可提供为方法、系统或计算机程序产品。因此,本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
118.此外,显然“包括”一词不排除其他单元或步骤。装置权利要求中陈述的多个单元、模块或装置也可以由一个单元或总装置通过软件或硬件来实现。
119.虽然,上文中已经用一般性说明及具体实施方案对本发明作了详尽的描述,但在本发明基础上,可以对之作一些修改或改进,这对本领域技术人员而言是显而易见的。因此,在不偏离本发明精神的基础上所做的这些修改或改进,均属于本发明要求保护的范围。
技术特征:
1.一种养老院视力障碍人群行走辅助导航方法,其特征在于,所述养老院视力障碍人群行走辅助导航方法包括:获取房间开门信息;根据房间开门信息获取第一坐标信息,并将第一坐标信息发送给养老院的各个摄像装置中能够拍摄所述第一坐标信息的摄像装置;获取能够根据所述第一坐标信息获取房间门口景象的摄像装置所传递的图像信息;根据各个图像信息中的一个或多个图像信息获取第一人物识别信息以及第一人物手势信息;获取辅助知识图谱,所述辅助知识图谱包括多个人物节点、每个人物节点对应的手势节点、每个手势节点对应的个性辅助导航方式以及每个手势节点对应的目的地信息;获取与所述第一人物识别信息对应的人物节点的各个手势节点;将第一人物手势信息与各个所述手势节点进行相似性度量,从而获取该对应的人物节点的各个手势节点中与第一人物手势信息相似度最高的手势节点所对应的个性辅助导航方式以及目的地信息;根据所述个性辅助导航方式以及目的地信息生成第一辅助个性辅助导航方法;将所述第一辅助个性辅助导航方法发送给养老院视力障碍人群行走辅助导航系统,从而使养老院视力障碍人群行走辅助导航系统根据所述个性辅助导航方法进行辅助导航。2.如权利要求1所述的养老院视力障碍人群行走辅助导航方法,其特征在于,所述获取房间开门信息包括:获取开门检测器所传递的开门检测信号以及该开门检测器的标识信息。3.如权利要求2所述的养老院视力障碍人群行走辅助导航方法,其特征在于,所述根据房间开门信息获取第一坐标信息,并将第一坐标信息发送给养老院的各个摄像装置中能够拍摄所述第一坐标信息的摄像装置包括:获取坐标数据库,所述坐标数据库包括至少一个预设开门检测器标识以及每个预设开门检测器标识所对应的第一坐标信息;获取与所述开门检测器的标识信息相同的预设开门检测器标识所对应的第一坐标信息;获取预设摄像装置坐标数据库,所述预设摄像装置坐标数据库包括至少一个预设摄像装置标识以及每个预设摄像装置标识所对应的可拍摄坐标表,每个可拍摄坐标表内包括至少一个预设第一坐标信息;获取具有与该第一坐标信息相同的预设第一坐标信息的各个可拍摄坐标表所对应的预设摄像装置标识;根据获取的各个预设摄像装置标识向每个预设摄像装置标识对应的各个摄像装置发送所述第一坐标信息。4.如权利要求3所述的养老院视力障碍人群行走辅助导航方法,其特征在于,所述根据各个图像信息中的一个或多个图像信息获取第一人物识别信息以及第一人物手势信息包括:获取经过训练的人脸神经网络模型;分别提取每个图像信息中的人脸特征;
将所述人脸特征输入至所述经过训练的人脸神经网络模型,从而获取第一人物识别信息;获取预设手势导航数据库,所述预设手势导航数据库包括预设人物识别信息以及每个预设人物识别信息对应的手势导航提醒信息;获取与所述人物识别信息相同的预设人物识别信息所对应的手势导航提醒信息;将所述手势导航提醒信息发送给对应的提醒装置,从而使提醒装置根据所述手势导航提醒信息进行提醒操作;获取经过训练的手势神经网络模型;分别提取在进行提醒操作之后,所述能够拍摄所述第一坐标信息的摄像装置所传递的每个图像信息中的手势特征;将所述手势特征输入至所述经过训练的手势神经网络模型,从而获取第一人物手势信息。5.如权利要求4所述的养老院视力障碍人群行走辅助导航方法,其特征在于,所述个性辅助导航方式包括灯光指引导航、语音指引导航、混合指引导航。6.如权利要求5所述的养老院视力障碍人群行走辅助导航方法,其特征在于,所述根据所述个性辅助导航方式以及目的地信息生成辅助个性辅助导航方法包括:根据所述目的地信息以及所述第一坐标信息生成第一规划行走轨迹,所述第一规划行走轨迹包括多个从目的地信息至所述第一坐标信息之间的多个必经坐标信息;获取养老院视力障碍人群行走辅助导航系统预存数据库,所述养老院视力障碍人群行走辅助导航系统预存数据库包括各个辅助装置标识以及每个辅助装置标识对应的预设辅助坐标信息;获取与多个必经坐标信息中的至少一个必经坐标信息相同的预设辅助坐标信息所对应的每个辅助装置标识;根据所述辅助装置标识以及所述个性辅助导航方式生成个性辅助导航方法。7.如权利要求6所述的养老院视力障碍人群行走辅助导航方法,其特征在于,在将所述个性辅助导航方法发送给养老院视力障碍人群行走辅助导航系统之后,所述养老院视力障碍人群行走辅助导航方法进一步包括:判断在预设时间段内,是否获取到新的房间开门信息,若是,则根据新的房间开门信息获取第二坐标信息;判断所述第一坐标信息是否与所述第二坐标信息相同,若否,则将第二坐标信息发送给养老院的各个摄像装置中能够拍摄所述第二坐标信息的摄像装置;获取能够根据所述第二坐标信息获取新的房间门口景象的摄像装置所传递的新的图像信息;根据各个新的图像信息中的一个或多个图像信息获取第二人物识别信息以及第二人物手势信息;获取所述辅助知识图谱,所述辅助知识图谱包括多个人物节点、每个人物节点对应的手势节点、每个手势节点对应的个性辅助导航方法以及每个手势节点对应的目的地信息;获取与所述第二人物识别信息对应的人物节点的各个手势节点;
将第二人物手势信息与各个所述手势节点进行相似性度量,从而获取该对应的人物节点的各个手势节点中与第二人物手势信息相似度最高的手势节点所对应的个性辅助导航方式以及目的地信息,其中,通过第二人物手势信息所获取的个性辅助导航方式称为第二个性辅助导航方式、通过第二人物手势信息所获取的目的地信息称为第二目的地信息;根据所述第二个性辅助导航方式以及第二目的地信息生成第二辅助个性辅助导航方法;根据所述第二目的地信息以及所述第二坐标信息生成第二规划行走轨迹,所述第二规划行走轨迹包括多个从目的地信息至所述第二坐标信息之间的多个必经坐标信息;判断所述第二规划行走轨迹与所述第一规划行走轨迹是否具有共同的必经坐标信息,若是,则判断所述个性辅助导航方式与第二个性辅助导航方式是否冲突,若否,则将所述第二辅助个性辅助导航方法发送给养老院视力障碍人群行走辅助导航系统,从而使养老院视力障碍人群行走辅助导航系统根据所述第二辅助个性辅助导航方法进行辅助导航。8.如权利要求7所述的养老院视力障碍人群行走辅助导航方法,其特征在于,所述在将所述个性辅助导航方法发送给养老院视力障碍人群行走辅助导航系统之后,所述养老院视力障碍人群行走辅助导航方法进一步包括:判断所述个性辅助导航方式与第二个性辅助导航方式是否冲突,若是,则通过养老院视力障碍人群行走辅助导航系统中的各个摄像装置获取第一人物识别信息所对应的行人所处楼层信息以及第二人物识别信息所对应的行人所处楼层信息;若所述第一人物识别信息所对应的行人所处楼层信息与所述第二人物识别信息所对应的行人所处楼层信息并非同一楼层,则将养老院视力障碍人群行走辅助导航系统中位于所述第一人物识别信息所对应的行人所处楼层信息根据所述第一辅助个性辅助导航方法进行辅助导航并生成第二人物识别信息导航信息通过语音播报的方式通知所述第一人物识别信息所对应的行人;将所述养老院视力障碍人群行走辅助导航系统中位于所述第二人物识别信息所对应的行人所处楼层信息根据所述第二个性辅助导航方法进行辅助导航并生成第一人物识别信息导航信息通过语音播报的方式通知所述第二人物识别信息所对应的行人。9.如权利要求8所述的养老院视力障碍人群行走辅助导航方法,其特征在于,在将所述养老院视力障碍人群行走辅助导航系统中位于所述第二人物识别信息所对应的行人所处楼层信息根据所述第二个性辅助导航方法进行辅助导航之后,所述养老院视力障碍人群行走辅助导航方法进一步包括:实时监控所述第一人物识别信息所对应的行人的位置以及所述第二人物识别信息所对应的行人的位置,当所述第一人物识别信息所对应的行人的位置以及所述第二人物识别信息所对应的行人的位置位于同一楼层时,将所述第二个性辅助导航方法固定为语音指引导航。10.一种养老院视力障碍人群行走辅助导航系统,其特征在于,所述养老院视力障碍人群行走辅助导航系统包括:摄像装置,所述摄像装置的数量为多个,各个摄像装置分别设置在所述养老院的各个
第一位置,所述第一位置包括养老院的每个楼道、电梯,所述摄像装置包括多个可转动摄像装置以及多个不可转动摄像装置,所述可转动摄像装置用于根据第一坐标信息以及第二坐标信息进行转动拍摄,所述不可转动摄像装置用于拍摄固定位置的图像;其中,每个楼道内都具有至少一个可转动摄像装置以及至少一个不可转动摄像装置,每个楼道内的不可转动摄像装置能够覆盖整个楼道内的拍摄区域;语音播报装置,所述语音播报装置的数量为多个,各个摄像装置分别设置在所述养老院的各个第二位置,所述第一位置包括养老院的每个楼道、电梯;夜灯,所述夜灯的数量为多个,各个夜灯分别设置在所述养老院的各个第三位置,所述第三位置包括养老院的每个楼道、电梯、厕所大门以及功能房间的大门上,不同夜灯同时亮起时可形成不同的灯光轨迹,不同灯光轨迹能够进行不同的灯光轨迹指引;总控制器,所述总控制器分别与各个所述夜灯、各个摄像装置、各个语音播报装置连接,所述总控制器用于执行如权利要求1至9中任意一项所述的养老院视力障碍人群行走辅助导航方法。
技术总结
本申请公开了一种养老院视力障碍人群行走辅助导航方法及系统,涉及视障人士导航技术领域。所述方法包括:获摄像装置根据第一坐标信息获取图像信息;根据图像信息获取人物识别信息及人物手势信息;根据任务识别信息、任务手势信息以及辅助知识图谱获取个性辅助导航方式及目的地信息;根据个性辅助导航方式及目的地信息生成第一辅助个性辅助导航方法;将第一辅助个性辅助导航方法发送给养老院视力障碍人群行走辅助导航系统,从而使养老院视力障碍人群行走辅助导航系统根据个性辅助导航方法进行辅助导航。本申请能够使视障人群在楼道行走至目的地过程中根据自己的需求进行个性化设置,选择最为合适其使用的引导方式。选择最为合适其使用的引导方式。选择最为合适其使用的引导方式。
技术研发人员:陈放 汪陆生 高红梅
受保护的技术使用者:国政通科技有限公司
技术研发日:2023.08.02
技术公布日:2023/9/7
版权声明
本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
航空之家 https://www.aerohome.com.cn/
飞机超市 https://mall.aerohome.com.cn/
航空资讯 https://news.aerohome.com.cn/