一种人机指令识别方法、装置、设备及存储介质与流程

1.本发明涉及机器人技术领域，尤其涉及一种人机指令识别方法、装置、设备及存储介质。


背景技术：

2.机器人是自动执行任务的机器装置，它既可以通过运行预先烧录的程序执行相应任务，还可以在执行任务过程中，根据实时获取的用户交互指令进行任务调整和变更。因此，在机器人执行任务过程中，精准识别用户发起的交互指令，对于任务是否能够执行成功十分重要。
3.现有技术中，经常采用视觉传感器来采集用户交互指令。但视觉传感器采集数据的准确性容易受到光照亮度以及待识别物体的材质等因素影响。例如，在用户通过脚部发起交互指令时，因用户所穿的黑色亮面皮鞋反光，导致视觉传感器无法采集到脚部数据，从而影响交互指令识别。因此，需要提高交互指令识别准确性和稳定性，以保证机器人能够准确识别并执行用户发起的任务指令。


技术实现要素：

4.本发明提供了一种人机指令识别方法、装置、设备及存储介质，以减少因视觉传感装置的性能限制无法识别到人机指令的问题。
5.根据本发明的一方面，提供了一种人机指令识别方法，应用于机器人，包括：
6.依据视觉传感装置针对指令采集区域的采集数据进行普通识别，识别目标交互指令；
7.在未识别到目标交互指令的情况下，依据采集数据，在指令采集区域中确定特殊感知区域；
8.基于特殊感知区域进行增强识别，识别目标交互指令。
9.根据本发明的另一方面，提供了一种人机指令识别装置，包括：
10.第一指令识别模块，用于依据视觉传感装置针对指令采集区域的采集数据进行普通识别，识别目标交互指令；
11.特殊感知区域确定模块，用于在未识别到目标交互指令的情况下，依据采集数据，在指令采集区域中确定特殊感知区域；
12.第二指令识别模块，用于基于特殊感知区域进行增强识别，识别目标交互指令。
13.根据本发明的另一方面，提供了一种电子设备，电子设备包括：
14.至少一个处理器；以及
15.与至少一个处理器通信连接的存储器；其中，
16.存储器存储有可被至少一个处理器执行的计算机程序，计算机程序被至少一个处理器执行，以使至少一个处理器能够执行本发明任一实施例的人机指令识别方法。
17.根据本发明的另一方面，提供了一种计算机可读存储介质，计算机可读存储介质
存储有计算机指令，计算机指令用于使处理器执行时实现本发明任一实施例的人机指令识别方法。
18.本发明实施例的技术方案，在依据视觉传感装置针对指令采集区域的采集数据进行普通识别，且未识别到目标交互指令的情况下，进一步依据采集数据，在指令采集区域中确定特殊感知区域，并基于特殊感知区域进行增强识别，识别目标交互指令，减少了因视觉传感装置的性能限制无法识别到交互指令的问题，提高了人机指令识别的准确性和稳定性。
19.应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
20.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
21.图1是根据本发明实施例一提供的一种人机指令识别方法的流程图；
22.图2a是根据本发明实施例二提供的一种人机指令识别方法的流程图；
23.图2b是根据本发明实施例二提供的人机指令识别的流程图；
24.图3是根据本发明实施例三提供的一种人机指令识别方法的流程图；
25.图4是根据本发明实施例四提供的一种人机指令识别装置的结构示意图；
26.图5是实现本发明实施例的人机指令识别方法的电子设备的结构示意图。
具体实施方式
27.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
28.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
29.实施例一
30.图1为本发明实施例一提供了一种人机指令识别方法的流程图，本实施例可适用于在视觉传感装置无法识别到人机指令时，继续进行指令增强识别情况，该方法可以由人机指令识别装置来执行，该人机指令识别装置可以采用硬件和/或软件的形式实现，该人机
指令识别装置可配置于各种通用计算设备中，例如，通用计算设备是机器人内置的处理器。如图1所示，该方法包括：
31.s110、依据视觉传感装置针对指令采集区域的采集数据进行普通识别，识别目标交互指令。
32.指令采集区域用于限定机器人所配备的视觉传感装置进行数据采集的范围，指令采集区域可以是根据人机交互需求预先确定的需要通过视觉传感装置进行交互指令采集的区域。示例性的，根据人机交互需求，预先通过机器人所配备的投影装置在前方地面进行投影，以指示用户在投影位置发起交互指令，指令采集区域则是包含上述投影位置的区域。其中，视觉传感装置可以是立体视觉传感器。
33.交互指令可以是用户通过手部、脚部等身体部位，或者通过手持特定工具在指令采集区域摆出特定造型而得到的，用于指示机器人执行特定任务的指令。
34.本发明实施例中，机器人在到达交互位置后，通过视觉传感装置针对指令采集区域进行数据采集，进一步的，对采集数据进行普通识别，确定是否能够识别到目标交互指令。其中，交互位置包括机器人和用户进行交互的位置点。
35.具体的，在交互位置处，机器人通过视觉传感装置进行数据采集，进而将采集数据转换为三维点云数据，并将三维点云数据转换至机器人坐标系下，得到视觉传感装置采集到的点集。进一步的，对机器人坐标系下的点集进行聚类，得到多个聚类簇。并将最大聚类簇的尺寸与预先设定的交互尺寸进行比对，如果二者相匹配，则确定识别到目标交互指令，否则确定未识别到目标交互指令。其中，机器人坐标系是以机器人旋转中心为坐标原点，机器人正前方为x轴正向，机器人高度方向为z轴正向的右手坐标系。
36.在一个具体的例子中，送餐机器人在到达取餐位置后，打开放置餐盘的置物舱门，并采用视觉传感装置针对预设指令采集区域进行数据采集。进一步的，将采集数据转换为三维点云数据，并将三维点云数据转换至机器人坐标系下，得到视觉传感装置采集到的点集。进一步的，对机器人坐标系下的点集进行聚类，得到多个聚类簇。并将最大聚类簇的尺寸与预先根据用户脚部抽象得到的交互尺寸进行比对，如果二者相匹配，则确定识别到关闭置物舱门指令，否则确定未识别到关闭置物舱门指令。可以理解的是，用户脚部抽象得到的交互尺寸，可以是根据一个或多个用户穿着不同鞋子的采集图像训练得到的。
37.s120、在未识别到目标交互指令的情况下，依据采集数据，在指令采集区域中确定特殊感知区域。
38.特殊感知区域，即，使用普通识别方法可能无法识别出来的实际可能存在有交互指令的特殊区域。例如，包括表示传感器未返回采集数据的区域。示例性的，指令采集区域出现反光物体、吸光物体或者发强光物体时，会影响视觉传感装置的性能，导致视觉传感装置采集不到这些物体的信息，进而出现无返回值的情况。上述采集不到的物体所在区域与指令采集区域的交集，即为特殊感知区域。视觉传感装置可以包括立体视觉传感器等在采集数据时，可能因为被识别物材质、颜色等而出现无返回值或返回值明显异常的视觉采集装置。
39.通过视觉传感装置针对指令采集区域的采集数据进行普通识别，如果未识别到目标交互指令，则可能存在两种情况：第一，用户未发起交互指令；第二，因采集区域存在影响视觉传感装置性能的物体，导致指令采集区域中的部分区域无传感器返回值。如果在普通
识别阶段未识别到目标交互指令后，直接确定用户未发起交互指令，可能会出现交互指令漏识别的情况，例如，无法识别到用户通过黑色亮面皮鞋发起的交互指令。而特殊感知区域并不一定普遍存在，因此先进行普通识别，在未识别到目标交互指令的情况下，再确定特殊感知区域，可以提高识别效率。
40.本发明实施例中，为了提高指令识别的准确率和稳定性，在普通识别阶段未识别到目标交互指令的情况下，进一步依据视觉传感装置的采集数据，在指令采集区域中识别特殊感知区域，以根据特殊感知区域进一步确定指令采集区域是否出现目标交互指令。具体的，将视觉传感装置的采集数据转换为三维点云数据，并将三维点云数据转换至机器人坐标系下，得到视觉传感装置采集到的点集。进一步的，将上述点集映射到机器人坐标系中的xoy平面中，或者映射到与xoy平面平行的任一预设平面中。最终将预设平面内没有映射数据的点作为特殊感应点，且由特殊感应点构成的区域为特殊感知区域。
41.s130、基于特殊感知区域进行增强识别，识别目标交互指令。
42.本发明实施例中，如果指令采集区域中存在特殊感知区域，则进一步基于特殊感知区域进行增强识别，确定是否能识别到目标交互指令。具体的，可以将特殊感知区域的尺寸与预设的交互尺寸进行比对，如果二者匹配，则确定本次增强识别过程识别到目标交互指令，否则，确定用户未发起目标交互指令。
43.为了进一步提高交互指令识别准确性，还可以在特殊感知区域的尺寸与预设的交互尺寸相匹配的情况下，进一步获取特殊感知区域的相邻区域所关联采集数据，并依据获取到的采集数据，进一步识别目标交互指令。
44.在一个具体的例子中，用户通过穿黑色亮面皮鞋的脚部在指令采集区域中发起交互指令，而视觉传感装置由于黑色亮面皮鞋的反光特性，无法识别到用户发起的交互指令，也就是针对黑色亮面皮鞋所在区域没有传感器返回值。此时，黑色亮面皮鞋所在区域被确定为特殊感知区域。进一步的，将特殊感知区域的尺寸与预先根据鞋子尺寸抽象的交互尺寸进行比对，如果二者匹配，则确定识别到通过穿黑色亮面皮鞋的脚部发起的目标交互指令。增强识别的具体方法，可以根据增强识别所要识别的情况进行确定。例如，增强识别要识别的是黑色亮面皮鞋的反光特性导致无返回值的情况，则增强识别根据无返回值区域进行。增强识别要识别的是吸光特性导致返回值异常小的情况，则增强识别根据返回值异常小的区域进行。
45.本发明实施例的技术方案，在依据视觉传感装置针对指令采集区域的采集数据进行普通识别，且未识别到目标交互指令的情况下，进一步依据采集数据，在指令采集区域中确定特殊感知区域，并基于特殊感知区域进行增强识别，识别目标交互指令，减少了因视觉传感装置的性能限制无法识别到交互指令的问题，提高了人机指令识别的准确性和稳定性。
46.实施例二
47.图2a为本发明实施例二提供的一种人机指令识别方法的流程图，本实施例在上述实施例的基础上进一步细化，提供了依据采集数据，在指令采集区域中确定特殊感知区域的具体步骤，以及基于特殊感知区域进行增强识别，识别目标交互指令的具体步骤。如图2a所示，该方法包括：
48.s210、依据视觉传感装置针对指令采集区域的采集数据进行普通识别，识别目标
交互指令。
49.s220、在未识别到目标交互指令的情况下，根据采集数据得到点云数据，并将点云数据映射至机器人坐标系下，得到原始点集。
50.本发明实施例中，如果在普通识别阶段未识别到目标交互指令，需要进一步根据视觉传感装置的采集数据来识别目标交互指令。具体的，首先，将视觉传感装置的采集数据转换为点云数据，并将点云数据转换至机器人坐标系下，得到原始点集，该原始点集包含了视觉传感装置采集到的全部点，例如，地面点以及障碍物点等。
51.s230、将原始点集映射至指令采集区域中与水平面平行的预设平面内，得到预设平面内无映射数据的点作为特殊感应点。
52.本发明实施例中，为了确定特殊感知区域，可以在机器人坐标系下确定与水平面平行的预设平面，例如，xoy平面。进一步的，将原始点集映射到该预设平面内，此时，若指令采集区域存在视觉传感装置无法采集到的物体，则预设平面内会出现无映射数据的点，这些无映射数据的点即作为特殊感应点。
53.s240、将特殊感应点进行聚类，得到特殊感知区域。
54.本发明实施例中，依据特殊感应点之间的距离对其进行聚类，得到由特殊感应点构成的特殊感知区域。具体的，可以将特殊感应点进行聚类，得到多个聚类簇，选取包含特殊感应点最多的聚类簇作为目标聚类簇。还可以在确定包含特殊感应点最多的聚类簇后，进一步判断该聚类簇包含特殊感应点的数量是否超过数量阈值，如果超过数量阈值，则表明特殊感应点集中，可能存在交互指令，则将该聚类簇确定为目标聚类簇；如果未超过数量阈值，则表明特殊感应点散乱排布，此时确定不存在交互指令。由于特殊感应点只有x轴和y轴方向的坐标值，没有高度值，所以目标聚类簇构成一个二维区域，该二维区域即为特殊感知区域。
55.在一个具体的例子中，在机器人坐标系下确定与水平面平行的预设平面，例如，xoy平面，预先将该预设平面划分为一系列栅格。针对每个栅格，对原始点进行投影，投影的原始点数量为0的栅格所构成的集合即可作为特殊感知区域。通过在机器人坐标系下进行原始点投影，确定特殊感知区域，一方面可以利用已有机器人坐标系来确定特殊感知区域，无需另外建立坐标系，减少计算量，另一方面可以在视觉传感器通过普通识别无法识别到交互指令的情况下，进一步增强识别交互指令，降低传感器性能对于指令识别的影响。
56.s250、将特殊感知区域的尺寸与第一预设交互尺寸进行比对。
57.其中，第一预设交互尺寸可以是预先根据发起交互指令的部位所抽象得到的尺寸。例如，交互指令是通过脚部发起，则第一交互尺寸是根据脚部所抽象得到的尺寸，包括轴向尺寸以及横向尺寸。
58.本发明实施例中，将特殊感知区域的尺寸与第一交互尺寸进行比对，判断二者是否相符。示例性的，可以将特殊感知区域的轴向尺寸与第一交互尺寸中的轴向尺寸进行比对，如果二者之间的差值小于设定阈值，则确定轴向尺寸相匹配。进一步的，将特殊感知区域的横向尺寸与第一交互尺寸中的横向尺寸进行比对，如果二者之间的差值小于设定阈值，则确定横向尺寸相匹配。在二者的轴向尺寸和横向尺寸均匹配的情况下，确定特殊感知区域的尺寸与第一预设交互尺寸相符。
59.s260、在特殊感知区域的尺寸与第一预设交互尺寸相符的情况下，根据特殊感知
区域所在位置，确定特殊感知区域的临接区域。
60.本发明实施例中，如果特殊感知区域的尺寸与第一预设交互尺寸相符，则进一步根据特殊感知区域所在位置，确定特殊感知区域的临接区域，以根据临接区域中的采集数据，进一步确定用户是否发起目标交互指令。
61.具体的，特殊感知区域只有x轴和y轴方向的坐标值，没有高度值。可以根据特殊感知区域x轴和y轴方向的坐标值确定特殊感知区域的中心点，例如，计算特殊感知区域中所有点的坐标均值，得到特殊感知区域的中心点。进一步的，以中心点为圆心，以预设长度为半径，确定特殊感知区域的临接二维区域，最终将指令采集区域中横纵坐标与临接二维区域中点的横纵坐标重合的三维区域作为特殊感知区域的临接区域。
62.除此之外，如果特殊感知区域的尺寸与第一预设交互尺寸不相符，则可以直接确定当前未识别到目标交互指令。
63.s270、在采集数据中，提取位于临接区域内的临接数据，并依据临接数据，识别目标交互指令。
64.本发明实施例中，在视觉传感装置的采集数据中，提取位于临接区域内的临接数据，进而通过临接数据，识别目标交互指令。具体的，将临接数据先转换为点云数据，并将点云数据转换至机器人坐标系下，得到临接点集，进而依据临接点集构成的集合，确定是否识别到目标交互指令。通过将特殊感知区域的尺寸和第一预设交互尺寸进行比对，可以初步判断是否可能存在普通识别未识别到的交互指令，在尺寸相符的情况下，进一步根据特殊感知区域相邻的临接区域内的数据识别交互指令，从而降低交互指令的误识别率。
65.可选的，依据临接数据，识别目标交互指令，包括：
66.将临接数据转换为点云数据，并将点云数据转换至机器人坐标系下，得到临接点集；
67.在临接点集中滤除干扰点，得到临接点集中包含的第一目标交互动作点；
68.通过对第一目标交互动作点进行识别，确定目标交互指令。
69.本可选的实施例中，提供了依据临接数据，识别目标交互指令的具体方式：首先将临接区域内包含的临接数据转换为点云数据，进而将点云数据转换至机器人坐标系下，得到临接点集。由于临接点集中包含有地面点等干扰点，可以先在临接点集中滤除地面点，例如，滤除z轴坐标为0的地面点，将剩余点作为第一目标交互动作点。最终，通过对第一目标交互动作点进行识别，确定目标交互指令。例如，将第一目标交互动作点进行聚类，并将聚类得到的最大聚类簇作为目标聚类簇，进而将目标聚类簇的尺寸与预设的交互尺寸进行进行比对，如果二者相匹配，则确定识别到目标交互指令。在判断特殊感知区域可能存在普通识别未识别到的交互指令情况下，进一步根据特殊感知区域的临接区域内的采集数据来确定是否存在交互指令，可以降低指令误识别率，提高指令识别准确性。
70.可选的，通过对第一目标交互动作点进行识别，确定目标交互指令，包括：
71.对第一目标交互动作点进行聚类，得到至少一个聚类簇，并依据每个聚类簇包含的第一目标交互动作点的数量，在至少一个聚类簇中确定第一目标聚类簇；
72.将第一目标聚类簇的尺寸与第二预设交互尺寸进行比对；
73.在第一目标聚类簇的尺寸与第二预设交互尺寸相符的情况下，依据第一目标聚类簇，确定目标交互指令。
74.本可选的实施例中，提供了一种通过对第一目标交互动作点进行识别，确定目标交互指令的具体方式：首先，对第一目标交互动作点进行聚类，得到至少一个聚类簇，并依据每个聚类簇包含的第一目标交互动作点的数量，在至少一个聚类簇中确定第一目标聚类簇，例如，选择包含第一目标交互动作点的数量最多的聚类簇作为第一目标聚类簇。进一步的，将第一目标聚类簇的尺寸与第二预设交互尺寸进行比对，在第一目标聚类簇的尺寸与第二预设交互尺寸相符的情况下，确定识别到目标交互指令。
75.其中，第二预设交互尺寸可以是根据用户发起交互指令的部位的临接部位抽象得到。例如，用户通过脚部发起目标交互指令，则第一预设交互尺寸是根据脚部抽象得到的尺寸，而第二预设交互尺寸可以是根据与脚部相连的脚踝抽象得到。通过对临接区域中的第一目标交互动作点进行聚类，并根据第一目标聚类簇的尺寸来识别交互指令，可以减少临接区域中杂乱信息的干扰，避免因采集到过多杂乱信息导致的指令误识别。
76.在一个具体的例子中，对第一目标交互动作点进行聚类，得到至少一个聚类簇，并依据每个聚类簇选择包含第一目标交互动作点的数量最多的聚类簇作为第一目标聚类簇。进一步的，将第一目标聚类簇的尺寸与脚踝尺寸特征进行比对，若二者相匹配，则确定识别到目标交互指令。
77.在另一个具体的例子中，如图2b所示，在机器人到达交互位置后，初始化交互检测计时器以及超时计时器。进而控制投影装置在指令识别区域投影交互指示标识，并持续检测超时计时器的计时时长是否超过超时阈值。如果超时计时器的计时时长超过超时阈值，输出识别超时的提示信息，并关闭投影装置，结束交互指令识别过程；如果超时计时器的计时时长未超过超时阈值，则持续识别交互指令。
78.如果识别到交互指令，则获取交互检测计时器的计时时长，并判断计时时长是否超过时间阈值。如果交互检测计时器的计时时长超过时间阈值，则输出识别成功的提示信息，执行相应的交互指令，并关闭投影装置，结束交互指令识别过程；如果交互检测计时器的计时时长未超过时间阈值，则继续返回超时计时器的计时时长超过超时阈值。
79.如果未识别到交互动作，则继续判断是否存在特殊感知区域。如果不存在特殊感知区域，则将交互检测计时器的计时时长置0；如果存在特殊感知区域，则继续判断特殊感知区域是否符合尺寸要求。如果特殊感知区域不符合尺寸要求，则将交互检测计时器的计时时长置0；如果特殊感知区域符合尺寸要求，则继续判断特殊感知区域的临接区域是否存在设定特征。如果临接区域不存在设定特征，则将交互检测计时器的计时时长置0；如果临接区域存在设定特征，则返回执行判断交互检测计时器的计时时长是否超过时间阈值。
80.本发明实施例的技术方案，依据视觉传感装置的采集数据，在普通识别阶段未识别到目标交互指令后，进一步根据采集数据，确定视觉传感装置未返回采集数据的特殊感知区域，最终根据特殊感知区域继续进行增强识别，识别出目标交互指令。降低了因视觉传感装置性能限制所引起的交互指令漏识别，提高交互指令识别成功率。
81.实施例三
82.图3为本发明实施例三提供的一种人机指令识别方法的流程图，本实施例在上述实施例的基础上进一步细化，提供了依据视觉传感装置针对指令采集区域的采集数据进行普通识别，识别目标交互指令的具体步骤。如图3所示，该方法包括：
83.s310、将视觉传感装置针对指令采集区域的采集数据转换为点云数据，并将点云
数据转换至机器人坐标系下，得到原始点集。
84.本发明实施例中，机器人到达交互位置后，通过视觉传感装置针对指令采集区域进行数据采集，在得到采集数据后为便于处理，将采集数据转换为点云数据，进一步的，将点云数据统一转换至机器人坐标系下，得到视觉传感装置采集到的原始点集。
85.s320、在原始点集中滤除干扰点，得到原始点集中包含的第二目标交互动作点。
86.本发明实施例中，在得到视觉传感装置采集到的原始点集后，对原始点集进行干扰点过滤，得到原始点集中包含的第二目标交互动作点。具体的，在原始点集中滤除地面点，的得到第二目标交互动作点。
87.示例性的，滤除z轴坐标为0的点，得到剩余点作为第二目标交互动作点。又示例性的，考虑到视觉传感装置无法避免的存在测量误差，导致测量到的地面点无法准确分布在z轴坐标为0处，因此，可以进一步扩展到滤除z轴坐标属于[-h，h]范围内的点，得到剩余点作为交互动作点，h可以依据视觉传感器的测量精度灵活设置，通过设置h值，可以提高地面滤除的准确性。
[0088]
除此之外，当机器人所在位置处地面为斜坡、台阶或者凹凸不平的非水平地面的情况下，可以先采用视觉传感装置提取机器人当前所处地面点，进而将地面点转换至机器人坐标系下。进一步的，在初始点集中滤除转换后的地面点，得到交互动作点。
[0089]
s330、通过对第二目标交互动作点进行识别，确定目标交互指令。
[0090]
本发明实施例中，在滤除初始点集的地面点得到第二目标交互动作点后，通过对第二目标交互动作点进行识别，确定目标交互指令。具体的，可以将第二目标交互动作点所构成点集的横向尺寸、纵向尺寸以及平均高度与预设的尺寸范围进行比对，如果均在设定尺寸范围内，则确定检测到目标交互指令。通过将视觉传感器的采集数据转换到机器人坐标系得到原始点集后，进一步对原始点集进行干扰点滤除，最终根据滤除干扰点后剩余的第二目标交互点来识别交互指令，可以避免干扰点影响识别效果。
[0091]
可选的，通过对第二目标交互动作点进行识别，确定目标交互指令，包括：
[0092]
对第二目标交互动作点进行聚类，得到至少一个聚类簇，并依据每个聚类簇包含的第二目标交互动作点的数量，在至少一个聚类簇中确定第二目标聚类簇；
[0093]
将第二目标聚类簇的尺寸与第三预设交互尺寸进行比对；
[0094]
在第二目标聚类簇与所述第三预设交互尺寸相符的情况下，依据第二目标聚类簇，确定目标交互指令。
[0095]
本可选的实施例中，提供了通过对第二目标交互动作点进行识别，确定目标交互指令的具体方式：首先依据第二目标交互动作点之间的距离，对第二目标交互动作点进行聚类处理，得到至少一个聚类簇。进一步的，获取各聚类簇中包含第二目标交互动作点的数量，直接将包含第二目标交互动作点数量最多的聚类簇确定为第二目标聚类簇。还可以在确定包含第二目标交互动作点最多的聚类簇后，计算该聚类簇中包含第二目标交互动作点在全部第二目标交互动作点中的数量占比，如果占比高于设定比例阈值则确定该聚类簇为第二目标聚类簇。
[0096]
如果数量占比小于或者等于占比阈值，则表明在指令采集区域内识别到的障碍物信息过于杂乱，与人机交互情况不符，则认为未识别到目标交互指令；如果数量占比大于占比阈值，则表明障碍物集中在一个聚类簇中，可能存在目标交互指令，需要进一步进行判
断。
[0097]
具体的，确定第二目标聚类簇后，获取第二目标聚类簇的轴向尺寸、横向尺寸、点平均高度以及轴向法向量分布状态与预先设定的第三预设交互尺寸进行比对，如果第二目标聚类簇与第三预设交互尺寸相符，则依据第二目标聚类簇，确定人机交互指令。通过上述第二目标聚类簇的多维度数据与第三预设交互尺寸进行比对，可以避免其他障碍物存在导致的交互指令误识别，避免将目标用户的非交互指令动作误识别为交互指令动作，提高交互指令识别可靠性。
[0098]
其中，第三预设交互特征可以是预先根据交互动作提取的，包括轴向尺寸、横向尺寸以及点平均高度等。例如，交互动作为用户脚部遮挡指令采集区域，则可以将用户脚部抽象为立方体，从而得到第三预设交互尺寸。在餐厅等配送场景下，用户的手部往往需要用于取物放物而被占用，因此检测脚部交互特征，能够提高机器人的效率，减轻用户的负担。
[0099]
s340、在未识别到目标交互指令的情况下，依据采集数据，在指令采集区域中确定特殊感知区域。
[0100]
s350、基于特殊感知区域进行增强识别，识别目标交互指令。
[0101]
可选的，本发明实施例还包括：
[0102]
当机器人到达配送起始位置或配送目标位置，自动开启置物机构；
[0103]
确定置物机构开启且物品变化稳定后，依据视觉传感装置针对指令采集区域的采集数据，识别关闭指令；
[0104]
在未识别到关闭指令的情况下，在指令采集区域中确定特殊感知区域；
[0105]
基于特殊感知区域进行增强识别，识别关闭指令。
[0106]
本可选的实施例中，在机器人为配送机器人的场景下，当机器人到达配送起始位置或者配送目标位置时，自动开启置物机构，以使用户在置物机构中拿取配送物品或者将待配送物品放置入置物机构中。机器人在置物机构开启时，可以通过置物机构内的托盘实时检测置物机构内物品的变化情况。在物品发生增多或者减少后，且在变化后的设定时长t内不再变化时，开始检测用户发起交互指令，以根据交互指令继续执行后续任务或开启下一任务。例如，在检测到交互指令后，从关闭置物机构并从配送起始位置出发前往配送目标位置进行物品配送，或者关闭置物机构并从配送目标位置出发前往下一配送任务点。
[0107]
检测用户交互指令的过程具体为：通过视觉传感装置针对预先设定的指令采集区域进行数据采集，根据采集数据识别置物机构的关闭指令。在一些特殊情况下，由于视觉传感装置的性能限制，无法采集到指令采集区域中的交互指令，例如，因反光等因素，无法采集到用户通过穿着黑色皮鞋发起的交互指令，即视觉传感器针对黑色皮鞋没有返回值。此时，为提高指令识别成功率，继续在指令采集区域中确定特殊感知区域，例如，通过对无传感器返回值的点进行聚类，得到特殊感知区域。最终根据特殊感知区域，识别置物机构的关闭指令。具体的，可以将特殊感知区域的尺寸与预先设定的交互尺寸进行比对，如果二者匹配，则确定识别到置物机构的关闭指令。
[0108]
本发明实施例的技术方案，在依据视觉传感装置针对指令采集区域的采集数据进行普通识别，且未识别到目标交互指令的情况下，进一步依据采集数据，在指令采集区域中确定特殊感知区域，并基于特殊感知区域进行增强识别，识别目标交互指令，一方面，通过视觉传感装置的采集数据识别交互指令，无需用户通过手部操作机器人触控屏，且不会受
到环境噪音干扰，提高交互指令识别的效率和可靠性，另一方面，针对因视觉传感装置的性能限制无法识别到交互指令的情况，进一步依据特殊感知区域识别交互指令，提高了人机指令识别的准确性和稳定性。
[0109]
实施例四
[0110]
图4为本发明实施例四提供的一种人机指令识别装置的结构示意图。
[0111]
如图4所示，该装置包括：
[0112]
第一指令识别模块410，用于依据视觉传感装置针对指令采集区域的采集数据进行普通识别，识别目标交互指令；
[0113]
特殊感知区域确定模块420，用于在未识别到目标交互指令的情况下，依据所述采集数据，在所述指令采集区域中确定特殊感知区域；
[0114]
第二指令识别模块430，用于基于所述特殊感知区域进行增强识别，识别目标交互指令。
[0115]
本发明实施例的技术方案，在依据视觉传感装置针对指令采集区域的采集数据进行普通识别，且未识别到目标交互指令的情况下，进一步依据采集数据，在指令采集区域中确定特殊感知区域，并基于特殊感知区域进行增强识别，识别目标交互指令，解决了因视觉传感装置的性能限制无法识别到交互指令的问题，提高了人机指令识别的准确性和稳定性。
[0116]
可选的，特殊感知区域确定模块420，具体用于：
[0117]
根据所述采集数据得到点云数据，并将所述点云数据映射至机器人坐标系下，得到原始点集；
[0118]
将所述原始点集映射至指令采集区域中与水平面平行的预设平面内，得到所述预设平面内无映射数据的点作为特殊感应点；
[0119]
将所述特殊感应点进行聚类，得到所述特殊感知区域。
[0120]
可选的，第二指令识别模块430，包括：
[0121]
尺寸比对单元，用于将所述特殊感知区域的尺寸与第一预设交互尺寸进行比对；
[0122]
临接区域确定单元，用于在所述特殊感知区域的尺寸与所述第一预设交互尺寸相符的情况下，根据所述特殊感知区域所在位置，确定所述特殊感知区域的临接区域；
[0123]
第二指令识别单元，用于在所述采集数据中，提取位于所述临接区域内的临接数据，并依据所述临接数据，识别目标交互指令。
[0124]
可选的，第二指令识别单元，包括：
[0125]
临接点集获取子单元，用于将所述临接数据转换为点云数据，并将所述点云数据转换至机器人坐标系下，得到临接点集；
[0126]
第一目标交互动作点获取子单元，用于在所述临接点集中滤除干扰点，得到所述临接点集中包含的第一目标交互动作点；
[0127]
第二指令识别子单元，用于通过对所述第一目标交互动作点进行识别，确定目标交互指令。
[0128]
可选的，第二指令识别子单元，具体用于：
[0129]
对所述第一目标交互动作点进行聚类，得到至少一个聚类簇，并依据每个聚类簇包含的第一目标交互动作点的数量，在所述至少一个聚类簇中确定第一目标聚类簇；
[0130]
将所述第一目标聚类簇的尺寸与第二预设交互尺寸进行比对；
[0131]
在所述第一目标聚类簇的尺寸与所述第二预设交互尺寸相符的情况下，依据所述第一目标聚类簇，确定目标交互指令。
[0132]
可选的，第一指令识别模块410，包括：
[0133]
原始点集获取单元，用于将所述视觉传感装置针对指令采集区域的采集数据转换为点云数据，并将所述点云数据转换至机器人坐标系下，得到原始点集；
[0134]
第二目标交互动作点获取单元，用于在所述原始点集中滤除干扰点，得到所述原始点集中包含的第二目标交互动作点；
[0135]
第一指令识别单元，用于通过对所述第二目标交互动作点进行识别，确定目标交互指令。
[0136]
可选的，第一指令识别单元，具体用于：
[0137]
对所述第二目标交互动作点进行聚类，得到至少一个聚类簇，并依据每个聚类簇包含的第二目标交互动作点的数量，在所述至少一个聚类簇中确定第二目标聚类簇；
[0138]
将所述第二目标聚类簇的尺寸与第三预设交互尺寸进行比对；
[0139]
在所述第二目标聚类簇与所述第三预设交互尺寸相符的情况下，依据所述第二目标聚类簇，确定目标交互指令。
[0140]
可选的，人机指令识别装置，还用于：
[0141]
当机器人到达配送起始位置或配送目标位置，自动开启置物机构；
[0142]
确定所述置物机构开启且物品变化稳定后，依据视觉传感装置针对指令采集区域的采集数据，识别关闭指令；
[0143]
在未识别到关闭指令的情况下，在所述指令采集区域中确定特殊感知区域；
[0144]
基于所述特殊感知区域进行增强识别，识别所述关闭指令。
[0145]
本发明实施例所提供的人机指令识别装置可执行本发明任意实施例所提供的人机指令识别方法，具备执行方法相应的功能模块和有益效果。
[0146]
实施例五
[0147]
图5为本发明实施例五提供的一种电子设备的结构示意图，如图5所示，该电子设备包括处理器50、存储器51、输入装置52和输出装置53；设备中处理器50的数量可以是一个或多个，图5中以一个处理器50为例；设备中的处理器50、存储器51、输入装置52和输出装置53可以通过总线或其他方式连接，图5中以通过总线连接为例。
[0148]
存储器51作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的人机指令识别方法对应的程序指令/模块(例如，人机指令识别装置中的第一指令识别模块410，特殊感知区域确定模块420和第二指令识别模块430)。处理器50通过运行存储在存储器51中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的人机指令识别，包括：
[0149]
依据视觉传感装置针对指令采集区域的采集数据进行普通识别，识别目标交互指令；
[0150]
在未识别到目标交互指令的情况下，依据所述采集数据，在所述指令采集区域中确定特殊感知区域；
[0151]
基于所述特殊感知区域进行增强识别，识别目标交互指令。
[0152]
存储器51可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器51可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器51可进一步包括相对于处理器50远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0153]
实施例六
[0154]
本发明实施例六还提供一种其上存储有计算机程序的计算机可读存储介质，所述计算机程序在由计算机处理器执行时用于执行一种人机指令识别方法，该方法包括：
[0155]
依据视觉传感装置针对指令采集区域的采集数据进行普通识别，识别目标交互指令；
[0156]
在未识别到目标交互指令的情况下，依据所述采集数据，在所述指令采集区域中确定特殊感知区域；
[0157]
基于所述特殊感知区域进行增强识别，识别目标交互指令。
[0158]
当然,本发明实施例所提供的包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的人机指令识别方法中的相关操作。
[0159]
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，应用服务器，或者网络设备等)执行本发明各个实施例所述的方法。
[0160]
值得注意的是，上述一种人机指令识别装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
[0161]
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

技术特征：
1.一种人机指令识别方法，应用于机器人，其特征在于，包括：依据视觉传感装置针对指令采集区域的采集数据进行普通识别，识别目标交互指令；在未识别到目标交互指令的情况下，依据所述采集数据，在所述指令采集区域中确定特殊感知区域；基于所述特殊感知区域进行增强识别，识别目标交互指令。2.根据权利要求1所述的方法，其特征在于，所述依据所述采集数据，在所述指令采集区域中确定特殊感知区域，包括：根据所述采集数据得到点云数据，并将所述点云数据映射至机器人坐标系下，得到原始点集；将所述原始点集映射至指令采集区域中与水平面平行的预设平面内，得到所述预设平面内无映射数据的点作为特殊感应点；将所述特殊感应点进行聚类，得到所述特殊感知区域。3.根据权利要求1所述的方法，其特征在于，所述基于所述特殊感知区域进行增强识别，识别目标交互指令，包括：将所述特殊感知区域的尺寸与第一预设交互尺寸进行比对；在所述特殊感知区域的尺寸与所述第一预设交互尺寸相符的情况下，根据所述特殊感知区域所在位置，确定所述特殊感知区域的临接区域；在所述采集数据中，提取位于所述临接区域内的临接数据，并依据所述临接数据，识别目标交互指令。4.根据权利要求3所述的方法，其特征在于，所述依据所述临接数据，识别目标交互指令，包括：将所述临接数据转换为点云数据，并将所述点云数据转换至机器人坐标系下，得到临接点集；在所述临接点集中滤除干扰点，得到所述临接点集中包含的第一目标交互动作点；通过对所述第一目标交互动作点进行识别，确定目标交互指令。5.根据权利要求4所述的方法，其特征在于，所述通过对所述第一目标交互动作点进行识别，确定目标交互指令，包括：对所述第一目标交互动作点进行聚类，得到至少一个聚类簇，并依据每个聚类簇包含的第一目标交互动作点的数量，在所述至少一个聚类簇中确定第一目标聚类簇；将所述第一目标聚类簇的尺寸与第二预设交互尺寸进行比对；在所述第一目标聚类簇的尺寸与所述第二预设交互尺寸相符的情况下，依据所述第一目标聚类簇，确定目标交互指令。6.根据权利要求1所述的方法，其特征在于，所述依据视觉传感装置针对指令采集区域的采集数据进行普通识别，识别目标交互指令，包括：将所述视觉传感装置针对指令采集区域的采集数据转换为点云数据，并将所述点云数据转换至机器人坐标系下，得到原始点集；在所述原始点集中滤除干扰点，得到所述原始点集中包含的第二目标交互动作点；通过对所述第二目标交互动作点进行识别，确定目标交互指令。7.根据权利要求6所述的方法，其特征在于，所述通过对所述第二目标交互动作点进行
识别，确定目标交互指令，包括：对所述第二目标交互动作点进行聚类，得到至少一个聚类簇，并依据每个聚类簇包含的第二目标交互动作点的数量，在所述至少一个聚类簇中确定第二目标聚类簇；将所述第二目标聚类簇的尺寸与第三预设交互尺寸进行比对；在所述第二目标聚类簇与所述第三预设交互尺寸相符的情况下，依据所述第二目标聚类簇，确定目标交互指令。8.根据权利要求1-7任一所述的方法，其特征在于，还包括：当机器人到达配送起始位置或配送目标位置，自动开启置物机构；确定所述置物机构开启且物品变化稳定后，依据视觉传感装置针对指令采集区域的采集数据，识别关闭指令；在未识别到关闭指令的情况下，在所述指令采集区域中确定特殊感知区域；基于所述特殊感知区域进行增强识别，识别所述关闭指令。9.一种人机指令识别装置，其特征在于，包括：第一指令识别模块，用于依据视觉传感装置针对指令采集区域的采集数据进行普通识别，识别目标交互指令；特殊感知区域确定模块，用于在未识别到目标交互指令的情况下，依据所述采集数据，在所述指令采集区域中确定特殊感知区域；第二指令识别模块，用于基于所述特殊感知区域进行增强识别，识别目标交互指令。10.一种电子设备，其特征在于，所述电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的人机指令识别方法。11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-8中任一项所述的人机指令识别方法。

技术总结
本发明公开了一种人机指令识别方法、装置、设备及存储介质，涉及机器人技术领域。该方法包括：依据视觉传感装置针对指令采集区域的采集数据进行普通识别，识别目标交互指令；在未识别到目标交互指令的情况下，依据采集数据，在指令采集区域中确定特殊感知区域；基于特殊感知区域进行增强识别，识别目标交互指令。本发明实施例的技术方案，提高了人机指令识别的准确性和稳定性。识别的准确性和稳定性。识别的准确性和稳定性。


技术研发人员：董济铭 何林 唐旋来
受保护的技术使用者：上海擎朗智能科技有限公司
技术研发日：2023.05.16
技术公布日：2023/7/27