机械设备人机安全交互方法、系统、装置以及介质

1.本说明书涉及人机交互安全领域，特别涉及一种机械设备人机安全交互方法、系统、装置以及介质。


背景技术：

2.在工业生产、物流仓储等领域，诸如智能生产机器人、物流机器人等机械设备可以替代用户进行货运、物流等工作，以实现工业智能化。然而在上述机械设备进行运动的过程中，机械设备可能会与用户发生意外触碰，存在安全隐患。
3.针对该问题，中国专利201711125268.8提出一种人机安全防护系统和防护方法，能够通过相机采集点云数据，并基于处理后的点云数据检测机器人运行过程中的危险情况，根据危险情况采取相应的应急措施。该方案基于相机拍摄的数据进行处理，需要保证良好的拍摄环境，而实际工业生产、物流仓储情况下的场景存在不确定性，拍摄获取的点云数据不一定都包含准确的颜色信息和反射强度信息。
4.因此需要一种机械设备人机安全交互方法、系统、装置以及介质，能够在各种场景、环境下实现安全预警。


技术实现要素：

5.本说明书提供一种机械设备人机安全交互方法，所述方法由控制设备执行，所述方法包括：获取机械设备在第一时间段的第一位置以及用户对所述机械设备的控制指令信息；获取所述用户在第一时间段的第二位置以及所述机械设备与所述用户的交互信息；基于所述第一位置、所述控制指令信息、所述第二位置以及所述交互信息，确定安全值；判断所述安全值是否低于安全预警阈值，响应于所述安全值低于所述安全预警阈值，向所述用户发出预警。
6.本说明书提供一种机械设备人机安全交互系统，所述系统包括：第一获取模块，用于获取机械设备在第一时间段的第一位置以及用户对所述机械设备的控制指令信息；第二获取模块，用于获取所述用户在第一时间段的第二位置以及所述机械设备与所述用户的交互信息；确定模块，用于基于所述第一位置、所述控制指令信息、所述第二位置以及所述交互信息，确定安全值；预警模块，用于判断所述安全值是否低于安全预警阈值，响应于所述安全值低于所述安全预警阈值，向所述用户发出预警。
7.本说明书提供一种机械设备人机安全交互装置，所述装置包括至少一个处理器以及至少一个存储器；所述至少一个存储器用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令中的至少部分指令以实现所述机械设备人机安全交互方法。
8.本说明书提供一种计算机可读存储介质，其特征在于，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行所述机械设备人机安全交互方法。
9.通过本说明书提供的机械设备人机安全交互方法，可以实现对人机交互过程中涉
及的安全隐患进行提前预警。
附图说明
10.本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：
11.图1是根据本说明书一些实施例所示的机械设备人机安全交互系统的应用场景示意图；
12.图2是根据本说明书一些实施例所示的机械设备人机安全交互系统的示例性模块图；
13.图3是根据本说明书一些实施例所示的机械设备人机安全交互方法的示例性流程图；
14.图4是根据本说明书一些实施例所示的确定安全值的示例性流程图；
15.图5是根据本说明书一些实施例所示的预测模型的示意图；
16.图6是根据本说明书一些实施例所示的确定安全值的示例性流程图；
17.图7是根据本说明书一些实施例所示的判断安全操作的示例性流程图。
具体实施方式
18.为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
19.应当理解的是，本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。
20.如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。
21.本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
22.目前的工业生产、物流仓储等领域，采用智能物流机器人、智能搬运车辆等机械设备可以实现货物的智能转运。然而在上述机械设备运行过程中与用户交互，往往有不可预测的安全问题。例如，用户站在机械设备将要经过的道路上、用户将货物转运给机械设备的配合过程失误等。因此机械设备在运行过程中，需要得知用户的当前位置，以及用户未来可能经过的位置，从而实现机械设备的避让、对安全问题的提醒预警。鉴于此，本说明书提供
一种机械设备人机安全交互方法、系统、装置以及存储介质，能够在复杂环境中(如光线昏暗的场景)实现人机安全交互，为用户可能涉及的安全风险提供预警。
23.图1是根据本说明书一些实施例所示的机械设备人机安全交互系统的应用场景示意图。
24.如图1所示，应用场景100可以包括服务器110、网络120、终端设备130、机械设备140、存储设备150以及用户160。其中，服务器可以包括处理设备。
25.在一些实施例中，应用场景100可以通过实施本说明书中披露的机械设备人机安全交互方法和/或系统来实现安全预警。例如，在一个典型的应用场景中，机械设备人机安全交互系统可以获取机械设备在第一时间段的第一位置以及用户对机械设备的控制指令信息；获取用户在第一时间段的第二位置以及机械设备与用户的交互信息；基于第一位置、控制指令信息、第二位置以及交互信息，确定安全值；判断安全值是否低于安全预警阈值，响应于安全值低于安全预警阈值，向用户发出预警。关于上述过程的更多内容，可以参见图3及其相关描述。
26.服务器110与终端设备130可以通过网络120相连，服务器110可以与存储设备150通过网络120相连。服务器110可以包括处理设备，处理设备可以用于执行本说明书一些实施例所述的机械设备人机安全交互方法。
27.网络120可以连接应用场景100的各组成部分和/或连接系统与外部资源部分。
28.存储设备150可以用于存储数据和/或指令，例如，存储设备150可以存储第一位置、控制指令信息、第二位置以及交互信息等信息。存储设备150可以直接连接于服务器110或者处于服务器110的内部。
29.终端设备130指一个或多个终端设备或软件。在一些实施例中，终端设备130可以接收处理设备发送的预警，并向用户展示。在一些实施例中，终端设备130可以用于用户输入第二位置以及交互信息，并将上述信息发送给服务器110。示例性的，终端设备130可以包括移动设备130-1、平板计算机130-2、膝上型计算机130-3等或其他具有输入和/或输出功能的设备中的一种或其任意组合。
30.机械设备140可以用于执行功能性的动作，例如机械设备140可以运输货物、执行用户规定的动作等。示例性的机械设备140可以包括智能运输车、智能物流机器人、机械臂等。在一些实施例中，机械设备140上可以安装有定位装置，用于获取机械设备140在第一时间段的第一位置。在一些实施例中，机械设备140上可以安装有控制装置，用于获取用户对机械设备140的控制指令信息。在一些实施例中，服务器110、终端设备130、存储设备150等组件可以集成在机械设备140中。
31.用户160可以是与机械设备140进行交互的人员。例如，用户160可以是工人、物流管理人员等。用户160可以通过终端设备130输入第二位置以及交互信息等信息。
32.应当注意应用场景100仅仅是为了说明的目的而提供，并不意图限制本说明书的范围。对于本领域的普通技术人员来说，可以根据本说明书的描述，做出多种修改或变化。例如，应用场景100还可以包括数据库。又例如，应用场景100可以在其他设备上实现以实现类似或不同的功能。然而，变化和修改不会背离本说明书的范围。
33.图2是根据本说明书一些实施例所示的机械设备人机安全交互系统的示例性模块图。
34.如图2所示，机械设备人机安全交互系统200可以包括第一获取模块210、第二获取模块220、确定模块230以及预警模块240。在一些实施例中，机械设备人机安全交互系统200可以为服务器的一部分或由服务器实现。
35.第一获取模块210可以用于获取机械设备在第一时间段的第一位置以及用户对机械设备的控制指令信息。在一些实施例中，第一获取模块210可以被配置为的机械设备中的定位装置以及控制装置。关于第一获取模块210的进一步说明，参见图3及其相关描述。
36.第二获取模块220可以用于获取用户在第一时间段的第二位置以及机械设备与用户的交互信息。在一些实施例中，第二获取模块220可以被配置为图1中的终端设备。关于第二获取模块220的进一步说明，参见图3及其相关描述。
37.确定模块230可以用于基于第一位置、控制指令信息、第二位置以及交互信息，确定安全值。在一些实施例中，确定模块230可以被配置为处理设备。
38.在一些实施例中，确定模块230进一步用于基于第一位置以及控制指令信息，确定机械设备在第二时间段的第一轨迹；基于第二位置以及交互信息，预测用户在第二时间段的第二轨迹；基于第一轨迹以及第二轨迹，确定安全值。
39.在一些实施例中，确定模块进一步用于基于第一轨迹以及第二轨迹，确定轨迹空间特征，轨迹空间包括警戒区间，轨迹空间特征包括警戒时间间隔以及第一轨迹与第二轨迹之间的轨迹贴合速率；警戒时间间隔为警戒区间的开始时刻与当前时刻之间的间隔；基于轨迹空间特征，确定安全值。关于确定模块230的进一步说明，参见图3及其相关描述。
40.预警模块240可以用于判断安全值是否低于安全预警阈值，响应于安全值低于安全预警阈值，向用户发出预警。预警模块240可以被配置为提醒用户的装置。例如，扬声器、显示器等。在一些实施例中，交互终端240可以被配置为图1中的终端设备130。关于预警模块240的进一步说明，参见图3及其相关描述。
41.在一些实施例中，机械设备人机安全交互系统200还可以包括第三获取模块250以及判断模块260。第三获取模块250可以用于获取机械设备在运行时的操作执行信息，其中，操作执行信息包括控制指令信息的第一调整信息以及交互信息的第二调整信息。判断模块260可以用于基于操作执行信息，判断机械设备是否进行安全操作。
42.通过在本说明书提供的机械设备人机安全交互系统200，可以实现机械设备运行过程以及与用户进行交互过程的安全确定，并在存在安全风险情况下进行预警。
43.图3是根据本说明书一些实施例所示的机械设备人机安全交互方法的示例性流程图。在一些实施例中，流程300可以由处理设备执行。如图3所示，流程300包括下述步骤：
44.步骤310，获取机械设备在第一时间段的第一位置以及用户对机械设备的控制指令信息。
45.第一时间段可以是当前或历史的任意一个时间段。例如，第一时间段可以是当前一分钟、当前一个小时等。
46.第一位置可以是机械设备的位置。在一些实施例中，第一位置可以用坐标、经纬度等表示。例如，第一位置可以是平面坐标(15,20)，其中，平面坐标系的原点可以是人工指定的某一点。在一些实施例中，第一位置可以通过机械设备的定位装置获取。例如，机械设备安装有gps定位装置或北斗卫星定位装置，可以实现第一位置的实时获取。在一些实施例中，第一位置可以通过蜂窝基站、蓝牙定位等方式获取。第一时间段的第一位置可以是仅仅
是一个位置点，也可以是多个位置点构成的轨迹。
47.控制指令信息可以是用户对机械设备的控制信息。在一些实施例中，控制指令信息可以包括用户指示机械设备运行的一个或多个指令。控制指令信息可以包括用户设置的机械设备的运动速度、运动目的地、交互动作、运动时间、运动轨迹等信息。其中，上述信息可以作为机械设备特征。例如，控制指令信息可以包括机械设备运动速度0.5m/s，运动目的地为装货区，交互动作为装货，运动时间为12:00。
48.在一些实施例中，控制指令信息可以通过用户输入终端设备以获取。例如，在机械设备运动前，用户可以通过终端设备输入机械设备的运动速度、运动目的地等信息，通过网络将上述信息传输至机械设备中以及处理设备中。
49.步骤320，获取用户在第一时间段的第二位置以及机械设备与用户的交互信息。
50.第二位置可以是用户的位置。在一些实施例中，第二位置可以用坐标、经纬度等表示。例如，第二位置可以是平面坐标(10,11)，其中，平面坐标系的原点可以是人工指定的某一点。在一些实施例中，第二位置可以通过用户携带的定位装置获取。在一些实施例中，第二位置可以通过用户输入获取。第一时间段的第二位置可以是仅仅是一个位置点，也可以是多个位置点构成的轨迹。
51.交互信息可以是机械设备对用户进行反馈的信息以及机械设备捕捉的与用户相关的信息。在一些实施例中，交互信息可以包括机械设备反馈用户的一个或多个反馈信息。例如，交互信息可以包括机械设备反馈的指导用户执行动作、提醒预警等信息。其中，指导用户执行动作可以包括提醒用户在某一位置处卸货；提醒预警可以包括提醒用户进行避让等。上述反馈信息可以通过语音、文字、图像等形式向用户反馈。
52.在一些实施例中，交互信息可以包括机械设备捕捉的与用户相关的信息。例如，机械设备获取附近用户的位置、运动速度以及运动方向等，作为交互信息中的用户特征。在一些实施例中，交互信息可以通过机械设备自主生成确定，或通过机械设备捕捉确定。例如，机械设备可以基于预设设定，生成提醒用户避让的信息。需要说明的是，本说明书涉及的交互可以包括用户向机械设备输入信息、机械设备向用户反馈信息、用户与机械设备处于预设的交互距离范围内等。
53.步骤330，基于第一位置、控制指令信息、第二位置以及交互信息，确定安全值。
54.安全值可以反映用户与机械设备交互过程中，用户与机械设备处于安全状态的可能性。例如，安全值可以是100以内的具体数值。安全值越高，用户与机械设备当前交互过程中与未来交互过程中可能发生的风险越少。
55.在一些实施例中，处理设备可以基于第一位置与第二位置的距离，以及控制指令信息中机械设备的速度与交互信息中用户的速度，确定安全值。其中，第一位置与第二位置的距离和安全值可以呈一次函数关系，第一位置与第二位置的距离越大，安全值可以越大。机械设备的速度、用户的速度与安全值可以呈一次函数关系，机械设备的速度和/或用户的速度越大，安全值可以越小。
56.在一些实施例中，安全值可以通过对第一位置、控制指令信息、第二位置以及交互信息进行分析以确定。例如，处理设备可以将第一位置、控制指令信息、第二位置以及交互信息输入预测模型以获得第一轨迹和第二轨迹，并基于第一轨迹和第二轨迹分析以确定安全值。关于预测模型的具体说明，参见图4、图5及其相关描述。关于基于第一轨迹和第二轨
迹分析的具体说明，参见图6及其相关描述。
57.在一些实施例中，安全值相关于交互信息的相关参数。例如，安全值可以与交互信息中反馈信息的音量大小相关，音量越大，安全值可以越大。音量大小与安全值的关系可以是一次函数关系，或其他预设关系等。再例如，安全值可以与交互信息中反馈信息的亮度大小相关，亮度越大，安全值可以越大。亮度大小与安全值的关系可以是一次函数关系，或其他预设关系等。还例如，安全值还可以与环境的光线强度、环境噪音大小等相关，此处不再赘述。
58.在用户与机械设备交互过程中，一些信息因为环境因素、用户个人因素等，无法及时让用户得知，从而无法让用户及时作出安全的判断，因此通过在安全值确定过程中引入交互信息的相关参数，增加对实际交互场景的考虑，提高安全值确定与实际环境的适用性。
59.步骤340，判断安全值是否低于安全预警阈值，响应于安全值低于安全预警阈值，向用户发出预警。
60.安全预警阈值可以是是否进行安全预警的临界安全值。例如，当安全值为100以内的数值时，安全预警阈值可以是80，安全值低于80时向用户发出预警。安全预警阈值可以人工设置确定。
61.安全预警可以包括图像、文字、语音等形式向用户发出预警提醒。在一些实施例中，安全预警还可以包括对机械设备发出停止指令。停止指令可以指示机械设备进行停止运动、停止交互等动作。
62.通过本说明书一些实施例所述的机械设备人机安全交互方法，可以实现机械设备与用户交互过程中的安全风险预警，仅通过机械设备与用户的当前位置、控制指令和交互信息，即可实现运动轨迹的预测以及安全预警，提高交互过程安全预警的智能化程度。
63.图4是根据本说明书一些实施例所示的确定安全值的示例性流程图。在一些实施例中，流程400可以由处理设备执行。如图4所示，流程400包括下述步骤：
64.步骤410，基于第一位置以及控制指令信息，确定机械设备在第二时间段的第一轨迹。
65.第二时间段可以是未来的某一时间段。例如，第二时间段可以是未来5秒、未来15秒的时间段。第二时间段可以通过人工预设确定。
66.第一轨迹可以是机械设备在第二时间段的轨迹。在一些实施例中，处理设备可以基于第一位置以及用户输入的控制指令信息，自动生成第一位置与运动目的地之间的第一轨迹。其中，第一轨迹的生成可以基于预设的轨迹生成规则进行，示例性的轨迹生成规则可以包括：选择两点之间的最短距离的路径作为第一轨迹、选择两点之间障碍物最少的路径作为第一轨迹等。
67.步骤420，基于第二位置以及交互信息，预测用户在第二时间段的第二轨迹。
68.第二轨迹可以是用户在第二时间段的轨迹。在一些实施例中，第二轨迹可以通过数学拟合计算、人工智能分析等方式确定。在一些实施例中，第二轨迹可以通过预测模型预测确定。其中，预测模型可以是机器学习模型。例如，时序模型等。关于预测模型的具体说明，参见图5及其相关描述。
69.步骤430，基于第一轨迹以及第二轨迹，确定安全值。
70.在一些实施例中，处理设备可以基于第一轨迹以及第二轨迹，通过向量计算、拟合
计算等方式确定安全值。关于步骤430的具体说明，参见图6及其相关描述。
71.本说明书一些实施例中通过机械设备与用户的轨迹确定安全值，实现机械设备与用户的轨迹跟踪，在复杂的环境下(如昏暗环境、噪音环境等)也可以实现安全值确定，提高该方法的适用范围。
72.图5是根据本说明书一些实施例所示的预测模型的示意图。
73.在一些实施例中，预测模型可以进行多次预测以确定第二轨迹。如图5所示，预测模型540的第一次输入可以是t0时刻的用户特征510、机械设备特征520以及历史位置530。其中，历史位置530可以包括用户和机械设备在t0时刻之前的历史位置。用户特征510可以是用户的当前位置、运动速度、运动方向等特征。用户特征510可以基于交互信息确定。机械设备特征520可以是机械设备的当前位置、运动速度、运动方向等特征。机械设备特征520可以基于控制指令信息确定。
74.预测模型540的第一次输出可以是t1时刻的用户位置551。预测模型540的第二次输入可以是t1时刻的用户特征、机械设备特征以及历史位置530。预测模型540的第二次输出可以是t2时刻的用户位置
……
预测模型540的第x+1次输入可以是t
x
时刻的用户特征、机械设备特征以及历史位置530。其中，t1时刻的用户特征可以包括t1时刻的用户位置运动速度、运动方向等特征，
……
t
x
时刻的用户特征可以包括t
x
时刻的用户位置、运动速度、运动方向等特征。t1时刻的机械设备特征可以包括t1时刻的机械设备位置、运动速度、运动方向等特征，
……
t
x
时刻的机械设备特征可以包括t
x
时刻的机械设备位置、运动速度、运动方向等特征。预测模型540的第x+1次输出可以是t
x+1
时刻的用户位置。将上述t0时刻的第二位置、t1时刻的用户位置、t2时刻的用户位置
……
t
x+1
时刻的用户位置用平滑的曲线连接，得到用户的第二轨迹550。其中，t0时刻可以是当前时刻，t1时刻、t2时刻
……
t
x+1
时刻可以是第二时间段中的时刻。预测模型以时间点为顺序，通过将上一次的输出作为下一次的输入，如此延续可以保证输出各个位置点的连贯性，减少输出位置点的偶然误差。
75.在一些实施例中，预测模型可以通过大量带有标识的训练样本训练得到。具体的，将带有标识的多组训练样本输入初始预测模型，基于初始预测模型的输出以及标识构建损失函数，基于损失函数迭代通过训练更新预测模型的参数。在一些实施例中，可以基于训练样本，通过各种方法进行训练。例如，可以基于梯度下降法进行训练。当满足预设条件时，训练结束，获得训练好的预测模型。其中，预设条件可以为损失函数收敛。
76.在一些实施例中，训练样本可以包括多个历史位置、历史用户特征以及历史机械设备特征。标识可以是某一历史位置对应的下一个时间点的历史用户位置。在一些实施例中，训练样本还包括当前用户位置，标签可以是下一时间点的用户位置。例如，训练样本为9:00时刻的用户位置和机械设备位置、9:00时刻之前的历史位置以及该时刻的用户特征、机械设备特征时，标识可以是9:01时刻的用户位置。训练样本可以通过从存储设备调用以确定。标识可以通过人工标注获取。
77.在一些实施例中，预测模型的输入还可以包括环境特征560，环境特征560至少包括光线强度、噪声强度。可以理解的是，光线强度、噪声强度等环境特征560可能会影响用户的第二轨迹。例如，用户在突发的噪声惊扰下，其第二轨迹可能发生突变(如突然后退)。因此，预测模型的输入还可以包括第二时间段的环境特征560。例如，预测模型的第一次输入还可以包括t0时刻的环境特征、预测模型的第二次输入还可以包括t1时刻的环境特征
……
预测模型的第x+1次输入还可以包括t
x+1
时刻的环境特征。通过在模型输入中引入环境特征，在模型中增加环境围度的考虑，提高模型与实际工况环境的匹配程度。
78.图6是根据本说明书一些实施例所示的确定安全值的示例性流程图。在一些实施例中，流程600可以由处理设备执行。如图6所示，流程600包括下述步骤：
79.步骤610，基于第一轨迹以及第二轨迹，确定轨迹空间特征。
80.轨迹空间可以是第一轨迹与第二轨迹形成的几何空间。轨迹空间可以是二维空间或三维空间。
81.在一些实施例中，轨迹空间可以包括警戒区间。警戒区间可以表示第二时间段中安全值小于安全预警阈值的时间段。例如，警戒区间可以是第一轨迹和第二轨迹相交时的时间段(或时间点)、或第一轨迹和第二轨迹之间距离小于距离阈值时的时间段。其中，距离阈值可以人工设置确定。可以理解的是，第一轨迹、第二轨迹为理想轨迹，即将机械设备和用户作为理想的点来判断轨迹，而实际机械设备和用户具有一定的体积，即第一轨迹和第二轨迹之间距离小于距离阈值时会存在碰撞可能性。
82.在一些实施例中，轨迹空间特征可以包括警戒时间间隔以及第一轨迹与第二轨迹之间的轨迹贴合速率。
83.警戒时间间隔可以是警戒区间的开始时刻与当前时刻之间的间隔。轨迹贴合速率可以是第一轨迹与第二轨迹之间距离靠近的速率。例如，5m/s。当轨迹贴合速率过快时(如当轨迹贴合速率大于速率阈值时)，机械设备或用户可能因惯性而存在碰撞可能性。仅作为示例，轨迹贴合速率可以通过下述公式(1)计算：其中，v为轨迹贴合速率，δt为警戒时间间隔中的一个时间段，δs为第一轨迹与第二轨迹在δt时间段内相互靠近的距离。例如，第一轨迹与第二轨迹在1s内靠近了2m，则δt为1s，δs为2m，v为2m/s。
84.在一些实施例中，轨迹空间特征还包括轨迹形状复杂度。轨迹形状复杂度可以反映轨迹的变化情况，轨迹形状复杂度越大，说明机械设备或用户的运动轨迹越不规律。示例性的，第一轨迹或第二轨迹具有更多的弯折、往返等可以代表其具有更大的轨迹形状复杂度。更大的轨迹形状复杂度说明轨迹具有更大的不确定性，其安全性会受到影响。在一些实施例中，轨迹形状复杂度可以通过第一轨迹或第二轨迹的斜率确定。例如，第一轨迹或第二轨迹在轨迹空间的斜率变化越大，轨迹形状复杂度越大。
85.步骤620，基于轨迹空间特征，确定安全值。
86.在一些实施例中，轨迹空间特征与安全值存在预设的对应关系。例如，警戒时间间隔越大，安全值可以越大；轨迹贴合速率越大，安全值可以越小；轨迹形状复杂度越大，安全值可以越小等。上述预设的对应关系可以查表确定。
87.本说明书一些实施例中，通过对轨迹空间特征的多维度比较以确定安全值，提高安全值确定的参考围度；另外，通过设置第一轨迹与第二轨迹之间的距离阈值，可以摆脱理想空间中将机械设备/用户作为点来判断带来的实际误差，提高安全值判断的准确性。
88.图7是根据本说明书一些实施例所示的判断安全操作的示例性流程图。在一些实施例中，流程700可以由处理设备执行。如图7所示，流程700包括下述步骤：
89.步骤710，获取机械设备在运行时的操作执行信息。
90.操作执行信息可以是机械设备与用户进行交互时，控制指令信息与交互信息相互传递的信息。例如，用户输入控制指令信息时接触终端设备的信息、机械设备反馈时的终端设备音量、亮度等信息。在一些实施例中，操作执行信息包括控制指令信息的第一调整信息以及交互信息的第二调整信息。
91.第一调整信息可以是用户向机械设备输入控制指令信息时的输入过程的相关信息。例如，第一调整信息可以包括用户输入控制指令信息时与机械设备的距离、速度等。可以理解的是，用户输入控制指令信息时与机械设备的距离越大，机械设备与用户产生碰撞的可能性越小，安全值可以越高；用户输入控制指令信息时机械设备速度越小，安全值可以越高。第一调整信息可以与安全值存在预设对应关系，通过查表确定该预设对应关系。
92.第二调整信息可以是机械设备向用户反馈时的反馈过程的相关信息。例如，第二调整信息可以包括音量、亮度等信息。可以理解的是，音量越大/亮度越大，用户准确接收反馈的交互信息的可能性越大，安全值可以越高。第二调整信息可以与安全值存在预设对应关系，通过查表确定该预设对应关系。
93.步骤720，基于操作执行信息，判断机械设备是否进行安全操作。
94.安全操作可以是为保证安全值不低于安全预警阈值而进行的相应操作。安全操作可以包括机械设备减速、机械设备停机、机械设备的终端设备增大音量、机械设备的终端设备增大屏幕亮度等。
95.在一些实施例中，当通过操作执行信息得到的安全值大于安全值阈值时，判断机械设备正在进行安全操作；当通过操作执行信息得到的安全值小于安全值阈值时，判断机械设备未进行安全操作。在一些实施例中，当机械设备未进行安全操作时，可以向用户发出安全预警。安全预警可以参见图3，此处不再赘述。
96.在一些实施例中，当判断机械设备未进行安全操作时，处理设备可以通过强化学习模型确定具体的安全操作。
97.强化学习模型的输入可以包括机械设备特征。强化模型的输出可以包括需要执行的安全操作。其中，机械设备特征可以包括机械设备的位置(如第一位置)、运动速度、运动方向、当前控制指令信息的类型(如卸货、搬运、装货等)、旋转速度等。需要执行的安全操作可以包括机械设备减速、停机、不执行安全操作等。
98.在一些实施例中，强化学习模型可以包括奖励模块、惩罚模块、环境模块以及最优动作确定模块。环境模块可以用于将机械设备特征输入强化学习模型。奖励模块可以用于确定需要执行的安全操作的奖励值。惩罚模块可以用于确定需要执行的安全操作的惩罚值。最优动作确定模块可以用于确定在下一时刻要执行的安全操作。
99.在一些实施例中，强化学习模型可以通过奖励模块对每种需要执行的安全操作赋予对应的奖励值，奖励可以用于评估该种安全操作对安全值的提升程度。例如，对于提升程度高的安全操作，奖励值可以越高；对于提升程度低或是负提升，奖励值可以越低。奖励值可以用数值或其他方式表示。在一些实施例中，当前预估事故概率越高，安全操作对应的奖励值越大。当前预估事故概率可以是未采取安全操作时发生事故的概率。
100.其中，当前预估事故概率可以基于当前的安全值确定。当前的安全值越高，当前预估事故概率越低。在一些实施例中，执行安全操作后预估事故概率降低幅度越大，安全操作
对应的奖励值越大。例如，当前安全操作为停机时对安全值的提升较大，则停机对应的奖励值较大。在一些实施例中，处理设备通过预设关系表确定每种需要执行的安全操作对应的奖励值。例如，为减速0.5m/s设置奖励值为20、为减速1m/s设置奖励值为40、为停机设置奖励值100等。在一些实施例中，处理设备可以选择一个类型的安全操作作为下一时刻要执行的安全操作。例如，处理设备可以选择停机、减速等作为下一时刻的安全操作。在一些实施例中，处理设备可以通过最优动作确定模块选择奖励值最大的安全操作作为下一时刻要执行的安全操作。例如，停机对应的奖励值最大，则将停机作为下一时间点的安全操作。
101.在一些实施例中，强化学习模型可以通过惩罚模块对每种需要执行的安全操作赋予对应的惩罚值。惩罚值可以用于评估该种安全操作对机械设备正常工作以及工作效率的影响程度。例如，该种安全操作对机械设备正常工作以及工作效率的负面影响越大，惩罚值可以越大。可以理解的是，当机械设备长期处于减速、停机等状态时，虽然安全值提高，但正常工作以及工作效率受到影响，因此通过惩罚值衡量安全操作的负面影响。
102.惩罚值可以用数值或其他方式表示。在一些实施例中，执行安全操作后，缓冲时间段内再次执行安全操作的次数越多，每次安全操作惩罚值越大。其中，缓冲时间段可以通过人工设置确定。例如，缓冲时间段可以是10s。首次减速的惩罚值可以是0，在执行首次减速后10s内第二次减速，则第二次减速对应的惩罚值为20。
103.在一些实施例中，当某一安全操作执行后，惩罚值大于惩罚值阈值时，处理设备可以向用户发出该安全操作可能会导致异常运行的提示。例如，处理设备提醒用户长期减速会导致机械设备停机。其中，惩罚值阈值可以通过人工设置确定。例如，惩罚值阈值可以是60。
104.在一些实施例中，安全操作惩罚值包括预设惩罚值。预设惩罚值可以减少用户对安全操作的频繁使用，避免因过度保证安全而影响机械设备运行效率。例如，当机械设备未进行减速，而是始终保持低速运行(即怠速)时，可以设置预设惩罚值以避免机械设备处于远低于正常运行速运行。例如，对机械设备每个运行速度均设置预设惩罚值。在一些实施例中，处理设备通过预设关系表确定每种需要执行的安全操作对应的预设惩罚值。例如0.5m/s对应预设惩罚值20，1m/s对应预设惩罚值10等。可以理解的是，机械设备运行速度越大，机械设备运行效率越高，对应的预设惩罚值可以越小。
105.在一些实施例中，预设惩罚值与环境特征相关，环境特征至少包括光线强度、噪声强度。例如，当光线强度、噪声强度较大时，可以设置较低的预设惩罚值，以提高机械设备在复杂环境条件下运行的容错率。例如0.5m/s对应预设惩罚值15，1m/s对应预设惩罚值8等。在一些实施例中，处理设备可以通过最优动作确定模块选择惩罚值最小的安全操作作为下一时刻要执行的安全操作。例如，减速对应的惩罚值最小，则将减速作为下一时间点的安全操作。在一些实施例中，奖励值最大的安全操作与惩罚值最小的安全操作不是同一安全操作时，优选奖励值最大的安全操作作为下一时间点的安全操作。通过对奖励值的优先选择，可以进一步保证用户与机械设备的交互安全。
106.在一些实施例中，安全预警阈值相关于预设惩罚值。例如，当预设惩罚值较高时，安全操作对惩罚值的提升越大，此时可以提高安全预警阈值。其中，安全预警阈值与预设惩罚值的对应关系可以通过查表确定。通过上述对应关系可以避免机械设备在需要安全操作时未作出安全操作，提高安全操作确定过程的合理性。
107.本说明书一些实施例中通过强化学习确定安全操作，为每种安全操作赋予奖励值与惩罚值，提高安全操作应用的合理性，避免安全操作滥用导致运行效率降低。
108.本说明书提供一种机械设备人机安全交互装置，该装置包括至少一个处理器以及至少一个存储器；至少一个存储器用于存储计算机指令；至少一个处理器用于执行计算机指令中的至少部分指令以实现机械设备人机安全交互方法。
109.本说明书提供一种计算机可读存储介质，该存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行如机械设备人机安全交互方法。
110.上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
111.同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
112.此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。
113.同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
114.一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有
±
20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。
115.针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、
定义和/或术语的使用为准。
116.最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

技术特征：
1.一种机械设备人机安全交互方法，其特征在于，所述方法由处理设备执行，所述方法包括：获取机械设备在第一时间段的第一位置以及用户对所述机械设备的控制指令信息；获取所述用户在第一时间段的第二位置以及所述机械设备与所述用户的交互信息；基于所述第一位置、所述控制指令信息、所述第二位置以及所述交互信息，确定安全值；判断所述安全值是否低于安全预警阈值，响应于所述安全值低于所述安全预警阈值，向所述用户发出预警。2.如权利要求1所述的方法，其特征在于，所述基于所述第一位置、所述控制指令信息、所述第二位置以及所述交互信息，确定安全值包括：基于所述第一位置以及所述控制指令信息，确定所述机械设备在第二时间段的第一轨迹；基于所述第二位置以及所述交互信息，预测所述用户在所述第二时间段的第二轨迹；基于所述第一轨迹以及所述第二轨迹，确定所述安全值。3.如权利要求2所述的方法，其特征在于，所述基于所述第一轨迹以及所述第二轨迹，确定所述安全值包括：基于所述第一轨迹以及所述第二轨迹，确定轨迹空间的特征，所述轨迹空间包括警戒区间，所述轨迹空间特征包括警戒时间间隔以及所述第一轨迹与所述第二轨迹之间的轨迹贴合速率；所述警戒时间间隔为所述警戒区间的开始时刻与当前时刻之间的间隔；基于所述轨迹空间特征，确定所述安全值。4.如权利要求1所述的方法，其特征在于，所述方法还包括：获取所述机械设备在运行时的操作执行信息，其中，所述操作执行信息包括所述控制指令信息的第一调整信息以及所述交互信息的第二调整信息；基于所述操作执行信息，判断所述机械设备是否进行安全操作。5.一种机械设备人机安全交互系统，其特征在于，所述系统包括：第一获取模块，用于获取机械设备在第一时间段的第一位置以及用户对所述机械设备的控制指令信息；第二获取模块，用于获取所述用户在第一时间段的第二位置以及所述机械设备与所述用户的交互信息；确定模块，用于基于所述第一位置、所述控制指令信息、所述第二位置以及所述交互信息，确定安全值；预警模块，用于判断所述安全值是否低于安全预警阈值，响应于所述安全值低于所述安全预警阈值，向所述用户发出预警。6.如权利要求5所述的系统，其特征在于，所述确定模块进一步用于：基于所述第一位置以及所述控制指令信息，确定所述机械设备在第二时间段的第一轨迹；基于所述第二位置以及所述交互信息，预测所述用户在所述第二时间段的第二轨迹；基于所述第一轨迹以及所述第二轨迹，确定所述安全值。7.如权利要求6所述的系统，其特征在于，所述确定模块进一步用于：
基于所述第一轨迹以及所述第二轨迹，确定轨迹空间特征，所述轨迹空间包括警戒区间，所述轨迹空间特征包括警戒时间间隔以及所述第一轨迹与所述第二轨迹之间的轨迹贴合速率；所述警戒时间间隔为所述警戒区间的开始时刻与当前时刻之间的间隔；基于所述轨迹空间特征，确定所述安全值。8.如权利要求1所述的系统，其特征在于，所述系统还包括：第三获取模块，用于获取所述机械设备在运行时的操作执行信息，其中，所述操作执行信息包括所述控制指令信息的第一调整信息以及所述交互信息的第二调整信息；判断模块，用于基于所述操作执行信息，判断所述机械设备是否进行安全操作。9.一种机械设备人机安全交互装置，其特征在于，所述装置包括至少一个处理器以及至少一个存储器；所述至少一个存储器用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令中的至少部分指令以实现如权利要求1～4中任意一项所述的方法。10.一种计算机可读存储介质，其特征在于，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行如权利要求1～4中任意一项所述的方法。

技术总结
本说明书提供一种机械设备人机安全交互方法，该方法由控制设备执行，包括：获取机械设备在第一时间段的第一位置以及用户对机械设备的控制指令信息；获取用户在第一时间段的第二位置以及机械设备与用户的交互信息；基于第一位置、控制指令信息、第二位置以及交互信息，确定安全值；判断安全值是否低于安全预警阈值，响应于安全值低于安全预警阈值，向用户发出预警。出预警。出预警。


技术研发人员：李敏 邹斌
受保护的技术使用者：湖北工业大学
技术研发日：2022.12.26
技术公布日：2023/5/30