基于边缘计算的智能车间控制方法和系统与流程

1.本发明涉及车间控制技术领域，更具体地说，本发明涉及基于边缘计算的智能车间控制方法和系统。


背景技术：

2.边缘计算是一种分布式计算模型，旨在将计算、存储和数据处理功能从传统的集中式云计算数据中心延伸到离数据源更近的边缘设备或边缘节点。边缘计算的目标是在接近数据源的位置提供实时数据处理、低延迟应用和更高的带宽效率，边缘计算在工业上用途广泛，如图6所示，一种边缘计算示意图。
3.申请公开号为cn116032969a的中国专利公开了一种云边协同的智能数控车间自调控系统、控制方法，该发明提出了一种云边协同的智能数控车间自调控模式，在分析数控车间运行机制和调控特点的基础上，搭建了智能数控车间智能调控框架，为实现数控车间智能化生产提供了技术支撑。
4.但边缘计算设备占用处理能力最多的往往是监控视频的分析，该发明未能有效对车间监控视频分析处理，未能有效地识别车间内的危险人员可能做出的危险行为，未能有效提高智能车间的安全性，及时发出警报。
5.鉴于此，本发明提出基于边缘计算的智能车间控制方法和系统以解决上述问题。


技术实现要素：

6.为了克服现有技术的上述缺陷，本发明的实施例提供基于边缘计算的智能车间控制方法和系统。
7.为实现上述目的，本发明提供如下技术方案：
8.基于边缘计算的智能车间控制方法，所述方法包括：
9.收集人脸训练数据、危险动作数据和危险距离参数；
10.基于人脸训练数据训练识别危险人员的第一机器学习模型，基于危险动作数据训练识别预测危险动作的第二机器学习模型；
11.基于危险距离参数计算危险距离；
12.基于危险人员数量、预测危险动作和危险距离，生成危险系数，将危险系数与预设的危险系数阈值比对分析，判定是否生成危险调节指令。
13.进一步的，人脸训练数据包括车间工作人员以及陌生人员面部视频数据；危险动作数据包括车间内人为模拟危险动作视频数据；设置危险动作序列表，所述危险动作序列表内有z种类型的危险动作；
14.预先安排工作人员在车间依次实施每种类型的危险动作，在实施危险动作过程中，除实施危险动作所必要的身体部位执行动作外，工作人员其余身体部位保持静止状态；
15.使用车间摄像头实时拍摄车间内视频数据，工作人员实施每个危险动作的视频数据为人为模拟危险动作视频数据；
16.所述危险动作数据还包括干扰动作视频数据，所述干扰动作为与危险动作不同，且对车间安全情况没有影响的动作。
17.进一步的，危险距离参数包括危险人员距离、核心设备距离与车间高度；
18.危险人员距离为危险人员所在地面位置与激光雷达的距离；核心设备距离为车间核心设备与激光雷达的距离，车间高度为车间天花板到地面的垂直距离。
19.进一步的，所述第一机器学习模型的训练过程如下：
20.将人脸训练数据中车间工作人员对应的标签设为0，将人脸训练数据中陌生人员对应的标签设为1，将人脸训练数据与对应的标签构建为第一机器学习模型的数据集；所述数据集分为训练集、验证集和测试集，其中训练集占数据集的70%，验证集和测试集各占数据集的15%；
21.将所述训练集作为第一机器学习模型的输入，所述第一机器学习模型以车间人员为陌生人的概率作为输出；以车间摄像头实时拍摄车间内的视频数据中，车间人员为陌生人的概率作为预测目标，以最小化第一机器学习模型损失函数值作为训练目标；当第一机器学习模型损失函数值小于等于预设的第一目标损失值时停止训练；
22.所述第一机器学习模型为双流卷积神经网络模型或3d卷积神经网络模型中的任意一种；
23.设置陌生人概率阈值，当车间人员为陌生人的概率大于等于陌生人概率阈值时，将该车间人员标记为危险人员。
24.进一步的，所述第二机器学习模型的训练过程如下：
25.将第a种类型危险动作的人为模拟危险动作视频数据对应的标签设为1，将干扰动作视频数据对应的标签设为0；
26.将危险动作数据与对应的标签作为第二机器学习模型的输入，所述第二机器学习模型以第a种危险动作发生概率作为输出，第a种危险动作发生概率取值为0-1；以车间摄像头实时拍摄车间内的视频数据中，第a种危险动作发生概率作为预测目标，以最小化第二机器学习模型损失函数值作为训练目标；当第二机器学习模型损失函数值小于等于预设的第二目标损失值时停止训练；
27.设置危险动作发生概率阈值，当危险动作发生概率大于等于危险动作发生概率阈值时，将第a种危险动作标记为预测危险动作。
28.进一步的，危险人员距离获得方法包括：
29.将车间划分为m个大小相等的区域，每个区域内有n个车间摄像头，将标记为第m个区域第n个车间摄像头，其中，，；每个区域内还存在着一个边缘计算设备，将训练完成的第一机器学习模型部署到边缘计算设备中，用于处理该区域内n个车间摄像头传输的视频数据，识别危险人员；
30.第一机器学习模型识别出危险人员后，通过计算机视觉分析危险人员所在的视频数据中背景环境参照物，得出危险人员出现在车间第m个区域，边缘计算设备获取危险人员所出现的摄像头，边缘计算设备提取摄像头视野中背景环境参照物与危险人员的相对距离，并进行计算机视觉分析，获得危险人员与背景环境参照物的实际距离；
31.预先收集背景环境参照物坐标，根据背景环境参照物坐标以及危险人员与背景环
境参照物的实际距离生成危险人员坐标；
32.激光雷达基于危险人员坐标处测得的危险人员距离。
33.进一步的，危险距离为车间危险人员与车间核心设备相距的距离，危险距离l的计算公式为：
34.l=；
35.式中：为危险人员距离，为核心设备距离，为车间高度。
36.进一步的，危险系数danger生成公式为：danger=k+；
37.k表示危险人员数量；表示一个陌生人所做的预测危险动作权重；表示k个危险人员所做的预测危险动作权重之和；l表示危险距离；表示k个危险人员的危险距离之和；
38.当危险系数大于等于危险系数阈值时，生成危险调节指令；
39.危险调节指令包括发出警报，边缘计算设备实时跟踪危险人员所在监控画面并传输给云端。
40.进一步的，根据危险调节指令生成追踪优化措施；追踪优化措施包括：
41.预先设置车间人员轨迹库，车间人员轨迹库用于将一个车间摄像头关联到与该车间摄像头视野中的路段相连的其它车间摄像头；
42.当危险人员消失在车间摄像头视野中，查询车间人员轨迹库中该车间摄像头关联的其它车间摄像头，将关联的其它车间摄像头的视频数据优先发送给边缘计算设备处理，并由边缘计算设备优先发送给云端。
43.基于边缘计算的智能车间控制系统，包括：
44.数据收集模块，用于收集人脸训练数据、危险动作数据和危险距离参数；
45.模型训练模块，基于人脸训练数据训练识别危险人员的第一机器学习模型，基于危险动作数据训练识别预测危险动作的第二机器学习模型；
46.数据处理模块，基于危险距离参数计算危险距离；
47.应急处理模块，基于危险人员数量、预测危险动作和危险距离，生成危险系数，设置危险系数阈值与危险系数比对分析生成危险调节指令；
48.追踪模块，基于危险调节指令生成追踪优化措施。
49.一种电子设备，包括：处理器和存储器，其中，所述存储器中存储有可供处理器调用的计算机程序；所述处理器通过调用所述存储器中存储的计算机程序，执行上述的基于边缘计算的智能车间控制方法。
50.一种计算机可读存储介质，储存有指令，当所述指令在计算机上运行时，使得计算机执行上述的基于边缘计算的智能车间控制方法。
51.本发明基于边缘计算的智能车间控制方法和系统的技术效果和优点：
52.收集人脸训练数据、危险动作数据和危险距离参数；基于人脸训练数据训练识别危险人员的第一机器学习模型，基于危险动作数据训练识别预测危险动作的第二机器学习
模型；基于危险距离参数计算危险距离；基于危险人员数量、预测危险动作和危险距离，生成危险系数，设置危险系数阈值与危险系数比对分析生成危险调节指令，有效对车间监控视频分析处理，精准在多人员中识别车间内的危险人员以及识别可能做出的危险行为，能够及时发出预警，并传送给云端，有效提高智能车间的安全性和危险处理的及时性。
附图说明
53.图1为本发明的基于边缘计算的智能车间控制系统示意图；
54.图2为本发明的基于边缘计算的智能车间控制方法示意图；
55.图3是本技术一个实施例提供的电子设备结构示意图；
56.图4是本技术一个实施例提供的计算机可读存储介质结构示意图；
57.图5是本技术一个实施例提供的基于边缘计算的智能车间控制系统示意图；
58.图6是一种边缘计算示意图。
具体实施方式
59.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
60.实施例1
61.请参阅图1所示，本实施例所述基于边缘计算的智能车间控制系统，包括数据收集模块、模型训练模块、数据处理模块与应急处理模块，各个模块之间通过有线和/或无线网络方式连接。
62.数据收集模块用于收集人脸训练数据、危险动作数据和危险距离参数。
63.人脸训练数据包括车间工作人员以及陌生人员的面部视频数据；具体为，车间工作人员的面部视频数据通过车间摄像头预先拍摄获取，在实验环境中，陌生人员的面部视频数据是非车间工作人员进入车间中，由车间摄像头实时拍摄获取，目的是为了提升第一机器学习模型的识别准确率，第一机器学习模型训练方法见下文描述；
64.危险动作数据包括车间内人为模拟危险动作视频数据；设置危险动作序列表，所述危险动作序列表内有z种类型的危险动作；所述危险动作包括但不限于向车间设备中投放杂物、盗窃车间设备和破坏车间设备等；为每一种类型危险动作设置危险动作权重，危险动作的破坏性越大则设置的权重越大。
65.预先安排工作人员在车间依次实施每种类型的危险动作，在实施危险动作过程中，除实施危险动作所必要的身体部位执行动作外，工作人员其余身体部位保持静止状态；
66.使用车间摄像头实时拍摄车间内视频数据，获得工作人员实施每个危险动作的视频数据，将该视频数据标记为人为模拟危险动作视频数据；
67.所述危险动作数据还包括干扰动作视频数据，所述干扰动作为与危险动作不同，且对车间安全情况没有影响的动作；干扰动作视频数据收集原理与人为模拟危险动作视频数据相同，不再赘述，对干扰动作视频数据进行收集的目的是为了提升第二机器学习模型的识别准确率，第二机器学习模型训练方法见下文描述。
68.危险距离参数包括危险人员距离、核心设备距离与车间高度；
69.危险人员距离为人员所在地面位置与激光雷达的距离；核心设备距离为车间核心设备与激光雷达的距离，车间高度为车间天花板到地面的垂直距离；所述核心设备距离与车间高度均由安装在车间天花板的激光雷达获取。
70.模型训练模块基于人脸训练数据训练识别危险人员的第一机器学习模型，基于危险动作数据训练识别预测危险动作的第二机器学习模型。
71.所述第一机器学习模型的训练过程如下：
72.将人脸训练数据中车间工作人员对应的标签设为0，将人脸训练数据中陌生人员对应的标签设为1，将人脸训练数据与对应的标签构建为第一机器学习模型的数据集；所述数据集分为训练集、验证集和测试集，其中训练集占数据集的70%，验证集和测试集各占数据集的15%。
73.将所述训练集作为第一机器学习模型的输入，所述第一机器学习模型以车间人员为陌生人的概率作为输出；以车间摄像头实时拍摄车间内的视频数据中，车间人员为陌生人的概率作为预测目标，以最小化第一机器学习模型损失函数值作为训练目标；当第一机器学习模型损失函数值小于等于预设的第一目标损失值时停止训练。
74.所述第一机器学习模型损失函数可以为均方误差（mse）或交叉熵（ce）；
75.示例性的，均方误差（mse）通过将损失函数值最小化为目标来训练模型，使得第一机器学习模型更好地拟合数据，从而提高性能和准确率；i为人脸训练数据组号；为人脸训练数据组数；为第i组人脸训练数据对应的标签，为基于第i组人脸训练数据的预测标签。
76.所述第一机器学习模型可以为双流卷积神经网络模型或3d卷积神经网络模型中的任意一种；所述第一机器学习模型的其他模型参数，例如网络模型的深度、每层的神经元数量、网络模型使用的激活函数以及损失函数的优化等均通过实际的工程实现，不断地进行实验调优后获得。
77.设置陌生人概率阈值，当任意一个车间人员为陌生人的概率大于等于陌生人概率阈值时，将该车间人员标记为危险人员；陌生人概率阈值为工作人员根据第一机器学习模型实际运行结果设置，若第一机器学习模型运行良好，识别准确率高，可将陌生人概率阈值设置较低，使识别能力更加灵敏；若第一机器学习模型识别效果一般，将陌生人概率阈值设置较高，防止误识别。示例性的，若第一机器学习模型识别准确率高，设置陌生人概率阈值为70%，若第一机器学习模型识别准确率一般，设置陌生人概率阈值为90%。
78.第一机器学习模型实现了实时识别车间人员是否为危险人员的功能，为下一步的数据处理和第二机器学习模型的训练提供了更加精确的数据。
79.所述第二机器学习模型的训练过程如下：
80.将第a种类型危险动作的人为模拟危险动作视频数据对应的标签设为1，将干扰动作视频数据对应的标签设为0；
81.将危险动作数据与对应的标签作为第二机器学习模型的输入，所述第二机器学习模型以第a种危险动作发生概率作为输出，第a种危险动作发生概率取值为0-1；以车间摄像
头实时拍摄车间内的视频数据中，第a种危险动作发生概率作为预测目标，以最小化第二机器学习模型损失函数值作为训练目标；当第二机器学习模型损失函数值小于等于预设的第二目标损失值时停止训练,第一目标损失值和第二目标损失值为本领域技术人员通过现有技术及经验自行设定，为现有技术，在此不做过多描述。
82.设置危险动作发生概率阈值，当危险动作发生概率大于等于危险动作发生概率阈值时，将第a种危险动作标记为预测危险动作，危险动作发生概率阈值固定为80%。
83.所述第二机器学习模型的其他模型参数，例如网络模型的深度、每层的神经元数量、网络模型使用的激活函数以及损失函数的优化等均通过实际的工程实现，不断地进行实验调优后获得。
84.第二机器学习模型实现了实时预测危险动作发生概率，对车间内安全性的评估有重要作用。
85.数据处理模块基于危险距离参数计算危险距离。
86.危险距离为车间危险人员与车间核心设备相距的距离，危险距离越近，危险人员对车间安全影响程度越大，车间内的核心设备越容易产生损坏。
87.车间核心设备包括车间控制设备等；智能车间使用先进的车间控制设备来自动化和管理生产过程；车间控制设备可以监控调整设备或控制机器人；确保其按照预定的计划和参数进行操作；车间控制设备对智能车间生产安全影响程度高。
88.危险人员距离获得方法如下：
89.将车间划分为m个大小相等的区域，可以理解的是，每个区域内有n个车间摄像头，将标记为第m个区域第n个车间摄像头，其中，，；每个区域内还存在着一个边缘计算设备，将训练完成的第一机器学习模型部署到边缘计算设备中，用于处理该区域内n个车间摄像头传输的视频数据，识别危险人员；
90.边缘计算设备是一种用于处理和分析数据的计算设备，位于数据源附近，而不是在传统的云计算中心，边缘计算设备被部署在离终端设备和传感器更近的位置，以便在边缘进行数据处理、存储和决策；边缘计算设备包括边缘计算网关等，如图6所示。
91.示例性的，第一机器学习模型识别出危险人员后，通过计算机视觉分析危险人员所在的视频数据中背景环境参照物，得出危险人员出现在车间第m个区域，边缘计算设备获取危险人员所出现的摄像头，边缘计算设备提取摄像头视野中背景环境参照物与危险人员的相对距离，并进行计算机视觉分析，获得危险人员与背景环境参照物的实际距离；
92.背景环境参照物为车间设备或标志性地标；预先收集背景环境参照物坐标，根据背景环境参照物坐标以及危险人员与背景环境参照物的实际距离生成危险人员坐标；示例性的，危险人员与背景环境参照物x轴方向距离为2，y轴方向距离为-1，背景环境参照物坐标为（35,20），则危险人员坐标为（37,19）；
93.采用背景环境参照物获取危险人员坐标，相比在监控视频中建立坐标系定位危险人员更加精准，因为监控视频为二维平面，由于透视原理，不能精准地定位危险人员。
94.激光雷达基于危险人员坐标测得危险人员距离，这样激光雷达测量激光束可以准确的打到危险人员坐标处，可精确得出危险人员距离；即危险人员坐标所在地面位置与激
光雷达的距离；
95.危险距离l的计算公式为：
96.l=；
97.式中：为危险人员距离，为核心设备距离，为车间高度；与传统的激光雷达设置不同，之所以不在核心设备设置激光雷达测量危险距离，是由于车间障碍物较多，激光雷达不能测得障碍物外出现的危险人员，将激光雷达设置在天花板处，通过危险人员距离、核心设备距离与车间高度计算危险距离可以无视地形限制，精准定位到危险人员的位置，对车间安全状态的提升具有重要意义；
98.背景环境参照物坐标为背景环境参照物基于车间平面地图建立的平面直角坐标系中的坐标位置；建立平面直角坐标系为现有技术，在此不再赘述。
99.应急处理模块基于危险人员数量、预测危险动作和危险距离，生成危险系数，将危险系数与预设的危险系数阈值比对分析，判定是否生成危险调节指令。
100.危险人员数量根据第一机器学习模型识别出危险人员的数量确定，具体为：
101.设置计数器，当第一机器学习模型识别出一个危险人员时，计数器计数加一，计数器初始值为0；将实时的计数器计数作为危险人员数量；
102.危险系数danger生成公式为：danger=k+；
103.k表示危险人员数量；表示一个陌生人所做的预测危险动作对应的权重；表示k个危险人员所做的预测危险动作对应的权重之和；l表示危险距离；表示k个危险人员的危险距离之和。
104.危险系数越大表示车间越危险；危险人员数量越多，发生危险的可能性越大，危险动作权重之和越大，车间发生危险的可能性越大；危险距离越小，危险人员离核心设备越近，造成安全隐患的可能性越大。
105.当危险系数大于等于危险系数阈值时，生成危险调节指令；危险系数阈值由工作人员根据车间重要程度设置，如某车间为企业最核心的生产车间，设置危险系数阈值较低，某车间为企业技术含量较弱的生产车间设置危险系数阈值较高。
106.危险调节指令包括发出警报，边缘计算设备实时跟踪危险人员所在监控画面并传输给云端；由监控云端的工作人员及时处理。
107.实施例2
108.请参阅图5所示，本实施例未详细叙述部分见实施例1描述内容，提供基于边缘计算的智能车间控制系统，所述系统还包括追踪模块；
109.追踪模块根据危险调节指令启用，用于生成追踪优化措施；当危险人员消失在某个车间摄像头视野时，为了对危险人员移动状态持续跟踪，生成追踪优化措施；追踪优化措施包括：
110.预先设置车间人员轨迹库，车间人员轨迹库用于将一个车间摄像头关联到与该车间摄像头视野中的路段相连的其它车间摄像头；
111.当危险人员消失在车间摄像头视野中，查询车间人员轨迹库中该车间摄像头关联的其它车间摄像头，将关联的其它车间摄像头的视频数据优先发送给边缘计算设备处理，并由边缘计算设备优先发送给云端。
112.可以理解的是，危险人员消失在某个车间摄像头视野后必定会经过一段路段，重新出现在其它车间摄像头视野中。
113.示例性的，当危险人员出现在车间摄像头后，消失在车间摄像头视野中，查询车间人员轨迹库中临近出现的车间摄像头为和；则将和的视频数据优先发送给边缘计算设备处理，并由边缘计算设备优先发送给云端。
114.追踪优化措施可以使边缘计算设备优先处理危险人员可能出现的车间摄像头视频数据，可以及时对危险人员路径定位，及时处理，提高车间的安全性。
115.实施例3
116.请参阅图2所示，本实施例未详细叙述部分见实施例1和实施例2描述内容，提供基于边缘计算的智能车间控制方法，所述方法包括：
117.收集人脸训练数据、危险动作数据和危险距离参数；
118.基于人脸训练数据训练识别危险人员的第一机器学习模型，基于危险动作数据训练识别预测危险动作的第二机器学习模型；
119.基于危险距离参数计算危险距离；
120.基于危险人员数量、预测危险动作和危险距离，生成危险系数，将危险系数与预设的危险系数阈值比对分析，判定是否生成危险调节指令。
121.进一步的，人脸训练数据包括车间工作人员以及陌生人员面部视频数据；危险动作数据包括车间内人为模拟危险动作视频数据；设置危险动作序列表，所述危险动作序列表内有z种类型的危险动作；
122.预先安排工作人员在车间依次实施每种类型的危险动作，在实施危险动作过程中，除实施危险动作所必要的身体部位执行动作外，工作人员其余身体部位保持静止状态；
123.使用车间摄像头实时拍摄车间内视频数据，工作人员实施每个危险动作的视频数据为人为模拟危险动作视频数据；
124.所述危险动作数据还包括干扰动作视频数据，所述干扰动作为与危险动作不同，且对车间安全情况没有影响的动作。
125.进一步的，危险距离参数包括危险人员距离、核心设备距离与车间高度；
126.危险人员距离为危险人员所在地面位置与激光雷达的距离；核心设备距离为车间核心设备与激光雷达的距离，车间高度为车间天花板到地面的垂直距离。
127.进一步的，所述第一机器学习模型的训练过程如下：
128.将人脸训练数据中车间工作人员对应的标签设为0，将人脸训练数据中陌生人员对应的标签设为1，将人脸训练数据与对应的标签构建为第一机器学习模型的数据集；所述数据集分为训练集、验证集和测试集，其中训练集占数据集的70%，验证集和测试集各占数据集的15%；
129.将所述训练集作为第一机器学习模型的输入，所述第一机器学习模型以车间人员为陌生人的概率作为输出；以车间摄像头实时拍摄车间内的视频数据中，车间人员为陌生
人的概率作为预测目标，以最小化第一机器学习模型损失函数值作为训练目标；当第一机器学习模型损失函数值小于等于预设的第一目标损失值时停止训练，第一目标损失值为本领域技术人员通过现有技术及经验自行设定，为现有技术，在此不做过多描述；
130.所述第一机器学习模型为双流卷积神经网络模型或3d卷积神经网络模型中的任意一种；
131.设置陌生人概率阈值，当车间人员为陌生人的概率大于等于陌生人概率阈值时，将该车间人员标记为危险人员。
132.进一步的，所述第二机器学习模型的训练过程如下：
133.将第a种类型危险动作的人为模拟危险动作视频数据对应的标签设为1，将干扰动作视频数据对应的标签设为0；
134.将危险动作数据与对应的标签作为第二机器学习模型的输入，所述第二机器学习模型以第a种危险动作发生概率作为输出，第a种危险动作发生概率取值为0-1；以车间摄像头实时拍摄车间内的视频数据中，第a种危险动作发生概率作为预测目标，以最小化第二机器学习模型损失函数值作为训练目标；当第二机器学习模型损失函数值小于等于预设的第二目标损失值时停止训练，第二目标损失值为本领域技术人员通过现有技术及经验自行设定，为现有技术，在此不做过多描述；
135.设置危险动作发生概率阈值，当危险动作发生概率大于等于危险动作发生概率阈值时，将第a种危险动作标记为预测危险动作。
136.进一步的，危险人员距离获得方法包括：
137.将车间划分为m个大小相等的区域，每个区域内有n个车间摄像头，将标记为第m个区域第n个车间摄像头，其中，，；每个区域内还存在着一个边缘计算设备，将训练完成的第一机器学习模型部署到边缘计算设备中，用于处理该区域内n个车间摄像头传输的视频数据，识别危险人员；
138.第一机器学习模型识别出危险人员后，通过计算机视觉分析危险人员所在的视频数据中背景环境参照物，得出危险人员出现在车间第m个区域，边缘计算设备获取危险人员所出现的摄像头，边缘计算设备提取摄像头视野中背景环境参照物与危险人员的相对距离，并进行计算机视觉分析，获得危险人员与背景环境参照物的实际距离；
139.预先收集背景环境参照物坐标，根据背景环境参照物坐标以及危险人员与背景环境参照物的实际距离生成危险人员坐标；
140.激光雷达基于危险人员坐标处测得的危险人员距离。
141.进一步的，危险距离为车间危险人员与车间核心设备相距的距离，危险距离l的计算公式为：
142.l=；
143.式中：为危险人员距离，为核心设备距离，为车间高度。
144.进一步的，危险系数danger生成公式为：danger=k+；
145.k表示危险人员数量；表示一个陌生人所做的预测危险动作权重；表示k个危险人员所做的预测危险动作权重之和；l表示危险距离；表示k个危险人员的危险距离之和；
146.当危险系数大于等于危险系数阈值时，生成危险调节指令；
147.危险调节指令包括发出警报，边缘计算设备实时跟踪危险人员所在监控画面并传输给云端。
148.进一步的，根据危险调节指令生成追踪优化措施；追踪优化措施包括：
149.预先设置车间人员轨迹库，车间人员轨迹库用于将一个车间摄像头关联到与该车间摄像头视野中的路段相连的其它车间摄像头；
150.当危险人员消失在车间摄像头视野中，查询车间人员轨迹库中该车间摄像头关联的其它车间摄像头，将关联的其它车间摄像头的视频数据优先发送给边缘计算设备处理，并由边缘计算设备优先发送给云端。
151.实施例4
152.请参阅图3所示，根据本技术的又一方面还提供了基于边缘计算的智能车间控制方法和系统电子设备500。该电子设备500可包括一个或多个处理器以及一个或多个存储器。其中，存储器中存储有计算机可读代码，计算机可读代码当由一个或多个处理器运行时，可以执行如上所述的基于边缘计算的智能车间控制方法和系统。
153.根据本技术实施方式的方法或系统也可以借助于图3所示的电子设备的架构来实现。如图3所示，电子设备500可包括总线501、一个或多个cpu502、只读存储器(rom)503、随机存取存储器(ram)504、连接到网络的通信端口505、输入/输出组件506、硬盘507等。电子设备500中的存储设备，例如rom503或硬盘507可存储本技术提供的基于边缘计算的智能车间控制方法。基于边缘计算的智能车间控制方法可例如包括：收集人脸训练数据、危险动作数据和危险距离参数；基于人脸训练数据训练识别危险人员的第一机器学习模型，基于危险动作数据训练识别预测危险动作的第二机器学习模型；基于危险距离参数计算危险距离；基于危险人员数量、预测危险动作和危险距离，生成危险系数，设置危险系数阈值与危险系数比对分析生成危险调节指令。
154.进一步地，电子设备500还可包括用户界面508。当然，图3所示的架构只是示例性的，在实现不同的设备时，根据实际需要，可以省略图3示出的电子设备中的一个或多个组件。
155.实施例5
156.请参阅图4所示，是根据本技术一个实施方式的计算机可读存储介质600。计算机可读存储介质600上存储有计算机可读指令。当计算机可读指令由处理器运行时，可执行参照以上附图描述的根据本技术实施方式的基于边缘计算的智能车间控制方法。存储介质600包括但不限于例如易失性存储器和/或非易失性存储器。易失性存储器例如可包括随机存取存储器(ram)和高速缓冲存储器(cache)等。非易失性存储器例如可包括只读存储器(rom)、硬盘、闪存等。
157.另外，根据本技术的实施方式，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本技术提供了非暂时性机器可读存储介质，所述非暂时性机器可读存储介
质存储有机器可读指令，所述机器可读指令能够由处理器运行以执行与本技术提供的方法步骤对应的指令，例如：收集人脸训练数据、危险动作数据和危险距离参数；基于人脸训练数据训练识别危险人员的第一机器学习模型，基于危险动作数据训练识别预测危险动作的第二机器学习模型；基于危险距离参数计算危险距离；基于危险人员数量、预测危险动作和危险距离，生成危险系数，设置危险系数阈值与危险系数比对分析生成危险调节指令。
158.在该计算机程序被中央处理单元(cpu)执行时，执行本技术的方法中限定的上述功能。
159.上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线网络或无线网络方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质（例如，软盘、硬盘、磁带）、光介质（例如，dvd）、或者半导体介质。半导体介质可以是固态硬盘。
160.本领域普通技术人员可以意识到，结合本发明中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
161.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
162.在本发明所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为基于边缘计算的智能车间控制方法和系统，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
163.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
164.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
165.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵
盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
166.最后：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.基于边缘计算的智能车间控制方法，其特征在于，包括：收集人脸训练数据、危险动作数据和危险距离参数；基于人脸训练数据训练识别危险人员的第一机器学习模型，基于危险动作数据训练识别预测危险动作的第二机器学习模型；基于危险距离参数计算危险距离；基于危险人员数量、预测危险动作和危险距离，生成危险系数，将危险系数与预设的危险系数阈值比对分析，判定是否生成危险调节指令。2.根据权利要求1所述的基于边缘计算的智能车间控制方法，其特征在于，人脸训练数据包括车间工作人员以及陌生人员面部视频数据；危险动作数据包括车间内人为模拟危险动作视频数据；设置危险动作序列表，所述危险动作序列表内有z种类型的危险动作；预先安排工作人员在车间依次实施每种类型的危险动作，在实施危险动作过程中，除实施危险动作所必要的身体部位执行动作外，工作人员其余身体部位保持静止状态；使用车间摄像头实时拍摄车间内视频数据，工作人员实施每个危险动作的视频数据为人为模拟危险动作视频数据；所述危险动作数据还包括干扰动作视频数据，所述干扰动作为与危险动作不同，且对车间安全情况没有影响的动作。3.根据权利要求2所述的基于边缘计算的智能车间控制方法，其特征在于，危险距离参数包括危险人员距离、核心设备距离与车间高度；危险人员距离为危险人员所在地面位置与激光雷达的距离；核心设备距离为车间核心设备与激光雷达的距离，车间高度为车间天花板到地面的垂直距离。4.根据权利要求3所述的基于边缘计算的智能车间控制方法，其特征在于，所述第一机器学习模型的训练过程如下：将人脸训练数据中车间工作人员对应的标签设为0，将人脸训练数据中陌生人员对应的标签设为1，将人脸训练数据与对应的标签构建为第一机器学习模型的数据集；所述数据集分为训练集、验证集和测试集，其中训练集占数据集的70%，验证集和测试集各占数据集的15%；将所述训练集作为第一机器学习模型的输入，所述第一机器学习模型以车间人员为陌生人的概率作为输出；以车间摄像头实时拍摄车间内的视频数据中，车间人员为陌生人的概率作为预测目标，以最小化第一机器学习模型损失函数值作为训练目标；当第一机器学习模型损失函数值小于等于预设的第一目标损失值时停止训练；所述第一机器学习模型为双流卷积神经网络模型或3d卷积神经网络模型中的任意一种；设置陌生人概率阈值，当车间人员为陌生人的概率大于等于陌生人概率阈值时，将该车间人员标记为危险人员。5.根据权利要求4所述的基于边缘计算的智能车间控制方法，其特征在于，所述第二机器学习模型的训练过程如下：将第a种类型危险动作的人为模拟危险动作视频数据对应的标签设为1，将干扰动作视频数据对应的标签设为0；将危险动作数据与对应的标签作为第二机器学习模型的输入，所述第二机器学习模型
以第a种危险动作发生概率作为输出，第a种危险动作发生概率取值为0-1；以车间摄像头实时拍摄车间内的视频数据中，第a种危险动作发生概率作为预测目标，以最小化第二机器学习模型损失函数值作为训练目标；当第二机器学习模型损失函数值小于等于预设的第二目标损失值时停止训练；设置危险动作发生概率阈值，当危险动作发生概率大于等于危险动作发生概率阈值时，将第a种危险动作标记为预测危险动作。6.根据权利要求5所述的基于边缘计算的智能车间控制方法，其特征在于，危险人员距离获得方法包括：将车间划分为m个大小相等的区域，每个区域内有n个车间摄像头，将标记为第m个区域第n个车间摄像头，其中，，；每个区域内还存在着一个边缘计算设备，将训练完成的第一机器学习模型部署到边缘计算设备中，用于处理该区域内n个车间摄像头传输的视频数据，识别危险人员；第一机器学习模型识别出危险人员后，通过计算机视觉分析危险人员所在的视频数据中背景环境参照物，得出危险人员出现在车间第m个区域，边缘计算设备获取危险人员所出现的摄像头，边缘计算设备提取摄像头视野中背景环境参照物与危险人员的相对距离，并进行计算机视觉分析，获得危险人员与背景环境参照物的实际距离；预先收集背景环境参照物坐标，根据背景环境参照物坐标以及危险人员与背景环境参照物的实际距离生成危险人员坐标；激光雷达基于危险人员坐标处测得危险人员距离。7.根据权利要求6所述的基于边缘计算的智能车间控制方法，其特征在于，危险距离为车间危险人员与车间核心设备相距的距离，危险距离l的计算公式为：l=；式中：为危险人员距离，为核心设备距离，为车间高度。8.根据权利要求7所述的基于边缘计算的智能车间控制方法，其特征在于，危险系数danger生成公式为：danger=k+；k表示危险人员数量；表示一个陌生人所做的预测危险动作权重；表示k个危险人员所做的预测危险动作权重之和；l表示危险距离；表示k个危险人员的危险距离之和；当危险系数大于等于危险系数阈值时，生成危险调节指令；危险调节指令包括发出警报，边缘计算设备实时跟踪危险人员所在监控画面并传输给云端。9.根据权利要求8所述的基于边缘计算的智能车间控制方法，其特征在于，根据危险调节指令生成追踪优化措施，追踪优化措施包括：预先设置车间人员轨迹库，车间人员轨迹库用于将一个车间摄像头关联到与该车间摄
像头视野中的路段相连的其它车间摄像头；当危险人员消失在车间摄像头视野中，查询车间人员轨迹库中该车间摄像头关联的其它车间摄像头，将关联的其它车间摄像头的视频数据优先发送给边缘计算设备处理，并由边缘计算设备优先发送给云端。10.基于边缘计算的智能车间控制系统，其特征在于，包括：数据收集模块，用于收集人脸训练数据、危险动作数据和危险距离参数；模型训练模块，基于人脸训练数据训练识别危险人员的第一机器学习模型，基于危险动作数据训练识别预测危险动作的第二机器学习模型；数据处理模块，基于危险距离参数计算危险距离；应急处理模块，基于危险人员数量、预测危险动作和危险距离，生成危险系数，设置危险系数阈值与危险系数比对分析生成危险调节指令；追踪模块，基于危险调节指令生成追踪优化措施。11.一种电子设备，其特征在于，包括：处理器和存储器，其中，所述存储器中存储有可供处理器调用的计算机程序；所述处理器通过调用所述存储器中存储的计算机程序，执行权利要求1～9任一项所述的基于边缘计算的智能车间控制方法。12.一种计算机可读存储介质，其特征在于：储存有指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1～9任一项所述的基于边缘计算的智能车间控制方法。

技术总结
本发明属于车间控制技术领域，本发明公开了基于边缘计算的智能车间控制方法和系统；方法包括：收集人脸训练数据、危险动作数据和危险距离参数；基于人脸训练数据训练识别危险人员的第一机器学习模型，基于危险动作数据训练识别预测危险动作的第二机器学习模型；基于危险距离参数计算危险距离；基于危险人员数量、预测危险动作和危险距离，生成危险系数，将危险系数与预设的危险系数阈值比对分析，通过精准在多人员中识别车间内的危险人员以及识别可能做出的危险行为，能够及时发出预警，并传送给云端，有效提高智能车间的安全性和危险处理的及时性。理的及时性。理的及时性。


技术研发人员：冯钟灵 李旭 徐科旺
受保护的技术使用者：南京迅集科技有限公司
技术研发日：2023.08.16
技术公布日：2023/9/13