语义分割模型及其部署方法、部署装置及工程车辆与流程

1.本技术涉及工程车辆领域，具体涉及一种语义分割模型及其部署方法、部署装置及工程车辆。


背景技术：

2.工程车辆无人驾驶或自动驾驶系统开发项目中，需要让机器能像人一样充分的理解场景，即基于车载传感器识别场景中的建筑物、物料、地面等，并获取这些典型物体的位置和尺寸，以便为后续的决策规划提供准确的场景信息，这需要利用高效、高精度的语义分割技术。
3.与传统的图像与深度的语义分割技术相比，基于激光雷达点云的三维语义分割算法能够基于物体形态特征对环境点云进行分类，提供丰富的几何、形状和尺度信息，更准确地让机器感知周围环境，以确保装载机准确进行相关任务。但基于3d激光雷达点云的语义分割算法相较基于2d图像的语义分割算法往往具有更大的规模，这给模型的部署以及部署后的实时性带来了很大挑战。


技术实现要素：

4.有鉴于此，本技术提供了一种语义分割模型及其部署方法、部署装置及工程车辆，解决或改善了现有技术中用于实现基于3d激光雷达点云的语义分割算法的网络模型为提高识别分割的准确性，往往规模较大，模型部署困难且部署后的模型实时性较低的技术问题。
5.根据本技术的第一个方面，本技术提供了一种语义分割模型的部署方法，此语义分割模型的部署方法包括：获取原始点云数据；基于所述原始点云数据，确定训练数据集；基于所述训练数据集，确定教师网络模型；基于所述教师网络模型，确定学生网络模型；基于所述教师网络模型，对所述学生网络模型进行训练，生成语义分割模型；以及对所述语义分割模型进行部署。
6.在一种可能的实现方式中，所述基于所述教师网络模型，对所述学生网络模型进行训练，生成语义分割模型，包括：获取所述教师网络模型输出的第一输出特征以及所述学生网络模型输出的第二输出特征；基于所述第一输出特征以及所述第二输出特征，确定融合输出特征；基于所述融合输出特征，生成所述语义分割模型。
7.在一种可能的实现方式中，所述基于所述第一输出特征以及所述第二输出特征，确定融合输出特征，包括：将所述第一输出特征以及所述第二输出特征代入公式(一)，计算所述融合输出特征；
8.ff＝f
t
+σ(mlp(fc))
⊙
fcꢀꢀ
公式(一)；
9.其中，ff为融合输出特征，σ(.)为激活函数sigmoid，mlp(.)为多层感知器，
⊙
为向量对应位置相乘。
10.在一种可能的实现方式中，所述基于所述教师网络模型，对所述学生网络模型进
行训练，生成语义分割模型，包括：获取所述教师网络模型输出的第一预测结果以及所述学生网络模型输出的第二预测结果；将所述第一预测结果以及所述第二预测结果代入公式(二)，计算蒸馏损失函数；
11.ld＝d
kl
(s
t
||ss)
ꢀꢀ
公式(二)；
12.其中，ld是蒸馏损失函数，d
kl
是k-l散度；s
t
是第一预测结果，ss是第二预测结果；以及基于所述蒸馏损失函数，对所述学生网络模型进行网络参数优化，生成所述语义分割模型。
13.在一种可能的实现方式中，在所述将所述第一预测结果以及所述第二预测结果代入公式(二)，计算蒸馏损失函数之后，所述基于所述教师网络模型，对所述学生网络模型进行训练，生成语义分割模型，还包括：获取所述教师网络模型的第一分割结果以及所述学生网络模型的第二分割结果；基于所示第一分割结果以及对应真值，获取所述教师网络模型的第一预测损失函数；基于所述第二分割结果以及对应真值，获取所述学生网络模型的第二预测损失函数；基于所述第二预测损失函数、所述蒸馏损失函数以及预设权重系数，确定所述学生网络模型的目标损失函数；基于所述第一预测损失函数、所述蒸馏损失函数以及所述目标损失函数，对所述学生网络模型进行网络参数优化，生成所述语义分割模型。
14.在一种可能的实现方式中，所述基于所述训练数据集，确定教师网络模型，包括：获取基于距离图像的初始语义分割算法模型；基于所述训练数据集，对所述初始语义分割算法模型进行训练，生成所述教师网络模型。
15.在一种可能的实现方式中，所述基于所述教师网络模型，确定学生网络模型，包括：对所述教师网络模型进行手动裁剪和调整，生成所述学生网络模型。
16.根据本技术的第二个方面，本技术还提供了一种语义分割模型的部署装置，此语义分割模型的部署装置包括：原始点云获取模块，用于获取原始点云数据；训练数据集确定模块，用于基于所述原始点云数据，确定训练数据集；网络模型确定模块，用于基于所述训练数据集，确定教师网络模型；以及基于所述教师网络模型，确定学生网络模型，所述教师网络模型以及所述学生网络模型均用于进行语义分割；语义分割模型生成模块，用于基于所述教师网络模型，对所述学生网络模型进行训练，生成语义分割模型；以及模型部署模块，用于对所述语义分割模型进行部署。
17.根据本技术的第三个方面，本技术还提供了一种语义分割模型，所述语义分割模型由上述任一语义分割模型的部署方法部署完成。
18.根据本技术的第四个方面，本技术还提供了一种工程车辆，此工程车辆包括：传感器，所述传感器设置在车身上，所述传感器扫描所述工程车辆的作业场景，采集原始点云数据；如上所述的语义分割模型的部署装置，所述传感器与所述装置通信连接。
19.在一种可能的实现方式中，所述传感器为激光雷达，所述激光雷达设置所述工程车辆驾驶室的顶部。
20.本技术提供了一种语义分割模型及其部署方法、部署装置及工程车辆。其中，此语义分割模型的部署方法具体包括如下步骤：获取原始点云数据；基于原始点云数据，确定训练数据集；基于训练数据集，确定教师网络模型；基于教师网络模型，确定学生网络模型，教师网络模型以及学生网络模型均用于进行语义分割；基于教师网络模型，对学生网络模型进行训练，生成语义分割模型；以及对语义分割模型进行部署。这种语义分割模型的部署方
法采用了高精度的语义分割方法，以得到高精度的分割结果，并将该高精度的网络模型作为教师网络模型，同时基于该教师网络模型，构建规模相对较小但便于部署且推理效率更高的学生网络模型，基于知识蒸馏方法保证了最终部署的学生网络模型的预测精度，即该方法部署的语义分割模型在不降低预测精度的同时具有较好的实时性。
21.此外，对教师网络模型进行了特征融合训练，意在使得教师网络模型最终的分割结果更加准确。
22.再者，基于第一预测损失函数、蒸馏损失函数以及目标损失函数即可进行学生网络模型的网络参数的优化，以得到最终用于部署的高精度且高效的学生网络模型，即语义分割模型。
附图说明
23.通过结合附图对本技术实施例进行更详细的描述，本技术的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本技术实施例的进一步理解，并且构成说明书的一部分，与本技术实施例一起用于解释本技术，并不构成对本技术的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
24.图1所示为本技术一实施例提供的语义分割模型的部署方法的流程示意图。
25.图2所示为本技术另一实施例提供的语义分割模型的部署方法的流程示意图。
26.图3所示为本技术另一实施例提供的语义分割模型的部署方法中教师网络模型的结构示意图。
27.图4所示为本技术另一实施例提供的语义分割模型的部署方法中语义分割模型构建方法的流程示意图。
28.图5所示为本技术另一实施例提供的语义分割模型的部署方法中教师网络模型特征融合方法的结构示意图。
29.图6所示为本技术另一实施例提供的语义分割模型的部署方法中语义分割模型构建方法的流程示意图。
30.图7所示为本技术另一实施例提供的语义分割模型的部署方法中蒸馏损失函数计算过程的结构示意图。
31.图8所示为本技术一实施例提供的语义分割模型的部署装置的结构框图。
32.图9所示为本技术一实施例提供的电子设备的框图。
具体实施方式
33.本技术的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。本技术实施例中所有方向性指示(诸如上、下、左、右、前、后、顶、底
……
)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
34.另外，在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可
以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
35.申请概述
36.针对现有技术中用于实现基于3d激光雷达点云的语义分割算法的网络模型为提高识别分割的准确性，往往规模较大，模型部署困难且部署后的模型实时性较低的技术问题，进一步分析后可知：
37.目前已有的语义分割模型及其部署方法，均存在一定缺陷，具体包括：
38.(1)大多语义分割模型存在计算精度和计算效率之间的矛盾。如，一些分割精度高的方法，计算复杂度高，不利于实时应用；一些基于投影的语义分割方法，利用了成熟的2d卷积计算的研究成果，其计算效率高，但这类方法的精度相对较低。
39.(2)部分模型选用轻量化的激光雷达构建三维场景，原始信息不够丰富，影响分割效果。
40.(3)基于自监督的语义分割方法往往不具备基于监督的语义分割方法的精度。
41.(4)绝大多数基于3d稀疏卷积的语义分割方法，采用了专用的软件包，而这些软件包暂时没有得到部署软件库的支持，存在部署困难甚至无法部署的问题。
42.有鉴于此，本技术提供了一种语义分割模型及其部署方法、部署装置及工程车辆。其中，此语义分割模型的部署方法具体包括如下步骤：获取原始点云数据；基于原始点云数据，确定训练数据集；基于训练数据集，确定教师网络模型；基于教师网络模型，确定学生网络模型，教师网络模型以及学生网络模型均用于进行语义分割；基于教师网络模型，对学生网络模型进行训练，生成语义分割模型；以及对语义分割模型进行部署。这种语义分割模型的部署方法采用了高精度的语义分割方法，以得到高精度的分割结果，并将该高精度的网络模型作为教师网络模型，同时基于该教师网络模型，构建规模相对较小但便于部署且推理效率更高的学生网络模型，基于知识蒸馏方法保证了最终部署的学生网络模型的预测精度，即该方法部署的语义分割模型在不降低预测精度的同时具有很好的实时性。
43.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
44.示例性方法
45.图1所示本技术提供的一种语义分割模型的部署方法的流程示意图。如图1所示，此语义分割模型的部署方法具体可以包括如下步骤：
46.步骤100：获取原始点云数据。
47.原始点云数据指由工程车辆上设置的传感器，如激光雷达，对工程车辆作业场景进行扫描，扫描过程所采集到的原始雷达点云流数据。对此类数据进行采集后，即可将此原始点云数据作为训练数据，对初始网络模型进行训练，以使得最终部署的网络模型可以对工程车辆作业场景进行更加有效的预测。
48.步骤200：基于原始点云数据，确定训练数据集。
49.训练数据集是指，根据待检测目标对象，对原始点云数据进行准确地标准后所形
成的用于模型训练的训练数据集合。
50.步骤300：基于训练数据集，确定教师网络模型。
51.知识蒸馏是指先训练一个复杂网络模型，然后使用这个复杂网络的输出和数据的真实标签去训练一个更小的网络，因此知识蒸馏框架通常包含了一个复杂模型(被称为teacher模型)和一个小模型(被称为student模型)。教师(teacher)网络模型是知识蒸馏技术中参数量更多，预测精度更高但时延更大的高精度网络模型。基于步骤200中的训练数据集，对初始的高精度的语义分割网络模型进行训练，即可得到教师网络模型，此教师网络模型规模较大、网络参数较多且预测精度更高，但推理效率和实时性均较低。
52.步骤400：基于教师网络模型，确定学生网络模型。
53.学生网络模型即知识蒸馏技术中复杂程度较低且规模较小的网络模型。对高精度的教师网络模型进行处理后，即可得到一个网络参数量更低的小规模网络模型。
54.步骤500：基于教师网络模型，对学生网络模型进行训练，生成语义分割模型。
55.利用教师网络模型的输出和数据的真实标签去训练学生网络模型，最终设置合理损失函数使得学生网络模型的输出与教师网络模型的输出保持一致，如此即可达到提高最终用于部署的学生网络模型的推理速度而不降低模型精度的目的。
56.步骤600：对语义分割模型进行部署。
57.采用知识蒸馏的teacher-student模式，将复杂且大的高精度模型作为教师网络模型，学生网络模型结构较为简单，用教师网络模型来辅助学生网络模型的训练，教师网络模型学习能力强，可以将它学到的知识迁移给学习能力相对弱的学生网络模型，以此来增强学生网络模型的泛化能力。同时，复杂、部署困难但是精度高效果好的教师网络模型不上线，仅对学生网络模型进行训练和指导，部署上线进行预测任务的是灵活轻巧的小规模学生网络模型。如此即可使得该方法部署的语义分割模型在不降低预测精度的同时具有较高的实时性。
58.在一种可能的实现方式中，图2所示为本技术另一实施例提供的语义分割模型的部署方法的流程示意图。如图2所示，步骤400(基于教师网络模型，确定学生网络模型)进一步可以包括：
59.步骤401：对教师网络模型进行手动裁剪和调整，生成学生网络模型。
60.对教师网络模型进行网络裁剪以获取小规模但效率高的学生网络模型，具体优选采用减少教师网络模型网络层数的方式，如此可以有效减少输入原始信息的损失。
61.图3所示为本技术另一实施例提供的语义分割模型的部署方法中教师网络模型的结构示意图。如图3所示，教师网络模型的网络由五层编码器(encoder)网络(e1-5)与五层解码器(decoder)网络(d5-1)组成。可通过分别保留编码器和解码器网络奇数层模块得到学生网络模型的网络，即学生网络模型的网络仅由e1、e3、e5、d5、d3、d1六个模块构成。
62.此外，网络层数的裁剪也可通过裁剪单个网络模块层数、相同、相似的连续网络层等方法进行。
63.具体的，在一实施例中，图4所示为本技术另一实施例提供的语义分割模型的部署方法中语义分割模型构建方法的流程示意图。如图4所示，步骤500(基于教师网络模型，对学生网络模型进行训练，生成语义分割模型)进一步可以包括如下步骤：
64.步骤510：获取教师网络模型输出的第一输出特征以及学生网络模型输出的第二
输出特征。
65.广义来看，第一输出特征为教师网络模型在其自身网络层的输出特征，第二输出特征为学生网络模型在其自身网络层的输出特征；狭义来看，第一输出特征和第二输出特征所在网络层彼此对应，即该网络层为教师网络模型和学生网络模型均具有的网络层，由于学生网络模型为教师网络模型经过网络层的裁剪后得到的小规模网络模型，因此教师网络模型所具有的网络层数量更大。
66.步骤511：基于第一输出特征以及第二输出特征，确定融合输出特征。
67.串联教师网络模型的第一输出特征与学生网络模型的第二输出特征即可得到最终的融合输出特征，具体串联过程可采用注意力机制。
68.步骤512：基于融合输出特征，生成语义分割模型。
69.具体的，图5所示为本技术另一实施例提供的语义分割模型的部署方法中教师网络模型特征融合方法的结构示意图。如图5所示，网络输入端为激光雷达原始点云，分别在教师网络模型被裁减网络层处，即e3、e5、d5、d3、d1层进行teacher和student网络的输出特征融合。由于e1层为初始层，其之前网络并无变化，因此不必额外进行输出特征融合。应当理解，输出特征融合为教师网络模型进行的特征融合训练，意在使得教师网络模型最终的分割结果更加准确。
70.可选的，步骤511(基于第一输出特征以及第二输出特征，确定融合输出特征)进一步可以包括如下步骤：
71.步骤5111：将第一输出特征以及第二输出特征代入公式(一)，计算融合输出特征。
72.其中，公式一如下所示：
73.ff＝f
t
+σ(mlp(fc))
⊙
fcꢀꢀ
公式(一)；
74.其中，ff为融合输出特征，σ(.)为激活函数sigmoid，mlp(.)为多层感知器，
⊙
为向量对应位置相乘。
75.通过上述公式即可使得第一输出特征和第二输出特征有效串联，最终使得教师网络模型生成融合输出特征。
76.在另一种可能的实现方式中，图6所示为本技术另一实施例提供的语义分割模型的部署方法中语义分割模型构建方法的流程示意图；图7所示为本技术另一实施例提供的语义分割模型的部署方法中蒸馏损失函数计算过程的结构示意图。如图6和图7所示，步骤500(基于教师网络模型，对学生网络模型进行训练，生成语义分割模型)还可以包括如下步骤：
77.步骤520：获取教师网络模型输出的第一预测结果以及学生网络模型输出的第二预测结果。
78.第一预测结果为教师网络模型的预测结果；第二预测结果为学生网络模型的预测结果。
79.步骤521：将第一预测结果以及第二预测结果代入公式(二)，计算蒸馏损失函数。
80.步骤522(流程图中未示出)：基于蒸馏损失函数，对学生网络模型进行网络参数优化，生成语义分割模型。
81.其中，公式二如下：
82.ld＝d
kl
(s
t
||ss)公式(二)；
83.其中，ld是蒸馏损失函数，d
kl
是k-l散度；s
t
是第一预测结果，ss是第二预测结果。
84.通过kl散度计算教师网络与学生网络的差异，作为网络优化的蒸馏损失，以此来强制学生网络模型的预测结果趋近于教师网络模型的预测结果，或与教师网络模型的预测结果一致。
85.应当理解的是，步骤520-522与步骤510-512之间并无实施的先后顺序，两者为对教师网络模型同时进行的训练过程，图中仅为根据文中出现顺序绘制，并不是对于两过程实施顺序的限制。
86.具体的，在另一实施例中，如图6所示，在步骤521(将第一预测结果以及第二预测结果代入公式(二)，计算蒸馏损失函数)之后，步骤500(基于教师网络模型，对学生网络模型进行训练，生成语义分割模型)还可以包括如下步骤：
87.5210：获取教师网络模型的第一分割结果以及学生网络模型的第二分割结果。
88.第一分割结果为教师网络模型的语义分割结果；第二分割结果为学生网络模型的语义分割结果。
89.5211：基于所示第一分割结果以及对应真值，获取教师网络模型的第一预测损失函数。
90.真值代表的是数据集给定的人工标定框；而对于行为/视频分类而言，真值代表的是动作或视频的实际对应类别，也为物理世界的值，可以是肉眼看到的，不含任何误差的值。第一预测损失函数即为通过对第一分割结果与其对应真值计算后得出的教师网络模型的预测损失函数。
91.5212：基于第二分割结果以及对应真值，获取学生网络模型的第二预测损失函数。
92.同理第一预测损失函数，第二预测损失函数即为通过对第二分割结果与其对应真值计算后得出的学生网络模型的预测损失函数。
93.5213：基于第二预测损失函数、蒸馏损失函数以及预设权重系数，确定学生网络模型的目标损失函数。
94.将第二预测损失函数、蒸馏损失函数以及预设权重系数代入如下所示公式三，即可计算出学生网络模型的目标损失函数。
95.其中，公式三如下所示：
[0096][0097]
其中，为第一预测损失函数，为第二预测损失函数，ls为目标损失函数，α为预设权重系数。
[0098]
如图6所示，步骤522即可为如下步骤：
[0099]
5214：基于第一预测损失函数、蒸馏损失函数以及目标损失函数，对学生网络模型进行网络参数优化，生成语义分割模型。
[0100]
基于上述第一预测损失函数、蒸馏损失函数以及目标损失函数即可进行学生网络模型的网络参数的优化，以得到最终用于部署的高精度且高效的学生网络模型，即语义分割模型。
[0101]
与上述语义分割模型的部署方法相对应的，本技术还提供了一种基于激光雷达的建图与定位系统。下面将结合图6对此基于激光雷达的建图与定位系统进行详细说明。
[0102]
可选的，如图2所示，步骤300(基于训练数据集，确定教师网络模型)进一步可以包括如下步骤：
[0103]
步骤310：获取基于距离图像的初始语义分割算法模型。
[0104]
语义分割是计算机视觉中很重要的一个方向。不同于目标检测和识别，语义分割实现了图像像素级的分类。它能够将一张图片或者视频(视频以帧来提取的情况相当于图片)，按照类别的异同，将图像分为多个块。
[0105]
步骤320：基于训练数据集，对初始语义分割算法模型进行训练，生成教师网络模型。
[0106]
语义分割算法主要分为基于距离图像的、基于体素(体素(voxel)是像素(pixel)、体积(volume)和元素(element)的组合词，相当于3d空间中的像素。)的、基于原始点云的和基于融合的方法。其中，基于原始点云的方法中，往往采用变长的稀疏卷积方法实现；基于体素的方法，在体素化的过程中，容易产生大量空的体素，造成计算的浪费。此外，本技术中的语义分割模型的部署优选采用基于定长的网络模型实现。因此，实际场景的应用中，选用基于距离图像的语义分割方法是更优的。
[0107]
具体的，步骤600(对语义分割模型进行部署)可基于onnx、tensorrt等工具部署学生网络。其中，open neural network exchange(onnx，开放神经网络交换)格式，是一个用于表示深度学习模型的标准，可使模型在不同框架之间进行转移。tensorrt是一款高性能深度学习推理sdk。此sdk包含深度学习推理优化器和运行环境，可为深度学习推理应用提供低延迟和高吞吐量。在推理过程中，基于tensorrt的应用程序比仅仅使用cpu作为平台的应用程序要快40倍。
[0108]
图8所示为本技术一实施例提供的语义分割模型的部署装置的结构框图。如图8所示，本技术提供的这种语义分割模型的部署装置100具体可以包括：原始点云获取模块101、训练数据集确定模块102、网络模型确定模块103、语义分割模型生成模块104以及模型部署模块105。其中，原始点云获取模块101用于获取原始点云数据；训练数据集确定模块102用于基于原始点云数据，确定训练数据集；网络模型确定模块103用于基于训练数据集，确定教师网络模型；以及基于教师网络模型，确定学生网络模型，教师网络模型以及学生网络模型均用于进行语义分割；语义分割模型生成模块104用于基于教师网络模型，对学生网络模型进行训练，生成语义分割模型；以及模型部署模块105用于对语义分割模型进行部署。
[0109]
本技术提供的这种语义分割模型的部署装置100可用于进行上述实施例中的语义分割模型的部署方法，即此语义分割模型的部署装置100可以获取原始点云数据；基于原始点云数据，确定训练数据集；基于训练数据集，确定教师网络模型；基于教师网络模型，确定学生网络模型，教师网络模型以及学生网络模型均用于进行语义分割；基于教师网络模型，对学生网络模型进行训练，生成语义分割模型；以及以语义分割模型进行部署。这种语义分割模型的部署装置100采用了高精度的语义分割方法，以得到高精度的分割结果，并将该高精度的网络模型作为教师网络模型，同时基于该教师网络模型，构建规模相对较小但便于部署且推理效率更高的学生网络模型，基于知识蒸馏方法保证了最终部署的学生网络模型的预测精度，即该方法部署的语义分割模型在不降低预测精度的同时具有较高的实时性。
[0110]
与上述语义分割模型的部署方法以及装置相对应的，本技术还提供了一种语义分割模型，此语义分割模型由上述任一实施例中的语义分割模型的部署方法部署完成，其具
有的效果与上述语义分割模型的部署方法以及装置相对应，参考上文即可，在此将不进行赘述。
[0111]
此外，如图8所示，与上述语义分割模型的部署方法以及装置相对应的，本技术还提供了一种工程车辆，此工程车辆包括上述语义分割模型的部署装置100以及传感器200。其中，传感器200设置在车身上同时与语义分割模型的部署装置100通信连接。传感器200扫描工程车辆的作业场景，采集原始点云数据。此外，上述工程车辆可以为挖掘机。
[0112]
此工程车辆可进行自动驾驶或无人驾驶，可应用上述语义分割模型的部署方法，其具有的效果与上述语义分割模型的部署方法以及装置相似，参考上文即可，在此将不进行赘述。
[0113]
在一种可能的实现方式中，上述传感器200为一个或多个激光雷达，所有激光雷达与车身均采用刚性连接。激光雷达等传感器200首选布置在挖掘机驾驶室顶部，以保证激光雷达可以获得最大工作视野范围，且不易受挖掘机工作装置震动的影响。其他额外激光雷达或相机等传感器200可布置在车体或动臂处，起到补充挖掘机驾驶室顶部传感器200盲区的作用。
[0114]
值得一提的是，为了获得充足的原始点云数据信息，优选用多线束(128线)激光雷达进行点云采集。
[0115]
下面，参考图9来描述根据本技术实施例的电子设备。
[0116]
图9图示了根据本技术实施例的电子设备的框图。
[0117]
如图9所示，电子设备10包括一个或多个处理器11和存储器12。
[0118]
处理器11可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
[0119]
存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本技术的各个实施例的语义分割模型的部署方法以及/或者其他期望的功能。
[0120]
在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
[0121]
在该电子设备是单机设备时，该输入装置13可以是通信网络连接器，用于从第一设备和第二设备接收所采集的输入信号。
[0122]
此外，该输入设备13还可以包括例如键盘、鼠标等等。
[0123]
该输出装置14可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出设备14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
[0124]
当然，为了简化，图9中仅示出了该电子设备10中与本技术有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。
[0125]
作为本技术的第三个方面，本技术提供一种计算机可读存储介质，存储介质存储
有计算机程序，计算机程序用于执行下列步骤：
[0126]
获取多传感器信息，多传感器信息包括gps信息、imu位姿信息以及激光点云信息；对多传感器信息进行坐标变换，生成位姿初始值；根据激光点云信息确定自定义点云信息；根据自定义点云信息，计算约束因子并根据约束因子优化因子图模型；以及根据自定义点云信息、多传感器信息、位姿初始值以及因子图模型，输出轨迹信息以及全局地图。
[0127]
除了上述方法和设备以外，本技术的实施例还可以是计算机程序产品，其包括计算机程序信息，计算机程序信息在被处理器运行时使得处理器执行本说明书中描述的根据本技术各种实施例的语义分割模型的部署方法中的步骤。
[0128]
计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本技术实施例操作的程序代码，程序设计语言包括面向对象的程序设计语言，诸如java、c++等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
[0129]
此外，本技术的实施例还可以是计算机可读存储介质，其上存储有计算机程序信息，计算机程序信息在被处理器运行时使得处理器执行本说明书根据本技术各种实施例的语义分割模型的部署方法中的步骤。
[0130]
计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0131]
以上结合具体实施例描述了本技术的基本原理，但是，需要指出的是，在本技术中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本技术的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本技术为必须采用上述具体的细节来实现。
[0132]
本技术中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
[0133]
还需要指出的是，在本技术的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本技术的等效方案。

技术特征：
1.一种语义分割模型的部署方法，其特征在于，包括：获取原始点云数据；基于所述原始点云数据，确定训练数据集；基于所述训练数据集，确定教师网络模型；基于所述教师网络模型，确定学生网络模型；基于所述教师网络模型，对所述学生网络模型进行训练，生成语义分割模型；以及对所述语义分割模型进行部署。2.根据权利要求1所述的语义分割模型的部署方法，其特征在于，所述基于所述教师网络模型，对所述学生网络模型进行训练，生成语义分割模型，包括：获取所述教师网络模型输出的第一输出特征以及所述学生网络模型输出的第二输出特征；基于所述第一输出特征以及所述第二输出特征，确定融合输出特征；基于所述融合输出特征，生成所述语义分割模型。3.根据权利要求2所述的语义分割模型的部署方法，其特征在于，所述基于所述第一输出特征以及所述第二输出特征，确定融合输出特征，包括：将所述第一输出特征以及所述第二输出特征代入公式(一)，计算所述融合输出特征；f
f
＝f
t
+σ(mlp(f
c
))
⊙
f
c
ꢀꢀꢀꢀꢀꢀꢀꢀ
公式(一)；其中，f
f
为融合输出特征，σ(.)为激活函数sigmoid，mlp(.)为多层感知器，
⊙
为向量对应位置相乘。4.根据权利要求1所述的语义分割模型的部署方法，其特征在于，所述基于所述教师网络模型，对所述学生网络模型进行训练，生成语义分割模型，包括：获取所述教师网络模型输出的第一预测结果以及所述学生网络模型输出的第二预测结果；将所述第一预测结果以及所述第二预测结果代入公式(二)，计算蒸馏损失函数；l
d
＝d
kl
(s
t
||s
s
)公式(二)；其中，l
d
是蒸馏损失函数，d
kl
是k-l散度；s
t
是第一预测结果，s
s
是第二预测结果；以及基于所述蒸馏损失函数，对所述学生网络模型进行网络参数优化，生成所述语义分割模型。5.根据权利要求4所述的语义分割模型的部署方法，其特征在于，在所述将所述第一预测结果以及所述第二预测结果代入公式(二)，计算蒸馏损失函数之后，所述基于所述教师网络模型，对所述学生网络模型进行训练，生成语义分割模型，还包括：获取所述教师网络模型的第一分割结果以及所述学生网络模型的第二分割结果；基于所示第一分割结果以及对应真值，获取所述教师网络模型的第一预测损失函数；基于所述第二分割结果以及对应真值，获取所述学生网络模型的第二预测损失函数；基于所述第二预测损失函数、所述蒸馏损失函数以及预设权重系数，确定所述学生网络模型的目标损失函数；基于所述第一预测损失函数、所述蒸馏损失函数以及所述目标损失函数，对所述学生网络模型进行网络参数优化，生成所述语义分割模型。6.根据权利要求1所述的语义分割模型的部署方法，其特征在于，所述基于所述训练数
据集，确定教师网络模型，包括：获取基于距离图像的初始语义分割算法模型；基于所述训练数据集，对所述初始语义分割算法模型进行训练，生成所述教师网络模型。7.根据权利要求1所述的语义分割模型的部署方法，其特征在于，所述基于所述教师网络模型，确定学生网络模型，包括：对所述教师网络模型进行手动裁剪和调整，生成所述学生网络模型。8.一种语义分割模型的部署装置，其特征在于，包括：原始点云获取模块，用于获取原始点云数据；训练数据集确定模块，用于基于所述原始点云数据，确定训练数据集；网络模型确定模块，用于基于所述训练数据集，确定教师网络模型；以及基于所述教师网络模型，确定学生网络模型，所述教师网络模型以及所述学生网络模型均用于进行语义分割；语义分割模型生成模块，用于基于所述教师网络模型，对所述学生网络模型进行训练，生成语义分割模型；以及模型部署模块，用于对所述语义分割模型进行部署。9.一种语义分割模型，其特征在于，所述语义分割模型由权利要求1至权利要求7任一项所述的语义分割模型的部署方法部署完成。10.一种工程车辆，其特征在于，包括：传感器，所述传感器设置在车身上，所述传感器扫描所述工程车辆的作业场景，采集原始点云数据；权利要求9所述的语义分割模型，所述传感器与所述语义分割模型通信连接。11.根据权利要求10所述的工程车辆，其特征在于，所述传感器为激光雷达，所述激光雷达设置在所述工程车辆驾驶室的顶部。

技术总结
本申请涉及工程车辆领域，具体涉及一种语义分割模型及其部署方法、装置及工程车辆。此方法包括获取原始点云数据；基于原始点云数据，确定训练数据集；基于训练数据集，确定教师网络模型；基于教师网络模型，确定学生网络模型；基于教师网络模型，对学生网络模型进行训练，生成语义分割模型；以及对语义分割模型进行部署。这种方法采用了高精度的语义分割方法，以得到高精度的分割结果，并将该高精度的网络模型作为教师网络模型，同时构建规模相对较小但便于部署且推理效率更高的学生网络模型，基于知识蒸馏方法保证了最终部署的学生网络模型的预测精度，即该方法部署的语义分割模型在不降低预测精度的同时具有很好的实时性。型在不降低预测精度的同时具有很好的实时性。型在不降低预测精度的同时具有很好的实时性。


技术研发人员：董洋 高乐 刘钢洋
受保护的技术使用者：三一重机有限公司
技术研发日：2023.04.07
技术公布日：2023/7/28