塔吊吊物类型识别的方法、装置、终端及可读存储介质与流程

1.本技术涉及智能塔吊技术领域，尤其涉及一种塔吊吊物类型识别的方法、装置、终端及可读存储介质。


背景技术：

2.在塔吊的智能驾驶中，对塔吊吊物的类型进行判断对于防碰撞、运动规划、施工进度估计等任务执行都具有重要意义。现有技术中多是采用激光雷达的回波接触式的物理感知特性对吊物进行类型估计。将激光雷达安装于塔吊小车下方，并将激光雷达的视口垂直向下对吊物进行实时扫描，对于吊物类型的识别的取得较好的结果。但是，当塔吊高度过高时，采用激光雷达进行数据采集时扫描得到的吊物的点云数据比较稀疏，很容易发生识别错误，从而降低识别准确率。


技术实现要素：

3.本技术实施例的主要目的在于提供一种塔吊吊物类型识别的方法、装置、终端及可读存储介质，旨在解决塔吊高度过高时，采用激光雷达进行数据采集时扫描得到的吊物的点云数据比较稀疏，导致塔吊吊物类型识别的准确性较低的问题。
4.第一方面，本技术实施例提供一种塔吊吊物类型识别的方法，包括：
5.确定吊物所在的目标区域，并获取所述吊物在所述目标区域内第一时刻对应的第一吊物点云数据以及第二时刻对应的第二吊物点云数据；
6.根据所述第一吊物点云数据进行特征计算获得所述第一吊物点云数据对应的特征值，并根据所述特征值进行特征分析，获得所述吊物对应的物体形状；
7.根据所述物体形状确定所述第二吊物点云数据对应的第三吊物点云数据；
8.根据特征提取网络对所述第一吊物点云数据和所述第三吊物点云数据进行特征提取获得所述第一吊物点云数据对应的第一特征数据和所述第三吊物点云数据对应的第二特征数据；
9.将所述第一特征数据和所述第二特征数据输入到吊物类型识别模型中进行吊物类型识别，获得所述吊物对应的吊物类型。
10.第二方面，本技术实施例还提供一种塔吊吊物类型识别装置，包括：
11.数据获取模块，用于确定吊物所在的目标区域，并获取所述吊物在所述目标区域内第一时刻对应的第一吊物点云数据以及第二时刻对应的第二吊物点云数据；
12.数据处理模块，用于根据所述第一吊物点云数据进行特征计算获得所述第一吊物点云数据对应的特征值，并根据所述特征值进行特征分析，获得所述吊物对应的物体形状；
13.数据对齐模块，用于根据所述物体形状确定所述第二吊物点云数据对应的第三吊物点云数据；
14.特征提取模块，用于根据特征提取网络对所述第一吊物点云数据和所述第三吊物点云数据进行特征提取获得所述第一吊物点云数据对应的第一特征数据和所述第三吊物
点云数据对应的第二特征数据；
15.数据识别模块，用于将所述第一特征数据和所述第二特征数据输入到吊物类型识别模型中进行吊物类型识别，获得所述吊物对应的吊物类型。
16.第三方面，本技术实施例还提供一种终端设备，终端包括处理器、存储器、存储在存储器上并可被处理器执行的计算机程序以及用于实现处理器和存储器之间的连接通信的数据总线，其中计算机程序被处理器执行时，实现如本技术说明书提供的任一项塔吊吊物类型识别的方法的步骤。
17.第四方面，本技术实施例还提供一种存储介质，用于计算机可读存储，其特征在于，存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现如本技术说明书提供的任一项的塔吊吊物类型识别的方法的步骤。
18.本技术实施例提供一种塔吊吊物类型识别的方法、装置、终端以及存储介质，其中，该方法包括确定吊物所在的目标区域，进而利用激光雷达获取吊物在目标区域内第一时刻对应的第一吊物点云数据以及第二时刻对应的第二吊物点云数据；通过对第一吊物点云数据进行特征计算获得对应的特征值，并对特征值进行特征分析获得吊物对应的物体形状；将第二吊物点云数据按照物体形状进行转换获得第三吊物点云数据；根据特征提取网络对第一吊物点云数据和第三吊物点云数据进行特征提取获得第一吊物点云数据对应的第一特征数据和第三吊物点云数据对应的第二特征数据；将第一特征数据和第二特征数据输入到吊物类型识别模型中进行吊物类型识别，获得吊物对应的吊物类型，从而通过结合第一时刻和第二时刻的点云数据进行信息约束，弥补了点云数据稀疏的数据缺陷，进而提高了塔吊吊物类型识别的准确性。
附图说明
19.为了更清楚地说明本技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
20.图1为本技术实施例提供的一种塔吊吊物类型识别的方法的流程示意图；
21.图2为本技术实施例提供的一种激光雷达部署示意图；
22.图3为本技术实施例提供的一种塔吊吊物类型识别装置的模块结构示意图；
23.图4为本技术实施例提供的一种终端设备的结构示意框图。
具体实施方式
24.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
25.附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
26.应当理解，在此本技术说明书中所使用的术语仅仅是出于描述特定实施例的目的
而并不意在限制本技术。如在本技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
27.本技术实施例提供一种塔吊吊物类型识别的方法、装置、终端以及可读存储介质。其中，该塔吊吊物类型识别的方法可应用于终端设备，该终端设备可以为平板电脑、笔记本电脑、个人数字助理、穿戴式设备或服务器，其中，服务器可以为独立的服务器，也可以为服务器集群。
28.其中，本技术实施例提供一种塔吊吊物类型识别的方法、装置、终端以及可读存储介质，其中，该确定吊物所在的目标区域，进而利用激光雷达获取吊物在目标区域内第一时刻对应的第一吊物点云数据以及第二时刻对应的第二吊物点云数据；通过对第一吊物点云数据进行特征计算获得对应的特征值，并对特征值进行特征分析获得吊物对应的物体形状；将第二吊物点云数据按照物体形状进行转换获得第三吊物点云数据；根据特征提取网络对第一吊物点云数据和第三吊物点云数据进行特征提取获得第一吊物点云数据对应的第一特征数据和第三吊物点云数据对应的第二特征数据；将第一特征数据和第二特征数据输入到吊物类型识别模型中进行吊物类型识别，获得吊物对应的吊物类型，进而通过结合第一时刻和第二时刻的点云数据进行信息约束，弥补了点云数据稀疏的数据缺陷，进而提高了塔吊吊物类型识别的准确性。
29.下面结合附图，对本技术的一些实施例作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
30.现有的激光雷达吊物类型识别主要是基于深度神经网络的方法，代表性方法有两种：1)基于网格数据结构的3dcnn方法，以voxelnet为代表；2)直接处理非结构化数据点的方法，以pointnet++为代表。这些方法在点云数据稠密的情况下都具有较好的效果。但是，对于稀疏点云，这些方法都很难获得很好的效果。对于voxelnet类方法来讲，由于大部分空间网格是空的，神经网络的输入很难捕获到有意义的全局语义。对于pointnet++类方法，非结构化数据的特征提取部分设计难度很大。这种情况在塔吊高度较高，使用的激光雷达线数较少的情况下，尤其容易发生。即使是使用非旋转式的固态或半固态激光雷达，也无法避免塔吊过高导致的数据稀疏性和吊物识别不稳定问题。
31.为了解决现有技术中对塔吊吊物识别的准确率不高的问题，本技术提出一种塔吊吊物类型识别的方案，通过将不同时刻的塔吊吊物点云数据进行特征融合，进而提高塔吊吊物类型识别的准确率。
32.请参照图1，图1为本技术实施例提供的一种塔吊吊物类型识别的方法的流程示意图。
33.如图1所示，该塔吊吊物类型识别的方法包括步骤s1至步骤s5。
34.步骤s1：确定吊物所在的目标区域，并获取所述吊物在所述目标区域内第一时刻对应的第一吊物点云数据以及第二时刻对应的第二吊物点云数据。
35.示例性地，如图2所示，激光雷达安装于塔吊小车下方，视口方向垂直地面，此时，激光雷达将会采集视线范围内的点云数据，为减少采集的点云数据对后续吊物类型识别的影响，只需要将吊物所在的目标区域中的点云数据作为目标数据，因此，首先需要确定吊物所在的目标区域。在设置吊物所在的目标区域时可以自行设置兴趣区域，将该兴趣区域作为目标区域。
36.例如，在初始时刻，根据塔吊本身安装的吊钩高度传感器初步确定吊物所在的区域，将吊钩高度及其下方10米，半径5米的圆柱形区域作为兴趣区，截取该区域内的点云，进而将该区域内的点云作为不同时刻的点云数据。
37.示例性地，为解决现有技术中塔吊高度较高时塔吊吊物类型识别率较低的问题，采集不同时刻内吊物的点云数据，并且为减少塔吊吊物旋转对不同时刻之间的点云数据的关联性的影响，将第一时刻作为初始时刻，第二时刻晚于第一时刻的采集时间。
38.例如，按照吊物高度传感器给出的高度初值，将该高度下方10米，半径5米内的点云作为目标区域，采集第一时刻下目标区域内的点云数据作为第一吊物点云数据，采集第一时刻+预设时间间隔下目标区域内的点云数据作为第二吊物点云数据，预设时间间隔可以为0.01s、0.1s，具体不做限制。
39.或者，在获得第二时刻对应的第二吊物点云数据时，可以为第一时刻下利用相邻帧采集的多组点云数据中的任意一组，但是排除第一时刻下对应的第一吊物点云数据。例如，在第一时刻下获取吊物的10次点云，按照获取顺序分别为点云数据集1、点云数据集2，...,点云数据集10，则第一时刻对应的第一吊物点云数据为点云数据集1，则第二时刻下的第二点云数据为点云数据集2，...,点云数据集10中的任意一组或者多组；此外，若第一时刻对应的第一吊物点云数据为点云数据集7，则第二时刻下的第二点云数据为点云数据集8，...,点云数据集10中的任意一组或者多组。
40.在一些实施方式中，所述获取所述吊物在所述目标区域内第一时刻对应的第一吊物点云数据以及第二时刻对应的第二吊物点云数据，包括：获取所述吊物在所述目标区域内第一时刻对应的第一点云数据以及第二时刻对应的第二点云数据；将所述第一点云数据进行欧式聚类获得第一聚类结果，并将所述第一聚类结果与塔吊吊钩的距离进行比较进而获得所述第一吊物点云数据；将所述第二点云数据进行欧式聚类获得第二聚类结果，并将所述第二聚类结果与塔吊吊钩的距离进行比较进而获得所述第二吊物点云数据。
41.示例性地，在获得目标区域内的点云数据后为进一步减少目标区域内的点云数据的干扰，进一步使得目标区域内的点云数据均为吊物对应的点云数据，可以对不同时刻时目标区域中的点云数据进行欧式聚类获得聚类结果，将聚类结果中最靠近吊钩的类簇数据作为吊物点云数据，即在进行吊物类型识别的数据对象。
42.例如，获得第一时刻下目标区域内的初始点云数据，对初始点云数据利用欧式聚类获得聚类结果包括类簇1、类簇2以及类簇3，进而计算每个类簇与塔吊吊钩之间的平均距离，选择平均距离最小的类簇作为吊物点云数据。此外，还需考虑每个类簇中点云的数量，当点云数量较少时，可以直接去除该类簇。
43.步骤s2：根据所述第一吊物点云数据进行特征计算获得所述第一吊物点云数据对应的特征值，并根据所述特征值进行特征分析，获得所述吊物对应的物体形状。
44.示例性地，获得第一时刻和第二时刻时吊物的点云数据时，即使第一时刻和第二时刻之间的时间差距很小，吊物若发生旋转，第一时刻对应的第一吊物点云数据和第二时刻的第二吊物点云数据也会存在方向偏差，若吊物为各个角度都不同的物体时则在后续利用第一吊物点云数据和第二吊物点云数据进行特征融合时，将会带来较大的影响，故而，为减少吊物旋转的影响，需要获得吊物的形状，为后续的第一吊物点云数据和第二吊物点云数据的对齐提供支撑。
45.在一些实施方式中，所述特征值包括第一特征值、第二特征值以及第三特征值，所述根据所述第一吊物点云数据进行特征计算获得所述第一吊物点云数据对应的特征值，并根据所述特征值进行特征分析，获得所述吊物对应的物体形状，包括：根据所述第一吊物点云数据进行三维主成分分析，获得所述第一吊物点云数据对应的所述第一特征值、所述第二特征值以及所述第三特征值；计算所述第一特征值与所述第二特征值之间的距离，获得第一距离，计算所述第一特征值与所述第三特征值之间的距离，获得第二距离以及计算所述第二特征值与所述第三特征值之间的距离，获得第三距离；比较所述第一距离、所述第二距离以及所述第三距离之间的距离差距，获得距离差距结果，并根据所述距离差距结果和预设物体判断策略确定所述吊物对应的物体形状。
46.示例性地，利用三维pca对吊物点云进行特征计算，获得三个维度下吊物点云分别对应的三个特征值，计算三个特征值之间的距离分别为第一距离、第二距离以及第三距离，如果其中一个距离明显大于另外两个距离，则将吊物判读为长条状物体；如果三个距离接近则说明为方形或圆形物体；如果两个距离接近并明显大于另外一个距离，则说明为面状物体。
47.其中，在判断吊物地物体形状过程中，可以将第一吊物点云数据和第二吊物点云数据分别获得对应地物体形状，进而利用投票机制获得最终地吊物对应的物体形状，提高吊物对应的物体形状地准确性。
48.在一些实施方式中，所述根据所述距离差距结果和预设物体判断策略确定所述吊物对应的物体形状之后，还包括：当所述物体形状满足预设目标物体形状时，确定所述第一吊物点云数据对应的物体方向。
49.示例性地，预设目标物体形状为长条状物体时，则需要记录在第一时刻下第一吊物点云数据对应地吊物方向，当吊物形状识别为方形或圆形物体或面状物体时则不需要记录吊物方向，是因为对于该类型的物体旋转对于数据对齐的影响结果较小，其中，吊物方向是用于将第二吊物点云数据纠正吊物旋转后与第一吊物点云数据对齐的参考，避免长条形吊物旋转带来的影响。
50.步骤s3：根据所述物体形状确定所述第二吊物点云数据对应的第三吊物点云数据。
51.示例性地，按照时间顺序，取3秒内的所有激光雷达数据，每秒进行10次扫描，即获取30帧数据，但是对于长条状物体，随着塔吊吊物在高空下的旋转不同帧下的点云数据随着旋转的影响，点云数据对应的吊物方向发生了变化，此时，需要将采集得到的点云对齐至第一吊物点云数据对应的物体方向，进而避免长条形吊物旋转带来的影响。
52.例如，随着塔吊吊物在高空中的旋转会使得不同时刻下采集得到的吊物点云数据在同一坐标系下的物体相对角度发生变化，则为减少不同时刻进行融合计算塔吊吊物类型的误差，可以将第二吊物点云数据转换到第一吊物点云数据的在坐标系下相同物体相对角度下的第三吊物点云数据。
53.示例性地，不同的物体形状对于塔吊吊物在高空中的旋转影响是不同的，如塔吊吊物为圆柱体时，吊物在高空中旋转对于第一时刻和第二时刻下采集的吊物点云数据之间的影响较小，基本可以忽略不计，因此，当塔吊吊物的物体形状为圆柱体时，第二吊物点云数据即为第三吊物点云数据。
54.故而，获得塔吊吊物的第一点云数据得到的三个特征值之间第一距离、第二距离、第三距离之后，三个距离接近或者两个距离接近并明显大于另外一个距离时，则第二吊物点云数据即为第三吊物点云数据；当其中一个距离明显大于另外两个距离时，则需要将第二点云数据转换至第一点云数据得到的物体方向下的第三点云数据。
55.在一些实施方式中，根据所述物体形状确定所述第二吊物点云数据对应的第三吊物点云数据，包括：当所述物体形状满足预设目标物体形状时，将所述第二吊物点云数据根据所述物体方向进行数据对齐，获得所述第二吊物点云数据对应的第三吊物点云数据。
56.示例性地，预设目标物体形状为长条状物体时，随着高空吊物的旋转对于第一时刻和第二时刻之间的数据融合计算塔吊吊物类型识别的准确率影响较大，此时，需要将第二吊物点云数据转换至第一吊物点云数据对应的物体方向下的第三吊物点云数据。
57.例如，获得第二时刻下第二吊物点云数据以及该时刻下第二吊物点云数据的第二时刻物体方向，计算第二时刻物体方向与第一吊物点云数据对应的物体方向之间的变换矩阵，则将第二时刻下的第二吊物点云数据均根据该变换矩阵进行转化继而获得第一吊物点云数据对应的物体方向下的第三吊物点云数据。
58.例如，当获得塔吊吊物的第一点云数据得到的三个特征值之间第一距离、第二距离、第三距离之后，第一距离、第二距离、第三距离之间接近，则直接将第二吊物点云数据作为第三吊物点云数据；当第一距离明显大于第二距离和第三距离时，则若此时第一点云数据的物体方向相对于点云坐标系下的坐标原点为a，第二点云数据的物体方向相对于点云坐标系下的坐标原点为b，则计算物体方向b到达物体方向a的旋转矩阵，进而将第二吊物点云数据根据该旋转矩阵进行计算获得第三吊物点云数据。
59.步骤s4：根据特征提取网络对所述第一吊物点云数据和所述第三吊物点云数据进行特征提取获得所述第一吊物点云数据对应的第一特征数据和所述第三吊物点云数据对应的第二特征数据。
60.示例性地，特征提取网络为pointnet++网络，进而利用pointnet++网络对第一吊物点云数据和第三吊物点云数据进行特征提取获得第一吊物点云数据对应的第一特征数据和第三吊物点云数据对应的第二特征数据，其中，在利用pointnet++网络进行特征提取时，只获得pointnet++网络特征提取的结果，并不输出类别，即只利用pointnet++的特征编码器对第一吊物点云数据和第三吊物点云数据进行特征提取。
61.可选地，特征提取网络可以为其他神经网络或者点云数据特征提取的网络，在此不做具体限制。
62.步骤s5:将所述第一特征数据和所述第二特征数据输入到吊物类型识别模型中进行吊物类型识别，获得所述吊物对应的吊物类型。
63.示例性地，在获得第一特征数据和第二特征数据后融合第一特征数据和第二特征数据输入到吊物类型识别模型中进行吊物类型识别，获得吊物对应的吊物类型。其中，第一特征数据和第二特征数据之间具有时间约束，因此吊物类型识别模型为时序模型，例如，rnn模型、gru模型，在此不做具体限制。
64.在一些实施方式中，所述将所述第一特征数据和所述第二特征数据输入到吊物类型识别模型中进行吊物类型识别，获得所述吊物对应的吊物类型，包括：根据吊物传感器获得所述吊物在所述第一时刻对应的第一高度，以及所述所述吊物在所述第二时刻对应的第
二高度；根据所述第一高度和所述第一特征数据确定所述吊物对应的第一高维特征数据以及根据所述第二高度和所述第二特征数据确定所述吊物对应的第二高维特征数据；将所述第一高维特征数据和所述第二高维特征数据输入到所述吊物类型识别模型中进行吊物类型识别，获得所述吊物对应的吊物类型。
65.示例性地，将每个时刻下对应的吊钩传感器采集得到的高度数据作为信息约束，嵌入到第一特征数据和第二特征数据中。将每个时刻的吊物传感器的高度值添加到第一特征数据和第二特征数据的最后一维，形成嵌入吊物高度的高维特征，即第一特征数据对应的第一高维特征数据和第二特征数据对应的第二高维特征数据。进而利用第一高维特征数据和第二高维特征数据输入到到吊物类型识别模型中进行吊物类型识别，获得所述吊物对应的吊物类型。
66.在一些实施方式中，吊物类型识别模型为长短期记忆体模型。
67.示例性地，长短期记忆体模型的训练过程为首先收集激光雷达点云数据时间序列，每个类别收集500条数据左右。并对每条激光雷达时间序列数据进行标注，给定类别标签。然后针对每条的激光雷达点云数据计算pca结果，对pca结果的三个特征值进行计算两两之间的距离，如果某个距离明显大于另外两个距离，则将该点云的物体方向旋转至与第一时刻下的物体方向。然后利用pointnet++神经网络，计算每个时间点点云数据的高维特征，即pointnet++神经网络中用于分类前的高维特征；将每个时刻的吊物传感器的高度值添加到高维特征的最后一维，形成嵌入吊物高度的高维特征。最后利用收集到的所有点云序列，训练单向lstm，每个时刻的输入为带有吊物高度信息嵌入的高维特征。完成训练后得到吊物分类lstm神经网络。
68.例如，以一种类别的训练数据为例，吊物类型为集装箱，训练数据为第一时刻的点云数据a、第二时刻的点云数据b以及第三时刻的点云数据c，则首先计算点云数据a、点云数据b以及点云数据c的pca结果，则根据点云数据a、点云数据b以及点云数据c分别判断吊物的物体形状为长方体、长方体、正方体，则最终判定吊物的物体形状为长方体，进而保存点云数据a对应的物体方向，并将点云数据b以及点云数据c进行矩阵转换变换至点云数据b1以及点云数据c1，进而利用pointnet++神经网络抽取云数据a、点云数据b1以及点云数据c1分别对应的特征数据为ta、tb1、tc1。进而将第一时刻、第二时刻以及第三时刻下塔吊吊物的高度ha、hb、hc分别添加至ta、tb1、tc1，获得第一时刻、第二时刻以及第三时刻分别对应的第一高维特征tha、第二高维特征thb1、第三高维特征thc1，进而将第一高维特征tha、第二高维特征thb1、第三高维特征thc1输入至lstm进行模型训练，进而获得吊物分类lstm神经网络，即吊物类型识别模型。
69.本技术中利用塔吊吊物在吊运中会出现上下运动过程中，获取不同时刻的吊物点云数据的组合，进而提供更多的关于吊物类型识别可参考的信息，将时间序列下的点云数据进行整合与利用来完成吊物识别，可以大幅提高稀疏点云下的吊物识别准确率，并且避免了塔吊过高导致的点云数据稀疏导致吊物识别准确性不稳定的问题。
70.请参阅图3，图3为本技术实施例提供的一种塔吊吊物类型识别装置200，塔吊吊物类型识别装置200包括数据获取模块201、数据处理模块202、数据对齐模块203、特征提取模块204、数据识别模块205，其中，数据获取模块201，用于确定吊物所在的目标区域，并获取所述吊物在所述目标区域内第一时刻对应的第一吊物点云数据以及第二时刻对应的第二
吊物点云数据；数据处理模块202，用于根据所述第一吊物点云数据进行特征计算获得所述第一吊物点云数据对应的特征值，并根据所述特征值进行特征分析，获得所述吊物对应的物体形状；数据对齐模块203，用于根据所述物体形状确定所述第二吊物点云数据对应的第三吊物点云数据；特征提取模块204，用于根据特征提取网络对所述第一吊物点云数据和所述第三吊物点云数据进行特征提取获得所述第一吊物点云数据对应的第一特征数据和所述第三吊物点云数据对应的第二特征数据；数据识别模块205，用于将所述第一特征数据和所述第二特征数据输入到吊物类型识别模型中进行吊物类型识别，获得所述吊物对应的吊物类型。
71.在一些实施方式中，数据获取模块201在所述获取所述吊物在所述目标区域内第一时刻对应的第一吊物点云数据以及第二时刻对应的第二吊物点云数据过程中，执行：
72.获取所述吊物在所述目标区域内第一时刻对应的第一点云数据以及第二时刻对应的第二点云数据；
73.将所述第一点云数据进行欧式聚类获得第一聚类结果，并将所述第一聚类结果与塔吊吊钩的距离进行比较进而获得所述第一吊物点云数据；
74.将所述第二点云数据进行欧式聚类获得第二聚类结果，并将所述第二聚类结果与塔吊吊钩的距离进行比较进而获得所述第二吊物点云数据。
75.在一些实施方式中，所述特征值包括第一特征值、第二特征值以及第三特征值，数据处理模块202在所述根据所述第一吊物点云数据进行特征计算获得所述第一吊物点云数据对应的特征值，并根据所述特征值进行特征分析，获得所述吊物对应的物体形状过程中，执行：
76.根据所述第一吊物点云数据进行三维主成分分析，获得所述第一吊物点云数据对应的所述第一特征值、所述第二特征值以及所述第三特征值；
77.计算所述第一特征值与所述第二特征值之间的距离，获得第一距离，计算所述第一特征值与所述第三特征值之间的距离，获得第二距离以及计算所述第二特征值与所述第三特征值之间的距离，获得第三距离；
78.比较所述第一距离、所述第二距离以及所述第三距离之间的距离差距，获得距离差距结果，并根据所述距离差距结果和预设物体判断策略确定所述吊物对应的物体形状。
79.在一些实施方式中，数据处理模块202在所述根据所述距离差距结果和预设物体判断策略确定所述吊物对应的物体形状之后的过程中，还执行：
80.当所述物体形状满足预设目标物体形状时，确定所述第一吊物点云数据对应的物体方向。
81.在一些实施方式中，数据对齐模块203在根据所述物体形状确定所述第二吊物点云数据对应的第三吊物点云数据的过程中，执行：
82.当所述物体形状满足预设目标物体形状时，将所述第二吊物点云数据根据所述物体方向进行数据对齐，获得所述第二吊物点云数据对应的第三吊物点云数据。
83.在一些实施方式中，数据识别模块205在所述将所述第一特征数据和所述第二特征数据输入到吊物类型识别模型中进行吊物类型识别，获得所述吊物对应的吊物类型的过程中，执行：
84.根据吊物传感器获得所述吊物在所述第一时刻对应的第一高度，以及所述所述吊
物在所述第二时刻对应的第二高度；
85.根据所述第一高度和所述第一特征数据确定所述吊物对应的第一高维特征数据以及根据所述第二高度和所述第二特征数据确定所述吊物对应的第二高维特征数据；
86.将所述第一高维特征数据和所述第二高维特征数据输入到所述吊物类型识别模型中进行吊物类型识别，获得所述吊物对应的吊物类型。
87.在一些实施方式中，数据识别模块205中吊物类型识别模型为长短期记忆体模型。
88.需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述塔吊吊物类型识别的方法实施例中的对应过程，在此不再赘述。
89.请参阅图4，图4为本技术实施例提供的终端设备的结构示意性框图。
90.如图4所示，终端设备300包括处理器301和存储器302，处理器301和存储器302通过总线303连接，该总线比如为i2c(inter-integrated circuit)总线。
91.具体地，处理器301用于提供计算和控制能力，支撑整个服务器的运行。处理器301可以是中央处理单元(central processing unit，cpu)，该处理器301还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
92.具体地，存储器302可以是flash芯片、只读存储器(rom，read-only memory)磁盘、光盘、u盘或移动硬盘等。
93.本领域技术人员可以理解，图4中示出的结构，仅仅是与本技术实施例方案相关的部分结构的框图，并不构成对本技术实施例方案所应用于其上的终端设备的限定，具体的终端设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
94.其中，处理器301用于运行存储在存储器中的计算机程序，并在执行计算机程序时实现本技术任一实施例提供的塔吊吊物类型识别的方法。
95.在一些实施方式中，处理器301用于运行存储在存储器中的计算机程序，应用于终端设备，并在执行计算机程序时实现如下步骤：
96.确定吊物所在的目标区域，并获取所述吊物在所述目标区域内第一时刻对应的第一吊物点云数据以及第二时刻对应的第二吊物点云数据；
97.根据所述第一吊物点云数据进行特征计算获得所述第一吊物点云数据对应的特征值，并根据所述特征值进行特征分析，获得所述吊物对应的物体形状；
98.根据所述物体形状确定所述第二吊物点云数据对应的第三吊物点云数据；
99.根据特征提取网络对所述第一吊物点云数据和所述第三吊物点云数据进行特征提取获得所述第一吊物点云数据对应的第一特征数据和所述第三吊物点云数据对应的第二特征数据；
100.将所述第一特征数据和所述第二特征数据输入到吊物类型识别模型中进行吊物类型识别，获得所述吊物对应的吊物类型。
101.在一些实施方式中，处理器301在所述获取所述吊物在所述目标区域内第一时刻
对应的第一吊物点云数据以及第二时刻对应的第二吊物点云数据的过程中，执行：
102.获取所述吊物在所述目标区域内第一时刻对应的第一点云数据以及第二时刻对应的第二点云数据；
103.将所述第一点云数据进行欧式聚类获得第一聚类结果，并将所述第一聚类结果与塔吊吊钩的距离进行比较进而获得所述第一吊物点云数据；
104.将所述第二点云数据进行欧式聚类获得第二聚类结果，并将所述第二聚类结果与塔吊吊钩的距离进行比较进而获得所述第二吊物点云数据。
105.在一些实施方式中，所述特征值包括第一特征值、第二特征值以及第三特征值，处理器301在所述根据所述第一吊物点云数据进行特征计算获得所述第一吊物点云数据对应的特征值，并根据所述特征值进行特征分析，获得所述吊物对应的物体形状的过程中，执行：
106.根据所述第一吊物点云数据进行三维主成分分析，获得所述第一吊物点云数据对应的所述第一特征值、所述第二特征值以及所述第三特征值；
107.计算所述第一特征值与所述第二特征值之间的距离，获得第一距离，计算所述第一特征值与所述第三特征值之间的距离，获得第二距离以及计算所述第二特征值与所述第三特征值之间的距离，获得第三距离；
108.比较所述第一距离、所述第二距离以及所述第三距离之间的距离差距，获得距离差距结果，并根据所述距离差距结果和预设物体判断策略确定所述吊物对应的物体形状。
109.在一些实施方式中，处理器301在所述根据所述距离差距结果和预设物体判断策略确定所述吊物对应的物体形状之后的过程中，还执行：
110.当所述物体形状满足预设目标物体形状时，确定所述第一吊物点云数据对应的物体方向。
111.在一些实施方式中，处理器301在根据所述物体形状确定所述第二吊物点云数据对应的第三吊物点云数据的过程中，执行：
112.当所述物体形状满足预设目标物体形状时，将所述第二吊物点云数据根据所述物体方向进行数据对齐，获得所述第二吊物点云数据对应的第三吊物点云数据。
113.在一些实施方式中，处理器301在所述将所述第一特征数据和所述第二特征数据输入到吊物类型识别模型中进行吊物类型识别，获得所述吊物对应的吊物类型的过程中，执行：
114.根据吊物传感器获得所述吊物在所述第一时刻对应的第一高度，以及所述所述吊物在所述第二时刻对应的第二高度；
115.根据所述第一高度和所述第一特征数据确定所述吊物对应的第一高维特征数据以及根据所述第二高度和所述第二特征数据确定所述吊物对应的第二高维特征数据；
116.将所述第一高维特征数据和所述第二高维特征数据输入到所述吊物类型识别模型中进行吊物类型识别，获得所述吊物对应的吊物类型。
117.在一些实施方式中，吊物类型识别模型为长短期记忆体模型。
118.需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的终端设备的具体工作过程，可以参考前述塔吊吊物类型识别的方法实施例中的对应过程，在此不再赘述。
119.本技术实施例还提供一种存储介质，用于计算机可读存储，存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现如本技术说明书实施例提供的任一项塔吊吊物类型识别的方法的步骤。
120.其中，存储介质可以是前述实施例的终端设备的内部存储单元，例如终端设备内存。存储介质也可以是终端设备的外部存储设备，例如终端设备上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。
121.本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施例中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
122.应当理解，在本技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
123.上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。以上，仅为本技术的具体实施例，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。

技术特征：
1.一种塔吊吊物类型识别的方法，其特征在于，所述方法包括：确定吊物所在的目标区域，并获取所述吊物在所述目标区域内第一时刻对应的第一吊物点云数据以及第二时刻对应的第二吊物点云数据；根据所述第一吊物点云数据进行特征计算获得所述第一吊物点云数据对应的特征值，并根据所述特征值进行特征分析，获得所述吊物对应的物体形状；根据所述物体形状确定所述第二吊物点云数据对应的第三吊物点云数据；根据特征提取网络对所述第一吊物点云数据和所述第三吊物点云数据进行特征提取获得所述第一吊物点云数据对应的第一特征数据和所述第三吊物点云数据对应的第二特征数据；将所述第一特征数据和所述第二特征数据输入到吊物类型识别模型中进行吊物类型识别，获得所述吊物对应的吊物类型。2.根据权利要求1所述的方法，其特征在于，所述获取所述吊物在所述目标区域内第一时刻对应的第一吊物点云数据以及第二时刻对应的第二吊物点云数据，包括：获取所述吊物在所述目标区域内第一时刻对应的第一点云数据以及第二时刻对应的第二点云数据；将所述第一点云数据进行欧式聚类获得第一聚类结果，并将所述第一聚类结果与塔吊吊钩的距离进行比较进而获得所述第一吊物点云数据；将所述第二点云数据进行欧式聚类获得第二聚类结果，并将所述第二聚类结果与塔吊吊钩的距离进行比较进而获得所述第二吊物点云数据。3.根据权利要求1所述的方法，其特征在于，所述特征值包括第一特征值、第二特征值以及第三特征值，所述根据所述第一吊物点云数据进行特征计算获得所述第一吊物点云数据对应的特征值，并根据所述特征值进行特征分析，获得所述吊物对应的物体形状，包括：根据所述第一吊物点云数据进行三维主成分分析，获得所述第一吊物点云数据对应的所述第一特征值、所述第二特征值以及所述第三特征值；计算所述第一特征值与所述第二特征值之间的距离，获得第一距离，计算所述第一特征值与所述第三特征值之间的距离，获得第二距离以及计算所述第二特征值与所述第三特征值之间的距离，获得第三距离；比较所述第一距离、所述第二距离以及所述第三距离之间的距离差距，获得距离差距结果，并根据所述距离差距结果和预设物体判断策略确定所述吊物对应的物体形状。4.根据权利要求3所述的方法，其特征在于，所述根据所述距离差距结果和预设物体判断策略确定所述吊物对应的物体形状之后，还包括：当所述物体形状满足预设目标物体形状时，确定所述第一吊物点云数据对应的物体方向。5.根据权利要求3所述的方法，其特征在于，根据所述物体形状确定所述第二吊物点云数据对应的第三吊物点云数据，包括：当所述物体形状满足预设目标物体形状时，将所述第二吊物点云数据根据所述物体方向进行数据对齐，获得所述第二吊物点云数据对应的第三吊物点云数据。6.根据权利要求1所述的方法，其特征在于，所述将所述第一特征数据和所述第二特征数据输入到吊物类型识别模型中进行吊物类型识别，获得所述吊物对应的吊物类型，包括：
根据吊物传感器获得所述吊物在所述第一时刻对应的第一高度，以及所述所述吊物在所述第二时刻对应的第二高度；根据所述第一高度和所述第一特征数据确定所述吊物对应的第一高维特征数据以及根据所述第二高度和所述第二特征数据确定所述吊物对应的第二高维特征数据；将所述第一高维特征数据和所述第二高维特征数据输入到所述吊物类型识别模型中进行吊物类型识别，获得所述吊物对应的吊物类型。7.根据权利要求6所述的方法，其特征在于，所述吊物类型识别模型为长短期记忆体模型。8.一种塔吊吊物类型识别的装置，其特征在于，包括：数据获取模块，用于确定吊物所在的目标区域，并获取所述吊物在所述目标区域内第一时刻对应的第一吊物点云数据以及第二时刻对应的第二吊物点云数据；数据处理模块，用于根据所述第一吊物点云数据进行特征计算获得所述第一吊物点云数据对应的特征值，并根据所述特征值进行特征分析，获得所述吊物对应的物体形状；数据对齐模块，用于根据所述物体形状确定所述第二吊物点云数据对应的第三吊物点云数据；特征提取模块，用于根据特征提取网络对所述第一吊物点云数据和所述第三吊物点云数据进行特征提取获得所述第一吊物点云数据对应的第一特征数据和所述第三吊物点云数据对应的第二特征数据；数据识别模块，用于将所述第一特征数据和所述第二特征数据输入到吊物类型识别模型中进行吊物类型识别，获得所述吊物对应的吊物类型。9.一种终端设备，其特征在于，所述终端设备包括处理器、存储器；所述存储器用于存储计算机程序；所述处理器用于执行所述计算机程序并在执行所述计算机程序时实现如权利要求1至7中任一项所述的塔吊吊物类型识别的方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至7中任一项所述的塔吊吊物类型识别的方法步骤。

技术总结
本申请实施例涉及智能塔吊技术领域，具体提供了一种塔吊吊物类型识别的方法、装置、终端及可读存储介质。该方法包括：确定吊物所在的目标区域，并获取吊物在所述目标区域内第一时刻对应的第一吊物点云数据以及第二时刻对应的第二吊物点云数据；根据第一吊物点云数据进行特征计算获得特征值，并根据特征值进行特征分析获得吊物的物体形状；根据物体形状确定第二吊物点云数据对应的第三吊物点云数据；根据特征提取网络对第一吊物点云数据和第三吊物点云数据进行特征提取获得第一特征数据和第二特征数据；将第一特征数据和第二特征数据输入到吊物类型识别模型中进行吊物类型识别，获得吊物对应的吊物类型，进而提高了在稀疏点云下的吊物识别准确率。云下的吊物识别准确率。云下的吊物识别准确率。


技术研发人员：姜贺 葛晓东 安民洙
受保护的技术使用者：广东光速智能设备有限公司
技术研发日：2023.06.02
技术公布日：2023/9/14