一种基于数据特征融合的点云语义分割方法及系统与流程

1.本发明设计数据处理技术领域，尤其设计一种基于数据特征融合的点云分割方法及系统。


背景技术：

2.输配电廊道点云数据在电力系统中具有重要的应用价值，然而，点云数据具有无序、稀疏等特点，对其进行语义分割难度较大。目前，常见的点云语义分割方法包括基于深度学习的方法和基于传统特征的方法。基于深度学习的方法需要大量的训练数据，且在处理稀疏点云数据时存在较大的缺陷。基于传统特征的方法具有较好的稳定性和鲁棒性，但分割精度较低。
3.同时由于点云数据本身具有无序和稀疏性等特点，且输配电廊道点云数据往往存在较多的缺失和不规则情况，数据特征的提取存在困难，影响分割精度。
4.常规的点云分割方法的鲁棒性较低、泛化能力差，难以达到实际应用要求，且常规的点云分割方法计算复杂度高，消耗过多的算力。


技术实现要素：

5.本发明公开了一种基于数据特征融合的点云语义分割方法及系统，提高点云数据语义分割的精度及效率。
6.为了实现上述目的，本发明公开了一种基于数据特征融合的点云语义分割方法，包括：
7.对获取的原始点云中的数据进行空间分离，获得所述原始点云对应的空间坐标信息数据及像素信息数据，并将所述原始点云的空间坐标信息数据及所述像素信息数据进行数据融合，获得所述原始点云进行数据融合后对应的第一点云；
8.通过预设的深度神经网络提取所述第一点云的空间特征及像素特征，并将所述第一点云对应的空间特征及像素特征进行特征融合，获得所述第一点云进行特征融合后的第二点云；
9.根据预设的体素转换方式将所述第二点云体素化，获得所述第二点云对应的若干个第一体素，并对所述若干个第一体素进行筛选及排序，获得若干个第二体素，进而根据所述若干个第二体素获得所述第二点云体素化后的第三点云；
10.根据预设的多层感知器对所述第三点云进行特征提取，获得所述第三点云对应的自身特征信息及邻域特征信息；
11.融合所述第三点云对应的自身特征信息及邻域特征信息，获得所述第三点云对应的特征信息，并根据所述特征信息对所述第三点云进行语义分割。
12.本发明公开了一种基于数据特征融合的点云语义分割方法，首先对原始点云的间坐标信息数据及像素信息数据进行数据融合，实现所述点云的空间坐标信息能够与像素信息实现初步融合，接着在对所述点云进行初步数据融合后，根据预设的深度神经网络提取
所述点云对应的空间坐标信息特征及像素信息特征，并对所述特征进行特征融合，实现所述点云的空间坐标信息与像素信息的进一步融合，解决点云的无序性，进而提高后期提取的点云特征的精准度，在所述点云进行特征融合后，通过预设的体素化转换方式将所述点云转换为如弓干个体素，对所述若干个体素进行筛选及排序，以使解决所述点云不规则性的问题，进而提高点云特征提取的效率，在对所述点云进行数据融合、特征融合及体素化转变后，根据预设的多层感知器提取所述点云的自身特征信息及邻域特征信息，实现了不仅关注点云自身，还关注点云与其他点云的关系，接着将所述自身特征信息及邻域特征信息进行融合最终获得所述点云的特征信息，进一步提高了所述获得的特征信息的精准度，进而根据所述特征信息对所述点云进行语义分割，提高了所述语义分割的精准度。
13.作为优选例子，在所述对获取的原始点云中的数据进行空间分离，获得所述原始点云对应的空间坐标信息数据及像素信息数据，并将所述原始点云的空间坐标信息数据及所述像素信息数据进行数据融合，包括：
14.通过预设的空间分离技术对所述原始点云的数据进行空间分离，获得初始空间坐标信息数据及像素信息数据；
15.通过预设的旋转变换矩阵对所述初始空间坐标信息数据进行旋转变换，获得所述空间坐标信息数据，并利用预设的空间融合技术对所述空间坐标信息数据及所述像素信息数据进行数据融合。
16.本发明将点云的数据进行空间分离，分为空间坐标信息数据及像素信息数据，以使后续进行所述点云的初步数据融合，在获得所述空间坐标信息数据后，根据点云数据的旋转不变性的特征，根据预设的旋转矩阵对点云数据进行处理，以使点云的空间坐标信息能够与rgb像素信息实现初步融合，进而减少特征提取的误差，提高语义分割的准确率。
17.作为优选例子，在所述通过预设的深度神经网络提取所述第一点云的空间特征及像素特征，并将所述第一点云对应的空间特征及像素特征进行特征融合，包括：
18.根据预设的深度神经网络分别对所述空间坐标信息数据及所述像素信息数据继续升维处理，获得所述空间坐标信息数据对应的初始高维空间特征及所述像素信息数据对应的初始高维像素特征，并对所述初始高维空间特征及所述初始高维像素特征进行特征融合处理，获得所述第一点云对应的初始高维特征；
19.根据预设的平均函数对所述初始高维特征进行平均处理，获得所述第二点云对应的高位特征。
20.本发明为了解决点云的无序性问题，从点云的原始特征空间中，通过深度神经网络对空间坐标信息和rgb像素信息进行高维特征提取，以使更好的表述点云的语义信息，随后通过平均函数对所述高维特征进行计算使得所获特征不受点云顺序变化影响，进而为后续特征提取提供有序的点云，进而提高点云特征提取的效率及精准度，进而提高点云语义分割的效率及精准度。
21.作为优选例子，在所述根据预设的体素转换方式将所述第二点云体素化，获得所述第二点云对应的若干个第一体素，具体包括：
22.获取所述第二点云中各场景对应的三维空间中第一坐标轴最大的第一点的坐标、第一坐标轴最小的第二点的坐标、第二坐标轴最大的第三点的坐标及第二坐标轴最小的第四点的坐标；
23.根据所述第一点的坐标、第二点的坐标、第三点的坐标及第四点的坐标，通过预设的体素计算公式获得所述第二点云对应的体素大小；
24.根据所述体素大小计算每一个体素的三维空间坐标中心，进而根据所述三维空间坐标中心对所述第二点云进行体素化转换，获得所述第二点云对应的若干个第一体素。
25.本发明通过获得所述点云中点云的坐标轴最大值，进而确定所述点云的三维空间的范围，接着利用预设的体素公式计算所述三维空间中每一个体素的大小，再根据所述大小确定每一个体素的三维坐标，在确定所述三维坐标后，对所述第二点云进行体素化处理，生成所述第二点云对应的若干个第一体素，以使根据所述体素解决点云不规则性问题，进而提高特征提取的效率，即提高点云分割的效率。
26.作为优选例子，在所述对所述若干个第一体素进行筛选及排序，获得若干个第二体素，具体包括：
27.遍历所述若干个第一体素，获得所述若干个第一体素中每一个第一体素对应的像素颜色信息值，并分别将所述每一个第一体素对应的像素颜色信息值与预设的阈值进行比较；
28.当所述像素颜色信息值等于所述阈值时，则删除所述像素颜色信息值对应的第一体素；
29.当所述像素颜色信息值等于所述阈值时，则保留所述像素颜色信息值对应的第一体素，进而获得若干个第二初始体素
30.根据预设的空间坐标索引顺序对所述若干个第二初始体素进行排序，获得所述若干个第二体素。
31.本发明将点云数据进行体素化后，遍历所有体素，对体素中颜色信息值等于设定的阈值的体素进行剔除，保留颜色信息值不等于设定的阈值的体素，根据空间坐标索引顺序进行排序，以使将信息进行对齐且将稀疏的体素信息转换为稠密的向量信息，使得解决所述点云的不规则性问题。
32.作为优选例子，在所述根据预设的多层感知器对所述第三点云进行特征提取，获得所述第三点云对应的自身特征信息及邻域特征信息，包括：
33.根据预设的第一多层感知器对所述第三点云进行特征提取，获得所述第三点云对应的自身特征信息；
34.根据预设的第二多层感知器对所述第三点云进行特征提取，获得所述第三点云对应的邻域特征信息；所述第二多层感知器的感知层数少于所述第一多层感知器的层数。
35.本发明利用不同层数的感知器实现不同分辨率的特征提取，利用层数较少的多层感知器提取所述点云的高分辨率特征，即或得所述点云的自身特征信息，利用层数较多的多层感知器提取所述点云的低分辨率特征，即提取所述点云的邻域特征信息，以使丰富所述点云特征的信息量，进而提高所述点云特征的精准度，进而提高点云分割的精准度。
36.另一方面，本发明公开了一种基于数据特征融合的点云语义分割系统，包括数据融合模块、特征融合模块、体素转变模块、特征提取模块及语义分割模块；
37.所述数据融合模块用于对获取的原始点云中的数据进行空间分离，获得所述原始点云对应的空间坐标信息数据及像素信息数据，并将所述原始点云的空间坐标信息数据及所述像素信息数据进行数据融合，获得所述原始点云进行数据融合后对应的第一点云；
38.所述特征融合模块用于通过预设的深度神经网络提取所述第一点云的空间特征及像素特征，并将所述第一点云对应的空间特征及像素特征进行特征融合，获得所述第一点云进行特征融合后的第二点云；
39.所述体素转变模块用于根据预设的体素转换方式将所述第二点云体素化，获得所述第二点云对应的若干个第一体素，并对所述若干个第一体素进行筛选及排序，获得若干个第二体素，进而根据所述若干个第二体素获得所述第二点云体素化后的第三点云；
40.所述特征提取模块用于根据预设的多层感知器对所述第三点云进行特征提取，获得所述第三点云对应的自身特征信息及邻域特征信息；
41.所述语义分割模块用于融合所述第三点云对应的自身特征信息及邻域特征信息，获得所述第三点云对应的特征信息，并根据所述特征信息对所述第三点云进行语义分割。
42.本发明公开的一种基于数据特征融合的点云语义分割方法，首先对原始点云的间坐标信息数据及像素信息数据进行数据融合，实现所述点云的空间坐标信息能够与像素信息实现初步融合，接着在对所述点云进行初步数据融合后，根据预设的深度神经网络提取所述点云对应的空间坐标信息特征及像素信息特征，并对所述特征进行特征融合，实现所述点云的空间坐标信息与像素信息的进一步融合，解决点云的无序性，进而提高后期提取的点云特征的精准度，在所述点云进行特征融合后，通过预设的体素化转换方式将所述点云转换为如弓干个体素，对所述若干个体素进行筛选及排序，以使解决所述点云不规则性的问题，进而提高点云特征提取的效率，在对所述点云进行数据融合、特征融合及体素化转变后，根据预设的多层感知器提取所述点云的自身特征信息及邻域特征信息，实现了不仅关注点云自身，还关注点云与其他点云的关系，接着将所述自身特征信息及邻域特征信息进行融合最终获得所述点云的特征信息，进一步提高了所述获得的特征信息的精准度，进而根据所述特征信息对所述点云进行语义分割，提高了所述语义分割的精准度。
43.作为优选例子，所述数据融合模块包括空间分离单元及融合单元；
44.所述空间分离单元用于通过预设的空间分离技术对所述原始点云的数据进行空间分离，获得初始空间坐标信息数据及像素信息数据；
45.所述融合单元用于通过预设的旋转变换矩阵对所述初始空间坐标信息数据进行旋转变换，获得所述空间坐标信息数据，并利用预设的空间融合技术对所述空间坐标信息数据及所述像素信息数据进行数据融合。
46.本发明将点云的数据进行空间分离，分为空间坐标信息数据及像素信息数据，以使后续进行所述点云的初步数据融合，在获得所述空间坐标信息数据后，根据点云数据的旋转不变性的特征，根据预设的旋转矩阵对点云数据进行处理，以使点云的空间坐标信息能够与rgb像素信息实现初步融合，进而减少特征提取的误差，提高语义分割的准确率。
47.作为优选例子，所述特征融合模块包括特征提取单元及处理单元；
48.所述特征提取单元用于根据预设的深度神经网络分别对所述空间坐标信息数据及所述像素信息数据继续升维处理，获得所述空间坐标信息数据对应的初始高维空间特征及所述像素信息数据对应的初始高维像素特征，并对所述初始高维空间特征及所述初始高维像素特征进行特征融合处理，获得所述第一点云对应的初始高维特征；
49.所述处理单元用于根据预设的平均函数对所述初始高维特征进行平均处理，获得所述第二点云对应的高位特征。
50.本发明为了解决点云的无序性问题，从点云的原始特征空间中，通过深度神经网络对空间坐标信息和rgb像素信息进行高维特征提取，以使更好的表述点云的语义信息，随后通过平均函数对所述高维特征进行计算使得所获特征不受点云顺序变化影响，进而为后续特征提取提供有序的点云，进而提高点云特征提取的效率及精准度，进而提高点云语义分割的效率及精准度。
51.作为优选例子，所述特征提取模块包括第一特征单元及第二特征单元；
52.所述第一特征单元用于根据预设的第一多层感知器对所述第三点云进行特征提取，获得所述第三点云对应的自身特征信息；
53.所述第二特征单元用于根据预设的第二多层感知器对所述第三点云进行特征提取，获得所述第三点云对应的邻域特征信息；所述第二多层感知器的感知层数少于所述第一多层感知器的层数。
54.本发明利用不同层数的感知器实现不同分辨率的特征提取，利用层数较少的多层感知器提取所述点云的高分辨率特征，即或得所述点云的自身特征信息，利用层数较多的多层感知器提取所述点云的低分辨率特征，即提取所述点云的邻域特征信息，以使丰富所述点云特征的信息量，进而提高所述点云特征的精准度，进而提高点云分割的精准度。
附图说明
55.图1：为本发明实施例提供的一种基于数据特征融合的点云语义分割方法的流程示意图；
56.图2：为本发明实施例提供的一种基于数据特征融合的点云语义分割系统的结构示意图；
57.图3：为本发明实施例提供的一种数据融合的流程示意图。
具体实施方式
58.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
59.实施例一
60.本发明实施例提供了一种基于数据特征融合的点云语义分割方法，该方法的具体实施流程请参照图1，主要包括步骤101至步骤105，所述步骤主要为：
61.步骤101：对获取的原始点云中的数据进行空间分离，获得所述原始点云对应的空间坐标信息数据及像素信息数据，并将所述原始点云的空间坐标信息数据及所述像素信息数据进行数据融合，获得所述原始点云进行数据融合后对应的第一点云。
62.在本实施例中，该步骤主要包括：通过预设的空间分离技术对所述原始点云的数据进行空间分离，获得初始空间坐标信息数据及像素信息数据；通过预设的旋转变换矩阵对所述初始空间坐标信息数据进行旋转变换，获得所述空间坐标信息数据，并利用预设的空间融合技术对所述空间坐标信息数据及所述像素信息数据进行数据融合。
63.示例性的，在本实施例中根据点云数据的旋转不变性的特征，对点云数据进行处
理，使点云的空间坐标信息能够与rgb像素信息实现初步融合，可选择的，在本实施例中对输配电场景点云进行语义分割，对所述输配电场景点云进行数据融合的过程请参照图3，通过空间分离的技术，将原始输配电场景点云数据分为空间坐标信息和像素信息两个子空间，所述像素信息可选择的生成rgb像素信息，然后通过设计旋转变换矩阵r，对空间坐标子空间的信息进行空间旋转变换，最后通过空间融合的技术，将两个子空间的信息进行融合，实现空间坐标信息与rgb像素信息的初步融合。
64.本步骤将点云的数据进行空间分离，分为空间坐标信息数据及像素信息数据，以使后续进行所述点云的初步数据融合，在获得所述空间坐标信息数据后，根据点云数据的旋转不变性的特征，根据预设的旋转矩阵对点云数据进行处理，以使点云的空间坐标信息能够与rgb像素信息实现初步融合，进而减少特征提取的误差，提高语义分割的准确率。
65.步骤102：通过预设的深度神经网络提取所述第一点云的空间特征及像素特征，并将所述第一点云对应的空间特征及像素特征进行特征融合，获得所述第一点云进行特征融合后的第二点云。
66.在本实施例中，该步骤主要包括：根据预设的深度神经网络分别对所述空间坐标信息数据及所述像素信息数据继续升维处理，获得所述空间坐标信息数据对应的初始高维空间特征及所述像素信息数据对应的初始高维像素特征，并对所述初始高维空间特征及所述初始高维像素特征进行特征融合处理，获得所述第一点云对应的初始高维特征；根据预设的平均函数对所述初始高维特征进行平均处理，获得所述第二点云对应的高位特征。
67.示例性的，在本实施例中，参照上述步骤中提供的输配电场景点云，从苏松户点云的原始特征空间中，通过深度神经网络将空间坐标信息和rgb像素信息进行特征融合，解决点云无序性问题，使得网络的输出结果不受点云顺序影响。在本实施例中，基于预设的深度神经网络mlp将点云中的六维原始数据(三维空间坐标信息和三维rgb像素信息)转化为高维特征(1024维)，即进行升维操作，经过mlp提取获得的高维特征可以更好的表述点云的语义信息，对所有高维特征进行mean平均函数计算使得所获特征不受点云顺序变化影响，优选的，在进行所述mean平均函数计算可选择的再一次利用所述mlp提取特征，最终使得网络的输出结果解决点云无序性问题。
68.本步骤为了解决点云的无序性问题，从点云的原始特征空间中，通过深度神经网络对空间坐标信息和rgb像素信息进行高维特征提取，以使更好的表述点云的语义信息，随后通过平均函数对所述高维特征进行计算使得所获特征不受点云顺序变化影响，进而为后续特征提取提供有序的点云，进而提高点云特征提取的效率及精准度，进而提高点云语义分割的效率及精准度。
69.步骤103：根据预设的体素转换方式将所述第二点云体素化，获得所述第二点云对应的若干个第一体素，并对所述若干个第一体素进行筛选及排序，获得若干个第二体素，进而根据所述若干个第二体素获得所述第二点云体素化后的第三点云。
70.在本实施例中，该步骤主要包括：获取所述第二点云中各场景对应的三维空间中第一坐标轴最大的第一点的坐标、第一坐标轴最小的第二点的坐标、第二坐标轴最大的第三点的坐标及第二坐标轴最小的第四点的坐标；根据所述第一点的坐标、第二点的坐标、第三点的坐标及第四点的坐标，通过预设的体素计算公式获得所述第二点云对应的体素大小；根据所述体素大小计算每一个体素的三维空间坐标中心，进而根据所述三维空间坐标
中心对所述第二点云进行体素化转换，获得所述第二点云对应的若干个第一体素；遍历所述若干个第一体素，获得所述若干个第一体素中每一个第一体素对应的像素颜色信息值，并分别将所述每一个第一体素对应的像素颜色信息值与预设的阈值进行比较；当所述像素颜色信息值等于所述阈值时，则删除所述像素颜色信息值对应的第一体素；当所述像素颜色信息值等于所述阈值时，则保留所述像素颜色信息值对应的第一体素，进而获得若干个所述第二初始体素，根据预设的空间坐标索引顺序对所述若干个第二初始体素进行排序，获得所述若干个第二体素。
71.示例性的，在本实施例中，参照上述进行数据融合及特征融合后的点云，获得所述点云数据中各场景xyz空间坐标x轴最大值对应的点(x1,y1,z1)、x轴最小对应的点(x2,y2,z2)，y轴最大值对应的点(x3,y3,z3)，y轴最小值对应的点(x4,y4,z4)，根据统计数值，计算体素大小，计算公式如下所示：
[0072][0073]
根据体素大小b，计算每个体素的xyz空间坐标中心，将所述点云数据进行体素化，接着遍历所有体素网格即遍历所述转换的所有体素，对体素网格中rgb颜色信息值为0的体素进行剔除，保留rgb颜色信息值不为0的体素，根据空间坐标索引顺序进行排序，将信息进行对齐，生成稠密的向量信息，使得体素处理后的点云数据既能够保留充分的信息，又可以进行后续的规范化处理。
[0074]
本步骤通过获得所述点云中点云的坐标轴最大值，进而确定所述点云的三维空间的范围，接着利用预设的体素公式计算所述三维空间中每一个体素的大小，再根据所述大小确定每一个体素的三维坐标，在确定所述三维坐标后，对所述第二点云进行体素化处理，生成所述第二点云对应的若干个第一体素，以使根据所述体素解决点云不规则性问题，进而提高特征提取的效率，即提高点云分割的效率，接着将点云数据进行体素化后，遍历所有体素，对体素中颜色信息值等于设定的阈值的体素进行剔除，保留颜色信息值不等于设定的阈值的体素，根据空间坐标索引顺序进行排序，以使将信息进行对齐且将稀疏的体素信息转换为稠密的向量信息，使得解决所述点云的不规则性问题。
[0075]
步骤104：根据预设的多层感知器对所述第三点云进行特征提取，获得所述第三点云对应的自身特征信息及邻域特征信息。
[0076]
在本实施例中，该步骤主要包括：根据预设的第一多层感知器对所述第三点云进行特征提取，获得所述第三点云对应的自身特征信息；根据预设的第二多层感知器对所述第三点云进行特征提取，获得所述第三点云对应的邻域特征信息；所述第二多层感知器的感知层数少于所述第一多层感知器的层数。
[0077]
示例性的，在本实施例中，设置不同层数的感知器以提取不同分辨率的特征，可选的，在本实施例中设置高分辨率特征由层数较少的mlp进行提取，因此获得每个输配电点云的自身特征信息，低分辨率特征由层数较多的mlp进行提取，获得每个输配电点云的邻域特征。
[0078]
本步骤利用不同层数的感知器实现不同分辨率的特征提取，利用层数较少的多层感知器提取所述点云的高分辨率特征，即或得所述点云的自身特征信息，利用层数较多的
多层感知器提取所述点云的低分辨率特征，即提取所述点云的邻域特征信息，以使丰富所述点云特征的信息量，进而提高所述点云特征的精准度，进而提高点云分割的精准度。
[0079]
步骤105：融合所述第三点云对应的自身特征信息及邻域特征信息，获得所述第三点云对应的特征信息，并根据所述特征信息对所述第三点云进行语义分割。
[0080]
在本实施例中，通过将获得所述不同分辨率的信息对应的特征进行充分融合，实现所述点云中空间坐标信息与rgb像素信息的深度融合，进而根据所述提取的特征实现对所述点云的语义分割。
[0081]
除上述方法外，本发明实施例还提供了一种基于数据特征融合的点云语义分割系统，该系统的具体组成请参照图2，包括数据融合模块201、特征融合模块202、体素转变模块203、特征提取模块204及语义分割模块205。
[0082]
所述数据融合模块201用于对获取的原始点云中的数据进行空间分离，获得所述原始点云对应的空间坐标信息数据及像素信息数据，并将所述原始点云的空间坐标信息数据及所述像素信息数据进行数据融合，获得所述原始点云进行数据融合后对应的第一点云。
[0083]
所述特征融合模块202用于通过预设的深度神经网络提取所述第一点云的空间特征及像素特征，并将所述第一点云对应的空间特征及像素特征进行特征融合，获得所述第一点云进行特征融合后的第二点云。
[0084]
所述体素转变模块203用于根据预设的体素转换方式将所述第二点云体素化，获得所述第二点云对应的若干个第一体素，并对所述若干个第一体素进行筛选及排序，获得若干个第二体素，进而根据所述若干个第二体素获得所述第二点云体素化后的第三点云。
[0085]
所述特征提取模块204用于根据预设的多层感知器对所述第三点云进行特征提取，获得所述第三点云对应的自身特征信息及邻域特征信息。
[0086]
所述语义分割模块205用于融合所述第三点云对应的自身特征信息及邻域特征信息，获得所述第三点云对应的特征信息，并根据所述特征信息对所述第三点云进行语义分割。
[0087]
在本实施例中，所述数据融合模块201包括空间分离单元及融合单元。
[0088]
所述空间分离单元用于通过预设的空间分离技术对所述原始点云的数据进行空间分离，获得初始空间坐标信息数据及像素信息数据。
[0089]
所述融合单元用于通过预设的旋转变换矩阵对所述初始空间坐标信息数据进行旋转变换，获得所述空间坐标信息数据，并利用预设的空间融合技术对所述空间坐标信息数据及所述像素信息数据进行数据融合。
[0090]
在本实施例中，所述特征融合模块202包括特征提取单元及处理单元。
[0091]
所述特征提取单元用于根据预设的深度神经网络分别对所述空间坐标信息数据及所述像素信息数据继续升维处理，获得所述空间坐标信息数据对应的初始高维空间特征及所述像素信息数据对应的初始高维像素特征，并对所述初始高维空间特征及所述初始高维像素特征进行特征融合处理，获得所述第一点云对应的初始高维特征。
[0092]
所述处理单元用于根据预设的平均函数对所述初始高维特征进行平均处理，获得所述第二点云对应的高位特征。
[0093]
在本实施例中，所述特征提取模块204包括第一特征单元及第二特征单元。
[0094]
所述第一特征单元用于根据预设的第一多层感知器对所述第三点云进行特征提取，获得所述第三点云对应的自身特征信息。
[0095]
所述第二特征单元用于根据预设的第二多层感知器对所述第三点云进行特征提取，获得所述第三点云对应的邻域特征信息；所述第二多层感知器的感知层数少于所述第一多层感知器的层数。
[0096]
本发明实施例公开的一种基于数据特征融合的点云语义分割方法及系统，首先对原始点云的间坐标信息数据及像素信息数据进行数据融合，实现所述点云的空间坐标信息能够与像素信息实现初步融合，接着在对所述点云进行初步数据融合后，根据预设的深度神经网络提取所述点云对应的空间坐标信息特征及像素信息特征，并对所述特征进行特征融合，实现所述点云的空间坐标信息与像素信息的进一步融合，解决点云的无序性，进而提高后期提取的点云特征的精准度，在所述点云进行特征融合后，通过预设的体素化转换方式将所述点云转换为如若干个体素，对所述若干个体素进行筛选及排序，以使解决所述点云不规则性的问题，进而提高点云特征提取的效率，在对所述点云进行数据融合、特征融合及体素化转变后，根据预设的多层感知器提取所述点云的自身特征信息及邻域特征信息，实现了不仅关注点云自身，还关注点云与其他点云的关系，接着将所述自身特征信息及邻域特征信息进行融合最终获得所述点云的特征信息，进一步提高了所述获得的特征信息的精准度，进而根据所述特征信息对所述点云进行语义分割，提高了所述语义分割的精准度，进一步的，在本实施例中由于使用了数据特征融合方法，解决了点云无序、稀疏、缺失、不规则等问题，能够更好地表征目标物体的几何特征和语义特征，从而提高点云语义分割的准确性，同时采用数据特征融合方法，能够减少特征提取中的误差和缺失，从而提高点云语义分割的鲁棒性，使得算法能够更好地适应各种复杂环境和场景，且所述采用的数据特征融合方法，能够将多个特征结合起来，减少了特征提取的时间和空间开销，从而降低了算法的计算复杂度。
[0097]
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于数据特征融合的点云语义分割方法，其特征在于，包括：对获取的原始点云中的数据进行空间分离，获得所述原始点云对应的空间坐标信息数据及像素信息数据，并将所述原始点云的空间坐标信息数据及所述像素信息数据进行数据融合，获得所述原始点云进行数据融合后对应的第一点云；通过预设的深度神经网络提取所述第一点云的空间特征及像素特征，并将所述第一点云对应的空间特征及像素特征进行特征融合，获得所述第一点云进行特征融合后的第二点云；根据预设的体素转换方式将所述第二点云体素化，获得所述第二点云对应的若干个第一体素，并对所述若干个第一体素进行筛选及排序，获得若干个第二体素，进而根据所述若干个第二体素获得所述第二点云体素化后的第三点云；根据预设的多层感知器对所述第三点云进行特征提取，获得所述第三点云对应的自身特征信息及邻域特征信息；融合所述第三点云对应的自身特征信息及邻域特征信息，获得所述第三点云对应的特征信息，并根据所述特征信息对所述第三点云进行语义分割。2.如权利要求1所述的一种基于数据特征融合的点云语义分割方法，其特征在于，所述对获取的原始点云中的数据进行空间分离，获得所述原始点云对应的空间坐标信息数据及像素信息数据，并将所述原始点云的空间坐标信息数据及所述像素信息数据进行数据融合，包括：通过预设的空间分离技术对所述原始点云的数据进行空间分离，获得初始空间坐标信息数据及像素信息数据；通过预设的旋转变换矩阵对所述初始空间坐标信息数据进行旋转变换，获得所述空间坐标信息数据，并利用预设的空间融合技术对所述空间坐标信息数据及所述像素信息数据进行数据融合。3.如权利要求1所述的一种基于数据特征融合的点云语义分割方法，其特征在于，所述通过预设的深度神经网络提取所述第一点云的空间特征及像素特征，并将所述第一点云对应的空间特征及像素特征进行特征融合，包括：根据预设的深度神经网络分别对所述空间坐标信息数据及所述像素信息数据继续升维处理，获得所述空间坐标信息数据对应的初始高维空间特征及所述像素信息数据对应的初始高维像素特征，并对所述初始高维空间特征及所述初始高维像素特征进行特征融合处理，获得所述第一点云对应的初始高维特征；根据预设的平均函数对所述初始高维特征进行平均处理，获得所述第二点云对应的高位特征。4.如权利要求1所述的一种基于数据特征融合的点云语义分割方法，其特征在于，所述根据预设的体素转换方式将所述第二点云体素化，获得所述第二点云对应的若干个第一体素，具体包括：获取所述第二点云中各场景对应的三维空间中第一坐标轴最大的第一点的坐标、第一坐标轴最小的第二点的坐标、第二坐标轴最大的第三点的坐标及第二坐标轴最小的第四点的坐标；根据所述第一点的坐标、第二点的坐标、第三点的坐标及第四点的坐标，通过预设的体
素计算公式获得所述第二点云对应的体素大小；根据所述体素大小计算每一个体素的三维空间坐标中心，进而根据所述三维空间坐标中心对所述第二点云进行体素化转换，获得所述第二点云对应的若干个第一体素。5.如权利要求1所述的一种基于数据特征融合的点云语义分割方法，其特征在于，所述对所述若干个第一体素进行筛选及排序，获得若干个第二体素，具体包括：遍历所述若干个第一体素，获得所述若干个第一体素中每一个第一体素对应的像素颜色信息值，并分别将所述每一个第一体素对应的像素颜色信息值与预设的阈值进行比较；当所述像素颜色信息值等于所述阈值时，则删除所述像素颜色信息值对应的第一体素；当所述像素颜色信息值等于所述阈值时，则保留所述像素颜色信息值对应的第一体素，进而获得若干个第二初始体素根据预设的空间坐标索引顺序对所述若干个第二初始体素进行排序，获得所述若干个第二体素。6.如权利要求1所述的一种基于数据特征融合的点云语义分割方法，其特征在于，所述根据预设的多层感知器对所述第三点云进行特征提取，获得所述第三点云对应的自身特征信息及邻域特征信息，包括：根据预设的第一多层感知器对所述第三点云进行特征提取，获得所述第三点云对应的自身特征信息；根据预设的第二多层感知器对所述第三点云进行特征提取，获得所述第三点云对应的邻域特征信息；所述第二多层感知器的感知层数少于所述第一多层感知器的层数。7.一种基于数据特征融合的点云语义分割系统，其特征在于，包括数据融合模块、特征融合模块、体素转变模块、特征提取模块及语义分割模块；所述数据融合模块用于对获取的原始点云中的数据进行空间分离，获得所述原始点云对应的空间坐标信息数据及像素信息数据，并将所述原始点云的空间坐标信息数据及所述像素信息数据进行数据融合，获得所述原始点云进行数据融合后对应的第一点云；所述特征融合模块用于通过预设的深度神经网络提取所述第一点云的空间特征及像素特征，并将所述第一点云对应的空间特征及像素特征进行特征融合，获得所述第一点云进行特征融合后的第二点云；所述体素转变模块用于根据预设的体素转换方式将所述第二点云体素化，获得所述第二点云对应的若干个第一体素，并对所述若干个第一体素进行筛选及排序，获得若干个第二体素，进而根据所述若干个第二体素获得所述第二点云体素化后的第三点云；所述特征提取模块用于根据预设的多层感知器对所述第三点云进行特征提取，获得所述第三点云对应的自身特征信息及邻域特征信息；所述语义分割模块用于融合所述第三点云对应的自身特征信息及邻域特征信息，获得所述第三点云对应的特征信息，并根据所述特征信息对所述第三点云进行语义分割。8.如权利要求7所述的一种基于数据特征融合的点云语义分割系统，其特征在于，所述数据融合模块包括空间分离单元及融合单元；所述空间分离单元用于通过预设的空间分离技术对所述原始点云的数据进行空间分离，获得初始空间坐标信息数据及像素信息数据；
所述融合单元用于通过预设的旋转变换矩阵对所述初始空间坐标信息数据进行旋转变换，获得所述空间坐标信息数据，并利用预设的空间融合技术对所述空间坐标信息数据及所述像素信息数据进行数据融合。9.如权利要求7所述的一种基于数据特征融合的点云语义分割系统，其特征在于，所述特征融合模块包括特征提取单元及处理单元；所述特征提取单元用于根据预设的深度神经网络分别对所述空间坐标信息数据及所述像素信息数据继续升维处理，获得所述空间坐标信息数据对应的初始高维空间特征及所述像素信息数据对应的初始高维像素特征，并对所述初始高维空间特征及所述初始高维像素特征进行特征融合处理，获得所述第一点云对应的初始高维特征；所述处理单元用于根据预设的平均函数对所述初始高维特征进行平均处理，获得所述第二点云对应的高位特征。10.如权利要求7所述的一种基于数据特征融合的点云语义分割系统，其特征在于，所述特征提取模块包括第一特征单元及第二特征单元；所述第一特征单元用于根据预设的第一多层感知器对所述第三点云进行特征提取，获得所述第三点云对应的自身特征信息；所述第二特征单元用于根据预设的第二多层感知器对所述第三点云进行特征提取，获得所述第三点云对应的邻域特征信息；所述第二多层感知器的感知层数少于所述第一多层感知器的层数。

技术总结
本发明公开了一种基于数据特征融合的点云语义分割方法及系统，包括，对获取的原始点云中的空间坐标信息数据及所述像素信息数据进行数据融合，并对数据融合后的点云进行空间特征及像素特征的融合，根据预设的体素转换方式将特征融合后的点云体素化处理，以使更新所述点云，接着根据预设的多层感知器获得所述点云对应的自身特征信息及邻域特征信息，并融合自身特征信息及邻域特征信息，获得所述点云对应的特征信息，根据所述特征信息对所述点云进行语义分割，提高语义分割的效率及准确度。提高语义分割的效率及准确度。提高语义分割的效率及准确度。


技术研发人员：罗劲斌 李端姣 章坚 李雄刚 陈浩 廖如超 刘高 张峰 郭启迪 廖建东 李国强 郭锦超 罗李毅
受保护的技术使用者：广东电网有限责任公司
技术研发日：2023.06.14
技术公布日：2023/9/9