一种基于人工智能的三维重建方法与流程

1.本技术涉及人工智能技术领域，具体而言，涉及一种基于人工智能的三维重建方法。


背景技术：

2.随着数字化技术的发展，三维模型的构建方案也越来越智能化，逐渐摆脱手动构建三维模型的方式。特别是人工智能技术在三维模型生成中的应用，大大提升了三维模型的构建效率。
3.目前构建三维模型的方案多种多样，例如利用多图像的三维模型重建，甚至有基于单图像的三维模型重建，也有利用aigc（artificial intelligence generated content，即人工智能生成内容）的三维模型生成方案。但现有的三维模型生成方案，生成的三维模型，通常难以达到较好的效果。传统的解决思路是通过极大规模的数据样本训练大模型，以提升三维模型的构建效果，但这样的解决方案门槛过高，且投入巨大，不利于推广应用。


技术实现要素：

4.本技术实施例的目的在于提供一种基于人工智能的三维重建方法，以较低的成本，有效提升三维模型的构建效果。
5.为了实现上述目的，本技术的实施例通过如下方式实现：第一方面，本技术实施例提供一种基于人工智能的三维重建方法，包括：获取待建模目标的rgbd图像，其中，rgbd图像包括rgb彩色图像和深度图像；对所述rgbd图像进行预处理，得到输入图像；将所述输入图像输入至预设模型中，以使所述预设模型基于所述rgbd图像确定出纹理特征、色彩边缘特征、深度边缘特征和点云信息，并基于纹理特征、色彩边缘特征、深度边缘特征和点云信息，生成三维模型并输出。
6.结合第一方面，在第一方面的第一种可能的实现方式中，对所述rgbd图像进行预处理，得到输入图像，包括：对所述rgbd图像中的rgb彩色图像和深度图像进行对齐校准；将对齐校准后的rgbd图像进行背景剔除，得到输入图像。
7.结合第一方面，在第一方面的第二种可能的实现方式中，预设模型包括输入单元、纹理特征提取单元、色彩边缘特征提取单元、深度边缘特征提取单元、点云信息转换单元、纹理特征优化单元、三维模型生成单元、三维模型优化单元、输出单元，所述输入单元，用于将所述输入图像中的rgb彩色图像分别输入至纹理特征提取单元、色彩边缘特征提取单元，将所述输入图像中的深度图像分别输入至深度边缘特征提取单元和点云信息转换单元；所述纹理特征提取单元，用于提取所述输入图像中rgb彩色图像的纹理特征，并输入至纹理特征优化单元；所述色彩边缘特征提取单元，用于提取所述输入图像中rgb彩色图像的色彩边缘特征，并输入至纹理特征优化单元；所述深度边缘特征提取单元，用于提取所述输入图像中深度图像的深度边缘特征，并输入至纹理特征优化单元；所述纹理特征优化单元，用于基
于色彩边缘特征和深度边缘特征对纹理特征进行优化，并将优化后的纹理特征输入至三维模型优化单元；所述点云信息转换单元，用于将所述输入图像中深度图像的像素转换为相应的三维坐标，生成点云信息并输入至三维模型生成单元；所述三维模型生成单元，用于基于点云信息进行三维重建，得到初步模型并输入至三维模型优化单元；所述三维模型优化单元，用于基于优化后的纹理特征对初步模型进行优化，得到三维模型；所述输出单元，用于输出所述三维模型。
8.结合第一方面的第二种可能的实现方式，在第一方面的第三种可能的实现方式中，所述纹理特征提取单元包括r通道、g通道和b通道，用于基于所述输入图像中的rgb彩色图像确定出r通道色彩图像、g通道色彩图像、b通道色彩图像，并分别输入r通道、g通道和b通道，r通道，用于通过3
×
3的滑动窗口确定出窗口图像，针对每个窗口图像：基于本窗口图像中的邻域像素的r通道色彩值与本窗口图像中的中心像素的r通道色彩值，分别为本窗口图像中的每个邻域像素赋值0或1，得到本窗口图像对应的8位二进制数串，并将8位二进制数串转换为十进制数，作为本窗口图像对应的特征值，由此得到r通道色彩纹理图像作为r通道色彩纹理特征；g通道，用于通过3
×
3的滑动窗口确定出窗口图像，针对每个窗口图像：基于本窗口图像中的邻域像素的g通道色彩值与本窗口图像中的中心像素的g通道色彩值，分别为本窗口图像中的每个邻域像素赋值0或1，得到本窗口图像对应的8位二进制数串，并将8位二进制数串转换为十进制数，作为本窗口图像对应的特征值，由此得到g通道色彩纹理图像作为g通道色彩纹理特征；b通道，用于通过3
×
3的滑动窗口确定出窗口图像，针对每个窗口图像：基于本窗口图像中的邻域像素的b通道色彩值与本窗口图像中的中心像素的b通道色彩值，分别为本窗口图像中的每个邻域像素赋值0或1，得到本窗口图像对应的8位二进制数串，并将8位二进制数串转换为十进制数，作为本窗口图像对应的特征值，由此得到b通道色彩纹理图像作为b通道色彩纹理特征。
9.结合第一方面的第二种可能的实现方式，在第一方面的第四种可能的实现方式中，所述色彩边缘特征提取单元包括r通道、g通道和b通道，用于基于所述输入图像中的rgb彩色图像确定出r通道色彩图像、g通道色彩图像、b通道色彩图像，并分别输入r通道、g通道和b通道，r通道，用于使用3
×
3的sobel算子在r通道色彩图像上进行卷积操作，分别计算每个像素点在水平和垂直方向上的r通道色彩梯度值，基于水平和垂直方向上的r通道色彩梯度值计算r通道色彩总梯度值，将低于r通道色彩阈值的像素点设为0，高于r通道色彩阈值的像素点设为255，得到r通道色彩边缘图像作为r通道色彩边缘特征；g通道，用于使用3
×
3的sobel算子在g通道色彩图像上进行卷积操作，分别计算每个像素点在水平和垂直方向上的g通道色彩梯度值，基于水平和垂直方向上的g通道色彩梯度值计算g通道色彩总梯度值，将低于g通道色彩阈值的像素点设为0，高于g通道色彩阈值的像素点设为255，得到g通道色彩边缘图像作为g通道色彩边缘特征；b通道，用于使用3
×
3的sobel算子在b通道色彩图像上进行卷积操作，分别计算每个像素点在水平和垂直方向上的b通道色彩梯度值，基于水平和垂直方向上的b通道色彩梯度值计算b通道色彩总梯度值，将低于b通道色彩阈值的像素点设为0，高于b通道色彩阈值的像素点设为255，得到b通道色彩边缘图像作为b通道色彩边缘特征。
10.结合第一方面的第二种可能的实现方式，在第一方面的第五种可能的实现方式中，所述深度边缘特征提取单元，具体用于：使用3
×
3的sobel算子在深度图像上进行卷积
操作，分别计算每个像素点在水平和垂直方向上的深度梯度值，基于水平和垂直方向上的深度梯度值计算深度总梯度值，将低于深度阈值的像素点设为0，高于深度阈值的像素点设为255，得到深度边缘图像作为深度边缘特征。
11.结合第一方面的第二种可能的实现方式，在第一方面的第六种可能的实现方式中，所述纹理特征优化单元，具体用于：基于深度边缘图像，分别对r通道色彩边缘图像、g通道色彩边缘图像、b通道色彩边缘图像中的边缘进行分类划分，得到对边缘分类后的r通道色彩边缘图像、g通道色彩边缘图像、b通道色彩边缘图像，其中，分别将r通道色彩边缘图像、g通道色彩边缘图像、b通道色彩边缘图像中与深度边缘图像中的边缘对应的边缘划分为i类边缘，将r通道色彩边缘图像、g通道色彩边缘图像、b通道色彩边缘图像中其余边缘划分为ii类边缘；基于r通道色彩纹理图像和边缘分类后的r通道色彩边缘图像，对r通道色彩纹理图像中的纹理进行差异化处理，得到优化后的r通道色彩纹理图像；基于g通道色彩纹理图像和边缘分类后的g通道色彩边缘图像，对g通道色彩纹理图像中的纹理进行差异化处理，得到优化后的g通道色彩纹理图像；基于b通道色彩纹理图像和边缘分类后的b通道色彩边缘图像，对b通道色彩纹理图像中的纹理进行差异化处理，得到优化后的b通道色彩纹理图像。
12.结合第一方面的第六种可能的实现方式，在第一方面的第七种可能的实现方式中，所述纹理特征优化单元，具体用于：从r通道色彩纹理图像中确定出与边缘分类后的r通道色彩边缘图像中i类边缘对应的i类纹理，并将i类纹理赋值为设定值；从r通道色彩纹理图像中确定出与边缘分类后的r通道色彩边缘图像中ii类边缘对应的ii类纹理，并对ii类纹理进行强化处理。
13.结合第一方面的第六种可能的实现方式，在第一方面的第八种可能的实现方式中，所述纹理特征优化单元，具体用于：从g通道色彩纹理图像中确定出与边缘分类后的g通道色彩边缘图像中i类边缘对应的i类纹理，并将i类纹理赋值为设定值；从g通道色彩纹理图像中确定出与边缘分类后的g通道色彩边缘图像中ii类边缘对应的ii类纹理，并对ii类纹理进行强化处理。
14.结合第一方面的第六种可能的实现方式，在第一方面的第九种可能的实现方式中，所述纹理特征优化单元，具体用于：从b通道色彩纹理图像中确定出与边缘分类后的b通道色彩边缘图像中i类边缘对应的i类纹理，并将i类纹理赋值为设定值；从b通道色彩纹理图像中确定出与边缘分类后的b通道色彩边缘图像中ii类边缘对应的ii类纹理，并对ii类纹理进行强化处理。
有益效果：
15.1.通过对待建模目标的rgbd图像（包括rgb彩色图像和深度图像）进行预处理（例如对齐校准、背景剔除等），得到输入图像；将输入图像输入至预设模型中，以使预设模型基于rgbd图像确定出纹理特征、色彩边缘特征、深度边缘特征和点云信息，并利用色彩边缘特征、深度边缘特征对纹理特征进行优化，利用点云信息生成初步模型，利用优化后的纹理特征对初步模型进一步优化，从而得到三维模型并输出。无需极大规模的数据样本训练，降低了应用门槛，通过低成本的方式即可有效提升三维模型的重建效果。
16.2.利用预设模型的输入单元将输入图像中的rgb彩色图像分别输入至纹理特征提
取单元、色彩边缘特征提取单元，将输入图像中的深度图像分别输入至深度边缘特征提取单元和点云信息转换单元；利用预设模型的纹理特征提取单元提取输入图像中rgb彩色图像的纹理特征，并输入至纹理特征优化单元（采用3
×
3的滑动窗口确定出窗口图像以计算rgb彩色图像中r通道、g通道和b通道的特征值，从而形成r通道色彩纹理特征、g通道色彩纹理特征、b通道色彩纹理特征）；而利用色彩边缘特征提取单元提取输入图像中rgb彩色图像的色彩边缘特征（采用3
×
3的sobel算子在r通道色彩图像、g通道色彩图像、b通道色彩图像上进行卷积操作以确定r通道色彩边缘特征、g通道色彩边缘特征、b通道色彩边缘特征），保持了r通道色彩边缘特征、g通道色彩边缘特征、b通道色彩边缘特征与r通道色彩纹理特征、g通道色彩纹理特征、b通道色彩纹理特征之间的尺寸一致性，无需额外进行配准操作；利用深度边缘特征提取单元提取输入图像中深度图像的深度边缘特征（采用3
×
3的sobel算子在深度图像上进行卷积操作以确定深度边缘特征），同样保持了尺寸的一致性；而纹理特征优化单元则基于色彩边缘特征和深度边缘特征对纹理特征进行优化，点云信息转换单元将输入图像中深度图像的像素转换为相应的三维坐标，生成点云信息，三维模型生成单元基于点云信息进行三维重建，得到初步模型；三维模型优化单元则基于优化后的纹理特征对初步模型进行优化，得到三维模型；输出单元可以输出三维模型。这样的方式，不仅能够通过各种边缘特征优化纹理特征，且保持了各特征的尺寸一致性，无需额外配准，大大提升优化效果和优化效率。
17.3.纹理特征优化单元利用基于深度边缘图像，分别对r通道色彩边缘图像、g通道色彩边缘图像、b通道色彩边缘图像中的边缘进行分类划分，将r通道色彩边缘图像、g通道色彩边缘图像、b通道色彩边缘图像中与深度边缘图像中的边缘对应的边缘划分为i类边缘，将r通道色彩边缘图像、g通道色彩边缘图像、b通道色彩边缘图像中其余边缘划分为ii类边缘。再利用差异化的优化方案：从r通道色彩纹理图像（或g通道色彩纹理图像，或b通道色彩纹理图像）中确定出与边缘分类后的r通道色彩边缘图像（或g通道色彩边缘图像，或b通道色彩边缘图像）中i类边缘对应的i类纹理，并将i类纹理赋值为设定值；从r通道色彩纹理图像（或g通道色彩纹理图像，或b通道色彩纹理图像）中确定出与边缘分类后的r通道色彩边缘图像（或g通道色彩边缘图像，或b通道色彩边缘图像）中ii类边缘对应的ii类纹理，并对ii类纹理进行强化处理。r通道色彩纹理图像、g通道色彩纹理图像、b通道色彩纹理图像的差异化优化方案，对于i类边缘（可以理解为深度边缘）、ii类边缘（可以理解为色彩边缘）与色彩纹理的对应关系，可实行差异化的优化（不同类型边缘导致的对色彩纹理的产生影响不同），从而提升对纹理特征的优化效果，用以优化初步模型，能进一步提升三维模型的重建效果。
18.为使本技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
19.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
20.图1为本技术实施例提供的一种基于人工智能的三维重建方法的流程图。
21.图2为预设模型的示意图。
22.图标：10-预设模型；11-输入单元；12-纹理特征提取单元；13-色彩边缘特征提取单元；14-深度边缘特征提取单元；15-点云信息转换单元；16-纹理特征优化单元；17-三维模型生成单元；18-三维模型优化单元；19-输出单元。
具体实施方式
23.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行描述。
24.请参阅图1，图1为本技术实施例提供的一种基于人工智能的三维重建方法，应用于服务器，可以包括步骤s10、步骤s20、步骤s30。
25.在本实施例中，可以使用rgbd深度相机拍摄待建模目标的rgbd图像（包括rgb彩色图像和深度图像），并将rgbd图像发送给服务器。
26.为了实现三维模型的构建，服务器可以运行步骤s10。
27.步骤s10：获取待建模目标的rgbd图像，其中，rgbd图像包括rgb彩色图像和深度图像。
28.在本实施例中，服务器可以获取待建模目标的rgbd图像。
29.获取rgbd图像后，服务器可以运行步骤s20。
30.步骤s20：对所述rgbd图像进行预处理，得到输入图像。
31.在本实施例中，rgbd图像的rgb彩色图像和深度图像可能存在对齐不准的情况，因此可以进行对齐校准。服务器可以使用相机标定技术，确定rgbd深度相机的内部参数和外部参数，然后进行坐标变换以对齐rgb彩色图像和深度图像，具体过程可以参阅现有的相机标定技术，此处不再赘述。
32.而后，服务器可以将对齐校准后的rgbd图像进行背景剔除，得到输入图像。例如，服务器可以结合rgb彩色图像和深度图像，对背景区域进行识别，确定出背景区域后，然后将rgb彩色图像中的背景区域赋值为像素0（r值、g值、b值均为0）或者其他设定像素值，然后将深度图像中对应像素的深度信息赋值为0。由此，可以得到输入图像。当然，在其他可能的情况下，还可以对rgb彩色图像和深度图像进行去噪、旋转、裁剪等处理，此处不作限定，以实际需要为准。
33.得到输入图像后，服务器可以运行步骤s30。
34.步骤s30：将所述输入图像输入至预设模型中，以使所述预设模型基于所述rgbd图像确定出纹理特征、色彩边缘特征、深度边缘特征和点云信息，并基于纹理特征、色彩边缘特征、深度边缘特征和点云信息，生成三维模型并输出。
35.为了便于对本方案的理解，此处先对预设模型10进行介绍。
36.请参阅图2，图2为预设模型10的示意图。
37.在本实施例中，预设模型10包括输入单元11、纹理特征提取单元12、色彩边缘特征提取单元13、深度边缘特征提取单元14、点云信息转换单元15、纹理特征优化单元16、三维模型生成单元17、三维模型优化单元18、输出单元19。输入单元11分别与纹理特征提取单元12、色彩边缘特征提取单元13、深度边缘特征提取单元14、点云信息转换单元15连接，纹理特征提取单元12、色彩边缘特征提取单元13、深度边缘特征提取单元14分别与纹理特征优
化单元16连接，点云信息转换单元15与三维模型生成单元17连接，三维模型生成单元17和纹理特征优化单元16分别与三维模型优化单元18连接，三维模型优化单元18与输出单元19连接。
38.在将输入图像输入至预设模型10后，输入单元11可以将输入图像中的rgb彩色图像分别输入至纹理特征提取单元12、色彩边缘特征提取单元13，将输入图像中的深度图像分别输入至深度边缘特征提取单元14和点云信息转换单元15。
39.而纹理特征提取单元12可以提取输入图像中rgb彩色图像的纹理特征，并输入至纹理特征优化单元16。
40.示例性的，纹理特征提取单元12包括拆分层，r通道、g通道和b通道，拆分层可以将输入图像中的rgb彩色图像拆分出r通道色彩图像、g通道色彩图像、b通道色彩图像，并将r通道色彩图像、g通道色彩图像、b通道色彩图像分别输入r通道、g通道和b通道。
41.纹理特征提取单元12的r通道，可以通过3
×
3的滑动窗口确定出窗口图像。例如，以2048
×
2048的尺寸为例，可以确定出2046
×
2046个窗口图像，每个窗口图像为3
×
3。
42.针对每个窗口图像：r通道可以基于本窗口图像中的邻域像素的r通道色彩值与本窗口图像中的中心像素的r通道色彩值，分别为本窗口图像中的每个邻域像素赋值0或1，得到本窗口图像对应的8位二进制数串，并将8位二进制数串转换为十进制数，作为本窗口图像对应的特征值，由此得到r通道色彩纹理图像作为r通道色彩纹理特征。
43.例如，本窗口图像中的中心像素的r通道色彩值为156，本窗口图像中的8个邻域像素的r通道色彩值分别为111、136、162、177、142、135、108、93（以左上角为起始沿顺时针的顺序排序），低于中心像素的r通道色彩值的邻域像素赋值为0，不低于中心像素的r通道色彩值的邻域像素赋值为1，则本窗口图像对应的8位二进制数串为00110000，转换为二进制为48。针对每个窗口图像据此计算，由此可以得到2046
×
2046的r通道色彩纹理图像。
44.同理，纹理特征提取单元12的g通道，可以通过3
×
3的滑动窗口确定出窗口图像。例如，以2048
×
2048的尺寸为例，可以确定出2046
×
2046个窗口图像，每个窗口图像为3
×
3。
45.针对每个窗口图像：g通道可以基于本窗口图像中的邻域像素的g通道色彩值与本窗口图像中的中心像素的g通道色彩值，分别为本窗口图像中的每个邻域像素赋值0或1，得到本窗口图像对应的8位二进制数串，并将8位二进制数串转换为十进制数，作为本窗口图像对应的特征值，由此得到g通道色彩纹理图像作为g通道色彩纹理特征。
46.例如，本窗口图像中的中心像素的g通道色彩值为74，本窗口图像中的8个邻域像素的g通道色彩值分别为101、132、112、87、62、56、54、63（以左上角为起始沿顺时针的顺序排序），低于中心像素的g通道色彩值的邻域像素赋值为0，不低于中心像素的g通道色彩值的邻域像素赋值为1，则本窗口图像对应的8位二进制数串为11110000，转换为二进制为240。针对每个窗口图像据此计算，由此可以得到2046
×
2046的g通道色彩纹理图像。
47.纹理特征提取单元12的b通道，可以通过3
×
3的滑动窗口确定出窗口图像。例如，以2048
×
2048的尺寸为例，可以确定出2046
×
2046个窗口图像，每个窗口图像为3
×
3。
48.针对每个窗口图像：
b通道可以基于本窗口图像中的邻域像素的b通道色彩值与本窗口图像中的中心像素的b通道色彩值，分别为本窗口图像中的每个邻域像素赋值0或1，得到本窗口图像对应的8位二进制数串，并将8位二进制数串转换为十进制数，作为本窗口图像对应的特征值，由此得到b通道色彩纹理图像作为b通道色彩纹理特征。
49.例如，本窗口图像中的中心像素的b通道色彩值为184，本窗口图像中的8个邻域像素的b通道色彩值分别为105、152、172、187、162、126、154、163（以左上角为起始沿顺时针的顺序排序），低于中心像素的b通道色彩值的邻域像素赋值为0，不低于中心像素的b通道色彩值的邻域像素赋值为1，则本窗口图像对应的8位二进制数串为00010000，转换为二进制为16。针对每个窗口图像据此计算，由此可以得到2046
×
2046的b通道色彩纹理图像。
50.得到r通道色彩纹理图像、g通道色彩纹理图像、b通道色彩纹理图像后，纹理特征提取单元12可以将r通道色彩纹理图像、g通道色彩纹理图像、b通道色彩纹理图像输入至纹理特征优化单元16。
51.而色彩边缘特征提取单元13，可以提取输入图像中rgb彩色图像的色彩边缘特征，并输入至纹理特征优化单元16。
52.示例性的，色彩边缘特征提取单元13包括拆分层，r通道、g通道和b通道，拆分层可以将输入图像中的rgb彩色图像拆分出r通道色彩图像、g通道色彩图像、b通道色彩图像，并将r通道色彩图像、g通道色彩图像、b通道色彩图像分别输入r通道、g通道和b通道。此处同样以2048
×
2048的尺寸为例。
53.r通道可以使用3
×
3的sobel算子在r通道色彩图像上进行卷积操作，分别计算每个像素点在水平和垂直方向上的r通道色彩梯度值，3
×
3的sobel算子在水平和垂直方向的模板分别为式（1）和式（2）：由此可以利用sobel算子计算每个像素点（除了位于r通道色彩图像边界上的像素点）在水平和垂直方向上的r通道色彩梯度值，然后基于水平和垂直方向上的r通道色彩梯度值计算出每个像素点的r通道色彩总梯度值（例如将水平和垂直方向上的r通道色彩梯度值进行平方求和，然后取平方根）。之后，服务器可以将低于r通道色彩阈值（可以为设定值，也可以是通过计算每个像素点的r通道色彩总梯度值的均值得到，或者是其他方式计算得到r通道色彩阈值）的像素点设为0，高于（含相等）r通道色彩阈值的像素点设为255，由此可以得到r通道色彩边缘图像（尺寸同样为2046
×
2046）作为r通道色彩边缘特征。
54.同理，g通道可以使用3
×
3的sobel算子在g通道色彩图像上进行卷积操作，分别计算每个像素点（除了位于g通道色彩图像边界上的像素点）在水平和垂直方向上的g通道色彩梯度值，然后基于水平和垂直方向上的g通道色彩梯度值计算出每个像素点的g通道色彩总梯度值（例如将水平和垂直方向上的g通道色彩梯度值进行平方求和，然后取平方根）。之后，服务器可以将低于g通道色彩阈值（可以为设定值，也可以是通过计算每个像素点的g通道色彩总梯度值的均值得到，或者是其他方式计算得到g通道色彩阈值）的像素点设为0，高
于（含相等）g通道色彩阈值的像素点设为255，由此可以得到g通道色彩边缘图像（尺寸同样为2046
×
2046）作为g通道色彩边缘特征。
55.b通道可以使用3
×
3的sobel算子在b通道色彩图像上进行卷积操作，分别计算计算每个像素点（除了位于b通道色彩图像边界上的像素点）在水平和垂直方向上的b通道色彩梯度值，然后基于水平和垂直方向上的b通道色彩梯度值计算出每个像素点的b通道色彩总梯度值（例如将水平和垂直方向上的b通道色彩梯度值进行平方求和，然后取平方根）。之后，服务器可以将低于b通道色彩阈值（可以为设定值，也可以是通过计算每个像素点的b通道色彩总梯度值的均值得到，或者是其他方式计算得到b通道色彩阈值）的像素点设为0，高于（含相等）b通道色彩阈值的像素点设为255，由此可以得到b通道色彩边缘图像（尺寸同样为2046
×
2046）作为b通道色彩边缘特征。
56.而深度边缘特征提取单元14，可以提取输入图像中深度图像的深度边缘特征，并输入至纹理特征优化单元16。此处同样以2048
×
2048的尺寸为例。
57.示例性的，深度边缘特征提取单元14可以使用3
×
3的sobel算子在深度图像上进行卷积操作，分别计算每个像素点（除了位于深度图像边界上的像素点）在水平和垂直方向上的深度梯度值，然后基于水平和垂直方向上的深度梯度值计算出每个像素点的深度总梯度值（例如将水平和垂直方向上的深度梯度值进行平方求和，然后取平方根）。之后，服务器可以将低于深度阈值（可以为设定值，也可以是通过计算每个像素点的深度总梯度值的均值得到，或者是其他方式计算得到深度阈值）的像素点设为0，高于（含相等）深度阈值的像素点设为255，由此可以得到深度边缘图像（尺寸同样为2046
×
2046）作为深度边缘特征。
58.基于此，得到的r通道色彩纹理图像、g通道色彩纹理图像、b通道色彩纹理图像、r通道色彩边缘图像、g通道色彩边缘图像、b通道色彩边缘图像、深度边缘图像，具有同样的尺寸，且每个像素点具有严格的对应关系，无需进行额外的配准操作。
59.而纹理特征优化单元16可以基于色彩边缘特征（r通道色彩边缘图像、g通道色彩边缘图像、b通道色彩边缘图像）和深度边缘特征（深度边缘图像）对纹理特征（r通道色彩纹理图像、g通道色彩纹理图像、b通道色彩纹理图像）进行优化，并将优化后的纹理特征输入至三维模型优化单元18。
60.示例性的，纹理特征优化单元16可以基于深度边缘图像，分别对r通道色彩边缘图像、g通道色彩边缘图像、b通道色彩边缘图像中的边缘进行分类划分，得到对边缘分类后的r通道色彩边缘图像、g通道色彩边缘图像、b通道色彩边缘图像。例如，分别将r通道色彩边缘图像、g通道色彩边缘图像、b通道色彩边缘图像中与深度边缘图像中的边缘对应的边缘划分为i类边缘，将r通道色彩边缘图像、g通道色彩边缘图像、b通道色彩边缘图像中其余边缘划分为ii类边缘。
61.而后，纹理特征优化单元16可以基于r通道色彩纹理图像和边缘分类后的r通道色彩边缘图像，对r通道色彩纹理图像中的纹理进行差异化处理，得到优化后的r通道色彩纹理图像。
62.例如，纹理特征优化单元16可以从r通道色彩纹理图像中确定出与边缘分类后的r通道色彩边缘图像中i类边缘对应的i类纹理，并将i类纹理赋值为设定值（例如赋值为255）。从r通道色彩纹理图像中确定出与边缘分类后的r通道色彩边缘图像中ii类边缘对应的ii类纹理，并对ii类纹理进行强化处理。此处的强化处理，可以采用以下方式进行：
针对r通道色彩纹理图像中ii类纹理的每个像素点，纹理特征优化单元16可以采用以下公式计算像素点的特征值：，
ꢀꢀ
（3）其中，为r通道色彩纹理图像中ii类纹理中当前像素点强化后的特征值，为r通道色彩纹理图像中ii类纹理中当前像素点原来的特征值。同理，纹理特征优化单元16可以基于g通道色彩纹理图像和边缘分类后的g通道色彩边缘图像，对g通道色彩纹理图像中的纹理进行差异化处理，得到优化后的g通道色彩纹理图像。
63.例如，纹理特征优化单元16可以从g通道色彩纹理图像中确定出与边缘分类后的g通道色彩边缘图像中i类边缘对应的i类纹理，并将i类纹理赋值为设定值（例如赋值为255）。从g通道色彩纹理图像中确定出与边缘分类后的g通道色彩边缘图像中ii类边缘对应的ii类纹理，并对ii类纹理进行强化处理。
64.此处的强化处理，可以采用以下方式进行：针对g通道色彩纹理图像中ii类纹理的每个像素点，纹理特征优化单元16可以采用以下公式计算像素点的特征值：，
ꢀꢀ
（4）其中，为g通道色彩纹理图像中ii类纹理中当前像素点强化后的特征值，为g通道色彩纹理图像中ii类纹理中当前像素点原来的特征值。
65.以及，纹理特征优化单元16可以基于b通道色彩纹理图像和边缘分类后的b通道色彩边缘图像，对b通道色彩纹理图像中的纹理进行差异化处理，得到优化后的b通道色彩纹理图像。
66.例如，纹理特征优化单元16可以从b通道色彩纹理图像中确定出与边缘分类后的b通道色彩边缘图像中i类边缘对应的i类纹理，并将i类纹理赋值为设定值（例如赋值为255）。从b通道色彩纹理图像中确定出与边缘分类后的b通道色彩边缘图像中ii类边缘对应的ii类纹理，并对ii类纹理进行强化处理。
67.此处的强化处理，可以采用以下方式进行：针对b通道色彩纹理图像中ii类纹理的每个像素点，纹理特征优化单元16可以采用以下公式计算像素点的特征值：，
ꢀꢀ
（5）
其中，为b通道色彩纹理图像中ii类纹理中当前像素点强化后的特征值，为b通道色彩纹理图像中ii类纹理中当前像素点原来的特征值。
68.由此可以实现对r通道色彩纹理图像、g通道色彩纹理图像、b通道色彩纹理图像中不同类型纹理的差异化优化。进一步的，可以将优化后的r通道色彩纹理图像、g通道色彩纹理图像、b通道色彩纹理图像，向图像边界外扩展1个像素点（扩展的像素点的值为255），使得r通道色彩纹理图像、g通道色彩纹理图像、b通道色彩纹理图像还原为原本的尺寸（例如，从2046
×
2046还原为2048
×
2048）。
69.而点云信息转换单元15可以将输入图像中深度图像的像素转换为相应的三维坐标，生成点云信息并输入至三维模型生成单元17。
70.示例性的，点云信息转换单元15可以采用体素填充、表面重建等方案实现基于点云信息的三维模型重建。例如，将点云信息映射到一个三维立方体网格中，并根据点云的分布情况进行体素的填充与空洞修补，得到初步模型；或者，根据点云信息拟合曲面，生成平滑的初步模型。本实施例以体素填充为例，不应视为对本技术的限定。
71.而三维模型优化单元18则可以基于优化后的纹理特征对初步模型进行优化，得到三维模型。
72.示例性的，三维模型优化单元18可以基于优化后的纹理特征（优化并扩展后的r通道色彩纹理图像、g通道色彩纹理图像、b通道色彩纹理图像），对初步模型进行纹理映射，由于尺寸一致，且保持了配准的特性，因此纹理映射的方式也比较简单高效，且纹理映射的效果极佳。优化后得到的三维模型，在三维模型的各种边缘处为黑色线条，而色彩边缘则对比明显，普通的纹理则维持原样，因此能够保证很好的三维模型构建效果。
73.得到三维模型后，输出单元19可以输出三维模型。
74.综上所述，本技术实施例提供一种基于人工智能的三维重建方法：通过对待建模目标的rgbd图像（包括rgb彩色图像和深度图像）进行预处理（例如对齐校准、背景剔除等），得到输入图像；将输入图像输入至预设模型10中，以使预设模型10基于rgbd图像确定出纹理特征、色彩边缘特征、深度边缘特征和点云信息，并利用色彩边缘特征、深度边缘特征对纹理特征进行优化，利用点云信息生成初步模型，利用优化后的纹理特征对初步模型进一步优化，从而得到三维模型并输出。无需极大规模的数据样本训练，降低了应用门槛，通过低成本的方式即可有效提升三维模型的重建效果。
75.利用预设模型10的输入单元11将输入图像中的rgb彩色图像分别输入至纹理特征提取单元12、色彩边缘特征提取单元13，将输入图像中的深度图像分别输入至深度边缘特征提取单元14和点云信息转换单元15；利用预设模型10的纹理特征提取单元12提取输入图像中rgb彩色图像的纹理特征，并输入至纹理特征优化单元16（采用3
×
3的滑动窗口确定出窗口图像以计算rgb彩色图像中r通道、g通道和b通道的特征值，从而形成r通道色彩纹理特征、g通道色彩纹理特征、b通道色彩纹理特征）；而利用色彩边缘特征提取单元13提取输入图像中rgb彩色图像的色彩边缘特征（采用3
×
3的sobel算子在r通道色彩图像、g通道色彩图像、b通道色彩图像上进行卷积操作以确定r通道色彩边缘特征、g通道色彩边缘特征、b通道色彩边缘特征），保持了r通道色彩边缘特征、g通道色彩边缘特征、b通道色彩边缘特征与r通道色彩纹理特征、g通道色彩纹理特征、b通道色彩纹理特征之间的尺寸一致性，无需额外进行配准操作；利用深度边缘特征提取单元14提取输入图像中深度图像的深度边缘特征
（采用3
×
3的sobel算子在深度图像上进行卷积操作以确定深度边缘特征），同样保持了尺寸的一致性；而纹理特征优化单元16则基于色彩边缘特征和深度边缘特征对纹理特征进行优化，点云信息转换单元15将输入图像中深度图像的像素转换为相应的三维坐标，生成点云信息，三维模型生成单元17基于点云信息进行三维重建，得到初步模型；三维模型优化单元18则基于优化后的纹理特征对初步模型进行优化，得到三维模型；输出单元19可以输出三维模型。这样的方式，不仅能够通过各种边缘特征优化纹理特征，且保持了各特征的尺寸一致性，无需额外配准，大大提升优化效果和优化效率。
76.纹理特征优化单元16利用基于深度边缘图像，分别对r通道色彩边缘图像、g通道色彩边缘图像、b通道色彩边缘图像中的边缘进行分类划分，将r通道色彩边缘图像、g通道色彩边缘图像、b通道色彩边缘图像中与深度边缘图像中的边缘对应的边缘划分为i类边缘，将r通道色彩边缘图像、g通道色彩边缘图像、b通道色彩边缘图像中其余边缘划分为ii类边缘。再利用差异化的优化方案：从r通道色彩纹理图像（或g通道色彩纹理图像，或b通道色彩纹理图像）中确定出与边缘分类后的r通道色彩边缘图像（或g通道色彩边缘图像，或b通道色彩边缘图像）中i类边缘对应的i类纹理，并将i类纹理赋值为设定值；从r通道色彩纹理图像（或g通道色彩纹理图像，或b通道色彩纹理图像）中确定出与边缘分类后的r通道色彩边缘图像（或g通道色彩边缘图像，或b通道色彩边缘图像）中ii类边缘对应的ii类纹理，并对ii类纹理进行强化处理。r通道色彩纹理图像、g通道色彩纹理图像、b通道色彩纹理图像的差异化优化方案，对于i类边缘（可以理解为深度边缘）、ii类边缘（可以理解为色彩边缘）与色彩纹理的对应关系，可实行差异化的优化（不同类型边缘导致的对色彩纹理的产生影响不同），从而提升对纹理特征的优化效果，用以优化初步模型，能进一步提升三维模型的重建效果。
77.在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
78.以上所述仅为本技术的实施例而已，并不用于限制本技术的保护范围，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。

技术特征：
1.一种基于人工智能的三维重建方法，其特征在于，包括：获取待建模目标的rgbd图像，其中，rgbd图像包括rgb彩色图像和深度图像；对所述rgbd图像进行预处理，得到输入图像；将所述输入图像输入至预设模型中，以使所述预设模型基于所述rgbd图像确定出纹理特征、色彩边缘特征、深度边缘特征和点云信息，并基于纹理特征、色彩边缘特征、深度边缘特征和点云信息，生成三维模型并输出；其中，预设模型包括输入单元、纹理特征提取单元、色彩边缘特征提取单元、深度边缘特征提取单元、点云信息转换单元、纹理特征优化单元、三维模型生成单元、三维模型优化单元、输出单元，所述输入单元，用于将所述输入图像中的rgb彩色图像分别输入至纹理特征提取单元、色彩边缘特征提取单元，将所述输入图像中的深度图像分别输入至深度边缘特征提取单元和点云信息转换单元；所述纹理特征提取单元，用于提取所述输入图像中rgb彩色图像的纹理特征，并输入至纹理特征优化单元；所述色彩边缘特征提取单元，用于提取所述输入图像中rgb彩色图像的色彩边缘特征，并输入至纹理特征优化单元；所述深度边缘特征提取单元，用于提取所述输入图像中深度图像的深度边缘特征，并输入至纹理特征优化单元；所述纹理特征优化单元，用于基于色彩边缘特征和深度边缘特征对纹理特征进行优化，并将优化后的纹理特征输入至三维模型优化单元；所述点云信息转换单元，用于将所述输入图像中深度图像的像素转换为相应的三维坐标，生成点云信息并输入至三维模型生成单元；所述三维模型生成单元，用于基于点云信息进行三维重建，得到初步模型并输入至三维模型优化单元；所述三维模型优化单元，用于基于优化后的纹理特征对初步模型进行优化，得到三维模型；所述输出单元，用于输出所述三维模型。2.根据权利要求1所述的基于人工智能的三维重建方法，其特征在于，对所述rgbd图像进行预处理，得到输入图像，包括：对所述rgbd图像中的rgb彩色图像和深度图像进行对齐校准；将对齐校准后的rgbd图像进行背景剔除，得到输入图像。3.根据权利要求1所述的基于人工智能的三维重建方法，其特征在于，所述纹理特征提取单元包括r通道、g通道和b通道，用于基于所述输入图像中的rgb彩色图像确定出r通道色彩图像、g通道色彩图像、b通道色彩图像，并分别输入r通道、g通道和b通道，r通道，用于通过3
×
3的滑动窗口确定出窗口图像，针对每个窗口图像：基于本窗口图像中的邻域像素的r通道色彩值与本窗口图像中的中心像素的r通道色彩值，分别为本窗口图像中的每个邻域像素赋值0或1，得到本窗口图像对应的8位二进制数串，并将8位二进制数串转换为十进制数，作为本窗口图像对应的特征值，由此得到r通道色彩纹理图像作为r通道色彩纹理特征；
g通道，用于通过3
×
3的滑动窗口确定出窗口图像，针对每个窗口图像：基于本窗口图像中的邻域像素的g通道色彩值与本窗口图像中的中心像素的g通道色彩值，分别为本窗口图像中的每个邻域像素赋值0或1，得到本窗口图像对应的8位二进制数串，并将8位二进制数串转换为十进制数，作为本窗口图像对应的特征值，由此得到g通道色彩纹理图像作为g通道色彩纹理特征；b通道，用于通过3
×
3的滑动窗口确定出窗口图像，针对每个窗口图像：基于本窗口图像中的邻域像素的b通道色彩值与本窗口图像中的中心像素的b通道色彩值，分别为本窗口图像中的每个邻域像素赋值0或1，得到本窗口图像对应的8位二进制数串，并将8位二进制数串转换为十进制数，作为本窗口图像对应的特征值，由此得到b通道色彩纹理图像作为b通道色彩纹理特征。4.根据权利要求1所述的基于人工智能的三维重建方法，其特征在于，所述色彩边缘特征提取单元包括r通道、g通道和b通道，用于基于所述输入图像中的rgb彩色图像确定出r通道色彩图像、g通道色彩图像、b通道色彩图像，并分别输入r通道、g通道和b通道，r通道，用于使用3
×
3的sobel算子在r通道色彩图像上进行卷积操作，分别计算每个像素点在水平和垂直方向上的r通道色彩梯度值，基于水平和垂直方向上的r通道色彩梯度值计算r通道色彩总梯度值，将低于r通道色彩阈值的像素点设为0，高于r通道色彩阈值的像素点设为255，得到r通道色彩边缘图像作为r通道色彩边缘特征；g通道，用于使用3
×
3的sobel算子在g通道色彩图像上进行卷积操作，分别计算每个像素点在水平和垂直方向上的g通道色彩梯度值，基于水平和垂直方向上的g通道色彩梯度值计算g通道色彩总梯度值，将低于g通道色彩阈值的像素点设为0，高于g通道色彩阈值的像素点设为255，得到g通道色彩边缘图像作为g通道色彩边缘特征；b通道，用于使用3
×
3的sobel算子在b通道色彩图像上进行卷积操作，分别计算每个像素点在水平和垂直方向上的b通道色彩梯度值，基于水平和垂直方向上的b通道色彩梯度值计算b通道色彩总梯度值，将低于b通道色彩阈值的像素点设为0，高于b通道色彩阈值的像素点设为255，得到b通道色彩边缘图像作为b通道色彩边缘特征。5.根据权利要求1所述的基于人工智能的三维重建方法，其特征在于，所述深度边缘特征提取单元，具体用于：使用3
×
3的sobel算子在深度图像上进行卷积操作，分别计算每个像素点在水平和垂直方向上的深度梯度值，基于水平和垂直方向上的深度梯度值计算深度总梯度值，将低于深度阈值的像素点设为0，高于深度阈值的像素点设为255，得到深度边缘图像作为深度边缘特征。6.根据权利要求1所述的基于人工智能的三维重建方法，其特征在于，所述纹理特征优化单元，具体用于：基于深度边缘图像，分别对r通道色彩边缘图像、g通道色彩边缘图像、b通道色彩边缘图像中的边缘进行分类划分，得到对边缘分类后的r通道色彩边缘图像、g通道色彩边缘图像、b通道色彩边缘图像，其中，分别将r通道色彩边缘图像、g通道色彩边缘图像、b通道色彩边缘图像中与深度边缘图像中的边缘对应的边缘划分为i类边缘，将r通道色彩边缘图像、g通道色彩边缘图像、b通道色彩边缘图像中其余边缘划分为ii类边缘；基于r通道色彩纹理图像和边缘分类后的r通道色彩边缘图像，对r通道色彩纹理图像
中的纹理进行差异化处理，得到优化后的r通道色彩纹理图像；基于g通道色彩纹理图像和边缘分类后的g通道色彩边缘图像，对g通道色彩纹理图像中的纹理进行差异化处理，得到优化后的g通道色彩纹理图像；基于b通道色彩纹理图像和边缘分类后的b通道色彩边缘图像，对b通道色彩纹理图像中的纹理进行差异化处理，得到优化后的b通道色彩纹理图像。7.根据权利要求6所述的基于人工智能的三维重建方法，其特征在于，所述纹理特征优化单元，具体用于：从r通道色彩纹理图像中确定出与边缘分类后的r通道色彩边缘图像中i类边缘对应的i类纹理，并将i类纹理赋值为设定值；从r通道色彩纹理图像中确定出与边缘分类后的r通道色彩边缘图像中ii类边缘对应的ii类纹理，并对ii类纹理进行强化处理。8.根据权利要求6所述的基于人工智能的三维重建方法，其特征在于，所述纹理特征优化单元，具体用于：从g通道色彩纹理图像中确定出与边缘分类后的g通道色彩边缘图像中i类边缘对应的i类纹理，并将i类纹理赋值为设定值；从g通道色彩纹理图像中确定出与边缘分类后的g通道色彩边缘图像中ii类边缘对应的ii类纹理，并对ii类纹理进行强化处理。9.根据权利要求6所述的基于人工智能的三维重建方法，其特征在于，所述纹理特征优化单元，具体用于：从b通道色彩纹理图像中确定出与边缘分类后的b通道色彩边缘图像中i类边缘对应的i类纹理，并将i类纹理赋值为设定值；从b通道色彩纹理图像中确定出与边缘分类后的b通道色彩边缘图像中ii类边缘对应的ii类纹理，并对ii类纹理进行强化处理。

技术总结
本申请提供一种基于人工智能的三维重建方法，通过对待建模目标的RGBD图像（包括RGB彩色图像和深度图像）进行预处理（例如对齐校准、背景剔除等），得到输入图像；将输入图像输入至预设模型中，以使预设模型基于RGBD图像确定出纹理特征、色彩边缘特征、深度边缘特征和点云信息，并利用色彩边缘特征、深度边缘特征对纹理特征进行优化，利用点云信息生成初步模型，利用优化后的纹理特征对初步模型进一步优化，从而得到三维模型并输出。无需极大规模的数据样本训练，降低了应用门槛，通过低成本的方式即可有效提升三维模型的重建效果。即可有效提升三维模型的重建效果。即可有效提升三维模型的重建效果。


技术研发人员：沈翀 胡静远
受保护的技术使用者：苏州海赛人工智能有限公司
技术研发日：2023.08.22
技术公布日：2023/9/20