三维模型构建方法、装置、电子设备和可读存储介质与流程

1.本公开涉及人工智能技术领域，尤其涉及一种三维模型构建方法及装置、电子设备和计算机可读存储介质。


背景技术：

2.本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
3.相关技术中，三维穿衣人体模型广泛应用于动画制作、游戏娱乐、电子商务、虚拟现实等领域，传统的三维穿衣人体模型重建方法需要稠密的相机阵列通过多视角几何的方法重建人体表面，具有很高的设备成本，在很多场景下难以应用。
4.因此，在相关技术中对包括人体等目标对象的三维模型的构建方法对硬件设备要求较高、通用性较差。


技术实现要素：

5.本公开的目的在于提供一种三维模型构建方法、装置、电子设备以及计算机可读存储介质，可以通过单视点图像准确的构建目标对象的三维模型，对硬件设备要求较低、通用性较好。
6.本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
7.本公开实施例提供了一种三维模型构建方法，包括：获取目标对象的二维图像；通过语义分割模块对所述目标对象的二维图像进行语义分割处理，以确定所述目标对象对应的语义分割特征和语义分割图；通过特征提取模块对所述目标对象的二维图像进行特征提取处理，以确定所述目标对象的二维图像对应的二维主干特征；将所述目标对象对应的语义分割图、语义分割特征和二维主干特征进行特征融合处理，以确定所述目标对象的二维图像的融合二维特征；获取三维空间中的多个三维点，其中每个三维点在所述目标对象的二维图像所在平面上的投影点均落在所述目标对象的二维图像中；基于所述目标对象的二维图像对应的融合二维特征，确定各个三维点在所述目标对象的二维图像中的投影点对应的融合二维特征；通过占用概率推理模块对各个三维点对应的融合二维特征进行占有概率推理处理，确定各个三维点位于所述目标对象的三维模型中的空间占有概率，以便根据各个三维点对应的空间占有概率构建所述目标对象的三维模型。
8.在一些实施例中，所述方法还包括：通过深度估计模块对所述目标对象的二维图像进行深度估计处理，以确定所述目标对象的二维图像的深度特征和深度图；其中，将所述语义分割图、所述语义分割特征和所述二维主干特征进行特征融合处理，以确定所述目标对象的二维图像的融合二维特征，包括：将所述语义分割图、所述语义分割特征、所述深度图、所述深度特征以及所述二维主干特征进行特征融合处理，以确定所述目标对象的二维图像的融合二维特征。
9.在一些实施例中，所述方法还包括：通过深度估计模块对所述目标对象的二维图像进行深度估计处理，以确定所述二维图像对应的深度图和深度特征；通过所述语义分割图对所述目标对象的二维图像对应的深度图和深度特征进行分割，以确定所述目标对象所在区域对应的深度图和深度特征；其中，将所述语义分割图、所述语义分割特征和所述二维主干特征进行特征融合处理，以确定所述目标对象的二维图像的融合二维特征，包括：将所述语义分割图、所述语义分割特征、所述目标对象所在区域对应的深度图和深度特征以及所述二维主干特征进行融合处理，以确定所述目标对象的二维图像的融合二维特征。
10.在一些实施例中，所述多个三维点包括目标三维点；其中，通过占用概率推理模块对各个三维点对应的融合二维特征进行占有概率推理处理，确定各个三维点位于所述目标对象的三维模型中的空间占有概率，包括：确定所述目标三维点距离所述目标对象的二维图像所在平面的距离；将所述目标三维点距离所述目标对象的二维图像所在平面的距离作为所述目标三维点的深度；根据所述目标三维点的投影点的融合二维特征和所述目标三维点的深度，确定所述目标三维点位于所述目标对象的三维模型中的空间占有概率。
11.在一些实施例中，根据各个三维点对应的空间占有概率构建所述目标对象的三维模型，包括：在所述多个三维点中提取空间占有概率等于目标值的三维点；根据所述空间占有概率等于所述目标值的三维点，生成所述目标对象的三维模型的三维表面；根据所述三维表面构建所述目标对象的所述三维模型。
12.在一些实施例中，获取三维空间中的多个三维点，其中每个三维点在所述目标对象的二维图像所在平面上的投影点均落在所述目标对象的二维图像中，包括：获取预设高度值；根据所述目标对象的二维图像和所述预设高度值构建所述三维空间；在所述三维空间中进行均匀采样或者随机采样以获得所述多个三维点。
13.在一些实施例中，所述方法还包括：获取训练对象的二维图像和所述训练对象的实际三维模型；通过所述语义分割模块对所述训练对象的二维图像进行语义分割处理，以确定所述训练对象对应的语义分割特征和语义分割图；通过所述特征提取模块对所述训练对象的二维图像进行特征提取处理，以确定所述训练对象的二维图像对应的二维主干特征；将所述训练对象的语义分割图、语义分割特征和二维主干特征进行特征融合，以确定所述训练对象的二维图像的融合二维特征；获取所述三维空间中的三维训练点，其中所述三维训练点在所述训练对象的二维图像所在平面上的投影点落在所述训练对象的二维图像中；基于所述训练对象的二维图像对应的融合二维特征，确定所述三维训练点在所述训练对象的二维图像中的投影点对应的融合二维特征；通过所述占用概率推理模块对所述三维训练点的融合二维特征进行占有概率推理处理，确定所述三维训练点位于所述训练对象的预测三维模型中的空间占有概率；确定所述三维训练点与所述训练对象的实际三维模型的实际位置关系；根据所述三维训练点与所述实际三维模型的实际位置关系和所述三维训练点对应的空间占有概率确定损失值；通过所述损失值训练所述特征提取模块和所述占用概率推理模块的参数值。
14.本公开实施例提供了一种三维模型构建装置，包括：二维图像获取模块、语义分割模块、二维主干特征提取模块、特征融合模块、三维点获取模块、融合二维特征获取模块和占有概率推理模块。
15.其中，所述二维图像获取模块用于获取目标对象的二维图像；所述语义分割模块
可以用于通过语义分割模块对所述目标对象的二维图像进行语义分割处理，以确定所述目标对象对应的语义分割特征和语义分割图；所述二维主干特征提取模块可以用于通过特征提取模块对所述目标对象的二维图像进行特征提取处理，以确定所述目标对象的二维图像对应的二维主干特征；所述特征融合模块可以用于将所述目标对象对应的语义分割图、语义分割特征和二维主干特征进行特征融合处理，以确定所述目标对象的二维图像的融合二维特征；所述三维点获取模块可以用于获取三维空间中的多个三维点，其中每个三维点在所述目标对象的二维图像所在平面上的投影点均落在所述目标对象的二维图像中；所述融合二维特征获取模块可以用于基于所述目标对象的二维图像对应的融合二维特征，确定各个三维点在所述目标对象的二维图像中的投影点对应的融合二维特征；所述占有概率推理模块可以用于通过占用概率推理模块对各个三维点对应的融合二维特征进行占有概率推理处理，确定各个三维点位于所述目标对象的三维模型中的空间占有概率，以便根据各个三维点对应的空间占有概率构建所述目标对象的三维模型。
16.本公开实施例提出一种电子设备，该电子设备包括：存储器和处理器；所述存储器用于存储计算机程序指令；所述处理器调用所述存储器存储的所述计算机程序指令，用于实现上述任一项所述的三维模型构建方法。
17.本公开实施例提出一种计算机可读存储介质，其上存储有计算机程序指令，实现如上述任一项所述的三维模型构建方法。
18.本公开实施例提出一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机程序指令，该计算机程序指令存储在计算机可读存储介质中。从计算机可读存储介质读取该计算机程序指令，处理器执行该计算机程序指令，实现上述三维模型构建方法。
19.本公开实施例提供的三维模型构建方法、装置及电子设备和计算机可读存储介质，可以通过二维图像的语义分割特征等加强对目标对象的二维图像的二维主干的识别能力，从而结合语义分割特征提高对二维主干特征的识别能，从而提高目标对象的三维模型的构建精准度。
20.本技术提出一种语义分割深度感知的三维模型重建方法，将二维主干特征与语义分割特征融合后再进行三维点的占有概率推理，可以在占有概率推理过程中提高像素特征的表示能力，改善三维模型的重建的精度和完整性。
21.应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。
附图说明
22.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
23.图1示出了可以应用于本公开实施例的三维模型构建方法或三维模型构建装置的场景示意图。
24.图2是根据一示例性实施例示出的一种三维模型构建方法的流程图。
25.图3是根据一示例性实施例示出的一种占用概率推理过程示意图。
26.图4是根据一示例性实施例示出的一种三维模型构建方法的流程图。
27.图5是根据一示例性实施例示出的一种占用概率推理过程示意图。
28.图6是根据一示例性实施例示出的一种三维模型构建方法的流程图。
29.图7是根据一示例性实施例示出的一种空间占有概率确定方法的流程图。
30.图8是根据一示例性实施例示出的一种深度网络模型训练方法的流程图。
31.图9是根据一示例性实施例示出的一种网络模型训练方法的流程图。
32.图10是根据一示例性实施例示出的一种三维模型构建方法的流程图。
33.图11是根据一示例性实施例示出的一种三维模型构建装置的框图。
34.图12示出了适于用来实现本公开实施例的的电子设备的结构示意图。
具体实施方式
35.现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本公开将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。
36.本领域技术人员知道，本公开的实施方式可以为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件，驻留软件，微代码等)，或者硬件和软件结合的形式。
37.本公开所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
38.附图仅为本公开的示意性图解，图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
39.附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和步骤，也不是必须按所描述的顺序执行。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
40.在本公开的描述中，除非另有说明，“/”表示“或”的意思，例如，a/b可以表示a或b。本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。此外，“至少一个”是指一个或多个，“多个”是指两个或两个以上。“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同；用语“包含”、“包括”和“具有”用以表示开放式的包括在内的意思并且是指除了列出的要素/组成部分/等之外还可存在另外的要素/组成部分/等。
41.为了能够更清楚地理解本技术的上述目的、特征和优点，下面结合附图和具体实施方式对本技术进行进一步的详细描述，需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
42.需要说明的是，本公开的技术方案中，所涉及的用户个人信息的采集、收集、更新、分析、处理、使用、传输、存储等方面，均符合相关法律法规的规定，被用于合法的用途，且不违背公序良俗。对用户个人信息采取必要措施，防止对用户个人信息数据的非法访问，维护用户个人信息安全、网络安全和国家安全。
43.本技术提出了一种从单张rgb图像重建三维模型(如三维穿衣人体模型)的方法。相关技术中，基于深度学习的穿衣人体重建方法，从rgb图像回归三维人体的表示，主要可以分为参数化和非参数化的方法。本技术提出了一种深度感知的穿衣人体重建方法，该方法通过显示地估计人体深度图辅助人体表面的重建，提高图像特征的表达能力，本技术还引入了人体多结构分割模块，赋予三维表面推理模块更多人体语义结构的信息。本技术通过显示地从rgb图像提取深度特征和多结构语义分割特征，提升了像素对齐特征的表示能力，改善了重建效果。
44.下面结合附图对本公开示例实施方式进行详细说明。
45.图1示出了可以应用于本公开实施例的三维模型构建方法或三维模型构建装置的场景示意图。
46.请参考图1，其示出了本公开一个示例性实施例提供的实施环境的示意图。
47.如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
48.用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。其中，终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机、可穿戴设备、虚拟现实设备、智能家居等等。
49.服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所进行操作的装置提供支持的后台管理服务器。后台管理服务器可以对接收到的请求等数据进行分析等处理，并将处理结果反馈给终端设备。
50.服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn(content delivery network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器等，本公开对此不做限制。
51.服务器105可例如获取目标对象的二维图像；服务器105可例如通过语义分割模块对目标对象的二维图像进行语义分割处理，以确定目标对象对应的语义分割特征和语义分割图；服务器105可例如通过特征提取模块对目标对象的二维图像进行特征提取处理，以确定目标对象的二维图像对应的二维主干特征；服务器105可例如将目标对象对应的语义分割图、语义分割特征和二维主干特征进行特征融合处理，以确定目标对象的二维图像的融合二维特征；服务器105可例如获取三维空间中的多个三维点，其中每个三维点在目标对象的二维图像所在平面上的投影点均落在目标对象的二维图像中；服务器105可例如基于目
标对象的二维图像对应的融合二维特征，确定各个三维点在目标对象的二维图像中的投影点对应的融合二维特征；服务器105可例如通过占用概率推理模块对各个三维点对应的融合二维特征进行占有概率推理处理，确定各个三维点位于目标对象的三维模型中的空间占有概率，以便根据各个三维点对应的空间占有概率构建目标对象的三维模型。
52.应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的，服务器105可以是一个实体的服务器，还可以为多个服务器组成，根据实际需要，可以具有任意数目的终端设备、网络和服务器。
53.图2是根据一示例性实施例示出的一种三维模型构建方法的流程图。本公开实施例所提供的方法可以由任意具备计算处理能力的电子设备来执行，例如该方法可以由上述图1实施例中的服务器或终端设备来执行，也可以由服务器和终端设备共同执行，在下面的实施例中，以服务器为执行主体为例进行举例说明，但本公开并不限定于此。
54.参照图2，本公开实施例提供的三维模型构建方法可以包括以下步骤。
55.步骤s202，获取目标对象的二维图像。
56.上述目标对象可以是人体、动物、建筑物等任意需要进行三维建模的对象，本技术对此不做限制。
57.二维图像可以指的是通过单视点获取的rgb图像等，本技术对此不做限制。
58.步骤s204，通过语义分割模块对目标对象的二维图像进行语义分割处理，以确定目标对象对应的语义分割特征和语义分割图。
59.在一些实施例中，语义分割模块可以用于将目标对象的轮廓从二维图像中提取处理；语义分割模块可以用于将目标对象的四肢从二维图像中分割提取处理。本技术对语义分割结果不做限制，本领域技术人员可以根据实际需求设置语义分割目的。
60.在一些实施例中，语义分割模块可以对二维图像进行语义特征提取以获得语义分割特征，然后使用分类器(如softmax)等对语义分割特征进行处理以获得语义分割图。
61.如图3所示，语义分割模块mseg可以对输入的目标对象的二维图像进行语义分割处理获得语义分割特征gseg和语义分割图s。
62.在一些实施例中，上述语义分割模块可以独立训练，例如可以用目标对象的实际分割图和通过二维图像预测出来的预测分割图进行损失计算，然后对上述语义分割模块单独进行参数调整。
63.步骤s206，通过特征提取模块对目标对象的二维图像进行特征提取处理，以确定目标对象的二维图像对应的二维主干特征。
64.在一些实施例中，可以通过特征提取模块对目标对象的二维图像进行特征提取处理，以获得能够对二维图像的宏观整体特征进行描述的二维主干特征。
65.步骤s208，将目标对象对应的语义分割图、语义分割特征和二维主干特征进行特征融合处理，以确定目标对象的二维图像的融合二维特征。
66.在一些实施例中，如图3所示，在将语义分割图、语义分割特征和二维主干特征进行特征融合处理，可以获得融合二维特征g。
67.步骤s210，获取三维空间中的多个三维点，其中每个三维点在目标对象的二维图像所在平面上的投影点均落在目标对象的二维图像中。
68.在一些实施例中，可以通过以下方法构建三维空间：获取预设高度值；然后根据目
标对象的二维图像和预设高度值构建三维空间；最后在三维空间中进行均匀采样或者随机采样以获得多个三维点。可以理解的是本本领域技术人员可以通过其它方式获得上述三维空间，本技术对此不做限制。
69.可以理解的是，由投影点落在目标对象的二维图像中的三维点组成的三维空间均可以是本技术中的三维空间。
70.如图3所示，从三维空间中获得的三维点x可以包括x和z，其中x代表三维点投影到二维图像所在平面上的投影点的坐标值，z代表三维点相对于二维图像所在平面的距离(即深度)。
71.步骤s212，基于目标对象的二维图像对应的融合二维特征，确定各个三维点在目标对象的二维图像中的投影点对应的融合二维特征。
72.在一些实施例中，已知二维图像中各个像素点对应的融合二维特征，那么三维点在二维图像所在平面上的投影点对应的融合二维特征(如图3中的像素对齐特征gx)也是很容易确定的，本技术对此不做限制。
73.步骤s214，通过占用概率推理模块对各个三维点对应的融合二维特征进行占有概率推理处理，确定各个三维点位于目标对象的三维模型中的空间占有概率，以便根据各个三维点对应的空间占有概率构建目标对象的三维模型。
74.在一些实施例中，可以通过占用概率推理模块(如图3中的占用概率推理模块mocc 303)对各个三维点对应的融合二维特征进行占有概率推理处理，确定各个三维点位于目标对象的三维模型中的空间占有概率。
75.其中，占用概率推理处理可以指的是对该三维点位于三维模型的概率进行计算。
76.在一些实施例中，如果三维点位于目标对象的三维模型中，那么该三维点位于目标对象的三维模型中的空间占有概率可以为1；如果三维点不位于目标对象的三维模型中，那么该三维点位于目标对象的三维模型中的空间占有概率可以为0；如果三维点位于目标对象的三维模型的表面上，那么该三维点位于目标对象的三维模型中的空间占有概率可以为0.5，以此类推。
77.在一些实施例中，根据各个三维点对应的空间占有概率构建目标对象的三维模型可以包括以下步骤：在多个三维点中提取空间占有概率等于目标值的三维点；根据空间占有概率等于目标值的三维点，生成目标对象的三维模型的三维表面；根据三维表面构建目标对象的三维模型。
78.上述实施例，可以通过二维图像的语义分割特征等加强对目标对象的二维图像的二维主干的识别能力，从而结合语义分割特征提高对二维主干特征的识别能，从而提高目标对象的三维模型的构建精准度。
79.图4是根据一示例性实施例示出的一种三维模型构建方法的流程图。本公开实施例所提供的方法可以由任意具备计算处理能力的电子设备来执行，例如该方法可以由上述图1实施例中的服务器或终端设备来执行，也可以由服务器和终端设备共同执行，在下面的实施例中，以服务器为执行主体为例进行举例说明，但本公开并不限定于此。
80.参照图4，本公开实施例提供的三维模型构建方法可以包括以下步骤。
81.步骤s402，获取目标对象的二维图像。
82.如图5所示，可以获取目标对象的二维图像i。
83.步骤s404，通过语义分割模块对目标对象的二维图像进行语义分割处理，以确定目标对象对应的语义分割特征和语义分割图。
84.如图5所示，语义分割模块501可以对目标对象的二维图像i进行特征提取处理，以确定目标对象对应的语义分割特征和语义分割图。
85.步骤s406，通过特征提取模块对目标对象的二维图像进行特征提取处理，以确定目标对象的二维图像对应的二维主干特征。
86.如图5所示，特征提取模块502可以对目标对象的二维图像i进行特征提取处理，以确定目标对象的二维图像对应的二维主干特征。
87.步骤s408，通过深度估计模块对目标对象的二维图像进行深度估计处理，以确定目标对象的二维图像的深度特征和深度图。
88.如图5所示，深度估计模块503可以对目标对象的二维图像i进行深度估计处理，以确定目标对象的二维图像的深度特征和深度图。
89.在一些实施例中，上述深度估计模块可以独立训练，例如可以用目标对象的实际深度图和通过二维图像预测出来的预测深度图进行损失计算，然后对上述深度估计模块单独进行参数调整。
90.步骤s410，将语义分割图、语义分割特征、深度图、深度特征以及二维主干特征进行特征融合处理，以确定目标对象的二维图像的融合二维特征。
91.如图5所示，可以将语义分割图g
seg
、深度特征g
depth
以及二维主干特征gf进行融合处理获得特征，然后与深度图d和语义分割图s等进行特征融合，以确定目标对象的二维图像的融合二维特征g。
92.步骤s412，获取三维空间中的多个三维点，其中每个三维点在目标对象的二维图像所在平面上的投影点均落在目标对象的二维图像中。
93.在一些实施例中，可以通过以下方法构建三维空间：获取预设高度值；然后根据目标对象的二维图像和预设高度值构建三维空间；最后在三维空间中进行均匀采样或者随机采样以获得多个三维点。可以理解的是本本领域技术人员可以通过其它方式获得上述三维空间，本技术对此不做限制。
94.如图3所示，从三维空间中获得三维点x可以包括x和z，其中x代表三维点投影到二维图像所在平面上的投影点的坐标值，z代表三维点相对于二维图像所在平面的距离。
95.步骤s414，基于目标对象的二维图像对应的融合二维特征，确定各个三维点在目标对象的二维图像中的投影点对应的融合二维特征。
96.在一些实施例中，已知二维图像中各个像素点对应的融合二维特征，那么三维点在二维图像所在平面上的投影点对应的融合二维特征(如图5中的像素对齐特征g
x
)也是很容易确定的，本技术对此不做限制。
97.步骤s416，通过占用概率推理模块对各个三维点对应的融合二维特征进行占有概率推理处理，确定各个三维点位于目标对象的三维模型中的空间占有概率，以便根据各个三维点对应的空间占有概率构建目标对象的三维模型。
98.在一些实施例中，可以通过占用概率推理模块(如图5中的504)对各个三维点对应的融合二维特征进行占有概率推理处理，确定各个三维点位于目标对象的三维模型中的空间占有概率。
99.其中，占用概率推理处理指的是对该三维点位于三维模型的概率进行于算。
100.在一些实施例中，如果三维点位于目标对象的三维模型中，那么该三维点位于目标对象的三维模型中的空间占有概率可以为1；如果三维点不位于目标对象的三维模型中，那么该三维点位于目标对象的三维模型中的空间占有概率可以为0；如果三维点位于目标对象的三维模型的表面上，那么该三维点位于目标对象的三维模型中的空间占有概率可以为0.5，以此类推。
101.在一些实施例中，根据各个三维点对应的空间占有概率构建目标对象的三维模型可以包括以下步骤：在多个三维点中提取空间占有概率等于目标值的三维点；根据空间占有概率等于目标值的三维点，生成目标对象的三维模型的三维表面；根据三维表面构建目标对象的三维模型。
102.上述实施例，可以通过二维图像的语义分割特征等加强对目标对象的二维图像的二维主干的识别能力，从而结合语义分割特征提高对二维主干特征的识别能，从而提高目标对象的三维模型的构建精准度。
103.本实施例，提出一种语义分割深度感知的三维模型重建方法，在三维模型重建框架中引入深度感知模块，提升了像素特征的表示能力，改善了三维模型重建的精度和完整性。
104.图6是根据一示例性实施例示出的一种三维模型构建方法的流程图。本公开实施例所提供的方法可以由任意具备计算处理能力的电子设备来执行，例如该方法可以由上述图1实施例中的服务器或终端设备来执行，也可以由服务器和终端设备共同执行，在下面的实施例中，以服务器为执行主体为例进行举例说明，但本公开并不限定于此。
105.参照图6，本公开实施例提供的三维模型构建方法可以包括以下步骤。
106.步骤s602，获取目标对象的二维图像。
107.步骤s604，通过语义分割模块对目标对象的二维图像进行语义分割处理，以确定目标对象对应的语义分割特征和语义分割图。
108.步骤s606，通过特征提取模块对目标对象的二维图像进行特征提取处理，以确定目标对象的二维图像对应的二维主干特征。
109.步骤s608，通过深度估计模块对目标对象的二维图像进行深度估计处理，以确定二维图像对应的深度图和深度特征。
110.步骤s610，通过语义分割图对目标对象的二维图像对应的深度图和深度特征进行分割，以确定目标对象所在区域对应的深度图和深度特征。
111.步骤s612，将语义分割图、语义分割特征、目标对象所在区域对应的深度图和深度特征以及二维主干特征进行融合处理，以确定目标对象的二维图像的融合二维特征。
112.步骤s614，获取三维空间中的多个三维点，其中每个三维点在目标对象的二维图像所在平面上的投影点均落在目标对象的二维图像中。
113.步骤s616，基于目标对象的二维图像对应的融合二维特征，确定各个三维点在目标对象的二维图像中的投影点对应的融合二维特征。
114.步骤s618，通过占用概率推理模块对各个三维点对应的融合二维特征进行占有概率推理处理，确定各个三维点位于目标对象的三维模型中的空间占有概率，以便根据各个三维点对应的空间占有概率构建目标对象的三维模型。
115.在上述实施例提供的技术方案中，在对三维点进行占用概率预测时，不仅会考虑二维图像特征，还会考虑目标对象轮廓对应的分割特征，还会考虑目标对象所在区域对应的深度图和深度特征，提升了像素特征的表示能力，改善了三维模型重建的精度和完整性。
116.图7是根据一示例性实施例示出的一种空间占有概率确定方法的流程图。
117.在一些实施例中，多个三维点可以包括目标三维点，在本实施例中将以目标三维点为例解释如何确定空间占有概率。
118.参考图7，上述空间占有概率确定方法可以包括以下步骤。
119.步骤s702，确定目标三维点距离目标对象的二维图像所在平面的距离。
120.步骤s704，将目标三维点距离目标对象的二维图像所在平面的距离作为目标三维点的深度。
121.步骤s706，根据目标三维点的投影点的融合二维特征和目标三维点的深度，确定目标三维点位于目标对象的三维模型中的空间占有概率。
122.通过上述方法可以准确的预测目标三维点位于目标对象的三维模型中的空间占有概率。
123.图8是根据一示例性实施例示出的一种深度网络模型训练方法的流程图。
124.参考图8，上述深度网络模型训练方法可以包括以下步骤。
125.步骤s802，获取训练对象的二维图像和训练对象的实际三维模型。
126.步骤s804，通过语义分割模块对训练对象的二维图像进行语义分割处理，以确定训练对象对应的语义分割特征和语义分割图。
127.在一些实施例中，上述语义分割模块可以已经根据实际的语义分割图单独的训练出来。
128.步骤s806，通过特征提取模块对训练对象的二维图像进行特征提取处理，以确定训练对象的二维图像对应的二维主干特征。
129.步骤s808，将训练对象的语义分割图、语义分割特征和二维主干特征进行特征融合，以确定训练对象的二维图像的融合二维特征。
130.步骤s810，获取三维空间中的三维训练点，其中三维训练点在训练对象的二维图像所在平面上的投影点落在训练对象的二维图像中。
131.步骤s812，基于训练对象的二维图像对应的融合二维特征，确定三维训练点在训练对象的二维图像中的投影点对应的融合二维特征。
132.步骤s814，通过占用概率推理模块对三维训练点的融合二维特征进行占有概率推理处理，确定三维训练点位于训练对象的预测三维模型中的空间占有概率。
133.步骤s816，确定三维训练点与训练对象的实际三维模型的实际位置关系。
134.步骤s818，根据三维训练点与实际三维模型的实际位置关系和三维训练点对应的空间占有概率确定损失值。
135.步骤s820，通过损失值训练特征提取模块和占用概率推理模块的参数值。
136.在本次实施例中，可以对出语义分割模块以外的所有的参数进行调整。
137.上述实施例，可以对如图3所示的神经网络模型进行训练，以使得能够更加准确的构建目标对象的三维模型。
138.可以理解的是，本领域技术人员可以根据上述实施例对图5所示实施例对应的神
经网络模型进行训练，其中图5中的语义分割模块和深度估计模块都可以是独立且提前训练好的。
139.在一些实施例中，上述目标对象可以是人体(如动画、游戏中的待穿衣人体)，本技术将以上述人体为例进行示例性说明。
140.综合来说，本实施例提出的穿衣人体三维重建方法的基于深度学习的方法可以包括特征提取、空间占有估计、表面重建等三个阶段，附图5展示了特征提取阶段、空间占有估计阶段的方法框架图。如图5所示，特征提取阶段可以包括特征提取模块mf、深度估计模块m
depth
、人体结构语义分割模块m
seg
。对于输入图像i,深度估计模块m
seg
估计图像中人体区域的深度值，得到深度图d以及中间特征g
depth
；人体语义分割模块m
seg
输出人体多结构分割图s以及中间特征g
seg
；特征提取主干网络mf提取用于三维人体重建的主干特征gf。特征提取阶段得到的最终特征g由(gf,g
depth
,g
seg
,d,s)构成。
141.在空间占有估计阶段，占用概率推理模块m
occ
利用特征g估计空间位置处位于人体三维模型表面内部的概率p(x)，p(x)概率值区间为[0,1]，1表示空间位置x位于三维模型内部，0表示空间位置x位于三维模型外部。
[0142]
在表面重建阶段，通过空间中均匀采样的位置{x},提取值为0.5的等值面，得到三维穿衣人体表面重建结果。接下来本实施例将对如何构建各个模块进行阐述：
[0143]
特征提取模块mf、深度估计模块m
depth
、人体结构语义分割模块m
seg
具有相似的卷积神经网络结构，网络结构可以与u-net类似，具有卷积编码器和解码器，网络可以具有5个空间分辨率层次，编码器可以包含4个具有残差连接的卷积子模块，每个子模块包含四个3
×
3的卷积层，每个卷积子模块之后为2
×
2平均池化下采样层。解码器包含4个具有残差连接的卷积子模块和1个卷积层，每个卷积子模块后为
×
2线性上采样层。在编码器和解码器之间在同尺寸特征图之间具有残差连接。
[0144]
占有概率推理模块m
occ
：在空间占用概率推理阶段，空间位置由投影在二维图像上的坐标和深度组成,概率推理模块m
occ
接收位置x的像素对齐特征以及深度z，估计位置x位于三维形状表面内部的概率。概率推理模块m
occ
由全连接层构成。
[0145]
本实施例所涉及的训练方法流程图，如附图9所示。
[0146]
本技术的穿衣人体重建方法框架中的可学习模块，由以下几个步骤训练得到：
[0147]
s1-1：训练深度估计模块m
depth
。
[0148]
获取rgb人体图像数据集和对应的深度图，以有监督的方式训练m
depth
，得到m
depth
的卷积神经网络参数。
[0149]
s1-2：训练人体分割模块m
seg
。
[0150]
获取rgb人体图像数据集和对应的人体多结构语义分割图，以有监督的方式训练m
seg
，得到m
seg
的卷积神经网络参数。
[0151]
s1-3：训练特征提取模块mf和占有概率推理模块m
occ
：
[0152]
固定模块m
dep
和m
seg
的神经网络权重，构造如附图1所示的框架，对其进行训练，得到特征提取模块mf和占有概率推理模块m
occ
的网络参数。
[0153]
本实施例所涉及的实际应用阶段的方法流程图，如附图10所示。
[0154]
s2-1：对于输入的穿衣人体单视点rgb图像，利用深度估计模块、人体分割模块、特征提取模块，提取图像特征g。
[0155]
对于输入的单视点人体rgb图像i，利用s1-1训练得到的模块m
depth
估计深度图d并得到深度相关特征g
dept
，利用s1-2训练得到的模块m
seg
估计分割图s并得到语义相关特征g
seg
，利用s1-3训练得到的模块mf提取图像的特征gf。得到的最终特征由(gf，g
depth
，g
seg
，d，s)构成。
[0156]
s2-2：对于空间位置x(x，z)，其像素对齐特征为gx，利用占有概率推理模块mocc推理空间位置x位于三维模型内部的概率p(x)。
[0157]
对三维空间中的位置进行均匀采样，得到位置点集合{x}。对于每个空间位置利用获取位置x处的空间对齐特征利用步骤s1-3训练得到的模块m
occ
，输入特征和深度z，估计位置x处位于三维形状内部的概率p(x)。
[0158]
s2-3：利用marching cube技术，提取等值面，得到最终的穿衣人体三维重建结果。
[0159]
对于步骤s2-2得到的集合{(x，p(x))}，利用marching cube技术，提取值为0.5的等值面，得到最终的穿衣人体三维重建表面。
[0160]
上述实施例，利用卷积神经网络提取的像素对齐特征，估计空间中的位置位于形状内部的概率，在该过程中，特征的表示能力和描述能力十分重要，但现有技术对rgb图像输入的特征提取能力不足，会导致三维人体重建结果不够完整和精确。本实施例通过引入额外的深度估计模块和语义分割模块，为像素对齐特征提供了丰富的几何相关信息、深度相关信息、语义相关信息，有效提高了特征的表达能力和描述能力，提高了人体重建的精度。利用本实施例，可以从单视点rgb图像重建高质量的穿衣人体三维模型。
[0161]
为了使本实施例的目的、技术方案及优点更加清楚明白，以下将对本技术提出的一种基于单视点rgb图像重建场穿衣人体的方法做进一步详细说明。应当理解，此处所描述的具体实施方法仅用以解释本技术，并不用于限定本技术的保护范围。所描述的实施例是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0162]
其中，s1-1可以具体为以下内容。
[0163]
构造深度估计模块m
depth
，该模块具有卷积编码器和解码器，网络具有5个空间分辨率层次，编码器包含4个具有残差连接的卷积子模块，每个子模块包含四个3
×
3的卷积层，每个卷积子模块之后为2
×
2平均池化下采样层。解码器包含4个具有残差连接的卷积子模块和1个卷积层，每个卷积子模块后为
×
2线性上采样层，在编码器和解码器之间在同尺寸特征图之间具有残差连接。获取rgb人体图像数据集和对应的深度图，以有监督的方式对模块m
dept
进行训练，损失函数l
depth
为：
[0164]
l
depth
(d，d
gt
)＝h(d-d
gt
，α)
ꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0165][0166]
其中d为卷积神经网络预测的深度图，d
gt
为深度图的真值，h(x，α)为huber损失函数，α取值为0.1。
[0167]
其中，s1-2可以包括以下内容。
[0168]
构造人体分割模块模块m
seg
，网络结构与m
depth
相似，获取rgb人体图像数据集和对应的人体多结构语义分割图，以有监督的方式训练m
seg
，得到m
seg
的卷积神经网络参数，损失函数如下：
[0169]
l
seg
(s，s
gt
)＝ce(s，s
gt
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0170]
其中s为卷积神经网络预测的分割图，s
gt
为语义分割的真值，ce为交叉熵损失函数。
[0171]
其中，s1-3可以包括以下内容。
[0172]
固定模块m
dep
和m
seg
的神经网络权重，构造如附图1所示的框架，mf的网络结构m
depth
相似，m
occ
模块由全连接层构成，与对其进行训练，得到特征提取模块mf和占有概率推理模块m
occ
的网络参数。输入图像i，空间位置x的估计值为p(x)，损失函数如下：
[0173]
l
occ
(p(x)，o(x))＝|p(x)-o(x)|2ꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0174]
其中p(x)为模块m
occ
输出的估计值，o(x)表示三维模型真值的空间占用，即当x位于形状内部时，o(x)为1，否则为0。
[0175]
实际应用阶段。
[0176]
其中，s2-1可以包括以下内容。
[0177]
对于输入的单视点人体rgb图像i，利用s1-1训练得到的模块m
dep
估计深度图d并得到深度相关特征g
dept
，利用s1-2训练得到的模块m
seg
估计分割图s并得到语义相关特征g
seg
，利用s1-3训练得到的模块mf提取图像的特征gf。得到的最终特征由(gf，g
dept
，g
seg
，d，s)构成。
[0178]
其中，s2-2可以包括以下内容。
[0179]
对三维空间中的位置进行均匀采样，得到位置点集合{x}。对于每个空间位置利用获取位置x处的空间对齐特征利用步骤s1-3训练得到的模块m
occ
，输入特征和深度z，估计位置x处位于三维形状内部的概率p(x)。
[0180]
其中，s2-3可以包括以下内容。
[0181]
对于步骤s2-2得到的集合{(x，p(x))}，利用marching cube技术(一种用于把以网格形式表示的等值面进行三角网格化的计算机图形算法)，提取值为0.5的等值面，得到最终的穿衣人体三维重建表面。
[0182]
本实施例提出的从单视点rgb图像重建穿衣的方法，至少具有以下区别技术特征。
[0183]
1、隐式穿衣人体三维重建中的深度相关特征增强和语义相关特征增强。
[0184]
相关技术中的隐式穿衣人体三维重建方法在提取人体表面几何信息、深度信息和语义信息上能力不足，会导致人体表面估计上的不准确和不完整。本技术提供的技术方案通过引入额外的卷积神经网络通路，显式地从输入的rgb人体图像提取深度相关的特征和语义相关特征，为穿衣人体的表面估计提供了丰富的特征信息，本技术通过提高提取特征的描述能力与表达能力，改善了穿衣人体三维重建的准确性。
[0185]
2、多路特征提取网络与人体三维重建网络的训练
[0186]
为了有效训练本技术提出的多路特征增强穿衣人体重建框架，本技术提出一个训练策略，首先对深度估计模块m
depth
和人体分割模块m
seg
独立进行训练，之后将深度估计模块和人体分割模块集成进人体三维重建主干网络中，固定上述两个模块的参数，对框架进行
训练，优化特征提取模块mf和占有概率推理模块m
occ
的可学习权重。在实际应用中，利用训练好的m
depth
、m
seg
、mf、和m
occ
构成的穿衣人体重建框架，估计三维空间位置x位于穿衣人体内部的概率。
[0187]
本实施例的目的为改善隐式穿衣人体重建中的特征表示能力，通过在方法框架中引入人体深度估计模块和人体多结构语义分割模块，显示地提取深度信息和语义信息，增强穿衣人体表面推理中的特征表示能力。本实施例的方法框架包含一个特征提取主干模块、一个深度估计模块、一个人体语义分割模块，能够从rgb图像提取丰富的结构信息、深度信息、语义信息，构成像素对齐特征，并利用像素对齐特征推理三维形状表面。本技术提供的方法改善了从单视点rgb图像重建穿衣人体三维模型的准确性。
[0188]
本技术提出一种语义分割深度感知的穿衣人体重建方法，在隐式穿衣人体重建框架中引入深度感知模块，提升了像素特征的表示能力，改善了三维穿衣人体的重建的精度和完整性。
[0189]
需要特别指出的是，上述三维模型构建方法的各个实施例中的各个步骤均可以相互交叉、替换、增加、删减。因此，这些合理的排列组合变换之于三维模型构建方法也应当属于本公开的保护范围，并且不应将本公开的保护范围局限在所述实施例之上。
[0190]
基于同一发明构思，本公开实施例中还提供了一种三维模型构建装置，如下面的实施例。由于该装置实施例解决问题的原理与上述方法实施例相似，因此该装置实施例的实施可以参见上述方法实施例的实施，重复之处不再赘述。
[0191]
图11是根据一示例性实施例示出的一种三维模型构建装置的框图。参照图11，本公开实施例提供的三维模型构建装置1100可以包括：二维图像获取模块1101、语义分割模块1102、二维主干特征提取模块1103、特征融合模块1104、三维点获取模块1105、融合二维特征获取模块1106、占有概率推理模块1107。
[0192]
其中，二维图像获取模块1101可以用于获取目标对象的二维图像；语义分割模块1102可以用于通过语义分割模块对目标对象的二维图像进行语义分割处理，以确定目标对象对应的语义分割特征和语义分割图；二维主干特征提取模块1103可以用于通过特征提取模块对目标对象的二维图像进行特征提取处理，以确定目标对象的二维图像对应的二维主干特征；特征融合模块1104可以用于将目标对象对应的语义分割图、语义分割特征和二维主干特征进行特征融合处理，以确定目标对象的二维图像的融合二维特征；三维点获取模块1105可以用于获取三维空间中的多个三维点，其中每个三维点在目标对象的二维图像所在平面上的投影点均落在目标对象的二维图像中；融合二维特征获取模块1106可以用于基于目标对象的二维图像对应的融合二维特征，确定各个三维点在目标对象的二维图像中的投影点对应的融合二维特征；占有概率推理模块1107可以用于通过占用概率推理模块对各个三维点对应的融合二维特征进行占有概率推理处理，确定各个三维点位于目标对象的三维模型中的空间占有概率，以便根据各个三维点对应的空间占有概率构建目标对象的三维模型。
[0193]
此处需要说明的是，上述二维图像获取模块1101、语义分割模块1102、二维主干特征提取模块1103、特征融合模块1104、三维点获取模块1105、融合二维特征获取模块1106、占有概率推理模块1107对应于方法实施例中的s202～s214，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述方法实施例所公开的内容。需要说明的是，上述模块
作为装置的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
[0194]
在一些实施例中，三维模型构建装置1101还可以包括：深度估计模块。
[0195]
其中，深度估计模块可以用于通过深度估计模块对目标对象的二维图像进行深度估计处理，以确定目标对象的二维图像的深度特征和深度图；
[0196]
其中，特征融合模块1104可以包括：融合二维特征确定子模块。其中，融合二维特征确定模块可以用于将语义分割图、语义分割特征、深度图、深度特征以及二维主干特征进行特征融合处理，以确定目标对象的二维图像的融合二维特征。
[0197]
在一些实施例中，三维模型构建装置1100还可以包括：第二深度估计模块和深度特征确定模块。
[0198]
其中，第二深度估计模块可以用于通过深度估计模块对目标对象的二维图像进行深度估计处理，以确定二维图像对应的深度图和深度特征；深度特征确定模块可以用于通过语义分割图对目标对象的二维图像对应的深度图和深度特征进行分割，以确定目标对象所在区域对应的深度图和深度特征；
[0199]
其中，特征融合模块1104可以包括：深度融合子模块。
[0200]
其中，深度融合子模块可以用于将语义分割图、语义分割特征、目标对象所在区域对应的深度图和深度特征以及二维主干特征进行融合处理，以确定目标对象的二维图像的融合二维特征。
[0201]
在一些实施例中，多个三维点包括目标三维点；其中，占有概率推理模块1107可以包括：距离确定子模块、深度确定子模块、占有概率确定子模块。
[0202]
其中，距离确定子模块可以用于确定目标三维点距离目标对象的二维图像所在平面的距离；深度确定子模块可以用于将目标三维点距离目标对象的二维图像所在平面的距离作为目标三维点的深度；占有概率确定子模块可以用于根据目标三维点的投影点的融合二维特征和目标三维点的深度，确定目标三维点位于目标对象的三维模型中的空间占有概率。
[0203]
在一些实施例中，占有概率推理模块1107可以包括：三维点提取子模块、三维表面构建子模块以及三维模型构建子模块。
[0204]
其中，三维点提取子模块可以用于在多个三维点中提取空间占有概率等于目标值的三维点；三维表面构建子模块可以用于根据空间占有概率等于目标值的三维点，生成目标对象的三维模型的三维表面；三维模型构建子模块可以用于根据三维表面构建目标对象的三维模型。
[0205]
在一些实施例中，三维点获取模块1105可以包括：预设高度获取子模块、三维空间构建子模块以及三维点确定子模块。
[0206]
其中，预设高度获取子模块可以用于获取预设高度值；三维空间构建子模块可以用于根据目标对象的二维图像和预设高度值构建三维空间；三维点确定子模块可以用于在三维空间中进行均匀采样或者随机采样以获得多个三维点。
[0207]
在一些实施例中，三维模型构建装置1100还可以包括：实际三维模型确定模块、实际模型分割模块、训练主干特征确定模块、训练融合模块、训练三维点获取模块、二维对齐特征确定模块、占用概率推理模块、实际位置关系确定模块、损失确定模块以及参数训练模块。
[0208]
其中，实际三维模型确定模块可以用于获取训练对象的二维图像和训练对象的实际三维模型；实际模型分割模块可以用于通过语义分割模块对训练对象的二维图像进行语义分割处理，以确定训练对象对应的语义分割特征和语义分割图；训练主干特征确定模块可以用于通过特征提取模块对训练对象的二维图像进行特征提取处理，以确定训练对象的二维图像对应的二维主干特征；训练融合模块可以用于将训练对象的语义分割图、语义分割特征和二维主干特征进行特征融合，以确定训练对象的二维图像的融合二维特征；训练三维点获取模块可以用于获取三维空间中的三维训练点，其中三维训练点在训练对象的二维图像所在平面上的投影点落在训练对象的二维图像中；二维对齐特征确定模块可以用于基于训练对象的二维图像对应的融合二维特征，确定三维训练点在训练对象的二维图像中的投影点对应的融合二维特征；占用概率推理模块可以用于通过占用概率推理模块对三维训练点的融合二维特征进行占有概率推理处理，确定三维训练点位于训练对象的预测三维模型中的空间占有概率；实际位置关系确定模块可以用于确定三维训练点与训练对象的实际三维模型的实际位置关系；损失确定模块可以用于根据三维训练点与实际三维模型的实际位置关系和三维训练点对应的空间占有概率确定损失值；参数训练模块可以用于通过损失值训练特征提取模块和占用概率推理模块的参数值。
[0209]
由于装置1100的各功能已在其对应的方法实施例中予以详细说明，本公开于此不再赘述。
[0210]
描述于本公开实施例中所涉及到的模块和/或子模块和/或单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块和/或子模块和/或单元也可以设置在处理器中。其中，这些模块和/或子模块和/或单元的名称在某种情况下并不构成对该模块和/或子模块和/或单元本身的限定。
[0211]
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块或程序段的一部分，上述模块或程序段的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机程序指令的组合来实现。
[0212]
此外，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
[0213]
图12示出了适于用来实现本公开实施例的的电子设备的结构示意图。需要说明的是，图12示出的电子设备1200仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
[0214]
如图12所示，电子设备1200包括中央处理单元(cpu)1201，其可以根据存储在只读存储器(rom)1202中的程序或者从储存部分1208加载到随机访问存储器(ram)1203中的程序而执行各种适当的动作和处理。在ram 1203中，还存储有电子设备1200操作所需的各种
程序和数据。cpu 1201、rom 1202以及ram 1203通过总线1204彼此相连。输入/输出(i/o)接口1205也连接至总线1204。
[0215]
以下部件连接至i/o接口1205：包括键盘、鼠标等的输入部分1206；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分1207；包括硬盘等的储存部分1208；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分1209。通信部分1209经由诸如因特网的网络执行通信处理。驱动器1210也根据需要连接至i/o接口1205。可拆卸介质1211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1210上，以便于从其上读出的计算机程序根据需要被安装入储存部分1208。
[0216]
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序指令。在这样的实施例中，该计算机程序可以通过通信部分1209从网络上被下载和安装，和/或从可拆卸介质1211被安装。在该计算机程序被中央处理单元(cpu)1201执行时，执行本公开的系统中限定的上述功能。
[0217]
需要说明的是，本公开所示的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序指令。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读存储介质，该计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的计算机程序指令可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0218]
作为另一方面，本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备可实现功能包括：获取目标对象的二维图像；通过语义分割模块对目标对象的二维图像进行语义分割处理，以确定目标对象对应的语义分割特征和语义分割图；通过特征提取模块对目标对象的二维图像进行特征提取处理，以确定目标对象的二维图像对应的二维主干特征；
[0219]
将目标对象对应的语义分割图、语义分割特征和二维主干特征进行特征融合处理，以确定目标对象的二维图像的融合二维特征；获取三维空间中的多个三维点，其中每个三维点在目标对象的二维图像所在平面上的投影点均落在目标对象的二维图像中；基于目
标对象的二维图像对应的融合二维特征，确定各个三维点在目标对象的二维图像中的投影点对应的融合二维特征；通过占用概率推理模块对各个三维点对应的融合二维特征进行占有概率推理处理，确定各个三维点位于目标对象的三维模型中的空间占有概率，以便根据各个三维点对应的空间占有概率构建目标对象的三维模型。
[0220]
根据本公开的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机程序指令，该计算机程序指令存储在计算机可读存储介质中。从计算机可读存储介质读取该计算机程序指令，处理器执行该计算机程序指令，实现上述实施例的各种可选实现方式中提供的方法。
[0221]
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，本公开实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中，包括若干计算机程序指令用以使得一台电子设备(可以是服务器或者终端设备等)执行根据本公开实施例的方法。
[0222]
本领域技术人员在考虑说明书及实践在这里公开的公开后，将容易想到本公开的其他实施例。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
[0223]
应当理解的是，本公开并不限于这里已经示出的详细结构、附图方式或实现方法，相反，本公开意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。

技术特征：
1.一种三维模型构建方法，其特征在于，包括：获取目标对象的二维图像；通过语义分割模块对所述目标对象的二维图像进行语义分割处理，以确定所述目标对象对应的语义分割特征和语义分割图；通过特征提取模块对所述目标对象的二维图像进行特征提取处理，以确定所述目标对象的二维图像对应的二维主干特征；将所述目标对象对应的语义分割图、语义分割特征和二维主干特征进行特征融合处理，以确定所述目标对象的二维图像的融合二维特征；获取三维空间中的多个三维点，其中每个三维点在所述目标对象的二维图像所在平面上的投影点均落在所述目标对象的二维图像中；基于所述目标对象的二维图像对应的融合二维特征，确定各个三维点在所述目标对象的二维图像中的投影点对应的融合二维特征；通过占用概率推理模块对各个三维点对应的融合二维特征进行占有概率推理处理，确定各个三维点位于所述目标对象的三维模型中的空间占有概率，以便根据各个三维点对应的空间占有概率构建所述目标对象的三维模型。2.根据权利要求1所述方法，其特征在于，所述方法还包括：通过深度估计模块对所述目标对象的二维图像进行深度估计处理，以确定所述目标对象的二维图像的深度特征和深度图；其中，将所述语义分割图、所述语义分割特征和所述二维主干特征进行特征融合处理，以确定所述目标对象的二维图像的融合二维特征，包括：将所述语义分割图、所述语义分割特征、所述深度图、所述深度特征以及所述二维主干特征进行特征融合处理，以确定所述目标对象的二维图像的融合二维特征。3.根据权利要求1所述方法，其特征在于，所述方法还包括：通过深度估计模块对所述目标对象的二维图像进行深度估计处理，以确定所述二维图像对应的深度图和深度特征；通过所述语义分割图对所述目标对象的二维图像对应的深度图和深度特征进行分割，以确定所述目标对象所在区域对应的深度图和深度特征；其中，将所述语义分割图、所述语义分割特征和所述二维主干特征进行特征融合处理，以确定所述目标对象的二维图像的融合二维特征，包括：将所述语义分割图、所述语义分割特征、所述目标对象所在区域对应的深度图和深度特征以及所述二维主干特征进行融合处理，以确定所述目标对象的二维图像的融合二维特征。4.根据权利要求1所述方法，其特征在于，所述多个三维点包括目标三维点；其中，通过占用概率推理模块对各个三维点对应的融合二维特征进行占有概率推理处理，确定各个三维点位于所述目标对象的三维模型中的空间占有概率，包括：确定所述目标三维点距离所述目标对象的二维图像所在平面的距离；将所述目标三维点距离所述目标对象的二维图像所在平面的距离作为所述目标三维点的深度；根据所述目标三维点的投影点的融合二维特征和所述目标三维点的深度，确定所述目
标三维点位于所述目标对象的三维模型中的空间占有概率。5.根据权利要求1所述方法，其特征在于，根据各个三维点对应的空间占有概率构建所述目标对象的三维模型，包括：在所述多个三维点中提取空间占有概率等于目标值的三维点；根据所述空间占有概率等于所述目标值的三维点，生成所述目标对象的三维模型的三维表面；根据所述三维表面构建所述目标对象的所述三维模型。6.根据权利要求1所述方法，其特征在于，获取三维空间中的多个三维点，其中每个三维点在所述目标对象的二维图像所在平面上的投影点均落在所述目标对象的二维图像中，包括：获取预设高度值；根据所述目标对象的二维图像和所述预设高度值构建所述三维空间；在所述三维空间中进行均匀采样或者随机采样以获得所述多个三维点。7.根据权利要求1所述方法，其特征在于，所述方法还包括：获取训练对象的二维图像和所述训练对象的实际三维模型；通过所述语义分割模块对所述训练对象的二维图像进行语义分割处理，以确定所述训练对象对应的语义分割特征和语义分割图；通过所述特征提取模块对所述训练对象的二维图像进行特征提取处理，以确定所述训练对象的二维图像对应的二维主干特征；将所述训练对象的语义分割图、语义分割特征和二维主干特征进行特征融合，以确定所述训练对象的二维图像的融合二维特征；获取所述三维空间中的三维训练点，其中所述三维训练点在所述训练对象的二维图像所在平面上的投影点落在所述训练对象的二维图像中；基于所述训练对象的二维图像对应的融合二维特征，确定所述三维训练点在所述训练对象的二维图像中的投影点对应的融合二维特征；通过所述占用概率推理模块对所述三维训练点的融合二维特征进行占有概率推理处理，确定所述三维训练点位于所述训练对象的预测三维模型中的空间占有概率；确定所述三维训练点与所述训练对象的实际三维模型的实际位置关系；根据所述三维训练点与所述实际三维模型的实际位置关系和所述三维训练点对应的空间占有概率确定损失值；通过所述损失值训练所述特征提取模块和所述占用概率推理模块的参数值。8.一种三维模型构建装置，其特征在于，包括：二维图像获取模块，用于获取目标对象的二维图像；语义分割模块，用于通过语义分割模块对所述目标对象的二维图像进行语义分割处理，以确定所述目标对象对应的语义分割特征和语义分割图；二维主干特征提取模块，用于通过特征提取模块对所述目标对象的二维图像进行特征提取处理，以确定所述目标对象的二维图像对应的二维主干特征；特征融合模块，用于将所述目标对象对应的语义分割图、语义分割特征和二维主干特征进行特征融合处理，以确定所述目标对象的二维图像的融合二维特征；
三维点获取模块，用于获取三维空间中的多个三维点，其中每个三维点在所述目标对象的二维图像所在平面上的投影点均落在所述目标对象的二维图像中；融合二维特征获取模块，用于基于所述目标对象的二维图像对应的融合二维特征，确定各个三维点在所述目标对象的二维图像中的投影点对应的融合二维特征；占有概率推理模块，用于通过占用概率推理模块对各个三维点对应的融合二维特征进行占有概率推理处理，确定各个三维点位于所述目标对象的三维模型中的空间占有概率，以便根据各个三维点对应的空间占有概率构建所述目标对象的三维模型。9.一种电子设备，其特征在于，包括：存储器；以及耦合到所述存储器的处理器，所述处理器被用于基于存储在所述存储器中的计算机程序指令，执行如权利要求1-7任一项所述的三维模型构建方法。10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现如权利要求1-7任一项所述的三维模型构建方法。

技术总结
本公开提供一种三维模型构建方法、装置以及电子设备和计算机可读存储介质，涉及人工智能技术领域，该方法包括：获取目标对象的二维图像；根据目标对象的二维图像确定目标对象对应的语义分割特征和语义分割图；根据目标对象的二维图像确定目标对象的二维图像对应的二维主干特征；将目标对象对应的语义分割图、语义分割特征和二维主干特征进行特征融合处理，以确定二维图像的融合二维特征；获取三维空间中的多个三维点；基于二维图像对应的融合二维特征，确定各个三维点在目标对象的二维图像中的投影点对应的融合二维特征；确定各个三维点位于目标对象的三维模型中的空间占有概率，以便根据各个三维点对应的空间占有概率构建目标对象的三维模型。标对象的三维模型。标对象的三维模型。


技术研发人员：张云庚 丁鹏 沈云 梁伟
受保护的技术使用者：中国电信股份有限公司
技术研发日：2023.07.14
技术公布日：2023/10/11