一种三维重建方法、设备及计算机存储介质技术

本申请提供一种三维重建方法、设备及计算机存储介质，涉及图像处理技术领域。三维重建方法包括：获取目标对象的二维图像；根据二维图像获取目标对象的部分结构特征；获取与目标对象的类别对应的结构树编码信息；根据部分结构特征和结构树编码信息生成目标对象的三维数据信息。本申请提供的三维重建方法可以基于二维图像与结构树实现三维语义重建。二维图像与结构树实现三维语义重建。二维图像与结构树实现三维语义重建。

【技术实现步骤摘要】
一种三维重建方法、设备及计算机存储介质


[0001]本申请涉及图像处理
，尤其涉及一种三维重建方法、设备及计算机存储介质。

技术介绍

[0002]三维语义重建是指对三维物体建立适合计算机表示和处理的数学模型，是在计算机环境下对其进行处理、操作和分析其性质的基础。目前，三维语义重建一般需要将三维数据作为数学模型输入，而三维数据通常需要由激光扫描或深度相机等较为昂贵的设备进行采集，且通常需要在特定场地才能进行准确的采集。因此，现有的三维语义重建方法对输入的要求较高，不适用于日常使用。

技术实现思路

[0003]本申请实施例提供一种三维重建方法、设备及存储介质，能够解决现有三维语义重建方法中输入数据采集困难的的问题。
[0004]第一方面，本申请实施例提供一种三维重建方法，该方法包括：获取目标对象的二维图像；根据二维图像获取目标对象的部分结构特征；获取与目标对象的类别对应的结构树编码信息；根据部分结构特征和结构树编码信息生成目标对象的三维数据信息。
[0005]基于本申请提供的三维重建方法，将二维图像的部分结构特征和与目标对象的类别对应的结构树编码信息结合生成目标对象的三维数据信息，使得该三维重建方法可以基于二维图像实现三维重建，不需要激光扫描或深度相机等设备采集三维输入数据，本申请提供的三维重建方法在保证重建效果的基础下，降低了对输入的要求，具备更好的泛化能力，且成本较低。
[0006]可选地，根据二维图像获取目标对象的部分结构特征，包括：将二维图像输入预设的残差网络进行特征提取，得到图像特征；将图像特征输入预设的提取网络进行部分结构特征提取，得到部分结构特征。
[0007]可选地，部分结构特征的输出维度尺寸为1
×
1。
[0008]可选地，提取网络包括：一层卷积层和多层感知机层。
[0009]可选地，残差网络为ResNet
‑
18中的第一层。
[0010]可选地，根据部分结构特征和结构树编码信息生成目标对象的三维数据信息，包括：将部分结构特征和结构树编码信息输入到已训练的生成器中进行处理，得到三维数据信息。
[0011]可选地，生成器的训练方法包括：构建生成对抗网络，生成对抗网络包括生成器的初始模型和判别器；利用预设的损失函数和训练集对生成对抗网络进行对抗训练，得到生成器，其中，训练集包括多个二维图像样本、结构树编码信息以及分别与每个二维图像样本对应的真实点云信息；
[0012]损失函数用于描述三维数据信息与真实点云信息之间的绝对误差损失值，损失函
数基于Wasserstein距离和1
‑
Lipschitz连续约束求解得到。
[0013]可选地，损失函数表示为：
[0014][0015]其中，L表示损失函数，I表示部分结构特征，表示与二维图像样本对应的真实点云信息，Y表示生成器生成的与二维图像样本对应的三维数据信息，λ
gp
表示梯度惩罚项的参数，D(
·
)表示判别器，G(
·
)表示生成器，表示为部分结构特征的期望值，表示三维数据信息的期望值，表示真实点云信息的期望值。
[0016]第二方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述第一方面中任一项的方法。
[0017]第三方面，本申请实施例提供了一种计算机存储介质，计算机存储介质存储有计算机程序，计算机程序被处理器执行时实现如的方法。
[0018]可以理解的是，上述第二方面和第三方面的有益效果可以参见上述第一方面和第一方面的各可能的实施方式所带来的有益效果的相关描述，在此不再赘述。
附图说明
[0019]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0020]图1是本申请一实施例提供的一种三维重建方法的流程图；
[0021]图2是本申请一实施例提供的另一种三维重建方法的流程图；
[0022]图3是本申请一实施例提供的一种结构树编码信息的生成图；
[0023]图4是本申请一实施例提供的又一种三维重建方法的流程图；
[0024]图5是本申请一实施例提供的重建结果与PT2PC的重建结果对比结构图；
[0025]图6是本申请一实施例提供的一种终端设备的结构示意图。
[0026]100、终端设备；101、处理器；102、存储器；103、指令；104、计算机程序。
具体实施方式
[0027]以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
[0028]应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
[0029]另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0030]在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请
的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
[0031]本申请实施例提供一种三维重建方法、设备和存储介质，可以基于目标对象的二维图像和对应的结构树编码信息生成目标对象的三维数据信息，实现三维重建，不需要激光扫描或深度相机等设备采集三维输入数据，在保证重建效果的基础下，降低了对输入的要求，具备更好的泛化能力，且成本较低。使得该三维重建方法可以适用于各个场所。
[0032]下面以具体地实施例对本申请的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
[0033]参见图1，为本申请实施例提供的一种三维重建方法的流程示意图，该三维重建方法的执行主体可以为图像处理设备，图像处理设备可以是智能手机、平板电脑、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维重建方法，其特征在于，所述方法包括：获取目标对象的二维图像；根据所述二维图像获取所述目标对象的部分结构特征；获取与所述目标对象的类别对应的结构树编码信息；根据所述部分结构特征和所述结构树编码信息生成所述目标对象的三维数据信息。2.根据权利要求1所述的方法，其特征在于，所述根据所述二维图像获取所述目标对象的部分结构特征，包括：将所述二维图像输入预设的残差网络进行特征提取，得到图像特征；将所述图像特征输入预设的提取网络进行部分结构特征提取，得到所述部分结构特征。3.根据权利要求2所述的方法，其特征在于，所述部分结构特征的输出维度尺寸为1
×
1。4.根据权利要求2所述的方法，其特征在于，所述提取网络包括：一层卷积层和多层感知机层。5.根据权利要求2所述的方法，其特征在于，所述残差网络为ResNet
‑
18中的第一层。6.根据权利要求1
‑
5任一项所述的方法，其特征在于，所述根据所述部分结构特征和所述结构树编码信息生成所述目标对象的三维数据信息，包括：将所述部分结构特征和所述结构树编码信息输入到已训练的生成器中进行处理，得到所述三维数据信息。7.根据权利要求6所述的方法，其特征在于，所述生成器的训练方法包括：构建生成对抗网络，所述生成对抗网络包括所述...

【专利技术属性】
技术研发人员：王磊，程俊，李杰，郝晓阳，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：