三维重建方法、装置、系统和存储介质制造方法及图纸

本发明专利技术实施例提供了一种三维重建方法、装置、计算机系统及计算机可读存储介质，所述方法包括：对目标物体的原始二维图像进行三维重建，以生成与所述原始二维图像相对应的原始三维物体；基于所述原始三维物体在候选视角下的重建质量，在所述候选视角中选择所述目标物体的补充视角；根据所述补充视角，获取所述目标物体的补充二维图像；对所述补充二维图像进行三维重建，以生成与所述补充二维图像相对应的补充三维物体；对所述原始三维物体和所述补充三维物体进行融合，以获得所述目标物体的三维重建结果。上述方案能够利用较少的二维图像得到高质量的重建三维物体。

3D reconstruction methods, devices, systems and storage media

【技术实现步骤摘要】
【国外来华专利技术】三维重建方法、装置、系统和存储介质
本专利技术涉及计算机视觉
，更具体地涉及一种三维重建方法、装置、系统和存储介质。
技术介绍
三维重建是基于已知的二维图像生成对应的三维物体的过程。由于二维图像是在特定相机视角下拍摄的目标物体，因此只能反映出该特定相机视角下的目标物体特征，而无法展现出目标物体的全部特征。从理论上来说，拍摄目标物体时选取的相机视角越多，重建生成的三维物体相对于目标物体的还原度越高，重建质量就越好。然而在实际操作中，考虑到计算机资源成本、时间成本、人力成本等因素，不可能无限制地对大量二维图像进行三维重建。因此，如何选取合适视角下的二维图像，并基于选取到的二维图像进行三维重建，成为本领域技术人员亟待解决的技术问题。
技术实现思路
考虑到上述问题而提出了本专利技术。根据本专利技术一个方面，提供了一种三维重建方法。所述方法包括：对目标物体的原始二维图像进行三维重建，以生成与所述原始二维图像相对应的原始三维物体；基于所述原始三维物体在候选视角下的重建质量，在所述候选视角中选择所述目标物体的补充视角；根据所述补充视角，获取所述目标物体的补充二维图像；对所述补充二维图像进行三维重建，以生成与所述补充二维图像相对应的补充三维物体；以及对所述原始三维物体和所述补充三维物体进行融合，以获得所述目标物体的三维重建结果。示例性地，所述对目标物体的原始二维图像进行三维重建包括：从所述原始二维图像中提取原始图像特征；对所述原始图像特征通过体素神经网络进行解码，以获得所述目标物体的体素立方体；基于所述体素立方体确定所述原始三维物体。示例性地，所述在所述候选视角中选择所述目标物体的补充视角包括：对所述原始三维物体进行回归分析，以确定所述原始三维物体在多个候选视角下的重建质量；将最差的重建质量所对应的候选视角确定为所述补充视角。示例性地，所述对所述原始三维物体进行回归分析利用第一神经网络实现，其中，所述第一神经网络通过以下步骤训练获得：获取现实的训练物体的训练三维物体；获取所述训练物体的训练二维图像；基于所述训练物体的训练二维图像进行三维重建，以生成训练重建物体；基于预设的训练视角，对所述训练重建物体进行投影，以获得第一投影深度图；基于所述训练视角，对所述训练三维物体进行投影，以获得第二投影深度图；计算所述第一投影深度图相对于所述第二投影深度图的差异度；将所述训练重建物体作为输入数据并将所述差异度作为真值数据，训练所述第一神经网络。示例性地，所述计算所述第一投影深度图相对于所述第二投影深度图的差异度包括：获取所述第一投影深度图中的、所述训练重建物体在所述训练视角下可见的每个体素的第一深度值；对于每个第一深度值，获取所述第二投影深度图中的、所述训练三维物体的对应体素的第二深度值；计算所述第二深度值和所述第一深度值之间的深度差与所述第二深度值之间的比值；将所述第一投影深度图中的、所述训练重建物体在所述训练视角下可见的所有体素对应的比值平均，以作为所述差异度。示例性地，所述训练所述第一神经网络包括：基于所述输入数据，获取所述第一神经网络对应的输出数据；根据所述输出数据和所述真值数据计算所述第一神经网络的损失函数；基于所述损失函数更新所述第一神经网络的参数。示例性地，所述根据所述补充视角获取所述目标物体的补充二维图像包括：从数据库中选取与所述补充视角最接近的视角对应的二维图像，以作为所述补充二维图像；或者基于所述补充视角的相机位姿调整相机，并由所述相机采集所述补充二维图像。示例性地，所述从数据库中选取与所述补充视角最接近的视角对应的二维图像包括：获取所述数据库中存储的二维图像的位姿标识符，其中，所述位姿标识符用于标识二维图像对应的视角的相机位姿；根据所述位姿标识符，确定所述二维图像对应的视角的相机位姿与所述补充视角的相机位姿之间的位姿差；在位姿差取得最小值的情况，将对应的二维图像确定为所述补充二维图像。示例性地，在所述对所述原始三维物体和所述补充三维物体进行融合之后，所述三维重建方法还包括：判断所述三维重建结果中可见的体素占比是否大于第一比例；对于不大于第一比例的情况，将所述三维重建结果作为所述原始三维物体，并再次基于补充视角进行三维重建，直至所述三维重建结果中可见的体素占比大于所述第一比例。根据本专利技术另一方面，还提供了一种三维重建装置，包括：第一重建模块，用于对目标物体的原始二维图像进行三维重建，以生成与所述原始二维图像相对应的原始三维物体；补充视角模块，用于基于所述原始三维物体在候选视角下的重建质量，在所述候选视角中选择所述目标物体的补充视角；补充图像模块，用于根据所述补充视角，获取所述目标物体的补充二维图像；第二重建模块，用于对所述补充二维图像进行三维重建，以生成与所述补充二维图像相对应的补充三维物体；以及融合模块，用于对所述原始三维物体和所述补充三维物体进行融合，以获得所述目标物体的三维重建结果。根据本专利技术再一方面，还提供了一种三维重建系统，包括：处理器和存储器，其中，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器运行时用于执行上述的三维重建方法。根据本专利技术又一方面，还提供了一种存储介质，在所述存储介质上存储了程序指令，所述程序指令在运行时用于执行上述的三维重建方法。根据本专利技术实施例的技术方案，根据三维物体的重建质量确定补充视角，利用补充视角下的二维图像进行三维重建，能够利用较少的二维图像得到高质量的重建三维物体。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。附图说明通过结合附图对本专利技术实施例进行更详细的描述，本专利技术的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本专利技术实施例的进一步理解，并且构成说明书的一部分，与本专利技术实施例一起用于解释本专利技术，并不构成对本专利技术的限制。在附图中，相同的参考标号通常代表相同部件或步骤。图1示出了根据本专利技术一个实施例的三维重建方法的示意性流程图；图2示出了根据本专利技术一个实施例选择补充视角的示意性流程图；图3示出了根据本专利技术一个实施例获得第一神经网络的示意性流程图；图4示出了根据本专利技术一个实施例计算差异度的示意性流程图；图5示出了根据本专利技术一个实施例训练第一神经网络的示意性流程图；图6示出了根据本专利技术一个实施例训练第一神经网络的示意性框图；图7示出了根据本专利技术一个实施例从数据库中选取补充二维图像的示意性流程图；图8示出了根据本专利技术另一个实施例三维重建方法的示意性流程图本文档来自技高网...

【技术保护点】
1.一种三维重建方法，其特征在于，包括：/n对目标物体的原始二维图像进行三维重建，以生成与所述原始二维图像相对应的原始三维物体；/n基于所述原始三维物体在候选视角下的重建质量，在所述候选视角中选择所述目标物体的补充视角；/n根据所述补充视角，获取所述目标物体的补充二维图像；/n对所述补充二维图像进行三维重建，以生成与所述补充二维图像相对应的补充三维物体；以及/n对所述原始三维物体和所述补充三维物体进行融合，以获得所述目标物体的三维重建结果。/n

【技术特征摘要】
【国外来华专利技术】1.一种三维重建方法，其特征在于，包括：
对目标物体的原始二维图像进行三维重建，以生成与所述原始二维图像相对应的原始三维物体；
基于所述原始三维物体在候选视角下的重建质量，在所述候选视角中选择所述目标物体的补充视角；
根据所述补充视角，获取所述目标物体的补充二维图像；
对所述补充二维图像进行三维重建，以生成与所述补充二维图像相对应的补充三维物体；以及
对所述原始三维物体和所述补充三维物体进行融合，以获得所述目标物体的三维重建结果。


2.根据权利要求1所述的三维重建方法，其特征在于，所述对目标物体的原始二维图像进行三维重建包括：
从所述原始二维图像中提取原始图像特征；
对所述原始图像特征通过体素神经网络进行解码，以获得所述目标物体的体素立方体；
基于所述体素立方体确定所述原始三维物体。


3.根据权利要求1所述的三维重建方法，其特征在于，所述在所述候选视角中选择所述目标物体的补充视角包括：
对所述原始三维物体进行回归分析，以确定所述原始三维物体在多个候选视角下的重建质量；
将最差的重建质量所对应的候选视角确定为所述补充视角。


4.根据权利要求3所述的三维重建方法，其特征在于，所述对所述原始三维物体进行回归分析利用第一神经网络实现，其中，所述第一神经网络通过以下步骤训练获得：
获取现实的训练物体的训练三维物体；
获取所述训练物体的训练二维图像；
基于所述训练物体的训练二维图像进行三维重建，以生成训练重建物体；
基于预设的训练视角，对所述训练重建物体进行投影，以获得第一投影深度图；
基于所述训练视角，对所述训练三维物体进行投影，以获得第二投影深度图；
计算所述第一投影深度图相对于所述第二投影深度图的差异度；
将所述训练重建物体作为输入数据并将所述差异度作为真值数据，训练所述第一神经网络。


5.根据权利要求4所述的三维重建方法，其特征在于，所述计算所述第一投影深度图相对于所述第二投影深度图的差异度包括：
获取所述第一投影深度图中的、所述训练重建物体在所述训练视角下可见的每个体素的第一深度值；
对于每个第一深度值，获取所述第二投影深度图中的、所述训练三维物体的对应体素的第二深度值；
计算所述第二深度值和所述第一深度值之间的深度差与所述第二深度值之间的比值；
将所述第一投影深度图中的、所述训练重建物体在所述训练视角下可见的所有体素对应的比值平均，以作为所述差异度。


6.根据权利要求4所述的三维重建方法，其特...

【专利技术属性】
技术研发人员：于立冬，
申请(专利权)人：驭势科技南京有限公司，
类型：发明
国别省市：江苏;32