基于实例分割的三维重建方法、系统、存储介质及终端技术方案

本发明专利技术公开了基于实例分割的三维重建方法、系统、存储介质及终端，方法包括提取目标图像的特征信息；获取目标图像的掩膜特征；将目标图像的特征信息、掩膜特征进行拼接得到目标图像的对应区域特征并进行聚合处理，生成目标图像的三维网格模型。本发明专利技术将目标图像的特征信息、掩膜特征进行拼接得到目标图像的对应区域特征，使目标图像的三维网格模型生成过程中仅关注图片中包含目标对象的那一小块区域特征，目标对象不会受到图片中复杂背景的影响，即实现了图像中前景目标与背景对象的精准分割，对目标图像的对应区域特征进行聚合处理，即可实现低成本、快速地从单张真实室内场景图像中生成目标对象的三维网格模型，适用范围广，实用性强。实用性强。实用性强。

【技术实现步骤摘要】
基于实例分割的三维重建方法、系统、存储介质及终端


[0001]本专利技术涉及图像三维重建
，尤其涉及一种基于实例分割的单幅图片中目标对象的三维重建方法、系统、存储介质及终端。

技术介绍

[0002]对室内场景中的家具对象进行三维重建是3D游戏开发、AR/VR内容生成、家装、租房、VR看房等领域的重要部分，其效率和成本都是相关从业人员非常重视的问题。传统方法对真实室内场景中的家具对象进行三维重建需要专业人员先从包含家具对象的图片中找出需要建模的家具对象，再通过专业的3D建模引擎进行设计、建模、渲染等步骤才能得到精细的三维模型，这类方法往往需要大量的人力成本和时间成本。此外，使用基于Alice视觉摄影测量计算机视觉框架的三维重建软件MeshRoom，可以从一组无序的照片或视频中推断出家具的几何结构，这类方法需要专门学习如何操作该软件，并且需要非常强大的GPU资源来进行建模和渲染。
[0003]为减少人力成本和时间成本，相关研究人员开始尝试使用深度学习来进行三维重建，此类方法主要针对于无背景的RGB图片，即图片中只有需要建模的家具对象，不能受到复杂背景的干扰。然而，包含家具对象的图片基本都是真实室内场景，包含大量的背景对象，在复杂背景的干扰下，此类方法不能明确需要建模的家具对象，无法实现快速三维建模。此外，为解决背景对象对前景目标即家具的干扰问题，可通过人工从真实图片的复杂背景中分割出需要三维重建的家具对象，该方法耗时费力，显然不符合当下对三维重建的效率要求。

技术实现思路

[0004]本专利技术的目的在于克服现有技术中对单张图片中目标对象如家具进行三维重建的方法存在的需要耗费大量的人力成本、时间成本来学习、设计、建模以及渲染的问题，且现有基于深度学习的三维重建方法不能在单张真实室内场景的RGB图片中正确找到复杂背景下的目标对象并对其进行三维建模的问题，提供了一种基于实例分割的三维重建方法、系统、存储介质及终端，实现低成本地、快速地、明确地从单张真实室内场景图片中生成家具对象的三维网格模型。
[0005]本专利技术的目的是通过以下技术方案来实现的：基于实例分割的三维重建方法，方法具体包括：提取目标图像的特征信息；根据目标图像的特征信息获取目标图像的掩膜特征；将目标图像的特征信息、掩膜特征进行拼接得到目标图像的对应区域特征，并对目标图像的对应区域特征进行聚合处理进而生成目标图像的三维网格模型。
[0006]作为一选项，所述获取目标图像的掩膜特征具体包括：对目标图像的特征信息依次进行卷积、反卷积、卷积处理，进而得到目标图像的掩膜特征。
[0007]作为一选项，所述将目标图像的特征信息、掩膜特征进行拼接得到目标图像的对应区域特征具体包括：对目标图像的特征信息、掩膜特征进行拼接并依次进行卷积、最大池
化处理，进而得到目标图像的对应区域特征。
[0008]作为一选项，所述生成目标图像的三维网格模型过程中采用一个固定的椭球根据目标图像的对应区域特征形变为目标三维模型，并通过损失函数约束初始椭球面形变成目标三维模型，损失函数的计算公式具体为：
[0009]L
total
＝L
cls
+L
box
+L
mask
+λ
cd
·
L
cd
+λ
norm
·
L
norm
[0010]+λ
edge
·
L
edge
[0011]其中，L
cls
、L
box
、L
mask
分别是获取目标图像的掩膜特征的实例分割网络的分类损失函数、边界框回归损失函数、掩码预测损失函数；L
cd
、L
norm
、L
edge
分别是用于约束生成目标图像的三维网格模型的三维重建网络的倒角距离损失函数、绝对法线距离损失函数、以及边损失函数；λcd、λnorm、λedge是三维重建网络损失函数的权重，其值分别设定为λcd＝1、λnorm＝0.1、λedge＝1。
[0012]作为一选项，所述法线距离损失函数L
norm
的计算公式为：
[0013][0014]其中，X为基于实例分割的三维重建方法的预测网格模型表面均匀采样的顶点集合，Y为图像目标的真实网格模型表面均匀采样的顶点集合，x、y分别定义为X、Y顶点集合中的某一点，υ
x
、υ
y
分别为x、y的法向量；
[0015]作为一选项，所述边损失函数的计算公式为：
[0016][0017]上式中，设一个表示图像目标的三维网格模型M＝(V,F)，其中V∈R3是一组顶点位置的集合，v∈V表示顶点集合中的一点，是一组三角面的集合，表示三维网格中点集之间的边的集合。
[0018]需要进一步说明的是，上述方法各选项对应的技术特征可以相互组合或替换构成新的技术方案。
[0019]本专利技术还包括一种基于实例分割的三维重建系统，所述系统包括：目标检测网络，用于提取目标图像的特征信息；实例分割网络，用于根据目标图像的特征信息获取目标图像的掩膜特征；三维重建网络，用于将目标图像的特征信息、掩膜特征进行拼接得到目标图像的对应区域特征，并对目标图像的对应区域特征进行聚合处理进而生成目标图像的三维网格模型。
[0020]作为一选项，所述实例分割网络包括顺次连接的第七卷积层、第一反卷积层、第八卷积层和第二最大池化层；所述三维重建网络包括顺次连接的第九卷积层、第三最大池化层、第三全连接层、第四全连接层、第一图卷积层、第二图卷积层和第三图卷积层。
[0021]作为一选项，所述目标检测网络包括顺次连接的第一卷积层、第一最大池化层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层、第一平均池化层、第一全连接层、第二全连接层和激活层，所述第一平均池化层输出端与第七卷积层、第九卷积层连接。
[0022]需要进一步说明的是，上述系统各选项对应的技术特征可以相互组合或替换构成新的技术方案。
[0023]本专利技术还包括一种存储介质，其上存储有计算机指令，所述计算机指令运行时执行上述基于实例分割的三维重建方法的步骤。
[0024]本专利技术还包括一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行上述基于实例分割的三维重建方法的步骤。
[0025]与现有技术相比，本专利技术有益效果是：
[0026](1)本专利技术将目标图像的特征信息、掩膜特征进行拼接得到目标图像的对应区域特征，使目标图像的三维网格模型生成过程中仅关注图片中包含目标对象的那一小块区域特征，目标对象不会受到图片中复杂背景的影响，即实现了图像中前景目标与背景对象的精准分割，对目标图像的对应区域特征进行聚合处理，即可实现低成本、快速地从单张真实室内场景图像中生成目标对象的三维网本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于实例分割的三维重建方法，其特征在于：所述方法包括：提取目标图像的特征信息；根据目标图像的特征信息获取目标图像的掩膜特征；将目标图像的特征信息、掩膜特征进行拼接得到目标图像的对应区域特征，并对目标图像的对应区域特征进行聚合处理进而生成目标图像的三维网格模型。2.根据权利要求1所述基于实例分割的三维重建方法，其特征在于：所述获取目标图像的掩膜特征具体包括：对目标图像的特征信息依次进行卷积、反卷积、卷积处理，进而得到目标图像的掩膜特征。3.根据权利要求1所述基于实例分割的三维重建方法，其特征在于：所述将目标图像的特征信息、掩膜特征进行拼接得到目标图像的对应区域特征具体包括：对目标图像的特征信息、掩膜特征进行拼接并依次进行卷积、最大池化处理，进而得到目标图像的对应区域特征。4.根据权利要求1所述基于实例分割的三维重建方法，其特征在于：所述生成目标图像的三维网格模型过程中采用一个固定的椭球根据目标图像的对应区域特征形变为目标三维模型，并通过损失函数约束初始椭球面形变成目标三维模型，损失函数的计算公式具体为：L
total
＝L
cls
+L
box
+L
mask
+λ
cd
·
L
cd
+λ
norm
·
L
norm
+λ
edge
·
L
edge
其中，L
cls
、L
box
、L
mask
分别是获取目标图像的掩膜特征的实例分割网络的分类损失函数、边界框回归损失函数、掩码预测损失函数；L
cd
、L
norm
、L
edge
分别是用于约束生成目标图像的三维网格模型的三维重建网络的倒角距离损失函数、绝对法线距离损失函数、以及边损失函数；λcd、λnorm、λedge是三维重建网络损失函数的权重，其值分别设定为λcd＝1、λnorm＝0.1、...

【专利技术属性】
技术研发人员：匡平，李熙，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：