一种基于多特征融合的手绘三维重建方法技术

本发明专利技术公开了一种基于多特征融合的手绘三维重建方法，首先基于VGG

【技术实现步骤摘要】
一种基于多特征融合的手绘三维重建方法


[0001]本专利技术涉及一种图像处理
，尤其涉及一种基于多特征融合的手绘三维重建方法。

技术介绍

[0002]作为计算机图形学和计算机视觉研究领域中最基础但又富有挑战性的任务之一，基于图像生成三维重建得到了国内外学者的广泛关注。早期的传统方法是通过二维图像的纹理、阴影或光照线索计算出表面朝向或深度信息，然后还原或重建三维模型。然而，从单幅图像中还原三维模型是个不适定问题——对于3D模型在2D平面上的投影，由于视角的不同带来巨大的差异，更有自我遮挡带来的挑战，存在多个可能的3D模型对应同一张图片。如何解决这些问题并实现准确、高效和可靠的3D重建，仍然是一个亟待解决的难题。
[0003]近年来，深度神经网络在基于图像的3D重建方面展现出新可能性。出现的以数据驱动的方法能直接从2D图像推断出对应的3D模型。得益于大规模3D模型数据集的发布，弥补了之前数据量不足的问题，先进的深度学习模型得以发挥优点，各种出色的3D重建网络相继被提出。例如，Fan等人提出了一个基于单张图像的点云生成网络，其通过估计可见部分的深度并猜测其余被覆盖部分，生成了多个相近的三维点云模型，来应对单视图的不确定性问题。Wu等人提出的3D
‑
VAE
‑
GAN将单视角图片作为输入，通过变分自动编码器(Variational AutoEncoder)输出表示向量，然后生成器(Generator)建立了从低维概率空间到三维物体空间的映射。同时，加入鉴别器(discriminator)后可以通过对抗训练，使生成器隐式捕获物体的结构并重建高质量的3D模型。3D
‑
LMNet用于从单一图像中重建3D点云，并在网络中隐式嵌入一种匹配方式。然而，由于点与点之间的联系很松散，导致在点云表示中具有很大的自由度，重建准确率不高。Choy等人提出了一种称为3D
‑
R2N2的网络结构，其中创新地嵌入长短期记忆（LSTM）模块。LSTM模块依次从不同视角图片中提取特征图，选择性地更新特征单元的状态，最终达到融合多视角图片的效果，有效地解决了单视图中自我遮挡的问题。随着更多角度图片的输入，带来了更明确的物体信息，因此重建的结果越接近真实三维模型。然而，网络要求按照统一的顺序输入多视角图片，否则重建结果相去甚远。Xie等人提出了一种基于单视角或多视角图片的三维重建网络，名为Pix2Vox。该网络引入了一个上下文感知融合模块，从多个粗糙的3D模型中挑选可信度高的重建部分，并最终融合成高质量的3D模型。
[0004]与上述基于自然图像的方法不同，另一类研究试图从手绘草图中重建出3D模型。曾有一项开创性的研究将传统的草图三维建模技术分为启发式和重建式。启发式方法以模板原语为基础创建3D模型，或是从模型集合中检索出最匹配的对象并进一步变形，因此仅限定于生成某些形状或类型的模型。另一方面，重建式方法能直接从草图映射到模型，生成形状丰富的三维模型。相对地，缺乏先验知识，使重建式方法通常需要更繁复的工作来实现效果。
[0005]近来提出的很多方法，聚焦于以深度学习的手段从3D模型中获取先验知识，然后
利用输入的准确线条草图重建3D模型。但只有少数专注于研究手绘草图。其中，Wang等人提出了检索和重建相结合的方法，首先将渲染图像和手绘草图嵌入到同一共享的潜在向量空间中，然后在所有的训练三维数据中，为每个草图检索最邻近的模型，作为三维重建的先验知识。考虑在特定角度上捕捉草图的特征，Han等人利用CGAN将草图转化为具备更多几何细节的衰减图像，以此来解析草图。并使用direct shape optimization的方式，从多个草图中重建3D模型。这种方案最大限度地减少了损失，使其与来自所有输入草图的视点的预测衰减图像相匹配，用以重建3D模型。此外，他们还提出了一种渐进式更新方法，来处理同一3D模型下的几个手绘草图之间的不一致。Zhang等人提出了一种视图感知的三维重建网络，该网络显式地限定给定草图的视角，以解决草图的模糊性问题。该方式提升了重建结果，且对最终输出的结果具有可控性。Wang等人提出了一种从单视角草图转变为3D模型的框架，其中的点云是根据手绘的草图生成的，并根据预测的视角将点云旋转至标准视图，方便与真实模型匹配。为了消除手绘草图风格的差异，提出了草图标准化模块，将网络输入转为标准化的草图。同时，为了解决数据量不足的问题，创新性地提出用生成对抗网络(GAN)合成的草图进行训练的方式。而收集到的合成草图数据集，也能有效地弥补之前缺乏足够训练数据的问题。Delanoy等人则提出了一种更新型CNN结构，它通过迭代更新以融合来自任意数量视角的信息，以此来矫正现有预测3D模型。尽管该网络的创新卓有成效，但其局限性在于需要从多个不同视角绘制的草图，且在处理具有微小抖动的草图时效果不佳。
[0006]然而，由于草图的抽象性、多样性和歧义性所造成的困难，目前直接将2D草图转换为3D模型仍然是一项富有挑战性的任务。
[0007]不同于自然图像，草图通常由稀疏线条组成，勾勒出三维物体在特定视角下的投影轮廓。草图作为二元图像，缺乏纹理或颜色等视觉线索，细节不足给神经网络的语义理解带来困难。而现有的基于卷积的网络只捕获草图匮乏的像素级特征，忽略了整体线条隐含的几何结构特征。
[0008]而且在绘制草图时，涉及多样性视角的选取，投影轮廓从俯视到侧视存在巨大的差异，导致相应的草图间也相去甚远，这也是目前的三维重建工作中函待解决的重点之一。
[0009]最后，手绘草图的风格受用户的影响，不可避免地出现形状扭曲或比例失调等技巧问题。因此，即便是要求用户从固定的角度绘制，同一物体的不同草图间也差异明显，导致网络参数在训练时难以收敛。

技术实现思路

[0010]本专利技术实施例所要解决的技术问题在于，提供一种基于多特征融合的手绘三维重建方法，使用添加点云处理模块的新型双通道3D重建框架，以此来促进对草图的理解，并最终提升3D重建的质量。
[0011]为了解决上述技术问题，本专利技术实施例提供了一种基于多特征融合的手绘三维重建方法，包括以下步骤：S1：使用VGG
‑
16网络，构建多层次卷积模块作为编码器，用于捕获二值草图的像素特征，并输出像素级特征图；S2：添加2D点云处理模块，先从草图中抽样出2D点云，随后再提取出点级特征图；S3：利用隐含草图语义信息和几何信息的像素级和点级特征图构建SAFusion模
块，根据两种模态的特征图之间的依赖关系，捕获互补的语义线索，用于将两者整合为统一的特征形式；S4：构建基于3D反卷积的解码模块，用于将2D特征图中的信息转换为3D体积形式；S5：采用3D形式的U
‑
Net网络变型，保留3D模型中准确的局部区域，优化重建结果的细节。
[0012]其中，所述S1还包括对草图进行预处理的方法，包括以下步骤：S11：沿着草图物体的包围框进行裁剪，并将留下的区域重新调整至分辨率为224x224像素本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多特征融合的手绘三维重建方法，其特征在于，包括以下步骤：S1：使用VGG
‑
16网络，构建多层次卷积模块作为编码器，用于捕获二值草图的像素特征，并输出像素级特征图；S2：添加2D点云处理模块，先从草图中抽样出2D点云，随后再提取出点级特征图；S3：利用隐含草图语义信息和几何信息的像素级和点级特征图构建SAFusion模块，根据两种模态的特征图之间的依赖关系，捕获互补的语义线索，用于将两者整合为统一的特征形式；S4：构建基于3D反卷积的解码模块，用于将2D特征图中的信息转换为3D体积形式；S5：采用3D形式的U
‑
Net网络变型，保留3D模型中准确的局部区域，优化重建结果的细节。2.根据权利要求1所述的基于多特征融合的手绘三维重建方法，其特征在于，所述S1还包括对草图进行预处理的方法，包括以下步骤：S11：沿着草图物体的包围框进行裁剪，并将留下的区域重新调整至分辨率为224x224像素，并使草图转换为二值图像；S12：二值图像将输入SktConv模块进行特征提取，同时以二值草图中的前景像素点作为2D点云，并从中采样出子集。3.根据权利要求2所述的基于多特征融合的手绘三维重建方法，其特征在于，所述SktConv模块包括前四组卷积模块采用预定义模型，而后紧接着两组自定义的模型；对于前四组卷积模块，每组预定义模块都包含两个3x3的小尺度卷积层以及相应的批规范化层、Relu激活函数和最大池化层，每次经过池化层都将特征图的尺寸缩小至一半；首先从224...

【专利技术属性】
技术研发人员：汪飞，陈斯伟，朱长盛，熊智，
申请(专利权)人：汕头大学，
类型：发明
国别省市：