一种基于空间骨架信息的手绘草图三维模型重建方法技术

本发明专利技术公开了一种基于空间骨架信息的手绘草图三维模型重建方法，提出空间骨架引导编码器、域自适应编码器和自注意力解码器，通过空间骨架编码器提取草图的骨架特征，骨架信息作为一种先验知识来提供重建完整三维模型所需的辅助信息，域自适应编码器将合成草图学习到的知识迁移到手绘草图中，基于注意力的解码器消除歧义性，本方法提升了单张手绘草图的三维重建精度。自注意力机制使得模型区分轮廓相似度较高的草图输入；相对于其他技术使用判别器与梯度反转层的域自适应方法，其训练的值函数相当于最小化两个分布之间的Jensen

【技术实现步骤摘要】
一种基于空间骨架信息的手绘草图三维模型重建方法


[0001]本专利技术属于计算机视觉、三维重建
，具体是一种基于深度学习技术空间骨架引导域自适应的草图三维重建方法。

技术介绍

[0002]从二维图像重建对应三维模型在人机交互以及虚拟现实、增强现实等领域发挥着极其重要的作用。传统方法依赖用户学习使用多种复杂的编辑工具，掌握空间曲面等几何知识，并且只能重建相对简单的椭球状物体，无法推广到复杂对象。随着深度学习技术的发展和大型数据库的出现，基于深度学习的方法对用户友好，对一些较为复杂的对象也可以得到不错的重建结果。多视图重建的方法对草图要求较高，用户需要提供不同视角下的精确草图，或者在辅助线的规定下绘制草图，不适合未经培训的新手用户，因此目前主流的方法放松了对输入草图的限制，进一步将其视为单视图重建任务。但是草图信息稀疏、风格多变、透视不明确导致的歧义性问题是单视图重建方法的阻碍。一些方法使用辅助信息来丰富草图语义表示，例如视角信息、前景遮罩信息等等，以此来尝试解决信息稀疏的问题，但这些辅助信息不充分有效，无法得到更加精确的重建结果，另外在缺少草图数据集的条件下，有些方法使用合成数据训练网络，却没有拟合合成数据与真实手绘之间的域差异，没有增强模型的泛化能力，因此无法得到空间结构完整并符合输入的三维模型。为此本专利技术针对当前技术未完全解决的问题，提出一种基于深度学习网络的、空间骨架引导的域自适应手绘草图三维重建方法，可以通过空间骨架信息提供细微结构的先验知识，使用自注意力机制学习草图中细节之间的依赖关系，消除歧义性，提升重建的精度，通过域自适应方法进一步提高模型在手绘草图域的性能。

技术实现思路

[0003]本专利技术提出了一种空间骨架的域自适应手绘草图三维重建方法，提出空间骨架引导编码器、域自适应编码器和自注意力解码器，通过空间骨架编码器提取草图的骨架特征，骨架信息作为一种先验知识来提供重建完整三维模型所需的辅助信息，域自适应编码器将合成草图学习到的知识迁移到手绘草图中，而基于注意力的解码器可以消除歧义性问题，本方法提升了单张手绘草图的三维重建精度。
[0004]为实现上述目的，本专利技术采用如下技术方案：
[0005]步骤1、在训练阶段，首先使用边缘提取器从渲染图像中获得合成草图x，通过草图编码器E
v
‑
s
得到其平均形状特征，通过空间骨架引导编码器E
ss
得到骨架特征，特征融合后通过解码器的自注意力层，最后由解码器D
v
进行三维反卷积重建得到体素，与真实模型计算损失。其中，在特征提取阶段，域自适应编码器E
v
‑
h
对手绘草图提取特征，并与合成草图特征进行相似性约束，实现域迁移。
[0006]步骤2、测试阶段，对于合成草图输入，通过E
v
‑
s
与E
ss
得到特征向量，融合后通过D
v
进行预测；对于手绘草图输入，通过E
v
‑
h
与E
ss
得到特征向量，融合后通过D
v
进行预测。
[0007]所述步骤1包括以下步骤：
[0008]步骤1.1、使用先求导后二值化的方式，从ShapeNet数据集中的渲染图像中获得合成草图作为训练的输入
[0009]步骤1.2、特征提取阶段
[0010]步骤1.2.1、获得合成草图后，可以得到同维度(1
×
1024)的平均形状特征z
v
＝E
v
‑
s
(x)和骨架特征z
p
＝E
ss
(x)，z
v
偏向表示类别的平均形状，可视为全局信息，z
p
则由骨架数据引导，可视为局部结构的信息。预测骨架P＝E
ss
(x)与真实骨架P
gt
进行倒角距离约束，该损失只用来训练E
ss
网络的参数
[0011]步骤1.2.2、在模型参数稳定时，引入域自适应方法。将手绘草图m表示为n种不同风格的集合，可表示为：{m1,m2,
…
,m
i
,
…
m
n
}，将合成草图表示为在此集合之外的风格m
n+1
，域自适应方法的目标是将n种风格对齐到m
n+1
中。
[0012]每个epoch中，间隔400次迭代训练输入手绘草图，通过域自适应编码器E
v
‑
h
得到域自适应特征:
[0013][0014]得到和z
v
后，通过约束函数L
da
训练E
v
‑
h
：
[0015][0016]这里使用Earth
‑
Mover(Wasserstein
‑
1)距离，使得网络训练更加稳定，不会出现一般GAN网络训练时梯度消失问题。
[0017]步骤1.3、特征融合及反卷积重建阶段
[0018]步骤1.3.1、将z
v
与z
p
进行融合，为了充分利用骨架信息，采用对应元素相加的方式
[0019]z＝z
v
+z
p
[0020]步骤1.3.2、通过解码器D
v
对融合特征进行自注意力操作，得到体素模型，V＝D
v
(z)，并通过体素重建损失L
vol
训练E
v
‑
s
和D
v
[0021]本专利技术的整体网络架构如图1所示。其中空间骨架信息的引入使得局部细微部件的重建精度更高，相比其他方法的先验信息，如视角信息、2.5D表示等等，骨架信息即保留全局的几何结构，又提供复杂区域的局部信息，因此能保证重建对象空间几何结构的完整性，图10直观地表现了这一点；自注意力机制使得模型可以区分轮廓相似度较高的草图输入；另外，相对于其他技术使用判别器与梯度反转层的域自适应方法，其训练的值函数相当于最小化两个分布之间的Jensen
‑
Shannon散度，这样往往导致判别器饱和时梯度消失，因为最小化的散度对于生成器参数来说可能不是连续的，而本专利技术的域自适应约束函数可被认为处处可微，训练更加稳定。
附图说明
[0022]图1为本专利技术的网络整体框架；
[0023]图2为空间骨架编码器内部结构示意图；
[0024]图3为编码器中的自注意力机制结构示意图；
[0025]图4为自注意力解码器具体网络结构示意图；
[0026]图5为编码器的网络结构示意图；
[0027]图6a为细化草图示意图；
[0028]图6b为粗糙草图示意图；
[0029]图7为本专利技术对比实验比较图；<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于空间骨架信息的手绘草图三维模型重建方法，其特征在于，该方法包括如下步骤，步骤1、在训练阶段，首先使用边缘提取器从渲染图像中获得合成草图x，通过草图编码器E
v
‑
s
得到其平均形状特征，通过空间骨架引导编码器E
ss
得到骨架特征，特征融合后通过解码器的自注意力层，最后由解码器D
v
进行三维反卷积重建得到体素，与真实模型计算损失；其中，在特征提取阶段，域自适应编码器E
v
‑
h
对手绘草图提取特征，并与合成草图特征进行相似性约束，实现域迁移；步骤2、测试阶段，对于合成草图输入，通过E
v
‑
s
与E
ss
得到特征向量，融合后通过D
v
进行预测；对于手绘草图输入，通过E
v
‑
h
与E
ss
得到特征向量，融合后通过D
v
进行预测。2.根据权利要求1所述的一种基于空间骨架信息的手绘草图三维模型重建方法，其特征在于，所述步骤1包括以下步骤：步骤1.1、使用先求导后二值化的方式，从ShapeNet数据集中的渲染图像中获得合成草图作为训练的输入；步骤1.2、特征提取阶段步骤1.2.1、获得合成草图后，得到同维度1
×
1024的平均形状特征z
v
＝E
v
‑
s
(x)和骨架特征z
p
＝E
ss
(x)，z
v
偏向表示类别的平均形状，可视为全局信息，z

【专利技术属性】
技术研发人员：孔德慧，马杨，李敬华，尹宝才，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：