一种基于深度学习的多张绘画生成3D模型的方法及系统技术方案

本发明专利技术涉及一种基于深度学习的多张绘画生成3D模型的方法，包括以下步骤：将多张绘画图像进行预处理，并提取每一个绘画图像的特征向量；根据特征向量计算两两绘画图像间的关联度，并对所有绘画图像进行聚类；根据聚类结果标记每张图像的所属类别，并在所属类别中挑选重要特征；依据挑选的重要特征构建深度学习模型，并获取训练样本集；据训练样本集对深度学习模型进行训练，并将多张绘画图像输入至训练完成的深度学习模型中，输出的对应的3D模型。本发明专利技术能够在避免花费大量时间对每张绘画图像进行建模的情况下生成对应的3D模型，能够自动提取多张绘画图像中的重要特征，而无需手动进行繁琐的特征提取工作。进行繁琐的特征提取工作。进行繁琐的特征提取工作。

【技术实现步骤摘要】
一种基于深度学习的多张绘画生成3D模型的方法及系统


[0001]本专利技术涉及绘画建模
，尤其涉及一种基于深度学习的多张绘画生成3D模型的方法及系统。

技术介绍

[0002]深度学习是一种机器学习方法，通过构建多层神经网络进行训练，自动地从数据中提取特征并实现分类、回归等任务。
[0003]目前，绘画生成算法已成为人工智能领域的研究热点之一。利用深度学习技术，通过对大量艺术品样本的学习和分析，可以实现高质量、多样性的绘画生成，具有广泛的应用前景。
[0004]在相关技术中，在对多张绘画进行3D模型生成时，需要人工对每一张绘画进行建模，且多张绘画之间的关联性无法很好的进行识别，需要大量的时间和准备工作。

技术实现思路

[0005]为了现有技术存在的上述技术缺陷，本专利技术提供了一种基于深度学习的多张绘画生成3D模型的方法及系统，可以有效解决
技术介绍
中的问题。
[0006]为了解决上述技术问题，本专利技术提供的技术方案具体如下：
[0007]第一方面，本专利技术实施例公开了一种基于深度学习的多张绘画生成3D模型的方法，包括以下步骤：
[0008]将多张绘画图像进行预处理，并提取每一个绘画图像的特征向量；
[0009]根据特征向量计算两两绘画图像间的关联度，并对所有绘画图像进行聚类；
[0010]根据聚类结果标记每张图像的所属类别，并在所属类别中挑选重要特征；
[0011]依据挑选的重要特征构建深度学习模型，并获取训练样本集；
[0012]根据训练样本集对深度学习模型进行训练，并将多张绘画图像输入至训练完成的深度学习模型中，输出的对应的3D模型。
[0013]在上述任一方案中优选的是，所述将多张绘画图像进行预处理，并提取每一个绘画图像的特征向量，包括以下步骤：
[0014]将多张绘画图像空白区域进行裁剪，并通过公式：对每张绘画图像进行归一化，其中，I
min
和I
max
分别为绘画图像中的最小和最大像素值，I1为归一化后的绘画图像；
[0015]将绘画图像中的每一个像素点分配到不同的语义标签；
[0016]从每个区域中提取有用的特征，并建立每个区域的特征向量；
[0017]通过公式：X
i
＝[f
i,1
,f
i,2
,...,f
i,Nr
],f
i,j
∈R
D
，对绘画图像的特征向量进行表示，其中，X
i
为特征矩阵，f
i,j
为第i个绘画图像中第j个区域的特征向量，N
r
为一个绘画图像中的总区域数，D表示每个区域的特征向量的维度，R为实数集。
[0018]在上述任一方案中优选的是，所述将绘画图像中的每一个像素点分配到不同的语义标签，包括：
[0019]通过相关技术构建语义分割模型，设置比输入图像为X∈R
W*H*C
,模型输出的每个像素点的概率分布矩阵为Y∈R
W*H*N
,则语义分割为Y＝f
seg
(X)，其中，W、H、C和N分别为图像的宽度、高度、通道数和类别数量，f
seg
为CNN模型；
[0020]通过公式：计算语义分割模型预测值与真实标签之间的差异，以通过L
seg
训练f
seg
，其中，y
i1,j1,n
为预测的Y矩阵中第(i1,j1)个像素点属于第n个类别的概率，y
true,i1,j1,n
为真实标签。
[0021]在上述任一方案中优选的是，所述步骤从每个区域中提取有用的特征，并建立每个区域的特征向量，包括：
[0022]将图像中每个区域表示为一个特征向量f
i,j
∈R
D
，并计算出每个区域内的统计信息，其中f
i,j
为第i个绘画图像中第j个区域的特征向量，D表示每个区域的特征向量的维度，R为实数集；
[0023]提取区域的边缘信息，并通过公式：计算出该区域的边缘特征向量，其中，E
j
为第j个区域中的边缘像素集合，len(E
j
),width(E
j
),shape(E
j
)分别为边缘的长度、平均宽度和曲率；
[0024]通过深度卷积神经网络提取区域的深度信息，则深度特征向量为：其中，w1、H1和C1分别为深度特征的宽度、高度和通道数，Z为深度卷积神经网络的输出，f
fc
为全连接层，为D维特征向量，Z
j
为卷积特征。
[0025]在上述任一方案中优选的是，所述根据特征向量计算两两绘画图像间的关联度，并对所有绘画图像进行聚类，包括以下步骤：
[0026]通过公式计算两两绘画图像间的余弦相似度，其中，s
i2,j2
为第i2张绘画图像和第j2张绘画图像之间的余弦相似度，x
i2
和x
j2
分别为第i2张绘画图像的特征向量和第j2张绘画图像的特征向量；
[0027]随机选择k个初始的聚类中心μ1,μ2,...μ
k
；
[0028]通过公式：计算每个特征向量x
i
与聚类中心μ
j
之间的距离d
i,j
，并将x
i
分配给距离最近的聚类中心所在的簇C
j
，其中，j3表示聚类算法中的一个簇或类别；
[0029]更新聚类中心的位置，使其成为簇内所有数据点的平均值；
[0030]将每个数据点x
i
所属的簇C
j
作为分类结果y
i
；
[0031]根据聚类算法得到的分类结果，可以将所有的绘画图像分成k个不同的类别。
[0032]在上述任一方案中优选的是，所述根据聚类结果标记每张图像的所属类别，并在所属类别中挑选重要特征，包括以下步骤：
[0033]设置共有c张绘画图像，每张绘画图像由m个特征，通过公式
计算每个特征的信息增益Gain(S,F)，其中，S为分类结果，F为某个特征，
Values(F)
为F特征取值的集合，|S
v
|为属于v取值的样本数量，Ent(S)为分类结果S的熵；
[0034]通过公式计算分类结果S的熵，并照信息增益大小对所有特征进行排序，选择信息增益较大的前N个特征作为最终的关键特征，其中，u为分类结果的总数，|S
p
|为属于第p个分类结果的样本数量。
[0035]在上述任一方案中优选的是，依据挑选的重要特征构建深度学习模型，并获取训练样本集，包括以下步骤：
[0036]构建GAN模型，所述GAN模型包括生成器和判别器，所述生成器用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的多张绘画生成3D模型的方法，其特征在于：包括以下步骤：将多张绘画图像进行预处理，并提取每一个绘画图像的特征向量；根据特征向量计算两两绘画图像间的关联度，并对所有绘画图像进行聚类；根据聚类结果标记每张图像的所属类别，并在所属类别中挑选重要特征；依据挑选的重要特征构建深度学习模型，并获取训练样本集；根据训练样本集对深度学习模型进行训练，并将多张绘画图像输入至训练完成的深度学习模型中，输出的对应的3D模型。2.根据权利要求1所述的基于深度学习的多张绘画生成3D模型的方法，其特征在于：所述将多张绘画图像进行预处理，并提取每一个绘画图像的特征向量，包括以下步骤：将多张绘画图像空白区域进行裁剪，并通过公式：对每张绘画图像进行归一化，其中，I
min
和I
max
分别为绘画图像中的最小和最大像素值，I1为归一化后的绘画图像；将绘画图像中的每一个像素点分配到不同的语义标签；从每个区域中提取有用的特征，并建立每个区域的特征向量；通过公式：X
i
＝[f
i,1
,f
i,2
,
…
,f
i,Nr
],f
i,j
∈R
D
，对绘画图像的特征向量进行表示，其中，X
i
为特征矩阵，f
i,j
为第i个绘画图像中第j个区域的特征向量，Nr为一个绘画图像中的总区域数，D表示每个区域的特征向量的维度，R为实数集。3.根据权利要求2所述的基于深度学习的多张绘画生成3D模型的方法，其特征在于：所述将绘画图像中的每一个像素点分配到不同的语义标签，包括：通过相关技术构建语义分割模型，设置比输入图像为X∈R
W*H*C
,模型输出的每个像素点的概率分布矩阵为Y∈R
W*H*N
,则语义分割为Y＝f
seg
(X)，其中，W、H、C和N分别为图像的宽度、高度、通道数和类别数量，f
seg
为CNN模型；通过公式：计算语义分割模型预测值与真实标签之间的差异，以通过L
seg
训练f
seg
，其中，y
i1,j1,n
为预测的Y矩阵中第(i1,j1)个像素点属于第n个类别的概率，y
true,i1,j1,n
为真实标签。4.根据权利要求3所述的基于深度学习的多张绘画生成3D模型的方法，其特征在于：所述步骤从每个区域中提取有用的特征，并建立每个区域的特征向量，包括：将图像中每个区域表示为一个特征向量f
i,j
∈R
D
，并计算出每个区域内的统计信息，其中f
i,j
为第i个绘画图像中第j个区域的特征向量，D表示每个区域的特征向量的维度，R为实数集；提取区域的边缘信息，并通过公式：计算出该区域的边缘特征向量，其中，E
j
为第j个区域中的边缘像素集合，len(E
j
)、width(E
j
)和shape(E
j
)分别为边缘的长度、平均宽度和曲率；通过深度卷积神经网络提取区域的深度信息，则深度特征向量为：其中，w1、H1和c1分别为深度特征的宽度、高度和通道数，Z为深
度卷积神经网络的输出，f
fc
为全连接层，为D维特征向量，Z
j
为卷积特征。5.根据权利要求4所述的基于深度学习的多张绘画生成3D模型的方法，其特征在于：所述根据特征向量计算两两绘画图像间的关联度，并对所有绘画图像进行聚类，包括以下步骤：通过公式计算两两绘画图像间的余弦相似度，其中，s
i2,j2
为第i2张绘画图像和第j2张绘画图像之间的余弦相似度，x
i2
和x
j2
分别为第i2张绘画图像的特征向量和第j2张绘画图像的特征向量；随机...

【专利技术属性】
技术研发人员：甘凌，顾大桐，王步国，
申请(专利权)人：北京元跃科技有限公司，
类型：发明
国别省市：