基于卷积神经网络的任意尺寸样本纹理合成方法技术

本发明专利技术公开了一种基于卷积神经网络的任意尺寸样本纹理合成方法。其步骤为：(1)输入一幅512×512的待处理纹理图像；(2)构建并训练卷积神经网络；(3)划分待处理纹理图像；(4)生成待处理纹理图像的合成图像矩阵；(5)生成待处理纹理图像的合成图像。本发明专利技术将卷积神经网络引入到纹理图像合成领域来，克服了现有技术中采用最佳匹配易导致得到的结果是局部最优以及无法合成任意尺寸的纹理图像的不足，合成的纹理图像轮廓更加清晰，更加真实自然。

【技术实现步骤摘要】
基于卷积神经网络的任意尺寸样本纹理合成方法
本专利技术属于图像处理
，更进一步涉及自然图像处理
中的一种基于卷积神经网络的任意尺寸样本纹理合成方法。本专利技术针对所有不规则自然纹理图像，采用卷积神经网络，可用于任意尺寸纹理图像的合成。
技术介绍
目前，纹理合成已经成为图像处理
里的一个很重要的研究主题。根据样本纹理合成时选取的基本单元不同，MRF(MarkovRandomField,马尔可夫随机场)模型下的纹理合成方法基本上可以分为两类：一是基于像素的纹理合成；二是基于块的纹理合成。两类方法各有所长，基于像素的方法善于捕捉纹理的局部细节,难于凸现和吻合全局特征；相对而言，基于块的方法能够捕捉较大范围内的纹理特征，但却在边界处理方面较为逊色。纹理合成方法的好坏主要依赖于给定纹理样本的类型(随机纹理、结构纹理、分离元素纹理等)和所采用的合成策略，因此研究纹理的特性及其分类对于研究纹理合成是十分必要的。另外，纹理合成结果质量的好坏需要有衡量的尺度和标准。对于纹理类别的研究，研究者们曾进行过深入的研究，提出了诸如：静态纹理、全局变化纹理、动态纹理、分离元素纹理等多种类型。天津理工大学在其申请的专利文献“一种基于最佳匹配的图像纹理合成方法”(专利申请号201410112095.6，公开号CN103839271A)中公开了一种新的基于最佳匹配的图像纹理合成方法。该方法中不仅考虑了颜色的相似性，还加入了梯度结构信息，把纹理的颜色差异和梯度结构信息作为衡量两个匹配块间的相似性度量，并深入分析最佳匹配纹理块的大小对合成的影响，根据不同纹理自适应确定纹理块大小，以提高纹理合成的速率和质量。但是，该方法仍然存在的不足之处是，使用的最佳匹配易导致少量获取的特征较少，得到的结果是局部最优，同时像素点之间匹配易出现错误，使得合成的纹理图像易于模糊，且无法合成任意大小的纹理图像。AlexandreKaspar等人在其发表的论文“SelfTuningTextureOptimization”(ComputerGraphicsForum,2015,34(2):349-359)中公开了一种基于不同块之间的欧氏距离的方法。该方法针对在现实世界中高分辨率纹理往往包含多个尺度的纹理细节，目前的方法难以合成相关的纹理。该方法首先对输入图像的各颜色通道求解欧氏距离，其次求解满足块与块之间的匹配。该方法的优势在于提出了一个通用的、全自动校正的非参数化的纹理合成方法，通过引入一些关键性的改进来合成纹理，展示了比较优越的纹理合成能力。但是，该方法仍然存在的不足之处是，使用像素域上的欧氏距离易导致合成的纹理包含了许多破碎的结构，对于低分辨率的输入图像，算法并不能完成纹理合成。
技术实现思路
本专利技术的目的在于克服上述现有技术的缺陷，提出一种基于卷积神经网络的任意尺寸样本纹理合成方法。本专利技术在纹理合成过程中，提取纹理图像的全局特征，获取更多的纹理信息，最终合成的纹理图像更加真实自然，同时该专利技术能够合成任意尺寸的纹理图像。本专利技术的具体步骤如下：(1)输入一幅512×512的待处理纹理图像；(2)构建并训练卷积神经网络：(2a)构建含有7层的卷积神经网络；(2b)将纹理图片输入到卷积神经网络，训练卷积神经网络，直到其输出层的损失函数值小于等于0.0001，得到训练好的卷积神经网络；(3)划分待处理纹理图像：(3a)将待处理纹理图像输入到训练好的卷积神经网络的前5层，得到前5层的特征图；(3b)卷积神经网络每一层中待处理纹理图像的特征图矩阵自相乘，组成格拉姆Gram矩阵；(3c)按照下式，生成待处理纹理图像的子块矩阵：其中，表示对y的取值操作，y表示待处理纹理图像的子块矩阵，min表示最小值操作，s表示待处理纹理图像的子块权重系数，s∈{1000,2000}，∈表示属于符号，∑表示求和操作，wr表示训练好的卷积神经网络第r层的权重值，Nr、Mr分别表示训练好的卷积神经网络第r层特征向量的行和列，Gr表示在训练好的卷积神经网络中第r层的格拉姆Gram矩阵；(3d)s＝1000时，生成待处理纹理图像的子块矩阵1，按照阵列式扫描方式，依次将待处理纹理图像的合成图像矩阵放入各自对应的待处理纹理图像的合成图像位置中，得到待处理纹理图像的子块1；(3e)s＝2000时，生成待处理纹理图像的子块矩阵2，按照阵列式扫描方式，依次将待处理纹理图像的合成图像矩阵放入各自对应的待处理纹理图像的合成图像位置中，得到待处理纹理图像的子块2；(4)按照下式，生成待处理纹理图像的合成图像矩阵：其中，表示对T取值操作，T表示待处理纹理图像的合成图像矩阵，min表示最小值操作，λ表示模型参数，且λ∈[0,1]，∑表示求和操作，wq表示训练好的卷积神经网络在第q层的权重值，Nq、Mq分别表示第q层特征向量的行和列，Gq表示在训练好的卷积神经网络中第q层待处理纹理图像的子块1的格拉姆Gram矩阵，Fq表示在训练好的卷积神经网络中第q层待处理纹理图像的子块2的特征图矩阵；(5)生成待处理纹理图像的合成图像：按照阵列式扫描方式，依次将待处理纹理图像的合成图像矩阵，放入各自对应的待处理纹理图像的合成图像位置中，得到待处理纹理图像的合成图像。本专利技术与现有的技术相比具有以下优点：第一，由于本专利技术采用7层卷积神经网络，通过卷积神经网络中多层的网络自学习特征，学习到更多的纹理特征，克服了现有技术中采用最佳匹配易导致得到的结果是局部最优以及无法合成任意尺寸的纹理图像的不足，使得本专利技术能够得到全局最优解，能够合成任意尺寸纹理图像。第二，由于本专利技术采用生成待处理纹理图像的合成图像矩阵，通过计算卷积神经中各层特征向量的格拉姆Gram矩阵，获得纹理图像的全局统计特征，克服了现有技术中采用像素域上的欧氏距离易导致合成的纹理包含了许多破碎的结构以及对于低分辨率的输入纹理图像无法合成纹理图像的不足，使得本专利技术能够成功地抑制噪声，可以得到丰富的纹理图像细节信息，增强了纹理图像的清晰度。附图说明图1是本专利技术的流程图；图2是本专利技术在仿真实验中使用的Stone纹理测试图像；图3是本专利技术在仿真实验中得到的200×200的Stone纹理合成图像；图4是本专利技术在仿真实验中得到的800×800的Stone纹理合成图像；图5是本专利技术在仿真实验中得到的1024×1024的Stone纹理合成图像。具体实施方式下面结合附图对本专利技术做进一步的描述。参照附图1对本专利技术的步骤做进一步的描述。步骤1，输入一幅512×512的待处理纹理图像。步骤2，构建并训练卷积神经网络。构建含有7层的卷积神经网络，这7层的卷积神经网络的结构依次是卷积层conv1_1，卷积层conv2_1，卷积层conv3_1，池化层pool4，卷积层conv5_1，全连接层fc6，分类层softmax7。所述构建含有7层的卷积神经网络的步骤如下：第1步，将512×512像素大小的纹理图输入卷积层conv1_1，用64个卷积核，对其进行块大小为3×3像素和步长为1像素的卷积操作，得到64幅510×510像素大小的特征图。第2步，将卷积层conv1_1输出的64幅特征图输入到卷积层conv2_1，用128个卷积核，对其进行块大小为3×3像素和步长为1像素的卷积操作，得到128幅5本文档来自技高网...

【技术保护点】
一种基于卷积神经网络的任意尺寸样本纹理合成方法，其特征在于，包括以下步骤：(1)输入一幅512×512的待处理纹理图像；(2)构建并训练卷积神经网络：(2a)构建含有7层的卷积神经网络；(2b)将纹理图片输入到卷积神经网络，训练卷积神经网络，直到其输出层的损失函数值小于等于0.0001，得到训练好的卷积神经网络；(3)划分待处理纹理图像：(3a)将待处理纹理图像输入到训练好的卷积神经网络的前5层，得到前5层的特征图；(3b)卷积神经网络每一层中待处理纹理图像的特征图矩阵自相乘，组成格拉姆Gram矩阵；(3c)按照下式，生成待处理纹理图像的子块矩阵：

【技术特征摘要】
1.一种基于卷积神经网络的任意尺寸样本纹理合成方法，其特征在于，包括以下步骤：(1)输入一幅512×512的待处理纹理图像；(2)构建并训练卷积神经网络：(2a)构建含有7层的卷积神经网络；(2b)将纹理图片输入到卷积神经网络，训练卷积神经网络，直到其输出层的损失函数值小于等于0.0001，得到训练好的卷积神经网络；(3)划分待处理纹理图像：(3a)将待处理纹理图像输入到训练好的卷积神经网络的前5层，得到前5层的特征图；(3b)卷积神经网络每一层中待处理纹理图像的特征图矩阵自相乘，组成格拉姆Gram矩阵；(3c)按照下式，生成待处理纹理图像的子块矩阵：其中，表示对y的取值操作，y表示待处理纹理图像的子块矩阵，min表示最小值操作，s表示待处理纹理图像的子块权重系数，s∈{1000,2000}，∈表示属于符号，∑表示求和操作，wr表示训练好的卷积神经网络第r层的权重值，Nr、Mr分别表示训练好的卷积神经网络第r层特征向量的行和列，Gr表示在训练好的卷积神经网络中第r层的格拉姆Gram矩阵；(3d)s＝1000时，生成待处理纹理图像的子块矩阵1，按照阵列式扫描方式，依次将待处理纹理图像的合成图像矩阵放入各自对应的待处理纹理图像的合成图像位置中，得到待处理纹理图像的子块1；(3e)s＝2000时，生成待处理纹理图像的子块矩阵2，按照阵列式扫描方式，依次将待处理纹理图像的合成图像矩阵放入各自对应的待处理纹理图像的合成图像位置中，得到待处理纹理图像的子块2；(4)按照下式，生成待处理纹理图像的合成图像矩阵：其中，表示对T取值操作，T表示待处理纹理图像的合成图像矩阵，min表示最小值操作，λ表示模型参数，且λ∈[0,1]，∑表示求和操作，wq表示训练好的卷积神经网络在第q层的权重值，Nq、Mq分别表示第q层特征向量的行和列，Gq表示在训练好的卷积神经网络中第q层待处理纹理图像的子块1的格拉姆Gram矩阵，Fq表示在训练好的卷积神经网络中第q层待处理纹理图像的子块2的特征图矩阵；(5)生成待处理纹理图像的合成图像：按照阵列式扫描方式，依次将待处理纹理图像的合成图像矩阵，放入各自对应的待处理纹理图像的合成图像位置中，得到待处理纹理图像的合成图像。2.根据权利要求1所述的基于卷积神经网络的任意尺寸样本纹理合成方法，其特征在于：步骤(2a)中所述7层卷积神经网络的结构依次是，卷积层conv1_1，卷积层conv2_1，卷积层conv3_1，池化层pool4，卷积层conv5_1，全连接层fc6，分类层softmax7。3.根据权利要求1所述的基于卷积神经网络的任意尺寸样本纹理合成方法，其特征在于：步骤(2a)中所述构建含有7层的卷积神经网络的步骤如下：第1步，将512×512像素大小的纹理图输入卷积层conv1_1，用64个卷积核，对其进行块大小为3×3像素和步长为1像素的卷积操作，得到64幅5...

【专利技术属性】
技术研发人员：宋彬，吴科永，郭洁，蔡秀霞，秦浩，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61