一种基于双识别流卷积网络的动态纹理合成方法技术

本发明专利技术提出了一种基于双识别流卷积网络的动态纹理合成方法，其主要内容包括：纹理模型中表观流的设计、纹理模型中动态流的设计、新纹理的产生、动态纹理的合成、纹理风格的转换，其过程为，基于预训练卷积网络(ConvNet)完成目标识别与光流预测这两个任务，并在给定动态纹理输入后从目标识别卷积网络响应的过滤器数据封装了输入纹理的每一帧表观，此时从光流卷积网络响应的滤波器数据则对输入纹理的动态进行建模。为了产生新纹理，需要优化噪声输入序列来匹配输入纹理中每个识别流的特征，也可以将一个纹理的表观与另一个纹理的动态相结合以产生全新的动态纹理。这种方法可以产生与输入纹理的逐像素表观与时变情况相匹配的高质量样本。

A dynamic texture synthesis method based on double recognition flow convolutional network

The invention provides a dynamic texture synthesis method based on network flow identification of double convolution, the main contents include: texture model in apparent flow design, texture model in dynamic flow design, the new generation of dynamic texture, texture synthesis, texture style conversion, the process for pre training, convolutional network based on (ConvNet) to complete the target identification and prediction of the flow of two tasks, and given the dynamic texture after input from the filter data target recognition response convolutional network encapsulates each frame view table input texture, the filter response data from optical network is convolution of input texture dynamic modeling. In order to produce a new texture, need to optimize the noise input sequence to match feature recognition flow in each input texture, can also be combined to produce a new dynamic texture texture apparent dynamic texture with another. This method can produce a high quality sample matching the pixel by pixel and the time variant of the input texture.

【技术实现步骤摘要】
一种基于双识别流卷积网络的动态纹理合成方法
本专利技术涉及计算机图形学中里的动态纹理合成
，尤其是涉及了一种基于双识别流卷积网络的动态纹理合成方法。
技术介绍
动态纹理是指描述某种动态景观的具有时间相关重复特征的图像序列，它们在自然界中广泛存在，比如海浪、瀑布、飘扬的旗帜、飞翔的鸟群等等。国内外许多学者应用基于物理模型的仿真方法在动态纹理合成方面做了大量的工作，对某些现象的合成取得了很好的效果。基于物理模型仿真的合成方法通过分析特定现象的物理规律，建立简化的物理模型，进行光照计算绘制而成。由于动态景观的复杂性，这些物理模型具有难以构建，计算复杂和只适用于特定的现象的特点。动态纹理总是和描述它的动态系统同时存在，只要模型能力允许，动态纹理可以是任意长度的、实时输出的，这一点对于动态的纹理的应用具有重要的意义。此外，可以利用动态纹理合成技术进行纹理填充(如修补破损的图片，重现原有图片效果)，纹理传输，扩展到时域则可以用一短段视频图像，生成任意长度的非重复的视频动画等。所以动态纹理合成技术在图像编辑、数据压缩、网络数据的快速传输、大规模场景的生成以及真实感和非真实感绘制等方面具有广泛的应用前景。本专利技术提出了一种基于双识别流卷积网络的动态纹理合成方法，其主要内容包括：纹理模型中表观流的设计、纹理模型中动态流的设计、新纹理的产生、动态纹理的合成、纹理风格的转换，其过程为，基于预训练卷积网络(ConvNet)完成目标识别与光流预测这两个独立任务，并在给定动态纹理输入后从目标识别卷积网络响应的过滤器数据封装了输入纹理的每一帧表观，此时从光流卷积网络响应的滤波器数据则对输入纹理的动态进行建模。为了产生新纹理，需要优化噪声输入序列来匹配输入纹理中每个识别流的特征，也可以将一个纹理的表观与另一个纹理的动态相结合以产生全新的动态纹理。这种方法可以产生与输入纹理的逐像素表观与时变情况相匹配的高质量样本。
技术实现思路
针对本专利技术提出的基于双识别流卷积网络的动态纹理合成方法，其基于预训练卷积网络(ConvNet)完成目标识别与光流预测这两个独立任务，并在给定动态纹理输入后从目标识别卷积网络响应的过滤器数据封装了输入纹理的每一帧表观，此时从光流卷积网络响应的滤波器数据则对输入纹理的动态进行建模。为了产生新纹理，需要优化噪声输入序列来匹配输入纹理中每个识别流的特征，也可以将一个纹理的表观与另一个纹理的动态相结合以产生全新的动态纹理。这种方法可以产生与输入纹理的逐像素表观与时变情况相匹配的高质量样本。为解决上述问题，本专利技术提供一种基于双识别流卷积网络的动态纹理合成方法，其主要内容包括：(一)纹理模型中表观流的设计；(二)纹理模型中动态流的设计；(三)新纹理的产生；(四)动态纹理的合成；(五)纹理风格的转换。其中，所述的纹理模型中表观流的设计，双识别流中的表观流基于空间纹理模型，通过在目标识别任务中训练卷积网络里不同级别的特征相互关系来捕获纹理表观，为了捕获输入动态纹理的表观，需要先通过卷积网络执行图像序列中每一帧的前向传递并计算出在网络中每一级的特征激活其中Nl代表滤波器的数量而Ml则代表在时间t时层l的空间位置，这里在特定层中滤波器响应的相互关系基于图像的帧进行平均计算并用Gram矩阵进行封装，其中入口由来给定，其中T代表输入帧的数量而代表在目标图像帧t时层l中在位置k处特征i的激活数据，而合成的纹理表观与Gram矩阵所表示的相类似，这里激活数据由所给出，其中代表在合成图像帧t时层l中在位置k处特征i的激活数据，然后将表观误差定义为输入纹理的Gram矩阵与在输入纹理的每一帧上所计算的新产生的纹理之间的均方误差的时间平均值，这里如等式(1)所示：其中Lapp为用于计算出Gram矩阵的网络层数量，Tout为输出纹理的帧数，||·||F为Frobenius范数，然后使用该等式在不同层上计算出Gram矩阵的结果。进一步地，所述的纹理模型中动态流的设计，模型中网络的激活数据必须能表示输入模式的时间变化，且表观流所表征的激活数据应该与图像本身的表观在很大程度上是一致的，最后纹理模型的表示必须是可区分的以便后续能进行纹理合成，这里通过使用与表观流类似的方法，需要选择适用于计算光流的自然可区分的卷积网络架构，然而对于大多数纹理模型都不清楚它们的网络层对于表观来说是如何不变的，因此提出一种基于时空导向能量模型的新型网络架构。进一步地，所述的基于时空导向能量模型的网络架构，在运动能量模型中图像中的运动速度解释为x-y-t时空域中的三维方向，且在频域中正在平移图像的信号能量可以在一个通过原点的平面上显示出来，其中平面的倾斜程度由图像的移动速度来定义，因此运动能量模型是通过一组图像滤波操作来识别出平面的取向以及图像的移动速度，且对于包括平移与动态的纹理在内的一般视觉模式的频谱来说其构建的时空取向可以作为描述图像序列随时间变化情况的基础；这里先给出输入时空的大小，然后应用一组对时空取向敏感的三维滤波器到其中，而滤波器的激活数据会在局部区域上进行修正与池化来保证滤波器响应对于输入信号的鲁棒性，即对于底层图像结构与滤波器的校准的鲁棒性，然后就将与类似时空取向一致的滤波器的激活数据进行求和，这些滤波器响应提供了输入纹理在频域平面上时空取向的逐像素分布测量情况，然而这些滤波器响应会因为局部图像对比而导致混淆，所以难以确定高响应值是由于时空取向的存在还是由于较高的图像对比度；为解决这里模糊性的问题，需要在时空取向这里应用范数L1从而使对于局部表观的表示具有鲁棒性且对于时空取向具有高度的可选择性。进一步地，所述的完全卷积网络架构，卷积网络输入是一对灰度值图像且首先会被标准化为具有零均值与单位方差，而这一步骤提供了图像整体亮度与对比度的不变性水平，即全局的加法与乘法信号的变化，这里网络的第一层由大小为11×11×2的32个三维时空卷积滤波器组成，然后应用一个平方激活函数与5×5的空间最大池化来保证滤波器响应对于局部信号相位的鲁棒性，随后一个具有64个滤波器的大小为1×1的卷积层用来进行与相同取向一致的能量测量的结合，最后为了去除对局部图像对比度的依赖，需要用L1来进行局部做除，而为了捕获这些超过了在初始层中使用的有限接受域的时空取向，需要计算出一个每级之间由两倍下降采样组成的五级空间金字塔，这里多分辨率结果基于同样的时空导向能量模型进行独立处理，并对原始分辨率进行双线性化上升采样然后将结果进行级联，这里需要选择对该人工过滤器权重进行学习以便更好地调整自然图像。进一步地，所述的网络训练方法，为训练网络需要增加额外的解码层并使用级联分布式表示，其中包括有64个滤波器的3×3卷积，修正线性单元(ReLU)和包含64个滤波器的1×1卷积，最后是一个双通道输出直接进行光流的编码，还需要使用预测流和真实流之间的标准平均端点误差(aEPE)流标准，即L2范数来作为误差值用于训练网络，且由于不存在大规模的流数据库使用真实流捕获自然图像，需要采用未标记的视频数据库并应用现有的流估计器来估计训练光流，而对于训练数据则使用来自数据库的视频随机进行90度旋转来进行数据增强以及aEPE的误差优化。进一步地，所述的数据收集，通过记录从图像出现开始直到标注者进行点击的时间作为标注时间，并本文档来自技高网...

【技术保护点】
一种基于双识别流卷积网络的动态纹理合成方法，其特征在于，主要包括纹理模型中表观流的设计(一)；纹理模型中动态流的设计(二)；新纹理的产生(三)；动态纹理的合成(四)；纹理风格的转换(五)。

【技术特征摘要】
1.一种基于双识别流卷积网络的动态纹理合成方法，其特征在于，主要包括纹理模型中表观流的设计(一)；纹理模型中动态流的设计(二)；新纹理的产生(三)；动态纹理的合成(四)；纹理风格的转换(五)。2.基于权利要求书1所述的纹理模型中表观流的设计(一)，其特征在于，双识别流中的表观流基于空间纹理模型，通过在目标识别任务中训练卷积网络里不同级别的特征相互关系来捕获纹理表观，为了捕获输入动态纹理的表观，需要先通过卷积网络执行图像序列中每一帧的前向传递并计算出在网络中每一级的特征激活其中Nl代表滤波器的数量而Ml则代表在时间t时层l的空间位置，这里在特定层中滤波器响应的相互关系基于图像的帧进行平均计算并用Gram矩阵进行封装，其中入口由来给定，其中T代表输入帧的数量而代表在目标图像帧t时层l中在位置k处特征i的激活数据，而合成的纹理表观与Gram矩阵所表示的相类似，这里激活数据由所给出，其中代表在合成图像帧t时层l中在位置k处特征i的激活数据，然后将表观误差定义为输入纹理的Gram矩阵与在输入纹理的每一帧上所计算的新产生的纹理之间的均方误差的时间平均值，这里如等式(1)所示：其中Lapp为用于计算出Gram矩阵的网络层数量，Tout为输出纹理的帧数，||·||F为Frobenius范数，然后使用该等式在不同层上计算出Gram矩阵的结果。3.基于权利要求书1所述的纹理模型中动态流的设计(二)，其特征在于，模型中网络的激活数据必须能表示输入模式的时间变化，且表观流所表征的激活数据应该与图像本身的表观在很大程度上是一致的，最后纹理模型的表示必须是可区分的以便后续能进行纹理合成，这里通过使用与表观流类似的方法，需要选择适用于计算光流的自然可区分的卷积网络架构，然而对于大多数纹理模型都不清楚它们的网络层对于表观来说是如何不变的，因此提出一种基于时空导向能量模型的新型网络架构。4.基于权利要求书3所述的基于时空导向能量模型的网络架构，其特征在于，在运动能量模型中图像中的运动速度解释为x-y-t时空域中的三维方向，且在频域中正在平移图像的信号能量可以在一个通过原点的平面上显示出来，其中平面的倾斜程度由图像的移动速度来定义，因此运动能量模型是通过一组图像滤波操作来识别出平面的取向以及图像的移动速度，且对于包括平移与动态的纹理在内的一般视觉模式的频谱来说其构建的时空取向可以作为描述图像序列随时间变化情况的基础；这里先给出输入时空的大小，然后应用一组对时空取向敏感的三维滤波器到其中，而滤波器的激活数据会在局部区域上进行修正与池化来保证滤波器响应对于输入信号的鲁棒性，即对于底层图像结构与滤波器的校准的鲁棒性，然后就将与类似时空取向一致的滤波器的激活数据进行求和，这些滤波器响应提供了输入纹理在频域平面上时空取向的逐像素分布测量情况，然而这些滤波器响应会因为局部图像对比而导致混淆，所以难以确定高响应值是由于时空取向的存在还是由于较高的图像对比度；为解决这里模糊性的问题，需要在时空取向这里应用范数L1从而使对于局部表观的表示具有鲁棒性且对于时空取向具有高度的可选择性。5.基于权利要求书3所述的完全卷积网络架构，其特征在于，卷积网络输入是一对灰度值图像且首先会被标准化为具有零均值与单位方差，而这一步骤提供了图像整体亮度与对比度的不变性水平，即全局的加法与乘法信号的变化，这里网络的第一层由大小为11×11×2的32个三维时空卷积滤波器组成，然后应用一个平方激活函数与5×5的空间最大池化来保证滤波器响应对于局部信号相位的鲁棒性，随后一个具有64个滤波器的大小为1×1的卷积层用来进行与相同取向一致的能量测量的结合，最后为了去除对局部图像对比度的依赖，需要用L1来进行局部做除，而为了捕获这些超过了在初始层中使用的有限接受域的时空取向，需要计算出一个每级之间由...

【专利技术属性】
技术研发人员：夏春秋，
申请(专利权)人：深圳市唯特视科技有限公司，
类型：发明
国别省市：广东,44