一种基于深度图像类比的视觉特性迁移方法技术

本发明专利技术中提出的一种基于深度图像类比的视觉特性迁移方法，其主要内容包括：双向迁移约束条件、深度网络预处理、图像类比算法、数据整合，其过程为，首先将两张图像输入到预训练的网络中，初始化最后5层网络，对该5层网络进行前向最近邻场搜寻和逆向最近邻场搜寻，再由底层往上进行上采样操作，使得以斑块为主的最近邻场由粗往细调整，最后得到的输出特征进行图像重构，产生具有相互视觉特性的目标图像。本发明专利技术可以针对不同风格、纹理、颜色等特征的图像，提供一个深度学习框架来进行视觉特性的提取与迁移，极大程度提高图像重构的效果。

A method of migration of visual features based on depth image analogies

The present invention in a visual depth image based on analogy transfer method, the main contents include: transfer constraints, network depth preprocessing, image analogies algorithm, data integration, the process is, firstly the input two images into pre training network, finally initialize the 5 layer network, the the 5 layer network to the nearest neighbor search and reverse nearest neighbor search, then from the bottom to carry on sampling operation, the patches of the nearest neighbor field from coarse to fine adjustment of output characteristics of the reconstructed image, target image has mutual visual characteristics. The invention can provide a depth learning frame for the image of different styles, textures, colors, etc. to extract and transfer the visual characteristics, thereby greatly improving the effect of image reconstruction.

【技术实现步骤摘要】
一种基于深度图像类比的视觉特性迁移方法
本专利技术涉及图像重构领域，尤其是涉及了一种基于深度图像类比的视觉特性迁移方法。
技术介绍
长久以来，图像重构都是计算机视觉领域受到广泛关注的议题，尤其在近些年来海量图像开始出现，人们开始关注自己的图像风格。图像重构可以利用固有的图像风格让用户进行选择，即可将已存在的照片往想要的风格发展，由此催生视觉特性迁移方法。从一张图像中复制其颜色、纹理和风格等特性到另一张图像中去，使得后者具有明显的前者风格，这种操作除了在社交领域中起到极大的娱乐作用外，在实用工程学中也有启发意义。在深海远洋中，涉及辽阔的海域面积，对不同的海域进行独立风格的绘图、对灰度遥感图像的视觉特性分割，尤其在航道归类、专业海拔地图绘制等方面具有巨大潜能。视觉特性的迁移如今仍然是非常开放的问题。由于任务中涉及特征的分类及提取、图像的重构及合成、原始图像的信息保留程度等都需要利用到图像本身尽可能多的信息，而以往的方法更多地聚集在低阶信息中，只注重模糊风格处理，给这种视觉上要求更高的特性迁移造成很高难度。本专利技术提出了一种深度学习网络提取视觉特性的新框架。首先将两张图像输入到预训练的网本文档来自技高网...

【技术保护点】
一种基于深度图像类比的视觉特性迁移方法，其特征在于，主要包括双向迁移约束条件(一)；深度网络预处理(二)；图像类比算法(三)；数据整合(四)。

【技术特征摘要】
1.一种基于深度图像类比的视觉特性迁移方法，其特征在于，主要包括双向迁移约束条件(一)；深度网络预处理(二)；图像类比算法(三)；数据整合(四)。2.基于权利要求书1所述的双向迁移约束条件(一)，其特征在于，设定进行视觉特性迁移的配对原始图像为A和B′，其经过视觉迁移后的图像分别为A′和B，即图像A′具有图像B′的视觉特性，图像B具有图像A的视觉特性，则在特性迁移过程中具有双向约束条件：(1)A和A′、B和B′在相同空域位置上相互对应；(2)A和B、A′和B′在外观上有相似结构，如颜色、光照、纹理等特征；(3)从A到A′、B′到B为正向映射函数，将像素p从原位匹配过去，用Φa→b表示，反之用Φb→a表示，由上各匹配图像的关系有双向迁移约束条件：A(p)＝B(Φa→b(p)),A′(p)＝B′(Φa→b(p))(1)以及，Φa→b(Φa→b(p))＝p,Φb→a(Φb→a(p))＝p(2)其中提及的像素p都是原位置匹配。3.基于权利要求书1所述的深度网络预处理(二)，其特征在于，使用已经在ImageNET数据库上进行训练得到的深度学习网络VGG19型的权值网络，将图像A和B′输入到网络中去，取最后的5层输出特征图和且该特征图取自各层的修正线性单元层结果，该结果具有三维张量；分辨率由特征图的低层往高层时会递增，即是一个粗糙到精良的调整过程，因此初始化过程中让4.基于权利要求书1所述的图像类比算法(三)，其特征在于，包括最近邻场搜寻、图像重建、最近邻场上采样。5.基于权利要求书4所述的最近邻场搜寻，其特征在于，在第L层，通过对像素p周围的斑块进行搜寻特征，从而与待匹配图像之间进行斑块相似性衡量，具体地：(1)在前向最近邻场和逆向最近邻场中，它们的映射函数用和表示，其值可以通过最小化以下公式得到：其中，N(p)表示在p点周围的斑块，这个斑块的大小设置为：当L＝5,4,3时，尺寸为3×3，当L＝2,1时，尺寸为5×5；(2)对于源图像A(或A′)，我们通过公式(3)找到目标图像B(或B′)中的最近邻位置q，即(3)公式(3)中的函数F(x)是一个向量，代表在位置x的第L层特征图的所有通道，由于相对值比绝对值在这个场景中更有意义，于是将该特征图向量归一化，即：(4)在每一层，在做最近邻场搜寻之前都需要对A′和B还原特征，具体地，对A′：假...

【专利技术属性】
技术研发人员：夏春秋，
申请(专利权)人：深圳市唯特视科技有限公司，
类型：发明
国别省市：广东,44