基于新型注意力模型的图像转换方法技术

本发明专利技术提供了一种基于新型注意力模型的图像转换方法。该方法提出来了一种新型的注意力模块——像素域和通道域双重相关性注意力，文中简称PC注意力模块，用于图像转换模型，可以分辨出在已知图像上哪些位置上的像素是需要被转换的，以及待转换的像素之间是否存在某种关联，从而解决生成图像质量较低的问题。PC注意力模块的优点包括两个方面，一是相较于其他注意力模型所需的参数量较少，二是能够同时实现对通道域和像素域的关注。另外，本发明专利技术还提出了一种SPC注意力机制，具体是将PC注意力模块应用于图像转换模型(CycleGAN模型)的生成器中，从而实现图像转换中上采样和下采样过程的信息互通。

【技术实现步骤摘要】
基于新型注意力模型的图像转换方法
本专利技术涉及图像处理
，具体地说是一种基于新型注意力模型的图像转换方法。
技术介绍
图像转换，顾名思义就是将原始图像由一种风格的域转换到另一种风格的域中，这是计算机图形学、计算机视觉中反复出现的主题。当前图像转换方法利用深度神经网络的强大能力能够构建更具现实意义的表示。具体而言，生成对抗网络模型(GAN)已被证明是实现图像转换优良结果的最佳选择。Isola等人提出的Pix2Pix模型利用条件式对抗生成网络(CGAN)的思想结合成对图像转换数据集可以为各种图像到图像转换任务产生高质量的结果。Pix2Pix模型的原理结构如图1所示。具体步骤是将原始图像作为条件输入到生成网络，再由生成网络(通常采用编码器-解码器网络结构)转换到目标图像分布空间，其实生成器就是学习从原始图像分布空间到目标图像分布空间的一种映射。判别器结合目标图像对生成器转换后的图像进行判断，以此来实现图像转换的功能。但是，对于机器学习中的诸多任务而言，获取成对的训练数据往往十分不易。因此Zhu等人提出CycleGAN模型，在不本文档来自技高网...

【技术保护点】
1.一种基于新型注意力模型的图像转换方法，其特征是，采用PC注意力模块同时获取图像像素维度和通道维度的注意力，所述PC注意力模块是具有像素域和通道域双重相关性注意力的模块；具体包括如下步骤：/na、计算原始输入图像特征像素之间的相关性，得到像素相关性矩阵；/nb、计算原始输入图像特征通道之间的相关性；/nc、将步骤a和步骤b所得结果进行矩阵相乘实现线性空间变换，得到双重注意力图像特征，使得其既包含像素维度的相关性，又包含通道维度的相关性；/nd、将双重注意力图像特征与原始输入图像特征线性加权组合，作为PC注意力模块的输出。/n

【技术特征摘要】
1.一种基于新型注意力模型的图像转换方法，其特征是，采用PC注意力模块同时获取图像像素维度和通道维度的注意力，所述PC注意力模块是具有像素域和通道域双重相关性注意力的模块；具体包括如下步骤：
a、计算原始输入图像特征像素之间的相关性，得到像素相关性矩阵；
b、计算原始输入图像特征通道之间的相关性；
c、将步骤a和步骤b所得结果进行矩阵相乘实现线性空间变换，得到双重注意力图像特征，使得其既包含像素维度的相关性，又包含通道维度的相关性；
d、将双重注意力图像特征与原始输入图像特征线性加权组合，作为PC注意力模块的输出。


2.根据权利要求1所述的基于新型注意力模型的图像转换方法，其特征是，在步骤d之后还包括如下步骤：
e、将步骤a得到的像素相关性矩阵，以恒等连接的方式在编码器和解码器的PC注意力模块之间进行跳跃连接，保持相同注意力。


3.根据权利要求1所述的基于新型注意力模型的图像转换方法，其特征是，步骤a...

【专利技术属性】
技术研发人员：花强，赵世朋，董春茹，张峰，刘轶功，
申请(专利权)人：河北大学，
类型：发明
国别省市：河北;13