一种面向图像翻译的端到端的并行生成器网络构建方法技术

本发明专利技术公开了一种面向图像翻译的端到端的并行生成器网络构建方法，包括如下步骤：步骤1)利用残差、稠密单元搭建端到端的残差‑稠密并行生成器网络；步骤2)构建判别器网络，在对抗生成网络(GAN)的训练框架下，利用输入‑输出训练数据对，训练获取残差‑稠密并行生成器网络参数；步骤3)利用训练完毕的“稠密‑残差并行生成器网络”对待测的输入图像进行图像翻译。本发明专利技术的方法能够有效地融合残差、稠密网络的性能优势；相对于传统单一结构的生成器网络，并行生成器网络的生成图像在多种评价指标上(结构相似度SSIM,均方误差MSE,直方图拟合度)均有显著提高。

An end to end parallel generator network construction method for image translation

【技术实现步骤摘要】
一种面向图像翻译的端到端的并行生成器网络构建方法
本专利技术涉及基于对抗生成网络GAN进行图像翻译、图像风格变换技术，尤其涉及一种面向基于对抗生成网络GAN的图像翻译方法中，如何利用两种不同结构的卷积神经网络，组成端到端的的并行生成器网络结构，以及GAN训练框架下其对应的判别器网络结构的设计方法。
技术介绍
所谓图像翻译(转换)，指从一副图像到另一副图像的转换。如语义分割图转换为真实街景图，灰色图转换为彩色图，白天转换为黑夜，照片转换为素描等。有效地在各类图像之间建立非线性映射关系，可以将不同种类的图像相互转换。该技术对工业、国防、刑侦的领域的应用提供着重要的技术支持。目前，常见的方法是基于对抗生成网络(GAN)的图像变换方法，如Pix2pix、Cycle-GAN、MUNIT等。现有的方法常常局限于应用单一结构的生成图像网络，因此，图像转换的均方差MSE较高，同时结构相似度SSIM和灰度直方图拟合度较低。
技术实现思路
专利技术目的：为了解决上述问题，本专利技术的主要目的在于提供一种面向图像翻译的端到端的并行生成器网本文档来自技高网...

【技术保护点】
1.一种面向图像翻译的端到端的并行生成器网络构建方法，其特征在于，包括如下步骤：/n步骤1)利用残差、稠密单元搭建端到端的残差-稠密并行生成器网络；/n步骤2)构建判别器网络，在对抗生成网络(GAN)的训练框架下，利用输入-输出训练数据对，训练获取残差-稠密并行生成器网络参数；/n步骤3)利用训练完毕的“稠密-残差并行生成器网络”对待测的输入图像进行图像翻译。/n

【技术特征摘要】
1.一种面向图像翻译的端到端的并行生成器网络构建方法，其特征在于，包括如下步骤：
步骤1)利用残差、稠密单元搭建端到端的残差-稠密并行生成器网络；
步骤2)构建判别器网络，在对抗生成网络(GAN)的训练框架下，利用输入-输出训练数据对，训练获取残差-稠密并行生成器网络参数；
步骤3)利用训练完毕的“稠密-残差并行生成器网络”对待测的输入图像进行图像翻译。


2.根据权利要求1所述的面向图像翻译的端到端的并行生成器网络构建方法，其特征在于：所述的步骤1)的具体内容为：
构建并行生成器网络，端到端的“稠密-残差并行生成器网络”由前、后两个部分组成：“基于残差、稠密单元的图像特征提取分支网络”和“基于联合特征的图像生成网络”；
“基于残差单元的图像特征提取分支网络”的结构如下两个部分组成：下采样模块、残差网络模块；其中，下采样模块包括三个卷积层：卷积层1、卷积层2、卷积层3；残差网络模块包括十个残差单元：残差单元1、残差单元2、…,残差单元10,其中，第n个残差单元结构包括如下三层：卷积层n-1、卷积层n、元素相加层；第n个残差单元输出为卷积层n-1与卷积层n的输出特征图按照元素相加的结果，“基于残差单元的图像特征提取分支网络”输出为64×64×256的残差特征图；
“基于稠密单元的图像特征提取分支网络”的结构如下两个部分组成：下采样模块、稠密网络模块；其中，下采样模块包括三个卷积层：卷积层1、卷积层2、卷积层3；稠密网络模块包括十个稠密单元：稠密单元1、稠密单元2、…,稠密单元10,其中，第n个稠密单元结构包括如下五层：卷积层n、向量拼接层1(concatenate)、卷积层n+1、向量拼接层2(concatenate)、过度层(卷积)；“基于稠密单元的图像特征提取分支网络”输出为64×64×256的稠密特征图；
“基于联合特征的图像生成网络”的结构由如下两部分组成：特征融合、上采样；特征融合采用向量拼接(concatenate)将残差特征图和稠密特征图生成联合特征图；然后，经过...

【专利技术属性】
技术研发人员：王晗，施佺，余佩伦，沈克成，
申请(专利权)人：南通大学，
类型：发明
国别省市：江苏;32