【技术实现步骤摘要】
一种基于双通道生成-融合网络的图像模态变换方法
：本专利技术涉及基于图像模态、风格变换技术，尤其涉及一种利用双通道生成网络对红外图像进行可见光图像模态的转变，然后利用图像融合方法将两种生成图像进行优化融合减小图像重建误差的方法。
技术介绍
：由于视觉传感器的不同，或者成像原理不同，相应获取的图像呈现出显著的不同，具体表现在像素值的非线性变化。如场景相同的近红外图像、远红外图像、可见光图像、手绘图像、微光图像等。有效地在各类图像之间建立非线性映射变换可以将不同种类的图像相互转换，该技术对工业、国防、刑侦的领域的应用提供着重要的技术支持。目前，常见的图像模态、风格变换方法是基于对抗生成网络(GAN)的图像重建及其变异的方法，如GAN-UNET，GAN-RESNET等。现有的方法常常局限于设计单通道的生成图像网络结构，重建图像误差较高。
技术实现思路
：为了解决上述问题，本专利技术的主要目的在于提供一种基于双通道生成-融合网络的图像模态变换方法，其先进性表现为：一、分别利用残差单元、稠密单元设计双通道生...
【技术保护点】
1.一种基于双通道生成-融合网络的图像模态变换方法，其特征在于，包括如下步骤：/n步骤1)利用双目摄像机采集红外-可见光图像对，并通过图像配准获取视野与分辨率均相同的红外-可见光双模态数据集；/n步骤2)建立“双通道生成-融合网络”，利用红外-可见光双模态数据集训练，获取各通道生成神经网络参数(网络权值)、图像融合参数(亮度阈值)；/n步骤3)利用训练完毕的“双通道生成-融合网络”对待测的红外图像进行模态变换。/n
【技术特征摘要】
1.一种基于双通道生成-融合网络的图像模态变换方法，其特征在于，包括如下步骤：
步骤1)利用双目摄像机采集红外-可见光图像对，并通过图像配准获取视野与分辨率均相同的红外-可见光双模态数据集；
步骤2)建立“双通道生成-融合网络”，利用红外-可见光双模态数据集训练，获取各通道生成神经网络参数(网络权值)、图像融合参数(亮度阈值)；
步骤3)利用训练完毕的“双通道生成-融合网络”对待测的红外图像进行模态变换。
2.根据权利要求1所述的基于双通道生成-融合网络的图像模态变换方法，其特征在于：所述步骤2)为：
“双通道生成-融合网络”由三个模块构成：“基于残差单元的图像生成网络”、“基于稠密单元的图像生成网络”和“图像融合”；
“基于残差单元的图像生成网络”的输入为红外图像IIR，网络结构如下：下采样层1、下采样层2、下采样层3、9个残差单元、上采样层1、上采样层2、上采样层3；其中，第n个残差单元结构如下：卷积层n-1、卷积层n、元素相加层；元素相加层的输出为卷积层n-1与卷积层n的输出特征图按照元素相加的结果；“基于残差单元的图像生成网络”输出为与输入IIR分辨率相同的可见光生成图像IRES；
“基于稠密单元的图像生成网络”的输入为红外图像IIR，网络结构如下：下采样层1、下采样层2、下采样层3、9个稠密单元、上采样层1、上采样层2、上采样层3；其中，第n个稠密单元结构如下：卷积层n-1、向量拼接层1、卷积层n、向量拼接层2、卷积层n+1；向量拼接层1的输出为卷积层n-2与卷积层n-1的输出特征向量的连接结果；向量拼接层2的输出为卷积层n-2、卷积层n-1和卷积层n的输出特征向量的连接结果；“基于稠密单元的图像生成网络”输出为与输入IIR分辨率相同的可见光生成图像IDENSE；
“图像融合”模块的输入为IRES和IDENSE。该模块的结构如下：图像分割(≥亮度阈值)、图像分割(<亮度阈值)、图像拼接；图像融合过程如下：首先，将“基于残差单元(ResBlock)的图像生成网络”的输出IRES图像,利用亮度阈值b*进行分割,保留亮度值大于等于b*的像素点，获得分割结果ISeg1；接着，将“基于稠密单元的图像生成网络”的输出IDENSE图像,利用亮度阈值b*进行分割，保留亮度值小于b*的像素点，获得分割结果ISeg2；最后，将两次分割的图像进行拼接,获取最终生成图像IOut＝ISeg1+ISeg2；
如上述建立“双通道生成-融合网络”后，利用红外-可见光双模态数据集训练，获取各通...
【专利技术属性】
技术研发人员：王晗，施佺，余佩伦，沈克成，
申请(专利权)人：南通大学，
类型：发明
国别省市：江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。