基于生成式对抗神经网络的CFA图像去马赛克方法技术

本发明专利技术公开了基于生成式对抗神经网络的CFA图像去马赛克方法，具体为：步骤1、构造训练数据集，并对数据进行预处理操作，得到数量充足的训练数据集；步骤2、构建生成式对抗网络GAN；步骤3、将步骤1中得到的训练数据集进行一系列像素操作，作为步骤2中所搭建GAN网络的输入；步骤4、设置步骤2中所搭建GAN网络的损失函数、超参数，选择网络优化算法以优化损失函数；步骤5、训练构建的生成式对抗网络GAN；步骤6、对步骤5中的已训练网络模型进行测试实验，并用彩色峰值信噪比和结构相似性指数度量去马赛克图像，说明网络性能。该方法旨在减少去马赛克图像的伪影现象，更好的恢复图像中高频部分(角或边)的纹理信息。

【技术实现步骤摘要】
基于生成式对抗神经网络的CFA图像去马赛克方法
本专利技术属于图像处理方法
，具体涉及一种基于生成式对抗神经网络的CFA图像去马赛克方法。
技术介绍
图像是人类获取信息、表达信息和传递信息的重要手段之一。数码相机目前逐渐成为主流的成像设备，广泛应用于智能交通、医学成像、遥感技术等领域。在日常生活中应用最广泛的是数字彩色图像，全彩色图像中每个像素有三个颜色值：红、绿和蓝。为了获得准确的图像色彩信息，数码相机需要三个颜色感应器分别接受每个像素的红、绿和蓝三种颜色分量信息，然后将三个分量合成一幅彩色图像。三个颜色传感器的放置问题会影响到后续的颜色合成。此外，三个传感器的相机价格通常很昂贵并且体积相对较大，大多数数码相机在传感器元件前面放置彩色滤波阵列(CFA)。对于CFA，Bayer模式最流行的模式之一，并且很多去马赛克算法都是针对此模式来设计的。为了从CFA图像中恢复高质量的彩色图像，因此需要使用去马赛克技术十分重要。CFA图像去马赛克实质上是一个病态逆问题，目前存在很多算法用于图像去马赛克，其中最简单并广泛使用的是图像插值算法，最常本文档来自技高网...

【技术保护点】
1.基于生成式对抗神经网络的CFA图像去马赛克方法，其特征在于，具体按照以下步骤实施：/n步骤1、构造训练数据集，并对数据进行预处理操作，得到数量充足的训练数据集；/n步骤2、构建生成式对抗网络GAN，GAN包括两部分：生成器和鉴别器，对于生成器使用U-Net模型，对于鉴别器使用稠密残差网络；/n步骤3、将步骤1中得到的训练数据集进行一系列像素操作，作为步骤2中所搭建GAN网络的输入；/n步骤4、设置步骤2中所搭建GAN网络的损失函数、超参数，选择网络优化算法以优化损失函数；/n步骤5、训练构建的生成式对抗网络GAN，根据步骤4设置的网络超参数、损失函数以及选择的网络优化算法对训练数据集进行训...

【技术特征摘要】
1.基于生成式对抗神经网络的CFA图像去马赛克方法，其特征在于，具体按照以下步骤实施：
步骤1、构造训练数据集，并对数据进行预处理操作，得到数量充足的训练数据集；
步骤2、构建生成式对抗网络GAN，GAN包括两部分：生成器和鉴别器，对于生成器使用U-Net模型，对于鉴别器使用稠密残差网络；
步骤3、将步骤1中得到的训练数据集进行一系列像素操作，作为步骤2中所搭建GAN网络的输入；
步骤4、设置步骤2中所搭建GAN网络的损失函数、超参数，选择网络优化算法以优化损失函数；
步骤5、训练构建的生成式对抗网络GAN，根据步骤4设置的网络超参数、损失函数以及选择的网络优化算法对训练数据集进行训练，得到与其对应的已训练网络模型；
步骤6、对步骤5中的已训练网络模型进行测试实验，并用彩色峰值信噪比和结构相似性指数度量去马赛克图像，说明网络性能。


2.根据权利要求1所述的基于生成式对抗神经网络的CFA图像去马赛克方法，其特征在于，所述步骤1具体包括以下步骤：
步骤1.1、从现有数据库中随机找出若干幅彩色图像作为彩色图像数据集，使用滤波器对每一幅彩色图像进行下采样操作，得到的下采样图像为彩色滤波阵列图像，将所有的CFA图像组成CFA图像数据集，彩色图像数据集与CFA图像数据集组成训练数据集；
步骤1.2、对步骤1.1得到的训练数据集进行预处理操作，将训练数据集中的每张图像进行0.7，0.8，0.9，1倍的缩放，根据训练数据集中图像的大小，选择适合尺度的滑动窗口进行平移操作，即完成对图像的小块分割得到若干个小块图像，以提高网络训练性能；紧接着对每个小块图像进行90°旋转、180°旋转、270°旋转和上下翻转的增广操作，从而得到数量充足的训练数据集。


3.根据权利要求2所述的基于生成式对抗神经网络的CFA图像去马赛克方法，其特征在于，所述步骤2具体包括以下步骤：
步骤2.1、构建GAN中的生成器部分，采用U-Net模型，设置该网络的每层参数；
步骤2.2、构建GAN中的鉴别器部分，采用稠密残差网络模型，设置该网络的每层参数。


4.根据权利要求3所述的基于生成式对抗神经网络的CFA图像去马赛克方法，其特征在于，所述步骤2.1中，生成器结构采用U-Net模型，其结构依次为：输入层—第1个卷积层—第1个PReLU激活函数层—第2个卷积层—第1个批量归一化操作层—第2个PReLU激活函数层—第3个卷积层—第2个批量归一化操作层—第3个PReLU激活函数层—第4个卷积层—第3个批量归一化操作层—第4个PReLU激活函数层—第5个卷积层—第4个批量归一化操作层—第5个PReLU激活函数层—第6个卷积层—第5个批量归一化操作层—第6个PReLU激活函数层—第7个卷积层—第6个批量归一化操作层—第7个PReLU激活函数层—第8个卷积层—第7个批量归一化操作层—第8个PReLU激活函数层—第1个反卷积层—第8个批量归一化操作层—第9个PReLU激活函数层—第2个反卷积层—第9个批量归一化操作层—第10个PReLU激活函数层—第3个反卷积层—第10个批量归一化操作层—第11个PReLU激活函数层—第4个反卷积层—第11个批量归一化操作层—第12个PReLU激活函数层—第5个反卷积层—第12个批量归一化操作层—第13个PReLU激活函数层—第6个反卷积层—第13个批量归一化操作层—第14个PReLU激活函数层—第7个反卷积层—第14个批量归一化操作层—第8个反卷积层—第1个Tanh激活函数层—输出层；
其中，输入层表示四通道压缩CFA图像，输出层表示输出图像；上述结构中第1个卷积层输出与第14个批量归一化操作层输出相连，第1个批量归一化操作层输出与第13个批量归一化操作层输出相连，第2个批量归一化操作层输出与第12个批量归一化操作层输出相连，第3个批量归一化操作层输出与第11个批量归一化操作层输出相连，第4个批量归一化操作层输出与第10个批量归一化操作层输出相连，第5个批量归一化操作层输出与第9个批量归一化操作层输出相连，第6个批量归一化操作层输出与第8个批量归一化操作层输出相连，构成对称连接。


5.根据权利要求4所述的基于生成式对抗神经网络的CFA图像去马赛克方法，其特征在于，步骤2.1中，构建的GAN模型中生成器结构的各层参数设置如下：
将输入层的输入通道设置为4；将第1个卷积层的卷积核尺度设置为3*3，卷积步长设置为1*1，特征映射图的数目设置为16；将第2个卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为32；将第3个卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为64；将第4个卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为128；将第5个卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为256；将第6个卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为256；将第7个卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为512；将第8个卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为512；将第1个反卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为512；将第2个反卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为512；将第3个反卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为256；将第4个反卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为256；将第5个反卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为128；将第6个反卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为64；将第7个反卷...

【专利技术属性】
技术研发人员：罗静蕊，王婕，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：陕西;61