一种基于压缩感知和生成对抗的鱼类图像生成方法技术

本发明专利技术涉及一种基于压缩感知和生成对抗的鱼类图像生成方法，属于计算机视觉与深度学习技术领域，步骤包括：步骤1，基于高分辨率鱼类数据集训练压缩感知神经网络，获得低维观测信号和重构映射；步骤2，基于上述低维观测信号训练生成对抗网络，获得低维观测信号的生成器；步骤3，利用上述生成器，向生成器中输入噪声产生新的低维观测信号，利用上述重构映射将生成的低维观测信号重构为生成的高分辨率鱼类图片。本发明专利技术中生成器的输入为服从高斯分布的随机噪声，不需要从高维数据集中获得，因此本发明专利技术中获得的生成器可以将任意服从高斯分布的噪声生成为高清鱼类图像。且本发明专利技术可以生成与原始数据集服从同一分布而更加多样的不同高清鱼类图像。同高清鱼类图像。同高清鱼类图像。

【技术实现步骤摘要】
一种基于压缩感知和生成对抗的鱼类图像生成方法


[0001]本专利技术涉及一种基于压缩感知和生成对抗的鱼类图像生成方法，属于计算机视觉与深度学习


技术介绍

[0002]鱼类行为和游泳能力可以反映其所在水域的生态环境状况。利用高清相机拍摄的鱼类图像可用于分析鱼类行为和游泳能力，监控生态系统健康程度和生物多样性。目前关于鱼类种类识别、鱼类行为检测等计算机视觉研究应用正深入开展，但是，由于自然水域水况复杂、图像收集难度大等原因，现有鱼类图像具有模糊不清、细节缺失、尺度单一、角度姿态单一等问题，当前可用于学习训练的多尺度、多种类、多姿态的高质量鱼类图像数据集较少，使得算法训练程度不够，不能达到优良效果。
[0003]因此，利用生成对抗网络对鱼类图像训练样本进行增广是一个前景广阔的研究方向，同时图像生成在人工智能领域占有重要地位，其可以在旧样本分布的基础上生成新的样本数据。生成模型的目的是创造新的数据概率分布，可用于一些创造性的工作当中。通过生成模型可以生成新的图像，成为了解决图像样本较少问题的有效方法。
[0004]在2014年Goodfellow等人提出了生成对抗网络GAN，让图像生成这一任务方向取得了显著进展，但仍存在许多未解决的问题，比如原始的GAN模型在训练高分辨率图像时容易遇到梯度爆炸和图像细节学习不足等问题，这就使得它难以进行复杂的高分辨率任务。
[0005]生成对抗网络包括两个网络，分别是生成器G和判别器D，它们的训练同时进行：通过训练D使训练样本和来自G的样本的正确标签的概率最大化；同时通过最小化log(1
‑
D(G(z)))来调整生成器G的参数。两个网络的对抗体现在：生成器使用真实样本训练，训练后输入噪声生成虚假样本，目标是生成接近真实样本的样本骗过判别器；判别器输入虚假样本和真实样本并判别真伪，目标是判别出生成器生成的虚假样本。二者对抗，最后生成器生成很接近真实样本的样本，判别器判别不出来生成器样本和真实样本的区别。
[0006]压缩感知理论认为，若信号在某一变换基下具有稀疏性，则可以用满足某种特性的欠采样矩阵将原始信号从高维空间投影到低维空间，即得到观测信号，然后通过解一个具有范数约束的优化问题，从远小于信号长度的观测信号中以高概率重构出原始信号。近年来随着深度学习技术的发展，开始有学者提出基于神经网络的方法，将观测信号作为输入，借助神经网络强大的学习能力，学习从观测信号到原始信号的直接映射，从而得到压缩感知神经网络。
[0007]目前使用生成对抗网络进行鱼类图像生成过程中存在如下问题：现有鱼类图像模糊、角度相似程度高，生成图像细节学习不到位；如果生成的目标图像过大，则网络体量及对应特征图会相应倍数增大，进而占据更多显存，在显存一定的情况下致使batch减小导致生成细节不足，甚至训练失败。

技术实现思路

[0008]针对现有技术的不足，我们提出了一种基于压缩感知和生成对抗的鱼类图像生成方法，首先训练压缩感知神经网络获得低维观测信号和重构映射，再由生成对抗网络训练观测信号获得观测信号生成器，最后将由生成器新生成的观测信号经重构映射还原，进而生成高分辨率鱼类图像。本专利技术具有显存占用不会过大，同时网络较容易训练，训练时间不会过长，生成图像具有高分辨率、多样性强等优点。
[0009]本专利技术的技术方案如下：
[0010]一种基于压缩感知和生成对抗的鱼类图像生成方法，包括：
[0011]步骤1，基于现有高分辨率的鱼类图像训练压缩感知神经网络，获得低维观测信号和重构映射；
[0012]步骤2，基于上述低维观测信号训练生成对抗网络，获得低维观测信号的生成器；
[0013]步骤3，利用上述生成器，向生成器中输入噪声产生新的低维观测信号，利用上述重构映射将生成的低维观测信号重构为生成的高分辨率的鱼类图像。
[0014]优选的，步骤1包括：
[0015]步骤11，加载高分辨率鱼类图像数据集，作为压缩感知神经网络的训练集；
[0016]步骤12，加载压缩感知神经网络模型，基于上述训练集对神经网络采用倒向传播法进行训练，获得高分辨率鱼类图像X的低维观测信号Y和重构映射f；
[0017]则有，Y＝W*X，
[0018]其中，原始高分辨率鱼类图像为X，压缩感知的欠采样矩阵为W，低维观测信号为Y，重构映射为f，重构的高分辨率鱼类图像为网络训练的损失函数为MSE均方误差。
[0019]进一步优选的，步骤12中，压缩感知神经网络为四层全连接的神经网络，第一层的神经元个数与训练集鱼类图像的维数一致，第二层神经元个数为819，第三层神经元个数为1638，第四层神经元个数与训练集鱼类图像的维数一致；网络训练的损失函数为MSE均方误差，网络训练的优化器为ADAM，学习率为0.001。
[0020]优选的，步骤2包括：
[0021]步骤21，构建生成对抗网络结构，生成对抗神经网络由生成器(Generator)和判别器(Discriminator)构成；
[0022]生成器为五层全连接神经网络，各层神经元个数为100
‑
256
‑
512
‑
1024
‑
819，判别器为五层全连接神经网络，各层神经元个数为819
‑
1024
‑
512
‑
256
‑
1；不同图像维数也可通用，效果好；
[0023]步骤22，训练生成对抗网络，生成与步骤12中获得的观测信号Y服从相同概率分布的生成观测信号Y
recon
；训练流程包括以下步骤：
[0024](1).产生服从标准正态分布的随机噪声Z作为生成器的输入；
[0025]Z～N(0，1)
[0026](2).随机噪声经生成器，产生生成观测信号Y
recon
，参照真实观测信号Y，计算生成器G损失和判别器D损失，损失函数可以表为：
[0027][0028]其中，G为生成器，D为判别器，V(D，G)为总体损失；
[0029](3).固定生成器或判别器中其一对另一个进行训练，交替训练生成器和判别器，
即固定生成器训练判别器、固定判别器训练生成器、重复交替，直至网络稳定，网络稳定判断标准可以是：生成器损失和判别器损失下降到损失稳定不再有大波动，或视觉判断生成的样本成像达到既定要求；保存此时的生成器和判别器网络模型的参数；
[0030](4).在生成器和判别器训练完成后，载入上述保存的生成器模型，产生服从标准正态分布的随机噪声Z输入到上述载入的生成器中，获得生成观测信号Y
recon
。
[0031]优选的，步骤3包括：
[0032]步骤31，载入步骤12中压缩感知神经网络的重构映射f，即压缩感知神经网络的后两层及其参数；
[0033]步骤32，利用上述重构映射将生成观测信号Y
recon<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于压缩感知和生成对抗的鱼类图像生成方法，其特征在于，包括步骤如下：步骤1，基于高分辨率鱼类图像训练压缩感知神经网络，获得低维观测信号和重构映射；步骤2，基于上述低维观测信号训练生成对抗网络，获得低维观测信号的生成器；步骤3，利用上述生成器，向生成器中输入噪声产生新的低维观测信号，利用上述重构映射将生成的低维观测信号重构为生成的高分辨率鱼类图片。2.根据权利要求1所述的基于压缩感知和生成对抗的鱼类图像生成方法，其特征在于，步骤1包括：步骤11，加载高分辨率鱼类图像数据集，作为压缩感知神经网络的训练集；步骤12，加载压缩感知神经网络模型，基于上述训练集对神经网络采用倒向传播法进行训练，获得高分辨率鱼类图像X的低维观测信号Y和重构映射f；则有，其中，原始高分辨率鱼类图像为X，压缩感知的欠采样矩阵为W，低维观测信号为Y，重构映射为f，重构的高分辨率鱼类图像为网络训练的损失函数为MSE均方误差。3.根据权利要求2所述的基于压缩感知和生成对抗的鱼类图像生成方法，其特征在于，步骤12中，压缩感知神经网络为四层全连接的神经网络，第一层的神经元个数与训练集鱼类图像的维数一致，第二层神经元个数为819，第三层神经元个数为1638，第四层神经元个数与训练集鱼类图像的维数一致；网络训练的损失函数为MSE均方误差，网络训练的优化器为ADAM，学习率为0.001。4.根据权利要求3所述的基于压缩感知和生成对抗的鱼类图像生成方法，其特征在于，步骤2包括：步骤21，构建生成对抗网络结构，生成对抗神经网络由生成器和判别器构成；生成器为五层全连接神经网络，各层神经元个数为100
‑
256
‑
512
‑
1024
‑
819，判别器为五层全连...

【专利技术属性】
技术研发人员：鲍江辉，姜昊，段明，王馨悦，李蔚郁，胡少秋，张东旭，张敬林，鲁威志，
申请(专利权)人：山东大学，
类型：发明
国别省市：