一种基于GAN的特定海域数据集增广方法技术

本发明专利技术公开了一种基于GAN的特定海域数据集增广方法，属于计算机视觉领域，包括以下步骤：采集特定海域的水下图像，构成真实水下图像数据集；构建生成对抗网络；生成器对真实的水下图像的退化特性和以及渐晕效果进行学习，得到学习后生成器，并在生成器中得到真实水下图像数据集的衰减、散射、渐晕模型参数，公开数据集在学习后生成器上进行图像合成，得到真实水下图像的合成图像数据集，将真实水下图像的合成图像数据集和真实水下图像数据集一起输入到判别器中进行判别，实现真实水下图像的增广，该方法在数据集上训练识别网络避免过拟合现象，解决海洋公开数据集样本数较小、真实样本获取困难的问题。

A method of data set augmentation for specific sea area based on GaN

【技术实现步骤摘要】
一种基于GAN的特定海域数据集增广方法
本专利技术涉及计算机视觉领域，尤其涉及一种基于GAN的特定海域数据集增广方法。
技术介绍
深度学习目前已广泛应用于水下物体的检测识别，取得了较好的效果，具体而言这些识别网络的出色性能归因于其功能强大的特征提取器，但深度学习网络的训练需要大量标记的样本，否则会出现过拟合现象；水下的各类物体数据集很难获取，公开的数据集也存在样本数量小的问题；因此，水下数据集的增广工作被广泛关注，例如翻转、裁切、偏色、模糊等；Zhang等人采用了平移、缩放、锐化、旋转的增广方法来减少过拟合的程度；Charalamous和Bharath引入了一种基于模拟的方法和特定主题的数据集，可用于生成合成视频帧和序列以进行数据增强。目前，针对于水下数据集的增广工作将重心放在图片的处理上，例如对图片通过单应性变换来模拟不同的拍摄角度、对主动照射形成的不均匀光照进行刻画模拟、对海洋湍流通过图片复原的逆过程模拟不同程度的退化等，而水下环境特有的图像退化在增广工作中没有被考虑，因此本专利技术对水下退化进行描述且通过生成对抗网络进行特定水域的图像生成，从而实现水下数据集的增广工作。
技术实现思路
根据现有技术存在的问题，本专利技术公开了一种基于GAN的特定海域数据集增广方法，包括以下步骤：S1:采集特定海域的水下图像，构成真实水下图像数据集；S2:构建生成对抗网络，所述生成对抗网络包括：生成器和判别器；S3:所述生成器对真实的水下图像的退化特性和以及相机造成的渐晕效果进行学习，得到学习该特定海域特征后的生成器，在生成器中经过训练得到真实水下图像数据集的衰减、散射、渐晕模型参数；S4:公开数据集在学习后的生成器上进行图像合成，得到真实水下图像的合成图像数据集；S5:将真实水下图像的合成图像数据集和真实水下图像数据集一起输入到判别器中进行判别，返回的真实水下图像和真实水下图像的合成图像均带有分类标签，当返回分类标签中真实水下图像和真实水下图像的合成图像达到特定的比例，即判别器不能准确判别出输入的图像为真实的或合成的，表示生成器中的模型参数符合真实水下图像数据集，实现真实水下图像的增广。进一步地，所述水下退化特性包括光束衰减特性和光束散射特性。进一步地，所述生成器包括衰减模块、散射模块和渐晕效果模块；所述判别器采用URGAN中的判别器；所述衰减模块和所述散射模块将输入的真实的水下图像经过衰减处理和散射处理之再合成并传送给所述渐晕效果模块进行渐晕效果处理得到真实水下图像的合成图像；所述URGAN判别器接收所述生成器传送的真实水下图像的合成图像和真实水下图像进行图像真实性判别。进一步地，所述光束衰减特性的判定模型如下：其中，G1是衰减过程的输出，Iλ(x)是潜在的清晰水下图像，即在水中传播之前的初始辐照度，为直接照射分量下的光束衰减系数，z是相机到物体的距离，vD＝{z,ρ,E,Sλ,β}是水下衰减的影响系数，ρ代表反射率，E代表辐射通量密度，Sλ代表相机的光谱响应。进一步地，所述光束散射特性的判定模型如下：其中，N是对光束散射特性描述的模型，为与波长有关的杂散光标量参数，为后向散射分量下的光束衰减系数，vB＝{E,Sλ,b,β}是水下散射的影响系数，E代表辐射通量密度，Sλ在这里代表相机的光谱响应，b是光束散射系数。进一步地：所述渐晕效果的判定模型如下：V＝1+ar2+br4+cr6(7)其中，r是从图像中心到每个像素的归一化半径，即r＝0表示图像的中心位置，r＝1表示图像的边界位置；a，b，c为常数，由网络估算得出的模型参数，约束条件为(c≥0)∩(4b2-12ac<0)。由于采用了上述技术方案，本专利技术提供的一种基于GAN的特定海域数据集增广方法，在此数据集上训练识别网络避免过拟合现象，解决海洋公开数据集样本数较小、真实样本获取困难的问题；GAN在搭建过程中采用修正后的水下退化模型，实现对衰减、散射造成的效果的刻画；将水下退化模型与生成对抗网络相结合，模拟真实特定海域下的图像退化情况，使得增广后的数据集分布变化极小。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术合成数据集构成示意图；图2为本专利技术水下成像原理图；图3为本专利技术生成对抗网络结构示意图。具体实施方式为使本专利技术的技术方案和优点更加清楚，下面结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚完整的描述：一种基于GAN的特定海域数据集增广方法，包括以下步骤：S1:采集特定海域的水下图像，构成真实水下图像数据集；S2:构建生成对抗网络，所述生成对抗网络包括：生成器和判别器；S3:所述生成器对真实的水下图像的退化特性和以及渐晕效果进行学习，得到学习该特定海域特征后的生成器，在生成器中经过训练得到真实水下图像数据集的衰减、散射、渐晕模型参数；S4:公开数据集在学习后的生成器上进行图像合成，得到真实水下图像的合成图像数据集；图1为本专利技术合成数据集构成示意图；S5:将真实水下图像的合成后图像数据集和真实图像数据集输入到判别器里，当返回的分类的标签中真实水下图像和真实水下图像的合成后图像达到特定的比例(如1:1)，即判别器不能准确判别出输入的图像为真实的或合成的，完成真实水下图像的合成后图像的判别，实现真实水下图像的增广。进一步地：水下退化特性包括光束衰减特性和光束散射特性。首先，图2为本专利技术水下成像原理图；对水下真实图像的退化物理模型进行介绍，此模型是训练数据及生成对抗网络的设计基础，对于在散射介质中捕获的图像，由于吸收和散射效应，只有一部分来自物体的反射光会到达摄像头，因此传统上使用大气散射模型来描述水下图像的退化，大气散射模型如下式：U(x)＝I(x)T(x)+B(1-T(x))(1)其中，x表示像素的坐标；U(x)为相机拍摄到的图像，I(x)为无任何退化的图像，B指环境光强度，T(x)∈[0,1]，代表该场景的辐射率，当这种雾化均匀时T(x)用指数衰减项进一步表示为T(x)＝e-βd(x)(2)其中，β是大气衰减系数，d(x)是物体到相机的距离。在上述的传统大气模型中，散射是非选择性的，并且衰减与波长的关系并没有表示出来；但由于水中选择性衰减的光学特性，用于后向散射的衰减系数在很大程度上取决于杂散光，此外在水中的吸收也不同于在大气中的吸收，直接照射与散射的衰减系数同样是不同的，基于上述我们可以使用如下式的退化模型：其中，代表杂散光，βλ是光束衰减系数，D是直接透射光，B是后向散射光，vd(x)和vb(x本文档来自技高网...

【技术保护点】
1.一种基于GAN的特定海域数据集增广方法，其特征在于：包括以下步骤：/nS1:采集特定海域的水下图像，构成真实水下图像数据集；/nS2:构建生成对抗网络，所述生成对抗网络包括：生成器和判别器；/nS3:所述生成器对真实的水下图像的退化特性和以及渐晕效果进行学习，得到学习该特定海域特征后的生成器，在生成器中经过训练得到真实水下图像数据集的衰减、散射、渐晕模型参数；/nS4:公开数据集在学习后的生成器上进行图像合成，得到真实水下图像的合成图像数据集；/nS5:将真实水下图像的合成图像数据集和真实水下图像数据集一起输入到判别器中进行判别，返回的真实水下图像和真实水下图像的合成图像均带有分类标签，当返回分类标签中真实水下图像和真实水下图像的合成图像达到特定的比例，表示生成器中的模型参数符合真实水下图像数据集，实现真实水下图像的增广。/n

【技术特征摘要】
1.一种基于GAN的特定海域数据集增广方法，其特征在于：包括以下步骤：
S1:采集特定海域的水下图像，构成真实水下图像数据集；
S2:构建生成对抗网络，所述生成对抗网络包括：生成器和判别器；
S3:所述生成器对真实的水下图像的退化特性和以及渐晕效果进行学习，得到学习该特定海域特征后的生成器，在生成器中经过训练得到真实水下图像数据集的衰减、散射、渐晕模型参数；
S4:公开数据集在学习后的生成器上进行图像合成，得到真实水下图像的合成图像数据集；
S5:将真实水下图像的合成图像数据集和真实水下图像数据集一起输入到判别器中进行判别，返回的真实水下图像和真实水下图像的合成图像均带有分类标签，当返回分类标签中真实水下图像和真实水下图像的合成图像达到特定的比例，表示生成器中的模型参数符合真实水下图像数据集，实现真实水下图像的增广。


2.根据权利要求1所述一种基于GAN的特定海域数据集增广方法，其特征在于：所述水下退化特性包括光束衰减特性和光束散射特性。


3.根据权利要求1所述一种基于GAN的特定海域数据集增广方法，其特征在于：所述生成器包括衰减模块、散射模块和渐晕效果模块；
所述判别器采用URGAN中的判别器；
所述衰减模块和所述散射模块将输入的真实的水下图像经过衰减处理和散射处理之后再合成并传送给所述渐晕效果模块进行渐晕效果处理得到真实水下图像的合成图像；
所...

【专利技术属性】
技术研发人员：王宁，王荣峰，陈廷凯，李春艳，田嘉禾，王宁，
申请(专利权)人：大连海事大学，
类型：发明
国别省市：辽宁;21