一种用于浑浊水下鱼类图像增强的方法技术

本发明专利技术提供一种用于浑浊水下鱼类图像增强的网络训练方法，该方法包括：S1、获得经图像增强的训练集，其中，样本的原始图像为浑浊水下鱼类图像，样本的标签图像是利用多种图像增强方式对原始图像处理后得到的增强图像；S2、使用训练集对循环生成对抗网络进行多轮训练，其中，在每轮训练中，根据样本的原始图像生成浑浊图像以及根据样本的标签图像生成增强图像，并基于包含生成对抗损失、循环一致性损失和视觉感知损失的总损失更新循环生成对抗网络的参数，并在一轮训练结束时根据相应的评价指标选择性地使用当前根据原始图像提取的增强图像更新训练集的标签图像。利用本发明专利技术的方法，能够高效便捷获得更清晰的水下鱼类图像。能够高效便捷获得更清晰的水下鱼类图像。能够高效便捷获得更清晰的水下鱼类图像。

【技术实现步骤摘要】
一种用于浑浊水下鱼类图像增强的方法


[0001]本专利技术涉及计算机视觉
，具体涉及一种用于浑浊水下鱼类图像增强的方法。

技术介绍

[0002]近年来，由于人们对渔业养殖、生态环境保护的重视，获取湖库浑浊水下的鱼类形态及分布的信息显得至关重要。调查湖库水下鱼类的形态及分布是对鱼类生长周期研究、渔场优化管理、以及水环境保护的一个重要手段，在实际生活中发挥着极其重要的应用，受到业界的广泛关注和研究。
[0003]湖库由于复杂的水下环境，以及特殊的光学条件，水下淤泥、腐烂植被大量溶解悬浮在水中，导致光线在水下发生严重的遮挡、散射、折射以及衰减，水下成像质量效果差，难以获取图像中的鱼类形态、分布等信息。且由于湖库养殖活动十分频繁，例如一些网箱养殖、盲目投饵施肥施药等，进一步加剧了水质的恶化，导致湖库水体浑浊，能见度低。如何有效地对浑浊水下鱼类图像进行增强，获取清晰的水下数据，成为了一个具有挑战且具有价值的研究点。
[0004]然而，当前大部分调查水下鱼类的形态及分布仍停留在人工网捕，人工测量，声呐探测，定点布网等方法上，这些方法不仅成本高昂效率低下，耗时耗力的同时对水生环境造成不可逆的伤害。随着水下相机的普及使得人们可以通过图像处理的方式获得清晰的水下图像，从而从图像中获取水下鱼类的形态以及分布信息。许多研究者着力开发基于深度学习的水下图像增强，它们中的绝大多数是基于海洋数据展开研究。相比于海洋数据，湖库水体浑浊能见度低、图像失真严重、开源数据集少增强难度大，针对湖库浑浊水下图像的研究仍十分不足。/>[0005]因此，需要对现有技术进行改进，以提供适用于湖库环境、增强效果好的浑浊水下鱼类图像增强方法。

技术实现思路

[0006]因此，本专利技术的目的在于克服上述现有技术的缺陷，提供一种用于浑浊水下鱼类图像增强的方法以及图像增强方法。
[0007]本专利技术的目的是通过以下技术方案实现的：
[0008]根据本专利技术的第一方面，提供一种用于浑浊水下鱼类图像增强的网络训练方法，所述方法包括：
[0009]S1、获得经图像增强的训练集，其中，样本的原始图像为浑浊水下鱼类图像，样本的标签图像是将利用多种图像增强方式对原始图像处理后得到的增强图像；
[0010]S2、使用训练集对循环生成对抗网络进行多轮训练，其中，在每轮训练中，根据样本的原始图像生成浑浊图像以及根据样本的标签图像生成增强图像，并基于包含生成对抗损失、循环一致性损失和视觉感知损失的总损失更新循环生成对抗网络的参数，并在每轮
训练结束时根据评价指标选择性地使用当前根据原始图像提取的增强图像更新训练集的标签图像。
[0011]在本专利技术的一些实施例中，在步骤S1中，样本的标签图像是按照以下方式得到的：
[0012]对该样本对应的浑浊水下鱼类图像进行白平衡以及双边滤波处理，得到第一图像；
[0013]对所述第一图像进行直方图均衡化处理，得到第二图像；
[0014]利用拉普拉斯滤波器分别计算第一图像和第二图像的各个通道的每个像素点的权重，依据各个通道的每个像素点的权重对第一图像和第二图像进行加权求和，得到增强图像。
[0015]在本专利技术的一些实施例中，所述利用拉普拉斯滤波器分别计算第一图像和第二图像的各个通道的每个像素点的权重的步骤包括：
[0016]利用拉普拉斯滤波器计算第一图像的红色通道、绿色通道和蓝色通道的每个像素点的滤波结果，将滤波结果的绝对值作为对应像素点的权重；
[0017]利用拉普拉斯滤波器计算第二图像的红色通道、绿色通道和蓝色通道的每个像素点的滤波结果，将滤波结果的绝对值作为对应像素点的权重。
[0018]在本专利技术的一些实施例中，所述循环生成对抗网络包括第一生成器、第二生成器、第一判别器和第二判别器，第一生成器和第二生成器彼此相连构成环形网络结构；
[0019]其中，在正向循环中，第一生成器学习根据浑浊的原始图像提取清晰图像，得到第一增强图像，第二生成器学习根据第一增强图像提取浑浊的图像，得到第一浑浊图像；
[0020]在反向循环中，第二生成器学习根据标签图像提取浑浊的图像，得到第二浑浊图像，第一生成器学习根据第二浑浊图像提取清晰的图像，得到第二增强图像。
[0021]在本专利技术的一些实施例中，所述生成对抗损失包括：正向循环的生成对抗子损失，其为利用第一判别器根据第一增强图像和标签图像计算的损失；以及反向循环的生成对抗子损失，其为利用第二判别器根据第二浑浊图像和原始图像计算的损失。
[0022]在本专利技术的一些实施例中，所述循环一致性损失包括：正向循环一致性子损失，其为根据第一浑浊图像和原始图像计算的损失，以及反向循环一致性子损失，其为根据第二增强图像和标签图像计算的损失。
[0023]在本专利技术的一些实施例中，所述视觉感知损失包括第一视觉损失和第二视觉损失，其中，第一视觉损失是对第一生成器生成的图像计算的颜色真实感评价值、锐度评价值和对比度评价值的加权求和结果，第二视觉损失是是对第一生成器生成的图像对色度的标准差、亮度对比度和饱和度平均值的加权求和结果。
[0024]在本专利技术的一些实施例中，所述用于浑浊水下鱼类图像增强的网络训练方法还包括：
[0025]在每一轮训练结束时计算训练集中的增强图像和当前根据原始图像提取的增强图像之间的差异；
[0026]在所述差异小于等于预定阈值时结束训练。
[0027]在本专利技术的一些实施例中，所述步骤S2中根据评价指标选择性地使用当前提取的增强图像更新训练集的标签图像，包括：
[0028]计算所述提取的增强图像和与之对应的训练集中的增强图像各自的评价指标，其
中，所述评价指标为视觉感知指标的指标值；
[0029]基于所述评价指标，更新训练集标签图像，将更新标签图像后的训练集作为下一轮次的训练集，其中，当任一样本对应的根据原始图像提取的增强图像的评价指标高于该样本在训练集中的增强图像的评价指标时，将训练集中的增强图像替换为提取的增强图像。
[0030]根据本专利技术的第二方面，提供一种浑浊水下鱼类图像增强的方法，所述方法包括：
[0031]基于浑浊水下鱼类图像，利用第一方面的用于浑浊水下鱼类图像增强的网络训练方法获得的所述循环生成对抗网络提取增强图像。
[0032]根据本专利技术的第三方面，提供一种电子设备，包括：一个或多个处理器；以及存储器，其中存储器用于存储一个或多个可执行指令；所述一个或多个处理器被配置为经由执行所述一个或多个可执行指令以实现第一方面或第二方面的方法的步骤。
[0033]与现有技术相比，本专利技术的优点在于：
[0034]1、通过分析浑浊水下鱼类图像特点，基于多种图像增强方法对原始图像进行增强，获得初始的增强图像，将该初始增强图像作为标签图像，为训练循环生成对抗网络提供初始的标签图像；并基于循环生成对抗网络的结构以及对循环生成对抗网络进行多轮迭代训练，以自监督的方式学习浑浊图像到清晰图像的映射，每本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于浑浊水下鱼类图像增强的网络训练方法，其特征在于，包括：S1、获得经图像增强的训练集，其中，样本的原始图像为浑浊水下鱼类图像，样本的标签图像是利用多种图像增强方式对原始图像处理后得到的增强图像；S2、使用训练集对循环生成对抗网络进行多轮训练，其中，在每轮训练中，根据样本的原始图像生成浑浊图像以及根据样本的标签图像生成增强图像，并基于包含生成对抗损失、循环一致性损失和视觉感知损失的总损失更新循环生成对抗网络的参数，并在每轮训练结束时根据评价指标选择性地使用当前根据原始图像提取的增强图像更新训练集的标签图像。2.根据权利要求1所述的方法，其特征在于，在步骤S1中，样本的标签图像是按照以下方式得到的：对该样本对应的浑浊水下鱼类图像进行白平衡以及双边滤波处理，得到第一图像；对所述第一图像进行直方图均衡化处理，得到第二图像；利用拉普拉斯滤波器分别计算第一图像和第二图像的各个通道的每个像素点的权重，依据各个通道的每个像素点的权重对第一图像和第二图像进行加权求和，得到增强图像。3.根据权利要求2所述的方法，其特征在于，所述利用拉普拉斯滤波器分别计算第一图像和第二图像的各个通道的每个像素点的权重的步骤包括：利用拉普拉斯滤波器计算第一图像的红色通道、绿色通道和蓝色通道的每个像素点的滤波结果，将滤波结果的绝对值作为对应像素点的权重；利用拉普拉斯滤波器计算第二图像的红色通道、绿色通道和蓝色通道的每个像素点的滤波结果，将滤波结果的绝对值作为对应像素点的权重。4.根据权利要求1所述的方法，其特征在于，所述循环生成对抗网络包括第一生成器、第二生成器、第一判别器和第二判别器，第一生成器和第二生成器彼此相连构成环形网络结构；其中，在正向循环中，第一生成器学习根据浑浊的原始图像提取清晰图像，得到第一增强图像，第二生成器学习根据第一增强图像提取浑浊的图像，得到第一浑浊图像；在反向循环中，第二生成器学习根据标签图像提取浑浊的图像，得到第二浑浊图像，第一生成器学习根据第二浑浊图像提取清晰的图像，得到第二增强图像。5.根据权利要求4所述的方法，其特征在于，所述生成对抗损失包括：正向循环的生成对抗子损失，其为利用第一判别器根据第一增强图像和标签图像计算的损失；以及反向循环的...

【专利技术属性】
技术研发人员：朱登明，周文辉，石敏，王兆其，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：