一种鱼类图像处理系统和方法技术方案

本发明专利技术涉及一种鱼类图像处理方法，包括：获取第一鱼类图像，第一鱼类图像中包含鱼类信息；根据去雨除雾数学模型：

A Fish Image Processing System

The invention relates to a fish image processing method, which includes: acquiring the first fish image, including fish information in the first fish image, and according to the mathematical model of rain and fog removal:

【技术实现步骤摘要】
一种鱼类图像处理系统和方法
本专利技术属于图像处理
，具体涉及一种鱼类图像处理系统和方法。
技术介绍
非法且不可持续的捕鱼活动在全球各个地区都极为常见，这样的违法作业已经极大地影响了全球海洋生态系统。一方面以大眼金枪鱼为代表的许多鱼群数量已经低于警戒线；另一方面全球近50％人口以海产品作为主要蛋白质来源且如瑙鲁等许多中西部太平洋岛国的经济严重依赖金枪鱼等海洋生物，加强监管以实现可持续发展迫在眉睫。上世纪末以来，不少国家与国际组织在渔船甲板上安装了监控摄像头，希望用这种方式来制止渔民在不恰当的时节捕捞不恰当的鱼类，其原因在于海洋作业过程中常见的雨浪交杂、水雾弥漫等情况严重影响监控画质，监管者难以辨识画面中的鱼类，并且审查海量的监控视频需要大量的人力资源。实际测试中，对于单帧图像，经过初步培训的监管者平均需要花费1.3秒左右的时间对清晰画面进行判断并标记，而对有浓雾影响的画面需要更久，对同时有雾、有水滴影响的图像则常常无法分辨。
技术实现思路
为了解决现有技术存在的水雾干扰，鱼类识别困难等问题，本专利技术提供了一种图像处理系统和方法，其具有能够消除雨雾干扰，有效识别鱼类等特点。本专利技术的目的是提供一种能够有效去除拍摄的鱼类图像中的雨雾并能对图像中的鱼类进行准确识别的方法和系统。根据本专利技术的具体实施方式的一种鱼类图像处理方法，包括：获取第一鱼类图像，所述第一鱼类图像中包含鱼类信息；根据去雨除雾数学模型：建立去雨除雾网络，并运用所述去雨除雾网络对获取的所述第一鱼类图像进行去雨和除雾，得到第二鱼类图像；其中B是指没有任何干扰的背景图像，表示雨图层，O表示实际记录的图像，R表示实际记录图像每个像素的雨水有无，A表示大气背景光，(1-α)为物体表面反射光传播到摄像头过程中的衰减比例；使用鱼类检测算法对去雨除雾后的所述第二鱼类图像进行处理，对所述第二鱼类图像中鱼类的位置进行标注。进一步地，所述去雨除雾网络的去雨过程包括：对获取的所述第一图像进行初步卷积后采用空洞卷积进一步获取所述第一图像的特征F，对特征F通过两个卷积层估算R，对[F,R]使用一层卷积预测再通过一层卷积计算B，将B作为去雨过程的输入进一步的去雨。进一步地，所述去雨除雾网络的除雾过程包括：对特征F进行多尺度映射，以提高不同分辨率下特征提取的鲁棒性；对映射后的特征F进行取局部极值操作，对透过率α进行估计；对透过率α进行非线性回归操作进行边缘抑制提高对透过率α估计的准确率。进一步地，所述鱼类检测算法包括：使用深度残差网络提供的50层卷积层，提取经所述去雨除雾网络处理后的所述第二图像的图像特征；选取四种不同尺度的特征图分别送入区域建议网络中产生候选框；再将多尺度下生成的候选框映射回多尺度的特征图送入特征金字塔网络得到检测结果。进一步地，使用ROIAlignment的方法将所述候选框域处理为同样的尺寸：将根据区域建议网络预测的ROI坐标映射回卷积特征图上；将特征图上所有的候选区域均分为相同的含n*n个小区域的区域；分别对每个候选区域的n*n个小区域进行最大值池化，用于后续特征金字塔网络的检测。根据本专利技术的具体实施方式的一种鱼类图像处理系统，包括：去雨除雾网络处理单元，所述去雨除雾网络处理单元对获取的图像进行去雨和除雾处理；以及鱼类检测单元，所述鱼类检测单元对去雨除雾后的图像进行处理，对图像中鱼类的位置进行标注。进一步地，所述去雨除雾网络处理单元包括：去雨网络处理模块，所述去雨网络处理模块对获取的图像进行初步卷积后采用空洞卷积进一步获取图像特征F，对特征F通过两个卷积层估算R，对[F,R]使用一层卷积预测再通过一层卷积计算B，将B作为去雨过程的输入进一步的去雨；其中B是指没有任何干扰的背景图像，表示雨图层，R表示实际记录图像每个像素的雨水有无。进一步地，所述去雨除雾网络处理单元还包括：除雾网络处理模块，所述除雾网络处理单元对特征F进行多尺度映射提高不同分辨率下特征提取的鲁棒性；对映射后的特征F进行取局部极值操作，对透过率α进行估计；对透过率α进行非线性回归操作进行边缘抑制提高对透过率α估计的准确率。进一步地，所述鱼类检测单元包括：深度残差网络模块，使用深度残差网络提供的50层卷积层，提取经所述去雨除雾网络处理后的图像的图像特征；区域建议网络模块，所述区域建议网络模块将选取四种不同尺度的特征图分别送入区域建议网络中产生候选框；以及特征金字塔网络模块，所述特征金字塔网络模块将多尺度下生成的候选框映射回多尺度的特征图送入特征金字塔网络得到检测结果。进一步地，所述鱼类检测单元还包括：ROI对准模块，所述ROI对准模块将根据区域建议网络模块预测的ROI坐标映射回卷积特征图上；将特征图上所有的候选区域均分为相同的包含n*n个小区域的区域；分别对每个候选区域的n*n个小区域进行最大值池化，用于后续所述特征金字塔网络模块的检测。本专利技术的有益效果为：建立了一套综合去雨除雾网络，通过深度学习的方法去求解物理模型，将雾带来的大气背景光强度估计作为一项训练目标，使去雨和除雾操作在同一阶段完成，可有效去除采集图像的雨雾，并且通过鱼类检测算法有效地定位出鱼类位置并标明类别，能够较为明显地改善人工检测中对复杂场景辨识效果差的问题，提高了鱼类识别的效率。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是根据一示例性实施例提供的鱼类图像处理方法的流程图；图2是根据一示例性实施例提供的鱼类检测算法的流程图；图3是根据一示例性实施例提供的对候选框归一化处理的流程图；图4是根据一示例性实施例提供的鱼类图像处理系统的结构示意图；图5是根据另一示例性实施例提供的鱼类图像处理系统的结构示意图；图6是去雨除雾网络的结构示意图；图7是鱼类检测算法的结构示意图；图8是残缺块结构示意图；图9是一具体实施例中的残缺块的结构示意图；图10是RPN结构示意图；图11是FPN的结构示意图。附图标记1-去雨除雾网络处理单元；11-去雨网络处理模块；12-除雾网络处理模块；2-鱼类检测单元；21-深度残差网络模块；22-区域建议网络模块；23-ROI对准模块；24-特征金字塔网络模块。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将对本专利技术的技术方案进行详细的描述。显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本专利技术所保护的范围。参照图1所示，本专利技术的实施例提供了一种鱼类图像处理方法，包括以下步骤：101、获取第一鱼类图像，第一鱼类图像中包含鱼类信息；102、根据去雨除雾数学模型：建立去雨除雾网络，并运用去雨除雾网络对获取的第一鱼类图像进行去雨和除雾，得到第二鱼类图像；其中B是指没有任何干扰的背景图像，表示雨图层，O表示实际记录的图像，R表示实际记录图像每个像素的雨水有无，A表示大气背景光，(1-α)为物体表面反射光传播到摄像头过程中的衰减比例；103、使用鱼类检测算法对去雨除本文档来自技高网...

【技术保护点】
1.一种鱼类图像处理方法，其特征在于，包括：获取第一鱼类图像，所述第一鱼类图像中包含鱼类信息；根据去雨除雾数学模型：

【技术特征摘要】
1.一种鱼类图像处理方法，其特征在于，包括：获取第一鱼类图像，所述第一鱼类图像中包含鱼类信息；根据去雨除雾数学模型：建立去雨除雾网络，并运用所述去雨除雾网络对获取的所述第一鱼类图像进行去雨和除雾，得到第二鱼类图像；其中B是指没有任何干扰的背景图像，表示雨图层，O表示实际记录的图像，R表示实际记录图像每个像素的雨水有无，A表示大气背景光，(1-α)为物体表面反射光传播到摄像头过程中的衰减比例；使用鱼类检测算法对去雨除雾后的所述第二鱼类图像进行处理，对所述第二鱼类图像中鱼类的位置进行标注。2.根据权利要求1所述的方法，其特征在于，所述去雨除雾网络的去雨过程包括：对获取的所述第一图像进行初步卷积后采用空洞卷积进一步获取所述第一图像的特征F，对特征F通过两个卷积层估算R，对[F,R]使用一层卷积预测再通过一层卷积计算B，将B作为去雨过程的输入进一步的去雨。3.根据权利要求2所述的方法，其特征在于，所述去雨除雾网络的除雾过程包括：对特征F进行多尺度映射，以提高不同分辨率下特征提取的鲁棒性；对映射后的特征F进行取局部极值操作，对透过率α进行估计；对透过率α进行非线性回归操作进行边缘抑制提高对透过率α估计的准确率。4.根据权利要求3所述的方法，其特征在于，所述鱼类检测算法包括：使用深度残差网络提供的50层卷积层，提取经所述去雨除雾网络处理后的所述第二图像的图像特征；选取四种不同尺度的特征图分别送入区域建议网络中产生候选框；再将多尺度下生成的候选框映射回多尺度的特征图送入特征金字塔网络得到检测结果。5.根据权利要求4所述的方法，其特征在于，使用ROIAlignment的方法将所述候选框域处理为同样的尺寸：将根据区域建议网络预测的ROI坐标映射回卷积特征图上；将特征图上所有的候选区域均分为相同的含n*n个小区域的区域；分别对每个候选区域的n*n个小区域进行最大值池化，用于后续特...

【专利技术属性】
技术研发人员：张跃进，李波，黄德昌，
申请(专利权)人：荆门博谦信息科技有限公司，
类型：发明
国别省市：湖北,42