稀缺认知样本条件下的排除倒影干扰的水面目标检测方法技术

本发明专利技术属于水面图像的目标检测领域，具体涉及稀缺认知样本条件下的排除倒影干扰的水面目标检测方法。本发明专利技术首先利用稀缺水面数据集制作时的标注信息锁定目标模板，进行指定区域匹配实现倒影去除，再通过雾化、雨化等多种形式实现样本增强，之后搭建目标网络架构，并根据图中目标信息建立密集卷积结构，制定锚点尺度提取特征，进行深度目标检测。在验证网络中添加倒影判别模块，提高真实目标的识别精度，最后通过验证结果最优检测程序，优化网络的检测性能。与现有方法相比，本发明专利技术检测精度高，对重叠及遮挡的目标处理效果更佳，在水面、海洋图像的检测中尤为适用；能在样本得到补充的同时消除倒影对检测精度带来的影响，提高水面目标的识别能力。

Detection method of water surface target excluding reflection interference under the condition of scarce cognitive samples

The invention belongs to the field of target detection of water surface image, in particular to a water surface target detection method for eliminating reflection interference under the condition of scarce cognitive samples. In the invention, firstly, the target template is locked by the annotation information when the scarce water surface data set is made, the specified area is matched to achieve the reflection removal, and then the sample is enhanced by atomization, rain and other forms, then the target network architecture is built, and the dense convolution structure is built according to the target information in the figure, the anchor scale extraction feature is developed, and the depth target detection is carried out. In order to improve the recognition accuracy of the real target, we add the reflection discrimination module to the verification network. Finally, we optimize the detection performance of the network by the optimal detection program of the verification results. Compared with the existing method, the detection precision of the invention is high, and the processing effect of overlapping and occluding targets is better, which is particularly suitable for the detection of water surface and ocean image; the influence of the reflection on the detection precision can be eliminated while the sample is supplemented, and the recognition ability of water surface targets can be improved.

【技术实现步骤摘要】
稀缺认知样本条件下的排除倒影干扰的水面目标检测方法
本专利技术属于水面图像的目标检测领域，具体涉及稀缺认知样本条件下的排除倒影干扰的水面目标检测方法。
技术介绍
随着海洋开发利用力度的不断加大，利用光视觉感知技术对水上目标进行精确检测已经成为了一项越来越重要的工作，通过深度学习网络可以给水上检测工作带来非常高的效益，因此水面目标数据集的建立至关重要。为满足水面样本的多样性以及提高检测网络的泛化性，认知样本的采集应尽量能够在多种水面环境下进行，这带来了相当大的采集难度。在样本采集数量难满足实际应用的情况下，可对稀缺的采集样本进行数据集增强，扩充样本容量，但在数据集增强的同时水中倒影对检测目标的影响会更加明显，造成最终检测精度的下降。在此种工作条件下，面对稀缺样本带来的问题，利用排除倒影干扰的水面目标检测方法比传统的检测方法更加精确，对重叠及遮挡的目标处理效果更佳。目前使用深度学习网络进行识别目标是检测算法的主流，这些网络根据目标检测的原理分成两大类：第一种，两步检测算法，即将目标检测分为两个步骤，先产生候选区域，然后对候选区域进行分类，该类算法的典型代表是R-CNN，FastR-CNN等；第二种，一步检测算法，直接计算得到目标的位置坐标和分类概率值，该类算法的典型代表是SSD和YOLO。目标检测的速度和准确率是评价目标检测模型的两个主要性能指标，一般情况下，两步算法得到的计算准确率更高，但一步算法速度更快。本专利技术方法是一种对水面目标进行精确检测和识别的方法，充分考虑了多种水面环境的场景信息，消除了水面倒影对目标检测带来的干扰，为避障和目标抓取及场景理解提供了技术支持。
技术实现思路
本专利技术的目的在于提供一种稀缺认知样本条件下的排除倒影干扰的水面目标检测方法，用于当多种水面场景的目标图像采集不足且相关倒影存在时，能在样本得到补充的同时消除倒影带来的影响，提高水面目标的检测精度。本专利技术的目的是这样实现的：稀缺认知样本条件下的排除倒影干扰的水面目标检测方法，包括以下步骤:步骤一、水面数据集的采集，使用高清相机在不同水面场景、不同远近高低视角的水面环境下进行采集，当中的目标如船只、浮标等需满足种类的多样性，并用客观指标PSNR、主观人眼评价目标细节，舍弃目标细节模糊的图片；步骤二、利用图片标注工具Labelimg对拍摄到的图片进行标注得到xml文件和代表标签的txt文件，读取xml文件中目标标注框的位置信息，将此处图像与周围指定区域进行相似度的匹配，在匹配成功处将模板此时所在位置的外围的像素值相加取平均值，代替框内所有像素值，进行倒影消除；步骤三、对已有图片采用镜像、翻转、仿射变换、分段仿射、雾化、雨化的形式进行数据集增强，使样本图片的数量扩充到原本的6-12倍，对扩充后的图片进行标注，按照5:1的比例形成训练集和测试集，由于模板信息发生变更，重复上一步提高倒影消除精度；步骤四、根据目标信息搭建水面目标检测网络，对训练数据集进行训练，为加大对细节特征的提取力度，将每次池化前的卷积层层层相连，使每一层的输入来自前面所有层的输出，形成密集模块，使卷积层结构变为4次密集卷积4次激活4次池化，同时考虑到各水面目标在图像上的像素比例以及密集连接层的使用，锚点框的大小和数目应更加丰富，设置锚点框的长宽比为[1:1,1；2,1；3,3:1,2:1,1:1]；步骤五、在训练网络中消除倒影带来的干扰，在验证网络中对倒影进行识别，在验证网络中加入倒影判别模块，在已经识别出的标签中筛选出真正的水面目标，并将倒影标签舍去，不计入平均准确率的计算；步骤六、在验证结果中添加最优检测程序，设定该网络每500步就对测试集进行一次验证，该程序计算每一次测试结果中所有目标的平均准确率，若后一次准确率高于前一次，则将前一次的测试结果覆盖，即该程序只保留最高准确率的结果，若loss的数值曲线逐渐降低，且长时间未发生测试结果的更新，而平均准确率一直维持在一个低的数值上，程序会判定该网络发生过拟合，此时应改变数据集的扩充方式，提高镜像、旋转、翻转的数据集的数量，适当减少雾化、雨化的数据，重新训练，直至出现最优的验证结果。步骤二所述的倒影消除具体包括：步骤2.1、利用图片标注工具对拍摄到的图片进行数据集制作，标注得到xml文件，通过图像处理工具读取xml文件中目标标注框的位置信息，在原图中提取该位置图像生成目标图形模板；步骤2.2、设定倒影出现的有效范围为标注框以外的正下方及正下方左右的一个标注框区域内，计算该区域的平均色彩亮度和饱和度，调整目标图形模板的色彩亮度和饱和度使其与倒影区域相同；步骤2.3、考虑到单模板的匹配精度不足以及倒影的边缘逐渐模糊的问题，将该模板沿底线向上分别按0.3、0.5、0.7、0.9、1的比例多次水平切分，逐次取最下方的一块旋转后，在上述指定范围内滑动与切分块同大小的倒影区域进行图像相似度的匹配，匹配标准定为结构相似度和峰值信噪比，其中结构相似度的阈值为0.4,峰值信噪比的阈值为17dB，两者有一个达到阈值则判定此处存在水面倒影；步骤2.4、在匹配成功处的框外的一个像素范围形成的像素框上，将该像素框上所有像素值相加取平均值，代替框内所有像素值，进行倒影消除。步骤五所述的倒影判别模块具体包括:步骤5.1、首先在验证网络的输出识别框中判别同一类标签出现的次数，若该次数大于1，则表明该类的倒影可能被误判为目标；步骤5.2、对已经识别出的标为同一类的复数目标标签之间进行方位和大小的判定，若某两个相同标签中心的欧氏距离小于标签框最长边的长度，且下方标签的最上边在上方标签的中心之下，标签框大小小于等于上方标签，此时下方标签有可能是倒影，提取上方标签，并进行裁剪，使上方标签框同下方标签框大小相同；步骤5.3、将修剪后的上方标签框旋转后与下方标签框匹配，匹配标准定为结构相似度和峰值信噪比，结构相似度的阈值为0.6,峰值信噪比的阈值为22dB，两者有一个达到阈值则判定较下方的标签发生了倒影，识别为目标的误判，舍弃对此处的识别，并不计入网络平均准确率的计算。本专利技术的有益效果在于：本专利技术方法用于当多种水面场景的目标图像采集不足且相关倒影存在时，能在样本得到补充的同时消除倒影带来的影响，提高水面目标的检测精度；本专利技术方法是一种对水面目标进行精确检测和识别的方法，充分考虑了多种水面环境的场景信息，消除了水面倒影对目标检测带来的干扰，为避障和目标抓取及场景理解提供了技术支持。附图说明图1是本专利技术的系统流程图。具体实施方式下面结合附图对本专利技术做更详细地说明。本专利技术提供的是一种稀缺认知样本条件下排除倒影干扰的水面目标深度检测方法，用于当多种水面场景的目标图像采集不足且相关倒影存在时，能在样本得到补充的同时消除倒影带来的影响，提高水面目标的检测精度。稀缺认知样本条件下的排除倒影干扰的水面目标检测方法，主要包括以下步骤：步骤一、水面数据集的采集，利用高清相机尽量在多种本文档来自技高网...

【技术保护点】
1.稀缺认知样本条件下的排除倒影干扰的水面目标检测方法，其特征在于，包括以下步骤:/n步骤一、水面数据集的采集，使用高清相机在不同水面场景、不同远近高低视角的水面环境下进行采集，当中的目标如船只、浮标等需满足种类的多样性，并用客观指标PSNR、主观人眼评价目标细节，舍弃目标细节模糊的图片；/n步骤二、利用图片标注工具Labelimg对拍摄到的图片进行标注得到xml文件和代表标签的txt文件，读取xml文件中目标标注框的位置信息，将此处图像与周围指定区域进行相似度的匹配，在匹配成功处将模板此时所在位置的外围的像素值相加取平均值，代替框内所有像素值，进行倒影消除；/n步骤三、对已有图片采用镜像、翻转、仿射变换、分段仿射、雾化、雨化的形式进行数据集增强，使样本图片的数量扩充到原本的6-12倍，对扩充后的图片进行标注，按照5:1的比例形成训练集和测试集，由于模板信息发生变更，重复上一步提高倒影消除精度；/n步骤四、根据目标信息搭建水面目标检测网络，对训练数据集进行训练，为加大对细节特征的提取力度，将每次池化前的卷积层层层相连，使每一层的输入来自前面所有层的输出，形成密集模块，使卷积层结构变为4次密集卷积4次激活4次池化，同时考虑到各水面目标在图像上的像素比例以及密集连接层的使用，锚点框的大小和数目应更加丰富，设置锚点框的长宽比为[1:1,1；2,1；3,3:1,2:1,1:1]；/n步骤五、在训练网络中消除倒影带来的干扰，在验证网络中对倒影进行识别，在验证网络中加入倒影判别模块，在已经识别出的标签中筛选出真正的水面目标，并将倒影标签舍去，不计入平均准确率的计算；/n步骤六、在验证结果中添加最优检测程序，设定该网络每500步就对测试集进行一次验证，该程序计算每一次测试结果中所有目标的平均准确率，若后一次准确率高于前一次，则将前一次的测试结果覆盖，即该程序只保留最高准确率的结果，若loss的数值曲线逐渐降低，且长时间未发生测试结果的更新，而平均准确率一直维持在一个低的数值上，程序会判定该网络发生过拟合，此时应改变数据集的扩充方式，提高镜像、旋转、翻转的数据集的数量，适当减少雾化、雨化的数据，重新训练，直至出现最优的验证结果。/n...

【技术特征摘要】
1.稀缺认知样本条件下的排除倒影干扰的水面目标检测方法，其特征在于，包括以下步骤:
步骤一、水面数据集的采集，使用高清相机在不同水面场景、不同远近高低视角的水面环境下进行采集，当中的目标如船只、浮标等需满足种类的多样性，并用客观指标PSNR、主观人眼评价目标细节，舍弃目标细节模糊的图片；
步骤二、利用图片标注工具Labelimg对拍摄到的图片进行标注得到xml文件和代表标签的txt文件，读取xml文件中目标标注框的位置信息，将此处图像与周围指定区域进行相似度的匹配，在匹配成功处将模板此时所在位置的外围的像素值相加取平均值，代替框内所有像素值，进行倒影消除；
步骤三、对已有图片采用镜像、翻转、仿射变换、分段仿射、雾化、雨化的形式进行数据集增强，使样本图片的数量扩充到原本的6-12倍，对扩充后的图片进行标注，按照5:1的比例形成训练集和测试集，由于模板信息发生变更，重复上一步提高倒影消除精度；
步骤四、根据目标信息搭建水面目标检测网络，对训练数据集进行训练，为加大对细节特征的提取力度，将每次池化前的卷积层层层相连，使每一层的输入来自前面所有层的输出，形成密集模块，使卷积层结构变为4次密集卷积4次激活4次池化，同时考虑到各水面目标在图像上的像素比例以及密集连接层的使用，锚点框的大小和数目应更加丰富，设置锚点框的长宽比为[1:1,1；2,1；3,3:1,2:1,1:1]；
步骤五、在训练网络中消除倒影带来的干扰，在验证网络中对倒影进行识别，在验证网络中加入倒影判别模块，在已经识别出的标签中筛选出真正的水面目标，并将倒影标签舍去，不计入平均准确率的计算；
步骤六、在验证结果中添加最优检测程序，设定该网络每500步就对测试集进行一次验证，该程序计算每一次测试结果中所有目标的平均准确率，若后一次准确率高于前一次，则将前一次的测试结果覆盖，即该程序只保留最高准确率的结果，若loss的数值曲线逐渐降低，且长时间未发生测试结果的更新，而平均准确率一直维持在一个低的数值上，程序会判定该网络发生过拟合，此时应改变数据集的扩充方式，提高镜像、旋转、翻转的数据集的数量，适当减少雾化、雨化的数据，重新训练，直至出现最优的验...

【专利技术属性】
技术研发人员：顾华宇，李晔，庞硕，徐硕，范彦福，
申请(专利权)人：哈尔滨工程大学，
类型：发明
国别省市：黑龙;23