一种应用于恶劣天气下舰船目标检测与识别的方法技术

本发明专利技术涉及图像去雾、目标检测等领域，针对恶劣天气下舰船检测难、精度低等问题，提出了一种应用于恶劣天气下舰船目标检测与识别的方法。其中包括两个阶段：首先，通过一个去雾模型将雾化图像转化为清晰无雾图像；其次，利用一个改进型的检测网络对处理后的清晰输入进行目标检测任务，识别定位感兴趣的舰船目标。去雾模型由CNN分支、transformer分支与融合分支组成。其中，CNN分支负责局部特征提取，transformer分支用于长距离的全局特征依赖，融合分支实现特征自适应方式融。检测模型基于原始的YOLOV5架构，利用多分支卷积结构替换原始的特征提取模块，提升检测性能。本发明专利技术能够缓解恶劣天气下舰船目标检测精度低等问题，具有较高的实用价值。有较高的实用价值。有较高的实用价值。

【技术实现步骤摘要】
一种应用于恶劣天气下舰船目标检测与识别的方法


[0001]本专利技术主要涉及智能图像处理、深度学习、目标检测等
，结合图 像去雾与目标检测模型，提出了一种应用于恶劣天气下舰船目标检测与识别的 方法。

技术介绍

[0002]目标检测技术是计算机视觉领域中重要的分支之一，逐渐成为各个高校、 科研院所关注的重点研究问题。近年来，基于单阶段、双阶段策略的目标检测 算法层出不穷，并取得了优异的检测效果，有效的应用于边境安防、人群分析、 车流估计等军民用领域。具体来说，现有的目标检测技术主要将清晰干净的图 像作为目标输入，即输入检测网络的图像都是未受到噪声干扰，保证具有较高 的图像质量。然而，由于复杂、恶劣的天气条件影响，在舰船目标检测识别过 程中，获取的遥感图像很容易受云、雾霾等汽状物遮挡干扰，很大程度影响了 图像的质量，从而对后续检测任务造成误检、漏检等问题。因此，如何提升在 恶劣天气下舰船目标检测效果，提升检测算法对恶劣天气条件的抗干扰能力， 成为亟需解决的一个重点问题。

技术实现思路

[0003]为满足目标检测算法在雾天的需求，解决由于云雾遮挡造成的检测率低、 漏检率高等问题，实现更好的舰船目标检测性能。本专利技术提供了一种应用于恶 劣天气下舰船目标检测与识别的方法。
[0004]一种应用于恶劣天气下舰船目标检测与识别的方法，包括：第一阶段，将 所得到的雾化遥感图像进行清晰化处理，即通过一个去雾模型将雾化图像转化 为清晰无雾图像；第二阶段，将所得到的清晰图像作为检测网络的图像输入， 即利用一个改进型的检测网络对处理后的清晰输入进行目标检测任务，识别定 位感兴趣的舰船目标。
[0005]所描述的第一阶段包括：基于大气散射模型的雾化
‑
清晰数据集构建、建立 结合CNN与transformer结构的去雾模型、全局特征与局部特征融合模块的设计； 用于实现雾化图像的去雾处理。
[0006]所描述的第二阶段包括：遥感舰船数据的采集与标注、利用改进型YOLOv5 进行舰船目标检测任务、检测模型的训练及测试部署。
[0007]此外，第一阶段去雾模型与第二阶段的检测模型采用级联端到端同时训练 的模式，即把损失函数进行组合相加以此来优化整体模型。具体来说，模型总 损失函数如下所示：
[0008]L
total
＝L
h
+L
d
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1.1)
[0009]其中，L
total
表示模型总损失函数；L
h
表示为去雾模型的损失函数；L
d
表示为 目标检测模型的损失函数。
[0010]本专利技术所采用的技术方案是，一种应用于恶劣天气下舰船目标检测与识别 的方法，具体按照以下步骤实施：
[0011]如上所示的第一阶段去雾模型：
[0012]步骤1：基于大气散射模型的雾化
‑
清晰数据集构建。已有的去雾算法研究中，常采用如下所示的大气散射模型，
[0013]I(x)＝J(x)t(x)+A(1
‑
t(x))(1.2)其中，I(x)表示雾化图像，J(x)表示清晰无雾图像，t(x)表示传输矩阵，A表示大气散射系数。由参数分析可以得知：已知清晰的无雾图像，利用其深度图，设置对应的大气散射系数与投射系数就能够仿真生成对应的雾化图像。因此，将采集得到的遥感图像进行上式中的加雾处理，构建用于训练测试的雾化
‑
清晰遥感图像数据集。
[0014]步骤2：建立结合CNN与Transformer结构的去雾模型。得益于卷积神经网络CNN的局部特征感知能力，使其有效的应用于各类图像恢复任务。然而，CNN结构缺乏捕获长距离的依赖关系，现有的方法主要通过加大网络的层数来缓解这一问题，但是这一简单朴素的想法很容易导致网络冗余，丢失更多局部细节信息。Transformer的提出能够很好地解决这一问题，通过自注意力机制很好地描述了特征全局依赖关系。因此，所提出的去雾模型由CNN分支与Transformer分支所构成，充分利用各自结构的优点，得到更优异的去雾效果。此外，利用融合分支，将所得到的特征进行叠加融合，以实现更强的特征表示能力。
[0015]步骤3：全局特征与局部特征融合模块的设计。在特征融合过程中，同时利用CNN和Transformer结构提取的有效特征，使得融合的特征更加紧凑、网络表达能力更强。具体操作包括有通道注意力模块、空间注意力模块、常规卷积操作、残差连接等。
[0016]如上所示的第二阶段目标检测模型：
[0017]步骤1：遥感舰船数据的采集与标注。首先，在卫星地图上截取包含舰船目标的遥感图像，获取原始图像数据。其次，利用标注工具对采集得到的图像数据中的舰船目标进行标注，得到对应的图像特征。最后，将图像与标注得到的目标位置信息一一对应，建立遥感舰船目标数据集；
[0018]步骤2：利用改进型YOLOv5进行舰船目标检测任务。为了满足算法后续部署机载硬件的需求，对原始YOLOv5特征骨干提取网络进行简化设计调整。其中，基于拓扑结构范式，利用多分支卷积结构替换原始的特征提取模块。同时，对整体骨干网络的算子进行调整，以实现在硬件上高效推理的同时，保持高效的多尺度特征融合能力；
[0019]步骤3：检测模型的训练及测试部署。利用标注好舰船数据集对检测模型进行训练，在完成模型训练之后，获得相应的训练权重。为了加速模型的推理速度，进行TensorRT配置操作。其中，TensorRT可以被视为一个只有前向传播推理的深度学习框架，框架可以将Caffe，TensorFlow的网络模型解析，然后与TensorRT中对应的层进行一一映射，把其他框架的模型统一转换到TensorRT中，从而进行部署加速。
[0020]本专利技术的特点还在于：
[0021]去雾模型和舰船目标检测模型采用联合训练模式。首先，利用高斯随机变量对去雾子网络的权值进行初始化。其次，目标检测子网不做随机初始化权值操作，而是将在COCO数据集上经过预训练得到的模型进行类别下采样微调，实现权重初始化。最后，整体模型在所构建的数据集上进行端到端的训练，同时学习图像去雾增强、舰船目标分类和定位目的。
[0022]综上所述，本专利技术的主要贡献在于：
[0023](1)本专利技术提供了一种应用于恶劣天气下舰船目标检测与识别的方法，级 联去雾模型与检测模型，雾化图像作为去雾模型的输入，将去雾模型的清晰输 出作为下一阶段检测模型的输入，输出得到舰船目标的类别定位结果。
[0024](2)本专利技术提供了一种应用于恶劣天气下舰船目标检测与识别的方法，采 用的去雾模型由CNN和Transformer结构组合合成，其中包含有三个分支：CNN 分支，Transformer分支与融合分支。充分融合利用CNN和Transformer的结构 特性，以实现更优异的去雾效果。
[0025](3)本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种应用于恶劣天气下舰船目标检测与识别的方法，其特征在于：步骤1：级联去雾模型与检测模型，雾化图像作为去雾模型的输入，将去雾模型的清晰输出作为下一阶段检测模型的输入，输出得到舰船目标的类别定位结果；步骤2：采用的去雾模型由CNN和Transformer结构组合合成，其中包含有三个分支：CNN分支，Transformer分支与融合分支。充分融合利用CNN和Transformer的结构特性，以实现更优异的去雾效果；步骤3：利用拓扑结构范式对检测模型进行轻量化调整，减少网络内存，此外，将训练好的模型进行TensorRT部署，加快模型在硬件上的推理速度。2.如步骤1所述的级联去雾模型与检测模型，其特征在于：采用联合训练方式，利用高斯随机变量对去雾子网络的权值进行初始化。目标检测子网不使用随机初始化权值操作，而是在COCO数据集上经过预训练得到的模型进行类别下采样微调，以实现权重初始化。整体模型在所构建的数据集上进行端...

【专利技术属性】
技术研发人员：董立泉，易伟超，刘明，蔡博雍，赵跃进，惠梅，孔令琴，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：