一种遥感目标检测方法、系统、介质、设备及终端技术方案

本发明专利技术属于计算机视觉技术领域，公开了一种遥感目标检测方法、系统、介质、设备及终端，构建基于CNN的RGB

【技术实现步骤摘要】
一种遥感目标检测方法、系统、介质、设备及终端


[0001]本专利技术属于计算机视觉
，尤其涉及一种遥感目标检测方法、系统、介质、设备及终端。

技术介绍

[0002]目前，航空图像通常包含被复杂周围场景淹没的小物体；杂乱且密集。检测对象通常密集排列，如车辆和船舶。航空图像中的物体可以以不同的方向出现。遥感中常见的大纵横比问题进一步挑战了这一点。如图2所示，SCRDet旋转目标检测算法的提出解决了以下问题：1)小目标：设计了一种采样融合网络(SF
‑
Net)，将特征融合和更精细的锚采样结合在一起；2)复杂背景：开发了一种有监督的多维注意力网络(MDA
‑
Net)，该网络由像素注意力网络和通道注意力网络组成，以抑制噪声并突出前景。3)任意方向的杂乱密集物体：通过引入角度相关参数进行估计，设计了一个角度敏感网络。
[0003]为了获得更精确的旋转估计，将IoU常数因子添加到smooth
‑
L1损失中，以解决旋转边界框角度的边界问题，如图2所示。存在改进方案：小目标检测模块改为FPN或PANet更有效。角度回归可改为基于CLS的角度分类任务，角度预测更准确。
[0004]但是，现有遥感目标检测方法角度预测不准确，论文Arbitrary
‑
Oriented Object Detectionwith Circular Smooth Label提出的角度预测不准确的根本原因是理想的角度预测超出了定义的范围，通过将角度预测从回归问题转换为分类任务来处理角度的周期性，并增加对相邻角度的容错性，并介绍了四个窗口函数和不同窗口半径对检测性能的影响。现有遥感目标检测方法存在弱光漏检问题，目前所有的算法都是面向RGB图像的检测，且都是正常白天所拍摄的图像，对夜间弱光环境的检测能力大大降低。现有遥感目标检测方法存在背景复杂问题，通常的解决方法有：语义分割结合目标检测、空洞卷积以增大感受野、通道注意力机制弱化背景信息等处理办法，不过前两种方法或多或少存在实时性不好、特征尺度稀疏易造成上下文信息联系减弱等问题。YOLOv4中应用了注意力机制Modified SAM可有效缓解此问题。现有遥感目标检测方法中的小目标采样易丢失，特征金字塔网络结构FPN的出现一定程度上缓解了这个问题。
[0005]R3Det算法提出，网络搭建在RetinaNet之上(见图4)。针对大纵横比、分布密集、类别极度不平衡的旋转物体检测困难的问题，提出一种端到端细化单极旋转检测器，包括一个特征细化模块(feature refinement module，FRM)，这个模块通过特征插值将当前细化边界框的位置重新编码到对应的特征点上，实现特征重构和对齐。模型分解：针对大纵横比物体的问题，提出快速旋转单级检测器，采用锚组合策略，使检测器能够高效地应对密集场景。FRM是针对类别不平衡提出的，旨在使探测器的特征在细化阶段更加准确和可靠。最后，此算法提出了SkewIoU损失代替Smooth L1损失(见图5)。两个长方体集之间的角度差相同，但纵横比不同。因此，两组的Smooth L1损失值相同(主要是从角度差异来看)，但SkewIoU差异很大。因此，Smooth L1损失函数不适用于旋转检测，尤其是对于具有大纵横比的对象，这些对象对歪斜非常敏感。
[0006]通过上述分析，现有技术存在的问题及缺陷为：(1)无人机影像中的复杂背景问题,无人机影像中目标密集区域往往存在着大量形似物体，从而导致检测结果出现漏检后者误检等问题。此外，无人机影像背景中存在大量噪声信息，还会使目标被弱化或遮挡，难以被连续和完整地检测。(2)无人机影像中的小目标问题,无人机影像中目标的尺度范围大，建筑与行人、山川与动物经常出现在同一图片中。小目标在图片中占比极小，提供的分辨率有限，从而造成检测困难。(3)无人机影像中的物体可能在任意位置和方向上出现，同一类物体的角度变化也不尽相同。无人机目标检测任务因此变得困难，旋转的物体使位置回归变得困难，因而大量的目标被漏检。文本检测也有着同样的特点，一些改进的目标检测的研究是在文本检测的启发下进行的，近年来有很多创新性的算法来解决目标的旋转问题。常见的检测方法按照候选区域和包边界框的形式，可分为水平检测和旋转检测。(4)弱光检测问题，现有的目标检测算法依然不能全场景检测。例如夜间场景、极弱光环境依然存在大量漏检或者无法检测的情况。

技术实现思路

[0007]针对现有技术存在的问题，本专利技术提供了一种遥感目标检测方法、系统、介质、设备及终端，尤其涉及一种基于多模态图像融合的遥感目标检测方法、系统、介质、设备及终端。
[0008]本专利技术是这样实现的，针对航拍图像中存在多目标聚集、尺度比例大、背景信息过多的问题，结合旋转目标检测思想，本专利技术提出一种基于YOLOv5的旋转目标检测算法YOLOv5
‑
Rotate。该算法引入了角度信息来表示旋转目标，并采用了角度分类方法解决角度回归方法中存在的角度超出边界范围的问题，在角度的分类方法中采用循环高斯编码和矩形编码方法解决角度分类的距离问题；同时提出基于CBAM(Convolutional Block Attention Module)注意力机制改进的特征提取网络。该算法通过在特征提取网络中引入多维注意力机制，提高网络对航拍目标的定位精度。针对弱光环境下检测能力受限的问题，本专利技术引入红外
‑
可见光图像融合方法作为信息互补，提出一种基于检测任务驱动的图像融合算法DetFusion。首先该图像融合算法引入了YOLOv5旋转检测器中的检测损失来使得融合网络包含更多的语义信息，同时提出了一种自适应训练策略来实现图像融合算法于检测器同步训练，使得融合算法能更好的融合特定检测场景的图像；其次提出了一种显著性目标检测的图像融合方法，根据目标检测信息来构建显著性目标掩码和背景掩码，并设计目标显著性强度损失函数来增强图像中目标的像素强度，弱化背景像素强度。最后提出一种融合网络模型设计来完成特征提取、特征融合、图像重建等过程，其中引入Sobel算子进行纹理梯度提取。
[0009]根据上述的旋转目标检测算法，设计实现目标检测边缘计算系统。本系统采用无人机多模态摄像头提供数据来源，结合Jetson Nano嵌入式平台处理视频流和算法应用。同时结合硬件特性TensorRT和软件架构多线程进行实时性优化。
[0010]其所述的基于多模态图像容二虎旋转目标检测算法，其算法步骤如下：
[0011]步骤一，多模态图像融合：确定数据融合对象并构建融合网络，利用联合损失约束融合网络，利用目标检测的目标信息构建目标掩码和背景掩码提高目标显著性，并利用图像重建器实现特征聚合和图像重建；
[0012]步骤二，旋转目标检测：采用五参数法表示矩形，利用CSP
‑
DarkNet53进行特征提取，并采用Bi
‑
FPN双向特征融合方法进行特征融合，采用Guass编码处理旋转角度问题。
[0013]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种遥感目标检测方法，其特征在于，遥感目标检测方法包括：首先该图像融合算法引入了YOLOv5旋转检测器中的检测损失来使得融合网络包含更多的语义信息，同时提出了一种自适应训练策略来实现图像融合算法于检测器同步训练，使得融合算法能更好的融合特定检测场景的图像；其次提出了一种显著性目标检测的图像融合方法，根据目标检测信息来构建显著性目标掩码和背景掩码，并设计目标显著性强度损失函数来增强图像中目标的像素强度，弱化背景像素强度。最后提出一种融合网络模型设计来完成特征提取、特征融合、图像重建等过程，其中引入Sobel算子进行纹理梯度提取。2.如权利要求1所述的遥感目标检测方法，其特征在于，遥感目标检测方法包括以下步骤：步骤一，多模态图像融合：确定数据融合对象并构建融合网络，利用联合损失约束融合网络，利用目标检测的目标信息构建目标掩码和背景掩码提高目标显著性，并利用图像重建器实现特征聚合和图像重建；步骤二，旋转目标检测：采用五参数法表示矩形，利用CSP
‑
DarkNet53进行特征提取，并采用Bi
‑
FPN双向特征融合方法进行特征融合，采用Guass编码处理旋转角度问题。步骤三，视频流边缘计算：实时采集RGB红外视频流和红外视频流并依次进行三次异步处理，最后将视频编码并推流至流媒体或客户端中。3.如权利要求2所述的遥感目标检测方法，其特征在于，步骤一中的多模态图像融合包括：(1)采用多模态配准的红外
‑
可见光数据集作为数据融合对象；(2)融合网络由特征提取器和图像重建器组成，利用双流特征提取、梯度残差块和特征拼接以集成深度特征和细粒度细节特征；(3)采用面向任务的融合方法，低层和高层联合自适应训练策略、由内容损失和检测损失组成的联合损失约束融合网络，使得网络包含更多语义信息；通过级联策略将红外图像和可见光图像的细粒度特征进行融合，并将结果反馈到图像重建器中，实现特征聚合和图像重建，融合图像的大小与源图像保持一致；(4)引入目标掩码来指导网络模型检测显著区域，同时通过确保指定的目标区域的强度和梯度一致性来实现目标区域显著和背景纹理的融合.利用红外图像中目标标签中边界框的表示(x,y,w,h,θ)中心点坐标和宽高来构建一个目标对象掩码I
m
,背景掩码为掩码1
‑
I
m
。(5)融合网络的损失函数设计，设计内容损失，内容损失由强度损失L
pixel
和纹理损失L
texure
两部分组成,其中强度损失由目标强度和背景强度组成。4.如权利要求2所述的遥感目标检测方法，其...

【专利技术属性】
技术研发人员：王建东，闫文成，李光夏，胡涵睿，赵双睿，蔡慧选，王靖渊，曹泽鹏，王超，姚福浩，
申请(专利权)人：西安电子科技大学青岛计算技术研究院，
类型：发明
国别省市：