一种基于视觉与雷达融合的船舶目标检测方法技术

本发明专利技术公开了一种基于视觉与雷达融合的船舶目标检测方法，包括：获取待处理的视觉图像和对应的雷达数据，将船舶的经纬度坐标转换到图像的像素点坐标上，使用选择性雷达掩码生成雷达掩码图；构建双流特征提取网络，对视觉图像提取出三种不同尺寸的特征图，对雷达掩码图得到三种与特征图相应尺寸的掩码图；构建双模态特征融合模块以融合相同尺寸的特征图和掩码图，构建颈部网络以增强特征信息；构建预测网络实现目标检测分类和位置回归。本发明专利技术根据船舶的特征和船舶尺寸生成不同类型的雷达掩码图像，可以提高对大中型船舶的检测精度，通过交叉融合的方式可以有效利用雷达信息使得检测精度得到显著提高。得检测精度得到显著提高。

【技术实现步骤摘要】
一种基于视觉与雷达融合的船舶目标检测方法


[0001]本专利技术属于船舶目标检测
，具体涉及一种基于视觉与雷达融合的船舶目标检测方法。

技术介绍

[0002]船舶检测在海洋检测、港口管理、航行安全等领域具有重要的应用价值。在港口管理领域，船舶检测能监督和协助管理海上交通和运输；在海洋监测方面，船舶检测对渔业倾倒污染物和非法走私具有很强的监督作用；在航行安全方面，船舶检测可以判断判断是否存在登陆、停滞等异常航行行为，从而保证海岸和海上安全。因此研究船舶检测技术，实现智能化船舶自动检测对保障船舶运输交通快速发展有着重大意义。
[0003]根据图像生成源的不同，基于图像的船舶目标检测方法大致可分为以下四类：基于合成孔径雷达(SAR)图像的船舶检测、基于光学遥感图像的船舶检测、基于红外图像的船舶检测和基于视觉图像的船舶检测。SAR图像和遥感图像的采集和预处理往往需要时间，无法实现对航行船舶的实时检测。视觉图像和红外图像基于监控视频设备可以实时获取图像，能够实现对船舶的实时检测。红外图像有着不受光照条件和天气条件影响的优点，但是相较于视觉图像分辨率低，比较适合于船舶夜间检测。视觉图像不仅能够从视频设备中提取进行实时检测，还包含丰富的语义信息的优点，能够更准确地识别船舶类型。然而，由于视觉图像所处的海上环境复杂且海上特殊的光照条件。从监控视频中准确检测舰船目标面临着诸多挑战，如水面上的光反射，水面上的强光反射会导致高照度和过度曝光图像；周围场景干扰，在一些情况下，建筑物和岸边植被增加了目标与背景分离的复杂性；检测范围短，有些船舶尺寸较小，当目标距离相机较远时，视觉图像中目标的占用像素数会大大减少。
[0004]与基于单一视觉的目标检测相比，雷达对复杂的海上条件更为鲁棒，并提供了远距离观察的可能性。但是，基于雷达的目标检测也有很大的局限性，其中最主要的原因就是雷达只能提供位置信息而不能提供语义信息，即不能进行多类型的目标检测。由此，通过单个传感器实现目标检测的性能存在瓶颈，而将语义信息丰富的视觉图像与包含位置信息的雷达进行特征级融合来解决小目标检测和鲁棒性差问题可以得到更好的检测效果。
[0005]多模态数据的融合策略包括数据级融合、特征级融合和决策级融合等方法。其中数据级融合又称像素级融合，属于底层级别融合，它多个传感器观测的原始数据直接融合，然后再提取特征向量进行识别。该方法虽然不会造成数据丢失，但融合后的张量数据量较大，卷积处理耗费时间长，难以满足实时性要求，会降低融合性能。决策级融合属于高层次融合，采用两个独立的卷积神经网络处理视觉图像和深度图像得到检测结果，最终决策取决于一个联合的决策结果，但受到两个网络检测结果可能互斥的影响，易导致其最终的检测性能不佳。相比之下，特征层融合从多传感器采集的源数据中提取特征并将其融合成单一特征向量，并通过卷积处理检测识别。提取后的特征图比未经处理原始图像数据量小故处理耗时短，且可以根据实际提取需要的特征信息进行互补融合，提高融合带来的高检测
精确度。

技术实现思路

[0006]本专利技术所要解决的技术问题是针对上述现有技术的不足，提供一种基于视觉与雷达融合的船舶目标检测方法，采用特征层融合方法，可有效减少数据计算量、提高算法实时性，同时融合加强了多模态数据的关联性，提高了所包含信息的丰富性以及检测的准确率。
[0007]为实现上述技术目的，本专利技术采取的技术方案为：
[0008]一种基于视觉与雷达融合的船舶目标检测方法，包括：
[0009]S1、获取待处理的视觉图像和对应的雷达数据，其中雷达数据包括船舶的经纬度坐标和尺寸信息；
[0010]S2、将船舶的经纬度坐标转换到图像的像素点坐标上，然后根据船舶的尺寸信息，使用选择性雷达掩码生成雷达掩码图；
[0011]S3、构建包括第一分支网络和第二分支网络的双流特征提取网络，视觉图像通过第一分支网络提取出三种不同尺寸的特征图，雷达掩码图通过第二分支网络降采样，得到三种与特征图相应尺寸的掩码图；
[0012]S4、构建双模态特征融合模块，对相同尺寸的特征图和掩码图进行融合，构建颈部网络对融合后数据的特征信息进行增强；
[0013]S5、构建预测网络并输入颈部网络的输出数据，实现目标检测分类和位置回归。
[0014]为优化上述技术方案，采取的具体措施还包括：
[0015]上述的S2中将船舶经纬度坐标转换到图像的像素点坐标的公式为：
[0016][0017]其中(x0,y0)为船舶的经纬度坐标，(x1,y1)为目标点经纬度坐标，(x
w
,y
w
,z
w
)为目标点地球三维坐标，h0为相机高度，h1为目标点高度，R为地球半径；
[0018][0019]其中(X
c
,Y
c
,Z
c
)为以相机为坐标原点的地球三维坐标，T为平移矩阵，R
x
,R
y
和R
z
分别三维旋转矩阵：
[0020][0021]其中θ,ρ和β分别为相机绕X轴，Y轴和Z轴的旋转角度；
[0022][0023]其中(x,y)是图像坐标系下的坐标，即图像的像素点坐标，f是相机焦距，d
x
,d
y
为相机感光元件上像元大小，u0和v0代表相对于像素坐标原点的中心像素坐标。
[0024]上述的S2使用选择性雷达掩码生成雷达掩码图的过程为：
[0025]采用K
‑
means(K＝3)进行船舶框聚类，公式如下：
[0026][0027]其中shipbox表示由船舶尺寸大小合成的船舶框，cluster表示每个迭代过程中产生的聚类中心框；
[0028]经过聚类后将船舶框划分为L、M、S三种类型，并对每种类型船舶框设计相应的掩码图过程具体包括：
[0029]首先构建背景像素为δ(0＜δ＜255)，大小为W
×
H的空图像；
[0030]然后根据不同类型在空图像的对应船舶框内处理，其中对于L型船舶，按1:2:1的比例划分为三部分，像素值为α：β：α(0＜β＜α≤255,α≠δ,β≠δ)；对于M型船舶，按1：1：1的比例划分为三部分，像素值为α：β：α；对于S型船舶，将其视为一个整体，像素值全为α；
[0031]最后将分类处理后的图像与视觉图像进行融合得到雷达掩码图。
[0032]上述的将分类处理后的图像与视觉图像进行融合得到雷达掩码图的具体公式为：
[0033][0034]其中α和β是在0和255之间的像素值，且α大于β；
[0035]Rect为矩形函数，用于对船舶框部分绘制掩码图；
[0036]x和y表示船舶框的左上角坐标值，w和h表示船舶框的宽度和长度。
[0037]上述的S3构建的双流特征提取网络，将单输入的特征提取网络改为视觉图像和雷达掩码图的双输入网络，包括第一分支网本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉与雷达融合的船舶目标检测方法，其特征在于，包括：S1、获取待处理的视觉图像和对应的雷达数据，其中雷达数据包括船舶的经纬度坐标和尺寸信息；S2、将船舶的经纬度坐标转换到图像的像素点坐标上，然后根据船舶的尺寸信息，使用选择性雷达掩码生成雷达掩码图；S3、构建包括第一分支网络和第二分支网络的双流特征提取网络，视觉图像通过第一分支网络提取出三种不同尺寸的特征图，雷达掩码图通过第二分支网络降采样，得到三种与特征图相应尺寸的掩码图；S4、构建双模态特征融合模块，对相同尺寸的特征图和掩码图进行融合，构建颈部网络对融合后数据的特征信息进行增强；S5、构建预测网络并输入颈部网络的输出数据，实现目标检测分类和位置回归。2.根据权利要求1所述的一种基于视觉与雷达融合的船舶目标检测方法，其特征在于，所述S2中将船舶经纬度坐标转换到图像的像素点坐标的公式为：其中(x0,y0)为船舶的经纬度坐标，(x1,y1)为目标点经纬度坐标，(x
w
,y
w
,z
w
)为目标点地球三维坐标，h0为相机高度，h1为目标点高度，R为地球半径；其中(X
c
,Y
c
,Z
c
)为以相机为坐标原点的地球三维坐标，T为平移矩阵，R
x
,R
y
和R
z
分别三维旋转矩阵：其中θ,ρ和β分别为相机绕X轴，Y轴和Z轴的旋转角度；其中(x,y)是图像坐标系下的坐标，即图像的像素点坐标，f是相机焦距，d
x
,d
y
为相机感光元件上像元大小，u0和v0代表相对于像素坐标原点的中心像素坐标。3.根据权利要求1所述的一种基于视觉与雷达融合的船舶目标检测方法，其特征在于，所述S2使用选择性雷达掩码生成雷达掩码图的过程为：采用K
‑
means(K＝3)进行船舶框聚类，公式如下：
其中shipbox表示由船舶尺寸大小合成的船舶框，cluster表示每个迭代过程中产生的聚类中心框；经过聚类后将船舶框划分为L、M、S三种类型，并对每种类型船舶框设计相应的掩码图过程具体包括：首先构建背景像素为δ(0＜δ＜255)，大小为W
×
H的空图像；然后根据不同类型在空图像的对应船舶框内处理，其中对于L型船舶，按1:2:1的比例划分为三部分，像素值为α：β：α(0＜β＜α≤255,α≠δ,β≠δ)；对于M型船舶，按1：1：1的比例划分为三部分，像素值为α：β：α；对于S型船舶，将其视为一个整体，像素值全为α；最后将分类处理后的图像与视觉图像进行融合得到雷达掩码图。4.根据权利要求3所述的一种基于视...

【专利技术属性】
技术研发人员：徐帆，商智高，詹杰，蔡日钊，易宸宇，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：