一种基于多模态融合的船舶目标识别方法技术

本发明专利技术公开了一种基于多模态融合的船舶目标识别方法，首先采集待识别水体区域的雷达回波数据和卫星图像数据并进行预处理，接着根据预处理后的雷达回波数据和卫星图像数据提取雷达特征向量和卫星特征向量，然后将雷达特征向量和卫星特征向量分别输入基于

【技术实现步骤摘要】
一种基于多模态融合的船舶目标识别方法


[0001]本专利技术属于目标识别
，具体涉及一种基于多模态融合的船舶目标识别方法的设计
。

技术介绍

[0002]目标识别是指将一个特殊目标（或一种类型的目标）从其它目标（或其它类型的目标）中区分出来的过程，其既包括两个非常相似目标的识别，也包括一种类型的目标同其他类型目标的识别
。
目标识别的基本原理是利用雷达回波或图像数据中的目标特征信息，通过数学上的各种多维空间变换来估算目标的大小
、
形状
、
重量和表面层的物理特性参数，最后根据大量训练样本所确定的鉴别函数，在分类器中进行识别判决
。
[0003]目前，针对船舶的目标识别方法基本上是基于单模态数据的，例如采用机器学习算法或深度学习模型直接对包含船舶的卫星图像数据或雷达回波数据进行分类识别，但基于单模态数据的船舶目标识别方法受数据源影响较大，当采集的单模态数据精度较低或者出现误差时，会造成目标识别精度较低的问题
。

技术实现思路

[0004]本专利技术的目的是为了解决现有基于单模态数据的船舶目标识别方法识别精度较低的问题，提出了一种基于多模态融合的船舶目标识别方法
。
[0005]本专利技术的技术方案为：一种基于多模态融合的船舶目标识别方法，包括以下步骤：
S1、
采集待识别水体区域的雷达回波数据和卫星图像数据，并进行预处理
。
[0006]S2、
根据预处理后的雷达回波数据和卫星图像数据提取雷达特征向量和卫星特征向量
。
[0007]S3、
将雷达特征向量和卫星特征向量分别输入基于
SSD
算法的目标检测模型，得到雷达目标检测结果和卫星目标检测结果
。
[0008]S4、
采用双线性池化方法对雷达目标检测结果和卫星目标检测结果进行多模态融合，得到船舶目标识别结果
。
[0009]进一步地，步骤
S1
中雷达回波数据的预处理包括滤波处理
、
辐射定标
、
地理编码和几何校正
。
[0010]进一步地，步骤
S1
中卫星图像数据的预处理包括辐射定标
、
大气校正
、
波段融合
、
几何校正和图像裁剪
。
[0011]进一步地，步骤
S2
中雷达特征向量中的特征包括船舶尺寸
、
船舶速度
、
船舶方向和雷达反射特性
。
[0012]进一步地，步骤
S2
中卫星特征向量中的特征包括船舶尺寸
、
船舶速度
、
船舶方向和卫星图像分辨率
。
[0013]进一步地，步骤
S3
包括以下分步骤：
S31、
将雷达特征向量和卫星特征向量分别输入
VGG16
网络，并进行正则化处理，得
到第一雷达特征图和第一卫星特征图
。
[0014]S32、
将第一雷达特征图和第一卫星特征图分别输入第一卷积层进行卷积操作，得到第二雷达特征图和第二卫星特征图
。
[0015]S33、
将第二雷达特征图和第二卫星特征图分别输入第二卷积层进行卷积操作，得到第三雷达特征图和第三卫星特征图
。
[0016]S34、
将第三雷达特征图和第三卫星特征图分别输入第三卷积层进行卷积操作，得到第四雷达特征图和第四卫星特征图
。
[0017]S35、
将第四雷达特征图和第四卫星特征图分别输入第四卷积层进行卷积操作，得到第五雷达特征图和第五卫星特征图
。
[0018]S36、
将第五雷达特征图和第五卫星特征图分别输入第五卷积层进行卷积操作，得到第六雷达特征图和第六卫星特征图
。
[0019]S37、
分别对第六雷达特征图和第六卫星特征图进行非极大值抑制，得到雷达目标检测结果和卫星目标检测结果
。
[0020]进一步地，步骤
S4
包括以下分步骤：
S41、
对雷达目标检测结果和卫星目标检测结果进行特征双线性融合，得到融合矩阵：其中表示融合矩阵，表示在图像
P
的位置
l
处的雷达目标检测结果，表示在图像
P
的位置
l
处的卫星目标检测结果
。
[0021]S42、
对融合矩阵进行总和池化操作，得到和矩阵：
S43、
对和矩阵进行标量转换，得到标量转换结果
Q
：其中表示向量
‑
标量转换函数
。
[0022]S44、
对标量转换结果进行矩归一化操作，得到矩归一化结果
N
：其中表示符号函数
。
[0023]S45、
对矩归一化结果进行
L2
归一化操作，得到船舶目标识别结果
Z
：其中表示
L2
范数
。
[0024]本专利技术的有益效果是：（1）本专利技术通过对卫星图像数据和雷达回波数据分别进行目标检测，然后对两者
的检测结果进行多模态融合，两个模态的数据可以相互印证，有效避免了单模态数据精度较低或者出现误差时对最终目标识别精度的影响，具有较高的目标识别精度
。
[0025]（2）本专利技术采用
SSD
算法对卫星图像数据和雷达回波数据进行目标检测，在保证检测速度的前提下（与
YOLO
检测速度相当），有效提高了检测精度（与
Faster RCNN
检测精度相当）
。
[0026]（3）本专利技术采用双线性池化方法进行多模态融合，通过建模特征的高阶统计信息来捕获多模态特征之间的关系，进而生成具有表达力的全局表示，即精确的船舶目标识别结果
。
附图说明
[0027]图1所示为本专利技术实施例提供的一种基于多模态融合的船舶目标识别方法流程图
。
具体实施方式
[0028]现在将参考附图来详细描述本专利技术的示例性实施方式
。
应当理解，附图中示出和描述的实施方式仅仅是示例性的，意在阐释本专利技术的原理和精神，而并非限制本专利技术的范围
。
[0029]本专利技术实施例提供了一种基于多模态融合的船舶目标识别方法，如图1所示，包括以下步骤
S1~S4
：
S1、
采集待识别水体区域的雷达回波数据和卫星图像数据，并进行预处理
。
[0030]本专利技术实施例中，待识别水体区域包含了待识别的船舶目标
。
[0031]本专利技术实施例中，雷达本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于多模态融合的船舶目标识别方法，其特征在于，包括以下步骤：
S1、
采集待识别水体区域的雷达回波数据和卫星图像数据，并进行预处理；
S2、
根据预处理后的雷达回波数据和卫星图像数据提取雷达特征向量和卫星特征向量；
S3、
将雷达特征向量和卫星特征向量分别输入基于
SSD
算法的目标检测模型，得到雷达目标检测结果和卫星目标检测结果；
S4、
采用双线性池化方法对雷达目标检测结果和卫星目标检测结果进行多模态融合，得到船舶目标识别结果
。2.
根据权利要求1所述的船舶目标识别方法，其特征在于，所述步骤
S1
中雷达回波数据的预处理包括滤波处理
、
辐射定标
、
地理编码和几何校正
。3.
根据权利要求1所述的船舶目标识别方法，其特征在于，所述步骤
S1
中卫星图像数据的预处理包括辐射定标
、
大气校正
、
波段融合
、
几何校正和图像裁剪
。4.
根据权利要求1所述的船舶目标识别方法，其特征在于，所述步骤
S2
中雷达特征向量中的特征包括船舶尺寸
、
船舶速度
、
船舶方向和雷达反射特性
。5.
根据权利要求1所述的船舶目标识别方法，其特征在于，所述步骤
S2
中卫星特征向量中的特征包括船舶尺寸
、
船舶速度
、
船舶方向和卫星图像分辨率
。6.
根据权利要求1所述的船舶目标识别方法，其特征在于，所述步骤
S3
包括以下分步骤：
S31、
将雷达特征向量和卫星特征向量分别输入
VGG16
网络，并进行正则化处理，得到第一雷达特征图和...

【专利技术属性】
技术研发人员：魏强，刘广志，易明权，
申请(专利权)人：四川观想科技股份有限公司，
类型：发明
国别省市：