海上船舶小目标可见光图像实时自动识别方法及系统技术方案

本发明专利技术公开一种海上船舶小目标可见光图像实时自动识别方法及系统，该方法针对目前传统方法对各种复杂环境的适应性差的问题，通过目标检测网络将包含水天线及船舶目标的区域进行自动检测，然后在所检测出的水天线区域再次利用目标检测网络进行进一步的船舶小目标识别，最终形成一个专门针对海上船舶小目标的自动识别模型。本模型能够准确的识别出海上的船舶小目标，而且在保证精度的前提下，实时性将得到较大程度的提高，进一步提升我国的智能航海技术。该方法避免了深度学习存在硬件资源浪费问题，提高了实时性。提高了实时性。提高了实时性。

【技术实现步骤摘要】
海上船舶小目标可见光图像实时自动识别方法及系统


[0001]本专利技术涉及智能航海
，特别是一种海上船舶小目标可见光图像实时自动识别方法及系统。

技术介绍

[0002]人类在海洋中的活动越来越频繁，包括海上运输、海上贸易、海洋捕鱼和军事活动，而船舶是人类在海洋中活动的重要载体，因此对海上船舶的监控和管理至关重要。
[0003]随着自动驾驶汽车的兴起，自动驾驶船舶也受到越来越多的关注，尤其是远距离和短距离货船以及参与高风险军事行动的特种船舶。一些船舶配备了自动识别系统(AIS)，通过无线电信号广播自己的位置和其他信息，这些信息可以被周围的船舶接收以避免碰撞。然而，小型航行器(独木舟、皮划艇、帆船、小型渔船等)往往没有配备AIS，而且AIS发出的信号容易受到干扰。因此，对于海洋环境中的船舶管理和船舶的无人自主航行，需要具备船舶精准探测能力。雷达虽然广泛用于船舶探测，但也有一定的局限性。雷达不能检测小型非金属材料(木材或玻璃纤维)的海洋航行器。对于合成孔径雷达(SAR)，SAR图像中的散斑噪声和运动模糊使特征提取变得困难。由于SAR的成像机制，图像难以理解和解释。
[0004]利用可见光图像进行船舶检测与识别近些年也引起了研究人员的兴趣。这种方式所获取的船舶图像直观、易于人眼理解，可见光谱成像具有高分辨率，可以获得颜色和纹理信息。这有利于船舶检测与识别的准确性和鲁棒性。
[0005]目前，可见光图像形式的船舶目标自动识别算法主要分为两类，一类是传统的图像处理方法，另一类是深度学习方法。传统的图像处理方法流程一般为先对图像进行预处理，然后对图像中的水天线进行检测并提取感兴趣区域，最后对感兴趣区域进行分类识别。而深度学习方法的流程一般为直接利用单阶段或两阶段的目标检测网络对样本集进行训练，然后利用训练好的模型对待识别图像直接进行船舶目标的识别。这两种方法都各有优缺点，传统的图像处理方法的优点是方法简单而且无需大量的训练数据集，缺点是鲁棒性差，对复杂环境的适应性差，并且需要人工选择特征；基于深度学习的方法的优点是鲁棒性好，能够适应各种复杂的环境，而且船舶的特征提取无需人工干预，明显的缺点就是需要大量的训练数据集。
[0006]目前，基于深度学习的船舶目标自动识别方法直接利用目标检测模型，对于船舶小目标的识别，由于小目标仅占据整个图像的很小一部分，不管利用单阶段的目标检测网络还是两阶段的目标检测网络都面临着一个问题，那就是图像中大部分区域都是无效的，在模型的训练过程中不仅浪费了昂贵的计算机硬件资源，而且降低了模型的实时性，本专利技术将充分利用水天线这个特征，首先对包含船舶目标的水天线区域进行检测，然后对所检测出的水天线区域进一步进行小目标的检测与识别，将整个船舶目标的识别分为两阶段进行，不仅节约了计算机硬件资源，而且在保证识别精度的前提下大大提升模型的实时性。

技术实现思路

[0007]有鉴于此，本专利技术的目的在于提供一种海上船舶小目标可见光图像实时自动识别方法及系统，该方法涉及在海上航行环境下对各种船舶目标的可见光图像自动识别。
[0008]为达到上述目的，本专利技术提供如下技术方案：
[0009]本专利技术提供的海上船舶小目标可见光图像实时自动识别方法，包括以下步骤：
[0010]S1：获取数据集1和数据集2，所述数据集1为海上船舶小目标的可见光图像数据，所述数据集2为单独包含船舶小目标的水天线区域的局部图像数据：
[0011]S2：构建水天线区域检测模型，所述水天线区域检测模型是将数据集1中训练数据输入到YOLO
‑
V3目标检测网络模型中训练出来的，所述数据集1中的训练数据均包括海上船舶小目标的可见光图像数据和用来标识该水天线区域的标识信息；获取并输出所述水天线区域信息；
[0012]S3：构建船舶小目标检测模型；所述船舶小目标检测模型是根据接收的水天线区域信息和数据集2中的训练数据输入到多尺度特征提取网络模型中训练出来的，所述数据集2中的训练数据包括单独包含船舶小目标的水天线区域的局部图像数据；获取并输出船舶小目标图像。
[0013]进一步，所述水天线区域检测模型的训练过程包括以下步骤：
[0014]将经过在ImageNet数据集上训练好的参数作为水天线区域检测模型的预训练参数。
[0015]进一步，所述船舶小目标检测模型构建按照以下步骤进行：
[0016]S31：构建上采样跳连接的多尺度特征提取网络，并结合FasterR
‑
CNN目标检测模型，形成船舶小目标检测模型；
[0017]S32：对S31中构建好的船舶小目标检测模型利用步骤S1中制作的数据集2进行有效训练。
[0018]进一步，所述多尺度特征提取网络采用基于两阶段的FasterR
‑
CNN网络模型，所述基于两阶段的FasterR
‑
CNN网络模型依次包括输入层、卷积神经网络层、上采样特征融合模块；
[0019]所述输入层设置有个多个输入的图像样本通道；
[0020]所述卷积神经网络层用于接收输入层的数据并将经过处理的数据输出到上采样特征融合模块中进行处理；
[0021]所述上采样特征融合模块根据卷积神经网络层输入到数据进行处理得到船舶目标特征图。
[0022]进一步，所述多尺度特征提取网络中各尺度特征图设置的候选框根据分类分数由高到低进行设置，使得每种尺度的候选框数量尽量保持均衡。
[0023]进一步，所述两阶段的FasterR
‑
CNN网络模型中的第二阶段中的各尺度特征图的候选框设置包括前景类候选框和背景类候选框，所述前景类候选框和背景类候选框的个数相同。
[0024]进一步，还包括以下步骤：
[0025]获取船舶小目标检测模型输出所检测到船舶目标，并将该船舶目标的位置显示在第一阶段输入的原图上。
[0026]本专利技术提供的海上船舶小目标可见光图像实时自动识别系统，包括数据存储模块、水天线区域检测模型、船舶小目标检测模型和输出单元；
[0027]所述数据存储模块，用于获取数据集1和数据集2，所述数据集1为海上船舶小目标的可见光图像数据，所述数据集2为单独包含船舶小目标的水天线区域的局部图像数据：
[0028]所述水天线区域检测模型，用于构建水天线区域检测模型，所述水天线区域检测模型是将数据集1中训练数据输入到YOLO
‑
V3目标检测网络模型中训练出来的，所述数据集1中的训练数据均包括海上船舶小目标的可见光图像数据和用来标识该水天线区域的标识信息；获取并输出所述水天线区域信息；
[0029]所述船舶小目标检测模型，用于构建船舶小目标检测模型；所述船舶小目标检测模型是根据接收的水天线区域信息和数据集2中的训练数据输入到多尺度特征提取网络模型中训练出来的，所述数据集2中的训练数据包括单独包含船舶小目标的水天线区域的局部图像数据；获取并输出船舶小目标图像。
[0030]所述输出单本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.海上船舶小目标可见光图像实时自动识别方法，其特征在于：包括以下步骤：S1：获取数据集1和数据集2，所述数据集1为海上船舶小目标的可见光图像数据，所述数据集2为单独包含船舶小目标的水天线区域的局部图像数据：S2：构建水天线区域检测模型，所述水天线区域检测模型是将数据集1中训练数据输入到YOLO
‑
V3目标检测网络模型中训练出来的，所述数据集1中的训练数据均包括海上船舶小目标的可见光图像数据和用来标识该水天线区域的标识信息；生成所述水天线区域信息；S3：构建船舶小目标检测模型；所述船舶小目标检测模型是根据接收的水天线区域信息和数据集2中的训练数据并输入到多尺度特征提取网络模型中训练出来的，所述数据集2中的训练数据包括单独包含船舶小目标的水天线区域的局部图像数据；生成船舶小目标图像。2.如权利要求1所述的海上船舶小目标可见光图像实时自动识别方法，其特征在于：所述水天线区域检测模型的训练过程包括以下步骤：将经过在ImageNet数据集上训练好的参数作为水天线区域检测模型的预训练参数。3.如权利要求1所述的海上船舶小目标可见光图像实时自动识别方法，其特征在于：所述船舶小目标检测模型构建按照以下步骤进行：S31：构建上采样跳连接的多尺度特征提取网络，并结合FasterR
‑
CNN目标检测模型，形成船舶小目标检测模型；S32：对S31中构建好的船舶小目标检测模型利用步骤S1中制作的数据集2进行有效训练。4.如权利要求1所述的海上船舶小目标可见光图像实时自动识别方法，其特征在于：所述多尺度特征提取网络采用基于两阶段的FasterR
‑
CNN网络模型，所述基于两阶段的FasterR
‑
CNN网络模型依次包括输入层、卷积神经网络层和上采样特征融合模块；所述输入层设置有个多个输入的图像样本通道；所述卷积神经网络层用于接收输入层的数据并将经过处理的数据输出到上采样特征融合模块中进行处理；所述上采样特征融合模块根据卷积神经网络层输入到数据进行处理得到船舶目标特征图。5.如权利要求4所述的海上船舶小目标可见光图像实时自动识别方法，其特征在于：所述多尺度特征提取网络中各尺度特征图设置的候选框根据分类分数由高到低进行设置，使得每种尺度的候选框数量保持均衡。6.如权利要求4所述的海上船舶小目标可见光图像实时自动识别方法，其特征在于：所述两阶段的FasterR
‑
CNN网络模型中的第二阶段中的各尺度特征图的候选框设置包括前景类候选框和背景类候选框，所述前景类候选框和背景类候选框的个数按照预定比例因子确定。7.如权利...

【专利技术属性】
技术研发人员：龚燕峰，谭家万，杨雪锋，唐皇，胡海军，范雄方，
申请(专利权)人：金睛兽数字科技重庆有限公司，
类型：发明
国别省市：