【技术实现步骤摘要】
本专利技术属于图像检测，尤其涉及一种基于视觉与ais数据协同训练的船舶目标检测定位方法和系统。
技术介绍
1、对于海上船舶目标检测，传统的检测方法主要是基于图像、雷达与ais的检测方法。其中基于图像的检测方法利用摄像机拍摄到的图像进行目标识别，其优势在于可以获取丰富的目标信息，然而图像受到天气、光照等自然条件的影响较大，容易出现识别误差；雷达检测方法通过发送电磁波－接收回波的方式来探测周围目标的位置，其优势为具有高精度与较远的探测范围，然而雷达无法提供直观的视觉语义信息且成本较高；通过ais接收器和岸基站可以接收船舶上的ais设备发送的位置、速度等信息，其优势在于实时性强、能够提供船舶的精确位置和航行信息，然而ais信号易受干扰和篡改，且容易出现个别船舶未安装ais设备或ais设备老旧导致ais信号缺失等问题。
2、近年来，深度学习在目标检测领域尤其是图像目标检测领域取得了很大进展。与传统的图像目标检测算法相比，基于深度学习的图像目标检测算法能够从大量数据中学习到目标更深层次的特征表示，具有更强的表征能力和泛化能力。目前基于深度学习的图像目标检测方法主要分为两阶段目标检测算法与单阶段目标检测算法。前者将目标检测流程分为两个阶段，第一个阶段算法会生成一系列候选目标框，在第二个阶段候选框被送入一个分类器以及一个回归器中进行目标的分类以及调整候选框的位置以更准确地拟合目标，该类别的优势在于精确度高，r-cnn系列模型为典型的两阶段检测模型；后者将检测转换成回归问题，只需要一次前向传播过程便可得到目标位置，这使得检测过程在速
3、现有的基于单目视觉的目标定位方法在自动驾驶汽车和移动机器人中应用较广，目前针对水面船舶的单目视觉定位研究较少，多数集中在基于立体视觉定位研究上。张啸尘等提出一种基于yolov3算法的船舶双目视觉检测与定位方法；王健等利用透视投影几何关系和摄像机内部参数，提出一种基于单目机器视觉的船舶测距定位方法；柳晨光等基于船舶的视觉与运动特征，提出了一种基于单目的水面多目标船舶的定位与运动参数求解算法。
4、通过上述分析，现有技术存在的问题及缺陷为：
5、现有的基于深度学习的目标检测算法只能对船舶目标实现在图像中的定位，无法获取摄像机与船舶目标之间的距离，因此无法获取该船舶目标在周边水域地图下的定位；
6、现有的基于立体视觉的水面船舶定位方法在获得一次定位结果前要经过左右图片两次目标检测，且需要计算两者图片的视差，因此检测速度较低；现有的基于单目视觉的水面船舶定位方法在船舶识别步骤中一般采用的传统滤波方式（如粒子滤波）对复杂和抽象特征的提取效果不佳，使得其难以达到良好的识别效果。
7、现有的基于视觉的水面船舶定位方法只依靠单一视觉数据训练定位模型，无法融合其他模态的数据（如ais数据），这会导致模型无法获取足够的信息，进而导致模型的环境适应性不足、模型的泛化能力受限。
技术实现思路
1、针对现有技术存在的问题，本专利技术提供了一种基于视觉与ais数据协同训练的船舶目标检测定位方法和系统。
2、本专利技术是这样实现的，一种基于视觉与ais数据协同训练的船舶目标检测定位方法包括：
3、（1）构建视觉与ais数据协同的船舶目标检测与距离估计数据集，所述数据集包含：船舶目标图像、匹配距离信息的检测框标签、拍摄船舶目标图像摄像机的内外参数；
4、（2）构建船舶目标检测与距离估计模型，其结构为在yolox模型的头部网络中引入一个模块用于距离估计；
5、（3）将船舶目标检测与距离估计数据集投入上述模型中进行多任务联合训练和验证，得到训练完成的船舶目标检测与距离估计模型；
6、（4）将待检测船舶目标图像输入训练完成的船舶目标检测与距离估计模型中，得到该图像的检测结果；
7、（5）将检测结果结合相机参数进行目标位置计算，得到船舶目标的经纬度坐标；
8、（6）将获取到的船舶目标经纬度坐标可视化于周边水域地图中得到最终的船舶目标的定位结果。
9、进一步，步骤（1）通过如下子步骤完成数据集的构建：
10、（1-1）采集原始数据：利用岸基固定摄像机获取目标区域内含有船舶目标的视频，利用ais接收机获取周围船舶的ais数据，利用gps定位装置获取上述摄像机经纬度数据，读取摄像机内陀螺仪数据获取相机的偏航角、俯仰角与滚转角，获取通过相机标定方法获取的相机内部参数；
11、（1-2）对步骤（1-1）中采集到的原始数据进行预处理：对原始视频进行抓图获取船舶目标图像，对ais数据进行相机水平视野区域内的目标筛选；
12、（1-3）将步骤（1-2）中经过筛选的ais数据进行线性插值并与船舶目标图像进行时间对齐，并基于vincenty公式计算每条ais数据所代表的目标与摄像机的水平距离；
13、（1-4）将每个图像目标与ais目标进行关联，对图像目标进行标注，标注内容为标注框左上顶点与右下顶点的像素坐标、标注框内目标类别、标注框内目标、同图像目标对应的ais目标与摄像机所在位置的水平距离；
14、（1-5）将上述船舶目标图像与新增距离信息的标签按voc数据集的格式进行排布，划分训练集与测试集，以得到构建完成的船舶目标检测与距离估计数据集。
15、进一步，步骤（2）中新增模块与原头部网络的具体连接方式为：新增模块以yolox头部网络中reg分支输出的回归特征作为输入；新增模块的具体结构为输入通道数为256、输出通道数为1、卷积核大小为1×1的单个卷积层，该层卷积层采用改进的sigmoid激活函数进行激活，采用如下公式：
16、
17、其中表示预测的水平距离，为卷积层的输出，作为比例因子调整输出的距离值以匹配传入模型的数据集所在场景的尺度。
18、进一步，步骤（3）中的船舶目标检测与距离估计模型是经过如下步骤的训练得到的：
19、（3-1）对步骤（1）中得到的训练集通过调整图像的色调与饱和度、将图像转换到hsv色彩空间、添加随机噪声的方式进行数据增强；
20、（3-2）针对步骤（3-1）增强后的图像，调整图像大小到640×640，将其输入进船舶目标检测与距离估计模型中，经过cspdarknet53主干网络与带有panet模块的颈部网络后，得到大小为80×80×256、40×40×512、20×20×1024三个不同尺度的特征图；
21、（3-3）针对步骤（3-2）得到的大、中、小三个特征层，将其传入卷积核大小为1×1的卷积层进行通道整合，再将其输出分为cls分支与reg分支，每个分支都通过两层3×3标准化卷积层，得到cls分本文档来自技高网...
【技术保护点】
1.一种基于视觉与AIS数据协同训练的船舶目标检测定位方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于视觉与AIS协同训练的船舶目标检测与定位方法，其特征在于，步骤（1）通过如下子步骤完成数据集的构建：
3.根据权利要求1所述的基于视觉与AIS数据协同训练的船舶目标检测与定位方法，其特征在于，步骤（3）中的船舶目标检测与距离估计模型是经过如下步骤的训练得到的：
4.根据权利要求3所述的多任务联合训练方法，其特征在于，步骤（3-6）目标检测任务的输出与距离估计的输出共用一个总损失函数，其公式为：
5.根据权利要求1所述的基于视觉与AIS数据协同训练的船舶目标检测与定位方法，其特征在于，步骤（5）包括以下子步骤：
6.一种实施根据权利要求1-5任意一项所述基于视觉与AIS数据协同训练的船舶目标检测定位方法的基于视觉与AIS数据协同训练的船舶目标检测定位系统，其特征在于，所述基于视觉与AIS数据协同训练的船舶目标检测定位系统包括：
7.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述
8.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1-5任意一项所述基于视觉与AIS数据协同训练的船舶目标检测定位方法的步骤。
9.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现如权利要求6所述基于视觉与AIS数据协同训练的船舶目标检测定位系统。
...【技术特征摘要】
1.一种基于视觉与ais数据协同训练的船舶目标检测定位方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于视觉与ais协同训练的船舶目标检测与定位方法，其特征在于，步骤（1）通过如下子步骤完成数据集的构建：
3.根据权利要求1所述的基于视觉与ais数据协同训练的船舶目标检测与定位方法，其特征在于，步骤（3）中的船舶目标检测与距离估计模型是经过如下步骤的训练得到的：
4.根据权利要求3所述的多任务联合训练方法，其特征在于，步骤（3-6）目标检测任务的输出与距离估计的输出共用一个总损失函数，其公式为：
5.根据权利要求1所述的基于视觉与ais数据协同训练的船舶目标检测与定位方法，其特征在于，步骤（5）包括以下子步骤：
6.一种实施根据权利要求1-5任意一项所述基于视觉与ais...
【专利技术属性】
技术研发人员：张煜，杜雷，马杰，苏耀武，陈安东，
申请(专利权)人：武汉理工大学三亚科教创新园，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。