一种面向视觉特征非连续性干扰的船舶图像航迹提取方法技术

本发明专利技术提供了一种面向视觉特征非连续性干扰的船舶图像航迹提取方法，包括：采集船舶图像，船舶图像包括船舶被遮挡的场景图像和船舶未被遮挡的场景图像；根据DeepSnake模型和YOLOX模型，对船舶图像进行检测，获取图像序列中的船舶位置；将船舶位置与DeepSnake模型的检测结果输入至YOLOX模型中，获取船舶的外表轮廓；基于外表轮廓与船舶位置对船舶进行轨迹跟踪，获取船舶在图像序列中的运动轨迹。本发明专利技术引入被遮挡状态的判断,同时进一步利用卡尔曼算法得到更加精准的船舶轨迹，既提升了从船载监控视频数据中提取船舶航行轨迹的精度，同时也提升了在复杂海况场景下的鲁棒性。时也提升了在复杂海况场景下的鲁棒性。时也提升了在复杂海况场景下的鲁棒性。

【技术实现步骤摘要】
一种面向视觉特征非连续性干扰的船舶图像航迹提取方法


[0001]本专利技术属于目标检测与像素级跟踪与轨迹预测
，尤其涉及一种面向视觉特征非连续性干扰的船舶图像航迹提取方法。

技术介绍

[0002]自进入21世纪以来，船舶运输业蓬勃发展，有关水面船舶检测的研究起步较早，用于水面船舶检测的方法分为以下几种:基于卫星遥感图像的水面船舶检测方法，其图像覆盖的海洋面积较为广泛，包含目标众多，但是图像分辨率低且立体感差，船舶在图像中的相对尺寸太小，很难获得船舶的精确定位坐标。基于孔径合成雷达图像的水面船舶检测方法，孔径合成雷达能够在能见度极低的天气下获得高分辨率雷达图像，但其不具有丰富的光谱信息，对于船舶检测来说效果较差。基于红外图像的水面船舶检测方法，不受环境亮度影响，红外图像检测在夜晚、大雾天气下也可以获得目标的位置，但红外图像分辨率低，且海洋表面的不均匀气流会导致温度变化，对红外成像产生干扰导致影响检测。基于可见光图像的水面船舶检测方法，其图像光谱信息丰富，易于判别目标间的差异，且成本低廉，与其他图像相比，在港口监控或近海水面船舶检测中可见光图像优势更加明显。但基于可见光图像的近海水面船舶检测的方法获得的船舶轨迹常常因为遮挡或者船舶图像表征变化，导致不能认识到船舶在相邻图像帧的时空关联性。在遮挡条件下的船舶检测效果不尽人意，特别在面对多运动船舶目标时得到的船舶检测效果不佳，误检、漏检现象较为严重。
[0003]近年来，船舶的自主航行越来越受重视，而在自动避撞技术方面是船舶自主航行安全不可或缺的一部分，实际场景中，障碍物检测船舶自主航行的安全性产生了巨大影响。海面船舶分割有助于船舶自主航行成功躲避障碍物，因此将海面船舶分割引入船舶轨迹提取就显得很有必要。
[0004]基于Bytetrack算法的多目标跟踪模型是经典的多目标跟踪算法之一。可以方便快捷的将Bytetrack算法应用至船舶轨迹提取。然而，船载监控视频中背景成像因素复杂，特别是视觉特征非连续性场景下，船舶的目标检测效果有较大的偏差，会降低跟踪效果，增加跟踪匹配的难度。导致了基于Bytetrack船舶跟踪算法的轨迹提取方法存在一定的局限性。
[0005]因此，亟需提出了一种面向视觉特征非连续性干扰的船舶图像航迹提取方法，以应对船舶视觉特征非连续性场景下多目标船舶轨迹提取的挑战。

技术实现思路

[0006]为解决上述技术问题，本专利技术提出了一种面向视觉特征非连续性干扰的船舶图像航迹提取方法，使用DeepSnake(第一部分)与YOLOX作为检测算法，DeepSnake(第二部分)作为分割算法，改进的Bytetrack算法作为跟踪算法，建立了实例分割加跟踪的轨迹提取框架，结合船舶运动特性改进Bytetrack算法结构，使用数据融合方法提高检测算法的船舶检测效果，使用改进的Bytetrack算法，在船舶视觉特征非连续性场景下能获得较好的轨迹提
取效果，为港航交通安全提供保障与技术支持。
[0007]为实现上述目的，本专利技术提供了一种面向视觉特征非连续性干扰的船舶图像航迹提取方法，包括：
[0008]采集船舶图像，所述船舶图像包括：船舶被遮挡的场景图像和船舶未被遮挡的场景图像；
[0009]根据DeepSnake模型和YOLOX模型，对所述船舶图像进行检测，获取图像序列中的船舶位置；
[0010]将所述船舶位置与所述DeepSnake模型的检测结果输入至所述DeepSnake模型中，获取所述船舶的外表轮廓；
[0011]基于所述外表轮廓与所述船舶位置对所述船舶进行轨迹跟踪，获取所述船舶在图像序列中的运动轨迹。
[0012]可选地，根据所述DeepSnake模型对所述船舶图像进行检测前包括：
[0013]对所述船舶图像进行线性插值处理，对线性插值处理后的所述船舶图像进行像素归一化操作。
[0014]可选地，获取图像序列中的船舶位置包括：
[0015]利用所述DeepSnake模型对所述船舶图像进行特征提取，获得船舶特征图，并根据所述船舶特征图获取所述船舶的第一初步船舶位置群；
[0016]根据所述YOLOX模型对所述船舶图像进行检测，获取所述船舶的第二初步船舶位置群；
[0017]基于所述第一初步船舶位置群与所述第二初步船舶位置群，获取所述船舶位置。
[0018]可选地，对所述第一初步船舶位置群与所述第二初步船舶位置群进行融合包括：
[0019]对所述第二初步船舶位置群进行极大值抑制处理，获取第三初步船舶位置群；
[0020]对所述第一初步船舶位置群与所述第三初步船舶位置群取交集，获取第一确定船舶位置群；
[0021]将未在所述交集中的所述第三初步船舶位置群的探测框的置信度，与预设最低置信度进行对比，将大于所述预设最低置信度的所述探测框进行保留，获得第二确定船舶位置群；
[0022]利用所述第三初步船舶位置群对所述第一确定船舶位置群和所述第二确定船舶位置群，进行交并比处理，获取第三确定船舶位置群；
[0023]将所述第一确定船舶位置群、第二确定船舶位置群和第三确定船舶位置群进行融合。
[0024]可选地，获取所述船舶的外表轮廓包括：
[0025]将所述船舶位置映射至所述船舶特征图上进行结合，利用所述DeepSnake模型对映射结合结果进行轮廓提取，获得所述外表轮廓。
[0026]可选地，获取所述船舶在图像序列中的运动轨迹包括：
[0027]引入所述外表轮廓改进ByteTrack多目标跟踪算法，对所述船舶位置进行轨迹跟踪，获取初步运动轨迹；其中，所述初步运动轨迹中包括：跟踪成功的轨迹和未跟踪成功的轨迹；所述初步运动轨迹中船舶运动状态的表达式为：
[0028][0029]式中，x和y表示船舶位置的中心坐标，a为船舶图像高度与宽度的比值，h为船舶图像的高度，分别表示对应参数的一阶导数；
[0030]判断所述未跟踪成功的轨迹中船舶的外表轮廓是否被遮挡，若被遮挡，则采用卡尔曼滤波对所述未跟踪成功的轨迹进行提取；
[0031]将提取后的轨迹与所述跟踪成功的轨迹进行结合，获得完整的所述运动轨迹。
[0032]可选地，获取初步运动轨迹包括：
[0033]利用所述船舶位置所在的图像序列中的第一帧位置检测值对卡尔曼滤波器进行初始化；
[0034]利用所述卡尔曼滤波器对所述船舶位置进行预测与更新，获取所述船舶在所述图像序列中每一帧的位置预测值和对应的外表轮廓位置；
[0035]对所述图像序列中每一帧的位置预测值和对应的外表轮廓位置进行ID匹配，获取所述初步运动轨迹。
[0036]可选地，利用所述卡尔曼滤波器对所述船舶位置进行预测与更新包括：
[0037]基于所述船舶位置中上一帧位置检测值，利用所述卡尔曼滤波器预测所述船舶位置中下一帧位置预测值；所述下一帧位置预测值的表达式为：
[0038][0039]其中，P
i
为船舶的上一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向视觉特征非连续性干扰的船舶图像航迹提取方法，其特征在于，包括：采集船舶图像，所述船舶图像包括：船舶被遮挡的场景图像和船舶未被遮挡的场景图像；根据DeepSnake模型和YOLOX模型，对所述船舶图像进行检测，获取图像序列中的船舶位置；将所述船舶位置与所述DeepSnake模型的检测结果输入至所述DeepSnake模型中，获取所述船舶的外表轮廓；基于所述外表轮廓与所述船舶位置对所述船舶进行轨迹跟踪，获取所述船舶在图像序列中的运动轨迹。2.根据权利要求1所述的面向视觉特征非连续性干扰的船舶图像航迹提取方法，其特征在于，根据所述DeepSnake模型对所述船舶图像进行检测前包括：对所述船舶图像进行线性插值处理，对线性插值处理后的所述船舶图像进行像素归一化操作。3.根据权利要求1所述的面向视觉特征非连续性干扰的船舶图像航迹提取方法，其特征在于，获取图像序列中的船舶位置包括：利用所述DeepSnake模型对所述船舶图像进行特征提取，获得船舶特征图，并根据所述船舶特征图获取所述船舶的第一初步船舶位置群；根据所述YOLOX模型对所述船舶图像进行检测，获取所述船舶的第二初步船舶位置群；基于所述第一初步船舶位置群与所述第二初步船舶位置群，获取所述船舶位置。4.根据权利要求3所述的面向视觉特征非连续性干扰的船舶图像航迹提取方法，其特征在于，对所述第一初步船舶位置群与所述第二初步船舶位置群进行融合包括：对所述第二初步船舶位置群进行极大值抑制处理，获取第三初步船舶位置群；对所述第一初步船舶位置群与所述第三初步船舶位置群取交集，获取第一确定船舶位置群；将未在所述交集中的所述第三初步船舶位置群的探测框的置信度，与预设最低置信度进行对比，将大于所述预设最低置信度的所述探测框进行保留，获得第二确定船舶位置群；利用所述第三初步船舶位置群对所述第一确定船舶位置群和所述第二确定船舶位置群，进行交并比处理，获取第三确定船舶位置群；将所述第一确定船舶位置群、第二确定船舶位置群和第三确定船舶位置群进行融合。5.根据权利要求3所述的面向视觉特征非连续性干扰的船舶图像航迹提取方法，其特征在于，获取所述船舶的外表轮廓包括：将所述船舶位置映射至所述船舶特征图上进行结合，利用所述DeepSnake模型对映射结合结果进行轮廓提取，获得所述外表轮廓。6.根据权利要求1所述的面向视觉特征非连续性干扰的船舶图像航迹提取方法，其特征在于，获取所述船舶在图像序列中的运动轨迹包括：引入所述外表轮廓改进ByteTrack多目标跟踪算法，对所述船舶位置进行轨迹跟踪，获取初步运动轨迹；其中，所述初步运动轨迹中包括：跟踪成功的轨迹和未跟踪成功的轨迹；所述初步运动轨迹中船舶运动状态的表达式为：
式中，x和y表示船舶位置的中心坐标，a为船舶图像高度与宽度的比值，h为船舶图像的高度，分别表示对应参数的一阶导数；判断所述未跟踪成功的轨迹中船舶的外表轮廓是否被遮挡，若被遮挡，则采用卡尔曼滤波对所述未跟踪成功的轨迹进行提取；将提取后的轨迹与所述跟踪成功的轨迹进行结合，获得完整的所述运动轨迹。7.根据权利要求6所述的面向视觉特征非连续性干扰的船舶图像航迹提取方法，其特征在于，获取初步运动轨迹包括：利用所述船舶位置所在的图像序列中的第一帧位置检测值对卡尔曼滤波器进行初始化；利用所述卡尔曼滤波器对所述船舶位置进行预测与更新，获取所述船舶在所述图像序列中每一帧的位置预测值和对应的外表轮廓位置；对所述图像序列中每一帧的位置预测值和对应的外表轮廓位置进行ID匹配，获取所述初步运动轨迹。8.根据权利要求7所述的面向视觉特征非连续性干扰的船舶图像航迹提取方法，其特征在于，利用所述卡尔曼滤波器对所述船舶位置进行预测与更新包括：基于所述船舶位置中上一帧位置检测值，利用所述卡尔曼滤波器预测所述船舶位置中下一帧位置预测值；所述下一帧位置预测值的表达式为：其中，P
i
为船舶的上一帧位置检测值，为由卡尔曼滤波器输出的下一帧位置预测值，A为状态转移矩阵；获取所述下一帧位置预测值的误差协方差矩阵；所述误差协方差矩阵的表达式为：其中，为船舶下一帧位置预测...

【专利技术属性】
技术研发人员：陈信强，陈伟平，杨勇生，吴兵，李朝锋，吴华锋，鲜江峰，
申请(专利权)人：武汉理工大学，
类型：发明
国别省市：