一种桥区监控场景下的船舶检测与跟踪方法技术

本发明专利技术涉及一种桥区监控场景下的船舶检测与跟踪方法，属于船舶检测与跟踪技术领域

【技术实现步骤摘要】
一种桥区监控场景下的船舶检测与跟踪方法


[0001]本专利技术属于船舶检测与跟踪
，涉及一种桥区监控场景下的船舶检测与跟踪方法
。

技术介绍

[0002]桥梁是跨越水系
、
连接水体两侧交通运输通道的咽喉节点，是公路
、
铁路网的重要组成部分
。
然而，数量众多且分布密集的桥梁在为桥梁两岸货物运输
、
居民出行提供交通便利的同时也带来了不容忽视的安全风险：桥区范围内所布设的桥墩会使航道宽度受限，造成通航环境复杂度提升，显著增加了水上交通事故发生的概率
。
当前，船桥碰撞风险已成为水上交通安全的重大风险源之一
。
因此，积极采取措施，采用船舶检测与跟踪技术加强对桥区水域范围内船舶的监管，预防船舶碰撞事故及桥损及桥毁等恶性事件的发生非常有必要
。
[0003]在深度学习技术取得突破性进展之前，对于船舶的检测与跟踪，传统的船舶目标检测可分为基于特征提取的静态船舶目标检测以及基于帧间差分
、
背景建模等方法的动态船舶目标检测，但二者具有较大局限性，如鲁棒性较弱，受船舶遮挡
、
恶劣天气条件等因素影响较大，对静止或运动缓慢船舶检测效果较差等；而传统的船舶目标跟踪方法可分为基于联合分布的生成式模型以及基于条件分布的判别式模型，此类模型通常只能够执行面向单艘船舶的跟踪任务，且跟踪鲁棒性较低
。
[0004]随着计算机图形处理设备的不断迭代以及深度学习技术的高速发展，基于深度学习的船舶目标检测与跟踪算法拥有了赖以蓬勃发展的土壤
。
当下，基于深度学习的船舶目标检测已成为船舶目标检测领域中应用最为广泛的方法，基于检测的跟踪也成为了当下船舶跟踪领域中新的范式
。
相较传统方法，基于深度学习的船舶检测与跟踪方法能够同时跟踪多艘船舶，且在实际应用中具有更高的准确率以及更强的鲁棒性
。
[0005]桥区水域监控设备多架设在桥面或桥墩，其监控范围可达数公里，监控图像中远处的小尺寸船舶目标通常难以提供足够多的视觉信息用于检测，同时，当画面中船舶受到遮挡时，该船舶目标提供的视觉信息将严重受损，可能严重损害船舶检测与跟踪的性能，导致通用检测与跟踪方法难以取得理想效果
。
因此，针对桥区船舶尺度变化大
、
远距离船舶尺寸小
、
特征少以及船舶间遮挡频繁等难点，对通用检测与跟踪方法进行改进，提出一种桥区监控场景下的船舶检测与跟踪方法具有重要的现实意义
。

技术实现思路

[0006]有鉴于此，本专利技术的目的在于提供一种桥区监控场景下的船舶检测与跟踪方法，解决现有技术在桥区监控场景下的鲁棒性不足的问题，适用于桥区监控场景的船舶检测与跟踪，能有效提升对远距离小目标船舶的检测精准度以及受遮挡船舶的跟踪稳定性，实现桥区监控场景下的船舶高精度跟踪
。
[0007]为达到上述目的，本专利技术提供如下技术方案：
[0008]一种桥区监控场景下的船舶检测与跟踪方法，具体包括以下步骤：
[0009]S1
：采集桥区监控场景下的视频流数据，选取其中图像和视频片段分别进行标注，构造船舶检测与多目标跟踪数据集；
[0010]S2
：构造可变形多分支
YOLOX
网络，并将所采集数据集输入所述可变形多分支
YOLOX
网络中进行训练，从而得到船舶检测模型；
[0011]S3
：将桥区视频图像输入到训练好的船舶检测模型中进行检测，输出船舶检测结果；
[0012]S4
：根据船舶检测结果，分别使用卡尔曼滤波以及
ResNet50
‑
ibn
网络提取船舶运动及外观特征；
[0013]S5
：根据检测结果的置信度及提取到的特征，将当前视频帧检测到的船舶与历史轨迹进行匹配，输出跟踪结果
。
[0014]进一步，步骤
S2
中，构造可变形多分支
YOLOX
网络，具体是：将原有
YOLOX
网络中的
CSP
模块统一替换为
DC2S
模块，同时在
Neck
部分的输入前添加
CBAM
混合注意力模块；并使用
CIoU
替换
IoU
作为
YOLOX
网络的定位损失，使用
Focal loss
替换
BCE
损失作为正例判断损失；其中，
DC2S
模块是可变形多分支梯度路径模块，也是特征提取主干网络的重要组成模块，用于提升桥区水域下远距离船舶目标的检测性能
。
[0015]进一步，步骤
S2
中，所述
DC2S
模块的结构是：首先使用
CBS
模块对特征进行一次处理，随后通过
Split
操作将一半通道的特征作为次梯度分支直接参与并行拼接，另一半通道的特征将输入
n
个可变形残差组件组成的主梯度分支中进一步进行特征提取；在主梯度分支中，
DC2S
不再如同
CSP
模块一样选择采用单纯的串联模式，而是在串联可变形残差组件的基础上，将各可变形残差组件的输出进行并行拼接，从而丰富特征信息，提升梯度回流的效率；主梯度流与次梯度流拼接后的结果会通过
CBS
模块调整通道数，实现多分支特征的高度融合
。
[0016]进一步，步骤
S2
中，
CIoU
损失函数的表达式为：
[0017][0018][0019][0020]其中，
d
为真实框与目标框间的欧氏距离，
c
为真实框与目标框最小外接矩形的对角线长度，为权重函数；
v
为一个正的权衡参数，用以衡量真实框与目标框间宽高比的一致性；
w
gt
和
h
gt
分别表示真实框的宽度和高度，
w
和
h
分别表示目标框的宽度和高度
。
[0021]进一步，步骤
S2
中，
Focal loss
损失函数的表达式为：
[0022]L
FL
＝
‑
(1
‑
p
t
)
γ
log(p
t
)
[0023][0024]其中，
L
FL
表示
Focal loss
损失，
γ
为调制系数，用来降低易分类样本权重，并增加
难分类样本权重；
p
t
表示目标分类正确的概本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种桥区监控场景下的船舶检测与跟踪方法，其特征在于，该方法具体包括以下步骤：
S1
：采集桥区监控场景下的视频流数据，选取其中图像和视频片段分别进行标注，构造船舶检测与多目标跟踪数据集；
S2
：构造可变形多分支
YOLOX
网络，并将所采集数据集输入所述可变形多分支
YOLOX
网络中进行训练，从而得到船舶检测模型；
S3
：将桥区视频图像输入到训练好的船舶检测模型中进行检测，输出船舶检测结果；
S4
：根据船舶检测结果，分别使用卡尔曼滤波以及
ResNet50
‑
ibn
网络提取船舶运动及外观特征；
S5
：根据检测结果的置信度及提取到的特征，将当前视频帧检测到的船舶与历史轨迹进行匹配，输出跟踪结果
。2.
根据权利要求1所述的船舶检测与跟踪方法，其特征在于，步骤
S2
中，构造可变形多分支
YOLOX
网络，具体是：将原有
YOLOX
网络中的
CSP
模块统一替换为
DC2S
模块，同时在
Neck
部分的输入前添加
CBAM
混合注意力模块；并使用
CIoU
替换
IoU
作为
YOLOX
网络的定位损失，使用
Focal loss
替换
BCE
损失作为正例判断损失；其中，
DC2S
模块是可变形多分支梯度路径模块，也是特征提取主干网络的重要组成模块，用于提升桥区水域下远距离船舶目标的检测性能
。3.
根据权利要求2所述的船舶检测与跟踪方法，其特征在于，步骤
S2
中，所述
DC2S
模块的结构是：首先使用
CBS
模块对特征进行一次处理，随后通过
Split
操作将一半通道的特征作为次梯度分支直接参与并行拼接，另一半通道的特征将输入
n
个可变形残差组件组成的主梯度分支中进一步进行特征提取；在主梯度分支中，
DC2S
在串联可变形残差组件的基础上，将各可变形残差组件的输出进行并行拼接；主梯度流与次梯度流拼接后的结果会通过
CBS
模块调整通道数，实现多分支特征的高度融合
。4.
根据权利要求2所述的船舶检测与跟踪方法，其特征在于，步骤
S2
中，
CIoU
损失函数的表达式为：的表达式为：的表达式为：其中，
d
为真实框与目标框间的欧氏距离，
c
为真实框与目标框最小外接矩形的对角线长度，为权重函数；
v
为一个正的权衡参数，用以衡量真实框与目标框间宽高比的一致性；
w
gt
和
h
gt
分别表示真实框的宽度和高度，
w
和
h
分别表示目标框的宽度和高度
。5.
根据权利要求2所述的船舶检测与跟踪方法，其特征在于，步骤
S2
中，
Focal loss
损失函数的表达式为：
L
FL
＝
‑
(1
‑
p
t
)
γ
log(p
t
)
其中，
L
FL
表示
Focal loss
损失；
γ
为调制系数，用来降低易分类样本权重，并增加难分类样本权重；
p
t
表示目标分类正确的概率，为预测概率大小，
y
为判定是否为正例的标签
。6.
根据权利要求1所述的船舶检测与跟踪方法，其特征在于，步骤
S4
中，利用卡尔曼滤波提取船舶运动特征，具体包括：采用作为卡尔曼滤波系统的状态参数；在初始化阶段，各变化率的初始值被设置为0，并采用8×8的对角矩阵作为系统的协方差矩阵；一个卡尔曼滤波系统的状态预测方程和状态观测方程分别由下式给出定义：
x
k
＝
Fx
k
‑1+Bu

【专利技术属性】
技术研发人员：刘文，赵晨洁，李熹璟，
申请(专利权)人：武汉理工大学重庆研究院，
类型：发明
国别省市：