一种针对海上目标的云台摄像头跟踪方法技术

本发明专利技术公开了一种针对海上目标的云台摄像头跟踪方法，包括以下步骤：S1.获取云台摄像头采集的视频流数据；S2.对视频流数据的视频图像帧进行目标检测，获得目标类别和检测框位置信息；S3.对检测到的目标与跟踪列表进行目标匹配和滤波跟踪，以平滑检测框位置和形状并获取稳定跟踪目标列表；S4.将稳定跟踪目标列表进行可视化显示，并把静止的海上目标位置信息存入数据库，用户从稳定跟踪目标列表或静止目标数据库中选择跟踪目标；S5.获取用户选择的跟踪目标，并控制云台摄像头对准目标进行跟踪；本发明专利技术有助于解决图像目标检测结果出现断续等不稳定现象的问题，增强目标检测算法稳定性，减少云台跟踪误差，提升人机交互效果。提升人机交互效果。提升人机交互效果。

【技术实现步骤摘要】
一种针对海上目标的云台摄像头跟踪方法


[0001]本专利技术涉及目标跟踪
，更具体的说是涉及一种针对海上目标的云台摄像头跟踪方法。

技术介绍

[0002]近年来，随着物联网和人工智能的发展，船舶智能化程度也得到提高，其中，云台摄像头在船舶智能化中担任重要的角色，能为船长提供船舶周围的图像信息，辅助船长进行操控。
[0003]目前，相关技术中，有采用目标检测后直接开环控制云台跟踪的方法，但存在检测效果不稳定、跟踪效果差的问题，或者没有提供用户选择跟踪目标的界面，人机交互效果较差，且没有考虑特殊海上目标，如辅助船舶靠泊的趸船目标的处理手段。
[0004]因此，如何提供一种针对海上目标的云台摄像头跟踪方法来提升目标检测稳定性和跟踪效果，并且提升人机交互效果来提高云台跟踪的速度与精度是本领域技术人员亟需解决的问题。

技术实现思路

[0005]有鉴于此，本专利技术提供了一种针对海上目标的云台摄像头跟踪方法，以解决
技术介绍
中提到的问题。
[0006]为了实现上述目的，本专利技术采用如下技术方案：
[0007]一种针对海上目标的云台摄像头跟踪方法，包括以下步骤：
[0008]S1.获取云台摄像头采集的视频流数据；
[0009]S2.对视频流数据的视频图像帧进行目标检测，获得目标类别和检测框位置信息；
[0010]S3.对检测到的目标与跟踪列表进行目标匹配和滤波跟踪，以平滑检测框位置和形状并获取稳定跟踪目标列表；
[0011]S4.将稳定跟踪目标列表进行可视化显示，并把静止的海上目标位置存入数据库，用户从稳定跟踪目标列表或静止目标数据库中选择跟踪目标；
[0012]S5.获取用户选择的跟踪目标，并控制云台摄像头对准目标进行跟踪。
[0013]优选的，S3的具体内容包括：
[0014]S3.1对当前帧检测到的图像目标(b
′
i
∈Δ，i＝1,2,...,n
Λ
)与当前跟踪的目标列表(b∈T,i＝1,2,...,n
T
)采用匈牙利算法进行匹配；
[0015]对于当前帧检测到的第i个检测目标和第j个跟踪目标，使用匹配距离评分d(b
′
i
,b
j
)作为匈牙利算法的匹配评分标准：
[0016]d(b
′
i
,b
j
)＝d
iou
(b
′
i
,b
j
)+d
Mahalanobis
(b
′
i
,b
j
)+d
pixel
(b
′
i
,b
j
)
[0017]式中，d
IOU
(b
′
i
,b
j
)为IOU距离，d
M
(b
′
i
,b
j
)为检测框状态变量之间的马氏距离，d
pixel
(b
′
i
,b
j
)为检测框像素距离，匹配距离评分d(b
′
i
,b
j
)越小，表明目标b
′
i
,b
j
之间越近似。
[0018]优选的，IOU距离d
IOU
(b
′
i
,b
j
)具体为：
[0019][0020]式中，A和B分别为目标b
′
i
,b
j
对应的图像检测框；
[0021]马氏距离d
M
(b
′
i
,b
j
)具体为：
[0022][0023]式中，权值矩阵S
j
为以卡尔曼滤波器预测得到的在当前时刻观测空间的协方差矩阵，新检测框b
′
i
的状态变量可表示为：x,y为检测框左上角的像素坐标，r为检测框的宽高比，h为检测框的高；
[0024]检测框像素距离d
pixel
(b
′
i
,b
j
)具体为：
[0025][0026]式中，p
′
,p分别为两个检测框中的像素灰度值。
[0027]优选的，S3的具体内容还包括：
[0028]S3.2根据实际情况设定匹配距离评分d(b
′
i
,b
j
)的阈值，对当前帧的所有检测框集合Δ，与跟踪目标列表T进行匈牙利匹配，匹配完成后，设得到n对匹配目标，则可表示为(b1,b
′1),(b2,b
′2),...,(b
n
,b
′
n
)，对于跟踪列表T内剩余的未成功匹配目标，其跟踪失败次数N
failed
＝N
failed
+1，根据实际情况设置跟踪失败次数的阈值，当N
failed
大于所述跟踪失败次数的阈值时，将其从跟踪列表T中删除，使跟踪列表T中只存储稳定跟踪的目标；
[0029]S3.3以当前帧匹配成功的图像目标b
′1,b
′2,...,b
′
n
作为观测，对图像目标进行卡尔曼滤波跟踪，以平滑检测框大小、位置。
[0030]优选的，S3.3的具体内容包括：
[0031]检测框的状态观测方程为：
[0032][0033]式中，检测框的状态变量x,y为检测框左上角的像素坐标，r为检测框的宽高比，h为检测框的高，则为对时间的导数，ω
k
,n
k
分别为状态量和观测量的噪声，服从零均值高斯分布，即ω
k
∈(0,Q
k
),n
k
∈(0,R
k
)，海上目标的运动可近似看成匀速直线运动，则状态转移矩阵A
k
‑1为：
[0034][0035]式中，Δt
k
‑
1,k
为k
‑
1时刻和k时刻的时间差；
[0036]状态观测矩阵C
k
为8
×
8大小的单位矩阵：
[0037]C
k
＝diag(8,8)
[0038]卡尔曼滤波器包括预测和更新：
[0039]预测：
[0040][0041]更新：
[0042][0043]经过卡尔曼滤波，为检测框滤波估计后的状态值。
[0044]优选的，所述静止的海上目标的位置信息通过云台激光测距获取。
[0045]优选的，S5的具体内容为：
[0046本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种针对海上目标的云台摄像头跟踪方法，其特征在于，包括以下步骤：S1.获取云台摄像头采集的视频流数据；S2.对所述视频流数据的视频图像帧进行目标检测，获得目标类别和位置信息；S3.根据所述目标类别和位置信息，对检测到的目标与跟踪列表进行目标匹配和滤波跟踪，获取稳定跟踪目标列表：计算检测到的目标与跟踪列表的匹配距离评分，设定阈值并根据匹配距离评分和阈值进行目标匹配，对匹配成功的目标进行滤波跟踪并获取稳定跟踪目标列表；S4.将所述稳定跟踪目标列表进行可视化显示，并把静止的海上目标位置信息存入数据库，用户从稳定跟踪目标列表或静止目标数据库中选择跟踪目标；S5.获取用户选择的跟踪目标，并控制云台摄像头对准目标进行跟踪。2.根据权利要求1所述的一种针对海上目标的云台摄像头跟踪方法，其特征在于，S3的具体内容包括：S3.1对当前帧检测到的图像目标b
′
i
∈Δ，i＝1,2,...,n
Λ
与当前跟踪的目标列表b∈T,i＝1,2,...,n
T
用匈牙利算法进行匹配；对于当前帧检测到的第i个检测目标和第j个跟踪目标，使用匹配距离评分d(b
′
i
,b
j
)作为匈牙利算法的匹配评分标准：d(b
′
i
,b
j
)＝d
iou
(b
′
i
,b
j
)+d
Mahalanobis
(b
′
i
,b
j
)+d
pixel
(b
′
i
,b
j
)式中，d
IOU
(b
′
i
,b
j
)为IOU距离，d
M
(b
′
i
,b
j
)为检测框状态变量之间的马氏距离，d
pixel
(b
′
i
,b
j
)为检测框像素距离，匹配距离评分d(b
′
i
,b
j
)越小，表明目标b
′
i
,b
j
之间越近似。3.根据权利要求2所述的一种针对海上目标的云台摄像头跟踪方法，其特征在于，所述IOU距离d
IOU
(b
′
i
,b
j
)具体为：式中，A和B分别为目标b
′
i
,b
j
对应的图像检测框；所述马氏距离d
M
(b
′
i
,b
j
)具体为：式中，权值矩阵S
j
为以卡尔曼滤波器预测得到的在当前时刻观测空间的协方差矩阵，新检测框b
′
i
的状态变...

【专利技术属性】
技术研发人员：韦一，孟凡彬，张妙藏，
申请(专利权)人：中国船舶重工集团公司第七零七研究所九江分部，
类型：发明
国别省市：