当前位置: 首页 > 专利查询>东南大学专利>正文

自适应水面高程变化的船舶轨迹识别与世界坐标转换方法技术

技术编号:39513941 阅读:10 留言:0更新日期:2023-11-25 18:50
本发明专利技术涉及一种自适应水面高程变化的船舶轨迹识别与世界坐标转换方法,利用计算机视觉方法检测监控视频中的船舶,利用水面高程监测传感器得到当前水面高程,通过标定的三维世界坐标和像素坐标的空间转换关系,实现内河航道的船舶检测与跟踪,自适应季节性水面高程变化调整船舶像素坐标逆投影至世界坐标的轨迹点,具有准确

【技术实现步骤摘要】
自适应水面高程变化的船舶轨迹识别与世界坐标转换方法


[0001]本专利技术涉及一种自适应水面高程变化的船舶轨迹识别与世界坐标转换方法,属于内河航道船舶交通监测领域


技术介绍

[0002]水运因其载量大

生态友好的特点已成为国内和国际贸易的主要运输形式;然而船船相撞

船桥碰撞

船舶搁浅等事故日益频繁,对航行安全和河流生态保护构成严重威胁

主动防撞方法通过对具有高碰撞风险的船舶提供预警,可以显著降低船舶碰撞和搁浅的概率,而船舶目标检测是这些主动防撞方法的核心任务之一

[0003]近年来,随着计算机视觉算法的快速发展,相比合成孔径雷达
(SAR)
和船舶自动识别系统
(AIS)
,基于视频监控的手段因其设备成本低

分辨率高的优点,在内河船舶检测和主动防撞系统中具有很大的应用潜力

在计算机视觉算法的应用过程中,双目或多目相机是定位三维目标的常用设备,但是布设双目相机的价格和时间成本较高,在实际工程中不易推广,而由于缺乏深度信息,单目相机在识别三维目标时也受到限制

由于水面平坦,可以似看作一个平面,通过选取并测量水面上一些点在水平面和图像平面的坐标建立两平面转换的单应性变换矩阵,将船舶的轨迹从图像平面映射到水平面

然而,由于水面高程随季节变化,水面上各点的世界坐标可能会发生偏移,或是有时由于无法接近水面而限制了所需点的世界坐标测量

[0004]因此亟需设计一种新的转换方法,克服现场测量的局限性,实现内河航道的船舶检测与跟踪


技术实现思路

[0005]本专利技术提供一种自适应水面高程变化的船舶轨迹识别与世界坐标转换方法,克服了现场测量的局限性,实现内河航道的船舶检测与跟踪,自适应季节性水面高程变化调整船舶像素坐标逆投影至世界坐标的轨迹点

[0006]本专利技术解决其技术问题所采用的技术方案是:
[0007]自适应水面高程变化的船舶轨迹识别与世界坐标转换方法,具体包括以下步骤:
[0008]步骤
S1
:在监控内河的岸边架设安装视频监控设备,获取监控内河船舶的视频;
[0009]步骤
S2
:采用标定板对视频监控设备进行相机内参标定,获取视频监控设备内参其中
f
x
、f
y
为视频监控设备的像素焦距,
c
x
、c
y
为视频监控设备坐标系原点在像素坐标系下的坐标;
[0010]步骤
S3
:基于步骤
S1
安装的视频监控设备,选取视频监控设备视野内可见的若干不动点,测量若干不动点在世界坐标系内的坐标以及若干不动点反映在视频像素坐标系内的坐标,其中,世界坐标系内采用
P
w
(X
w

Y
w

Z
w
)
表示,视频像素坐标系内采用
P
p
(u

v)
表示,规
定世界坐标系中
X
w
Y
w
平面平行于水平面,坐标轴
Z
w
垂直于水平面;
[0011]基于获取的上述若干不动点的世界坐标系坐标和像素坐标系坐标,采用
PnP
算法以及随机样本一致性方法计算视频监控设备的外参
[R T],即代表视频监控设备的旋转矩阵和代表视频监控设备的平移矩阵其中
r
ij
为旋转系数,
t
n
为平移系数;
[0012]步骤
S4
:在监控内河的水域内安装水面高程监测传感器,基于步骤
S3
中确立的世界坐标系得到水面高程其中表示水面高程在世界坐标系中
Z
w
轴的坐标值;
[0013]步骤
S5
:通过基于深度学习的目标检测和多目标跟踪的计算机视觉算法得到视频内船舶目标在像素坐标系内的边界框,边界框左上角坐标为
(x1,
y1)
,宽度为
w
,高度为
h
,将
(x1+1/2w

y1+3/4h)
作为船舶的轨迹像素坐标
P
p
(u

v)
,即以边界框横向中点和纵向下四分之一点为船舶航行轨迹位置;
[0014]步骤
S6
:基于步骤
S4
计算获得的水面高程
E、
步骤
S3
获得的外参标定
[R T]以及步骤
S5
获得的像素坐标
P
p
(u

v)
,通过逆投影计算监控内河中船舶的世界坐标;
[0015]作为本专利技术的进一步优选,步骤
S1
中所述视频监控设备为单目相机;
[0016]作为本专利技术的进一步优选,步骤
S5
中得到视频内船舶目标在像素坐标系内的边界框的具体步骤为:
[0017]步骤
S51
:由监控内河船舶的视频中提取部分帧作为训练数据集,使用边界框标记图像所有船舶,形成标记后的数据集;
[0018]步骤
S52
:将步骤
S51
获得的标记后的数据集加载至船舶目标检测和多目标跟踪深度学习模型中对模型进行训练;
[0019]步骤
S53
:将步骤
S1
获取监控内河船舶的视频加载至步骤
S52
中训练后的模型中,进行检测与跟踪;
[0020]作为本专利技术的进一步优选,步骤
S6
中逆投影计算公式由像素坐标以及世界坐标的转换公式推导得到,即
[0021][0022]其中
Z
c
为相机坐标系的
Z
坐标,公式
(1)
展开为
[0023][0024]令公式
(2)
可被重新组织为
[0025][0026]公式
(3)
中的所有的参数
c
ij
均已通过步骤
S2
内参标定和步骤
S3
外参标定得到,像素坐标
u

v
为步骤
S5
中识别的船舶轨迹点,此时
Z
w
即水面高程
E
,已通过步骤
S4
得到

[0027]通过以上技术方案,相对于现有技术,本专利技术具有以下有本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.
自适应水面高程变化的船舶轨迹识别与世界坐标转换方法,其特征在于:具体包括以下步骤:步骤
S1
:在监控内河的岸边架设安装视频监控设备,获取监控内河船舶的视频;步骤
S2
:采用标定板对视频监控设备进行相机内参标定,获取视频监控设备内参其中
f
x
、f
y
为视频监控设备的像素焦距,
c
x
、c
y
为视频监控设备坐标系原点在像素坐标系下的坐标;步骤
S3
:基于步骤
S1
安装的视频监控设备,选取视频监控设备视野内可见的若干不动点,测量若干不动点在世界坐标系内的坐标以及若干不动点反映在视频像素坐标系内的坐标,其中,世界坐标系内采用
P
w
(X
w

Y
w

Z
w
)
表示,视频像素坐标系内采用
P
p
(u

v)
表示,规定世界坐标系中
X
w
Y
w
平面平行于水平面,坐标轴
Z
w
垂直于水平面;基于获取的上述若干不动点的世界坐标系坐标和像素坐标系坐标,采用
PnP
算法以及随机样本一致性方法计算视频监控设备的外参
[R T]
,即代表视频监控设备的旋转矩阵和代表视频监控设备的平移矩阵其中
r
ij
为旋转系数,
t
n
为平移系数;步骤
S4
:在监控内河的水域内安装水面高程监测传感器,基于步骤
S3
中确立的世界坐标系得到水面高程其中表示水面高程在世界坐标系中
Z
w
轴的坐标值;步骤
S5
:通过基于深度学习的目标检测和多目标跟踪的计算机视觉算法得到视频内船舶目标在像素坐标系内的边界框,边界框左上角坐标为
(x1,
y1)
,宽度为
w
,高度为
h
,将
(x1+1/2w

y1+3/4h)
作为船舶的轨迹像素坐标
P
p

【专利技术属性】
技术研发人员:刘艳强员建斌李晓燕宋曰建王峰秦伟杨站强杨荣清刘吉祥朱文龙段亮亮师哲博苏燕东韩怡天冯东明
申请(专利权)人:东南大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1