基于单目视觉的内河船舶干舷自动测量方法技术

本发明专利技术公开了一种基于单目视觉的内河船舶干舷测量方法。首先通过张正友标定法使用棋盘格对单目相机进行内参标定，获得相机的内部参数；通过相机拍摄船舶侧视图，根据船舶侧视图使用Deeplabv3+模型对船舶甲板线和吃水线之间部分进行分割；进而进行船舶甲板线和吃水线的检测，以此来确定船舶干舷位置，计算出船舶干舷像素高度；通过标定获得的相机内参实现像素高度到实际高度的转换，计算出船舶干舷真实值。本发明专利技术通过对相机自身参数进行建模，不依赖于消失点和消失线进行船舶干舷测量，作为船舶超载检测的基础，为内河船舶水上安全航行提供辅助。提供辅助。提供辅助。

【技术实现步骤摘要】
基于单目视觉的内河船舶干舷自动测量方法


[0001]本专利技术属于单目视觉测量领域，涉及船舶安全航行监测技术，实现了基于单目视觉的内河船舶干舷自动测量方法，为内河船舶水上安全航行提供帮助。

技术介绍

[0002]船舶超载是船舶航行中的主要问题，也是船舶发生事故的主要原因之一。当船舶超载航行时，船舶吃水增加，船舶干舷不足，在遇到紧急情况时存在很大的安全隐患，导致发生内河船舶碰撞事故。船舶在航行过程中通过测量船舶干舷，与船舶最小干舷进行比较，可以判断船舶是否超载。
[0003]目前存在的方法是基于激光或者基于双目视觉的船舶干舷测量。然而这些方法存在以下问题：(1)激光测量受环境影响较大，容易受到外界干扰，并且安装较为复杂。(2)双目视觉测量计算复杂度大，受深度影响大，深度增大时，测量精度降低。目前还没有较为完整的基于单目视觉的船舶干舷测量方法。
[0004]为了填补单目视觉方法的空缺，本专利技术使用单目视觉测量船舶干舷。根据单目相机内部参数进行建模，通过相机标定获得相机内部参数，通过语义分割将船舶甲板线和吃水线之间部分进行分割，计算船舶像素干舷，将船舶像素干舷转换为船舶实际干舷，实现船舶干舷测量。

技术实现思路

[0005]本专利技术解决的问题是针对现有研究中基于单目视觉的船舶干舷测量方法空缺问题，提供一种基于单目视觉的内河船舶干舷自动测量方法。本专利技术基于单目相机内参标定及语义分割，在语义分割的基础上，通过将图片进行网格划分，进行船舶甲板线和吃水线检测，进而进行船舶干舷测量。实现自动有效测量船舶干舷，实时测量船舶干舷，监控船舶在航行过程中是否超载，实现船舶安全航行。
[0006]本专利技术的技术方案主要包括如下步骤：
[0007]S1：通过对单目相机进行标定，得到相机的内部参数(f
x
、f
y
、u0、v0)；
[0008]S2：根据单目相机成像原理，即小孔成像模型，使用步骤S1中的相机内部参数进行建模，实现像素高度到实际高度的转换；
[0009]S3：通过采集船舶图片数据，对船舶图片数据进行标注，训练语义分割模型，实现对船舶甲板线和吃水线部分的分割；
[0010]S4：利用步骤S3得到的分割结果，进行甲板线和吃水线检测，并确定船舶干舷位置，计算船舶干舷像素高度；
[0011]S5：将上述步骤搭建成船舶干舷测量系统，实现自动化测量船舶干舷，并进行实验验证。
[0012]所述的步骤S1具体实现方法如下：
[0013]S1
‑
1：相机成像过程通过四个坐标系来确定，即世界坐标系(X
w
，Y
w
，Z
w
)、相机坐标
系(X
c
，Y
c
，Z
c
)、图像坐标系(x，y)和像素坐标系(u，v)。其中世界坐标系到相机坐标系的转换公式为：
[0014][0015]其中，R3×3表示3
×
3的旋转矩阵，T3×1表示3
×
1的平移矩阵。用于将世界坐标系转换为相机坐标系。相机坐标系到图像坐标系转换公式为：
[0016][0017]其中，f为相机焦距，z为相机坐标系到图像坐标系的深度，图像坐标系到像素坐标系转换公式为：
[0018][0019]其中，(u0，v0)为相机主点坐标，dx和dy表示感光芯片上像素的实际大小，其单位为毫米/每像素。通过上述公式转换，世界坐标系到像素坐标系的转换公式为：
[0020][0021]其中，M
in
为相机内参矩阵，其中f
x
、f
y
为图像在x轴和y轴方向上的焦距，M
out
为相机外参矩阵，相机内参矩阵是相机固有属性，不随相机的位置而改变；而相机外参矩阵随着相机的位置改变而发生改变。
[0022]S1
‑
2：基于步骤S1
‑
1给出的世界坐标系到像素坐标系的转换关系，设棋盘格标定板位于Z
c
＝0处，定义旋转矩阵R的第i列为r
i
，则转换关系如下：
[0023][0024]令，H＝M
in
[r
1 r
2 t]＝[h
1 h
2 h3]，H为单应性矩阵，其可以通过检测角点的世界坐标系到像素坐标系的关系进行求解。通过以下公式进行求解：
[0025]M
in
‑1[h
1 h
2 h3]＝λ[r
1 r
2 t][0026]r
1T
r2＝0
[0027][0028]此时,H是求解后获取的内参矩阵和外参矩阵的混合矩阵，其中λ是任意标量。定义B＝M
in
‑
T
M
in
‑1,此时B是对称矩阵，所以其有六个未知量，用b表示，其公式为：
[0029]b＝[B
11 B
12 B
22 B
13 B
23 B
33
][0030]设H中的第i列为h
i
，则h
i
＝[h
i1 h
i2 h
i3
]T
，根据b的性质，可以推导出如下公式：
[0031]h
iT
Bh
j
＝v
ijT
b
[0032]v
ij
＝[h
i1
h
j1 h
i1
h
j2
+h
i2
h
j1 h
i2
h
j2 h
i3
h
j1
+h
i1
h
j3 h
i3
h
j2
+h
i2
h
j3 h
i3
h
j3
]T
[0033]h
1T
M
in
‑
T
M
in
‑1h2＝0
[0034]h
1T
M
in
‑
T
M
in
‑1h1＝h
2T
M
in
‑
T
M
in
‑1h2[0035]使用上述公式，可以推导出如下公式：
[0036][0037]通过拍摄的n张图片，可以计算出上述的齐次方程，得到b的唯一解，进而可以求出B，通过cholesky分解，可以得到相机内参。
[0038]进一步的，所述的步骤S2具体实现方法如下：
[0039]S2
‑
1：通过步骤S1已经获得了相机参数，根据相机成像原理，相机成像时，其主点坐标为相本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于单目视觉的内河船舶干舷自动测量方法，其特征在于包括如下步骤：S1：通过对单目相机进行标定，得到相机的内部参数(f
x
、f
y
、u0、v0)；S2：根据单目相机成像原理，即小孔成像模型，使用步骤S1中的相机内部参数进行建模，实现像素高度到实际高度的转换；S3：通过采集船舶图片数据，对船舶图片数据进行标注，训练语义分割模型，实现对船舶甲板线和吃水线部分的分割；S4：利用步骤S3得到的分割结果，进行甲板线和吃水线检测，并确定船舶干舷位置，计算船舶干舷像素高度；S5：基于上述步骤搭建船舶干舷测量系统，实现自动化测量船舶干舷，并进行实验验证。2.根据权利要求1所述的基于单目视觉的内河船舶干舷自动测量方法，其特征在于所述的步骤S2具体实现方法如下：S2
‑
1：标定获取准确的相机内参；S2
‑
2：根据相机成像过程主点不变性进行建模，计算出相机高度在图像中的投影点，以此作为先验高度计算场景中其他物体的高度；S2
‑
3：通过计算出相机实际高度在图像中的投影点，测量相机距离参考平面的高度，通过以下公式计算目标物体高度，其计算公式为：其中，H
objp
为图像中的物体的像素高度，H
camp
为相机到参考平面的像素高度，H
objs
为物体的真实高度，H
cams
为相机到参考平面的真实高度；基于此公式，通过测量相机到参考平面的真实高度，即可实现像素高度到真实高度的转换。3.根据权利要求1或2所述的基于单目视觉的内河船舶干舷自动测量方法，其特征在于所述的步骤S3具体实现方法如下：S3
‑
1：首先通过相机采集船舶目标数据，使用标注软件对船舶甲板到水面部分进行标注；S3
‑
2：将采集的船舶目标数据按照相应的比例随机进行训练集与测试集划分；S3
‑
3：使用语义分割模型的预训练权重进行训练，加速网络的收敛，训练结束后，保留最优的权重；S3
‑
4：使用训练好的语义分割模型对采集的船...

【专利技术属性】
技术研发人员：曹九稳，刘华峰，刘德康，陈家贵，
申请(专利权)人：杭州志创科技有限公司，
类型：发明
国别省市：