桥梁区域通航船舶三维几何尺寸辨识方法技术

本发明专利技术提出了一种桥梁区域通航船舶三维几何尺寸辨识方法，如下：在桥梁通航跨梁底跨中部位设置摄像机以采集通航船舶图像信息，根据辨识距离要求在距离摄像机平面合理位置的航道两侧设置标定浮筒；利用采集到的通航船舶图像制作船舶检测数据集并使用深度卷积网络训练船舶检测器以获取船舶粗略位置，结合形态学运算和轮廓提取技术获取船舶精确轮廓；使用射影变换方程对通航船舶所在空间进行建模，确定船舶三维几何尺寸同图像中船舶轮廓的转换关系，从而计算出通航船舶的三维几何尺寸。本方法实现了使用一个摄像头就可以精确计算通航船舶的三维几何尺寸，降低设备成本的同时保证了尺寸辨识的精度。证了尺寸辨识的精度。证了尺寸辨识的精度。

【技术实现步骤摘要】
桥梁区域通航船舶三维几何尺寸辨识方法


[0001]本专利技术涉及桥梁工程健康监测领域，具体涉及一种桥梁区域通航船舶三维几何尺寸辨识方法。

技术介绍

[0002]桥梁是交通运输大动脉中的咽喉。近年来，桥梁建设步入高潮，愈来愈多的建成桥梁服役，为提高我国交通运输效率、拉动我国经济快速增长起到了不可忽视的作用。同样，航运随着经济社会的发展，也愈来愈繁荣。随着桥梁的增加以及航运船舶密度的提升，船撞桥事故发生的频率也愈来愈高。经不完全统计，自1959年至2011年，造成人员伤亡和重大财产损失的严重船撞桥事故发生了超过140余起，其中国内发生超过40余起，而2011年以来，发生频率更是大幅度增加。船撞桥虽然是偶然事件，但是一旦发生，不论是对桥梁正常运营还是对于船舶自身安全，都是巨大的威胁，现有措施为在桥梁关键区域如桥墩上方以及主梁下方安装摄像头，通过人工监控的方式来进行船舶撞击桥梁的预警，极大程度地缓解了船撞桥的巨大矛盾。然而，人工监控存在两个不可避免的弱点，一是视觉疲劳，人类集中注意力观察事物会迅速产生视觉疲劳，而视觉疲劳又会极大降低判断的准确性；二是无法克服个体主观性影响，不同技术基础和工作经验的人对于船撞桥的风险评判标准不一。
[0003]目前随着传感技术的发展，许多学者尝试解决桥梁区域船舶识别的问题，然而这些方法存在两个问题，一是设备昂贵，而且信号直观性不强；二是大多研究将通航船舶看做一个点，无法实时获取船舶的三维几何尺寸。如何针对现有研究存在的问题提出一个鲁棒性强的可精准辨识船舶三维几何尺寸的方法，为桥梁区域防船撞提供一个自动化智能化的解决方案，是一个亟待研究的问题。

技术实现思路

[0004]基于以上不足之处，本专利技术的目的是提供一种桥梁区域通航船舶三维几何尺寸辨识方法，解决了现有桥区通航船舶辨识所需设备昂贵、计算代价大的问题。
[0005]本专利技术所采用的技术如下：一种桥梁区域通航船舶三维几何尺寸辨识方法，如下：
[0006]在桥梁通航跨梁底跨中部位设置摄像机以采集通航船舶图像信息，摄像机设置方法：摄像机镜头平面面向航道，镜头平面向下倾斜，倾斜角度为：
[0007][0008]其中，H为摄像头镜头到水面的高度，R是辨识要求距离，
[0009]根据辨识要求距离在距离摄像机平面合理位置的航道两侧各设置两个标定浮筒，辨识要求距离为桥梁等级和通航要求以确定的最小警戒距离，以此距离开始对通航船舶进行辨识；
[0010]摄像机采集各类通航船舶的图片并使用人工标注工具进行船舶的标注，制作数据集；
[0011]使用数据增广的方法进行数据集船舶图像的扩增，然后分为训练集和测试集；
[0012]基于深度卷积神经网络构建船舶检测器，并使用训练集进行网络训练，使用测试集进行测试达到测试精度要求后将网络权重加以保存；
[0013]使用摄像机进行视频采集，在视频的第一帧人工标注出标定浮筒的像素坐标值，航道每侧的两个浮筒像素坐标确定一条像素直线即航道边界的像素位置，两条航道边界的像素直线合围部分即对应真实航道部分；
[0014]利用船舶检测器加载网络权重，对摄像机采集到的航道部分进行检测以获取船舶粗略位置，将粗略位置采取外包矩形框的形式进行船舶位置描述；
[0015]将检测到的船舶粗略位置从航道部分图像中单独裁剪出来后，进行形态学运算以填补船舶部分的空洞，而后使用轮廓提取技术以获取船舶的精确轮廓；
[0016]使用射影变换方程对通航船舶所在空间进行建模，建模方法如公式(2)：
[0017][0018]其中，r和R分别是摄像机的等效焦距和标定浮筒到摄像机的水平距离，W
c
和d1分别是航道的实际宽度以及航道在图像中的像素宽度，
[0019]确定船舶三维几何尺寸同图像中船舶轮廓的转换关系，
[0020]船舶实际宽度W
s
：
[0021][0022]其中，d
1s
是船首行驶到辨识要求距离R处的图像中的像素宽度；
[0023]船舶实际长度L
s
和高度H
s
：
[0024][0025]其中，R
’
是当船尾行驶到辨识要求距离R处船首距离摄像机的水平距离，h
2s
和d
2s
分别是船首位于R
’
处船舶在图像中的像素高度和像素宽度，R
’
由以下公式计算得到：
[0026][0027]从而计算出通航船舶的三维几何尺寸。
[0028]其中，对数据集进行的数据增广方法包括：对桥梁区域实际光照变化进行图片亮度随机变换、图片雾化处理及雨化处理，所述的图片亮度随机变换按照公式(6)进行：
[0029]Y＝0.299
×
R
×
(1+randr％)+0.587
×
G
×
(1+randg％)+0.114
×
B
×
(1+randb％)
ꢀꢀꢀꢀꢀ
(6)
[0030]其中，Y是图片像素的亮度，R、G、B分别是图像像素的红绿蓝颜色分量，randr、randg、randb分别是红绿蓝颜色随机扰动分量，是介于
‑
100到100的随机整数；
[0031]所述的图片雾化及雨化处理使用基于深度卷积神经网络的去雾去雨方法的反变换网络，在准备变换图像对时按照雾化及雨化的程度不同分别准备5级，即1级雾化
‑
5级雾化，1级雨化
‑
5级雨化，并对反变换网络进行训练从而得到一个雾化模型和一个雨化模型，
数据增广时，对图像采取联合变换，即同时对图像进行亮度随机变换、等级随机雾化和雨化处理。
[0032]其中，基于深度卷积神经网络构建船舶检测器的方法如下：包括船舶检测器包括船舶多尺度特征生成模块、船舶参考框生成模块、船舶特征融合模块和船舶分类回归模块，
[0033]所述的船舶多尺度特征生成模块由六次卷积操作构成，每次卷积操作包括卷积运算、激活运算、批归一化运算及随机失活运算，从而形成六个不同尺度的船舶特征图；
[0034]所述的船舶参考框生成模块由船舶外包矩形框中心点坐标生成和矩形框宽高生成构成，其中中心点坐标采用六个不同尺度的船舶特征图的像素坐标值生成，矩形框宽高采用多尺度特征图的尺寸按比例确定；
[0035]所述的船舶特征融合模块由船舶多尺度特征生成模块生成的六个不同尺度的船舶特征图的最后一级进行上采样后与第五、四、三级的特征图进行点对点相加后生成；所述的船舶分类回归模块分为船舶种类分类和船舶外包矩形框参数回归，根据桥区常见船舶，种类分为采砂船、集装箱船、散货船、客船四类，矩形框参数回归过程包括对中心点坐标以及宽高四个参数进行编码运算后参与网络训练和测试，之后进行解码恢复矩形框的操作。
[0036]其中，对船舶粗略位置进行形态学运算及轮廓提取的方法如下本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种桥梁区域通航船舶三维几何尺寸辨识方法，其特征在于，方法如下：在桥梁通航跨梁底跨中部位设置摄像机以采集通航船舶图像信息，摄像机设置方法：摄像机镜头平面面向航道，镜头平面向下倾斜，倾斜角度为：其中，H为摄像头镜头到水面的高度，R是辨识要求距离，根据辨识要求距离在距离摄像机平面合理位置的航道两侧各设置两个标定浮筒，辨识要求距离为桥梁等级和通航要求以确定的最小警戒距离，以此距离开始对通航船舶进行辨识；摄像机采集各类通航船舶的图片并使用人工标注工具进行船舶的标注，制作数据集；使用数据增广的方法进行数据集船舶图像的扩增，然后分为训练集和测试集；基于深度卷积神经网络构建船舶检测器，并使用训练集进行网络训练，使用测试集进行测试达到测试精度要求后将网络权重加以保存；使用摄像机进行视频采集，在视频的第一帧人工标注出标定浮筒的像素坐标值，航道每侧的两个浮筒像素坐标确定一条像素直线即航道边界的像素位置，两条航道边界的像素直线合围部分即对应真实航道部分；利用船舶检测器加载网络权重，对摄像机采集到的航道部分进行检测以获取船舶粗略位置，将粗略位置采取外包矩形框的形式进行船舶位置描述；将检测到的船舶粗略位置从航道部分图像中单独裁剪出来后，进行形态学运算以填补船舶部分的空洞，而后使用轮廓提取技术以获取船舶的精确轮廓；使用射影变换方程对通航船舶所在空间进行建模，建模方法如公式(2)：其中，r和R分别是摄像机的等效焦距和标定浮筒到摄像机的水平距离，W
c
和d1分别是航道的实际宽度以及航道在图像中的像素宽度，确定船舶三维几何尺寸同图像中船舶轮廓的转换关系，船舶实际宽度W
s
：其中，d
1s
是船首行驶到辨识要求距离R处的图像中的像素宽度；船舶实际长度L
s
和高度H
s
：其中，R
’
是当船尾行驶到辨识要求距离R处船首距离摄像机的水平距离，h
2s
和d
2s
分别是船首位于R
’
处船舶在图像中的像素高度和像素宽度，R
’
由以下公式计算得到：
从而计算出通航船舶的三维几何尺寸。2.根据权利要求1所述的一种桥梁区域通航船舶三维几何尺寸辨识方法，其特征在于，对数据集进行的数据增广方法包括：对桥梁区域实际光照变化进行图片亮度随机变换、图片雾化处理及雨化处理，所述的图片亮度随机变换按照公式(6)进行：Y＝0.299
×
R
×
(1+randr％)+0.587
×
G

【专利技术属性】
技术研发人员：李顺龙，郭亚朋，徐阳，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：