一种船用激光雷达与视频联合目标捕捉方法技术

本发明专利技术公开了一种船用激光雷达与视频联合目标捕捉方法，通过激光雷达配合摄像机视频信息，做到对船舶周围水上目标的自动识别和定位。本方法具体为：激光雷达记录目标船舶在水面以上的点云数据，视频设备记录目标船舶的视频信息。然后，通过数据处理中心，由视频信息可以得到目标船舶的类型、载货类型等细节信息，由激光雷达可以得到目标船舶精准的空间位置信息。最后将激光雷达信息与视频信息进行时空上的融合，形成实时显示的融合了激光雷达信息的视频信息来服务于水上交通导航和管理。本发明专利技术提高了船舶识别效率和准确度，可以确保水上交通运输的通航安全和航运效率。交通运输的通航安全和航运效率。交通运输的通航安全和航运效率。

【技术实现步骤摘要】
一种船用激光雷达与视频联合目标捕捉方法


[0001]本专利技术涉及目标识别领域，具体涉及一种服务于船舶导航或管理的，以激光雷达配合摄像机视频信息对水上目标进行识别的船用激光雷达与视频联合目标捕捉方法。

技术介绍

[0002]随着水路运输迅速发展，船舶目标识别已成为水上交通部门的一项挑战性工作。目前的主要监测手段是船舶自动识别系统(Automatic Identification System，AIS)与岸基雷达，但是AIS存在主观错误信息，而雷达目标存在信息缺失等，给管理和导航带来困难。因此，海事主管部门在船上和岸基都布置了大量的摄像头对现有的AIS和雷达进行信息补充，但是视频监控利用率普遍比较低，主要原因是需要人工进行观察，耗费大量人力。如果摄像头具备船舶目标的捕获与跟踪能力，将极大改善上述问题。视觉监控方面的专项技术，经历了由传统到现代、由人工识别到机器自主识别的转变。然而这些常见视觉识别技术直接应用于船舶领域，仍有一些问题。首先，这些方法都基于人为设计的目标特征，这样工作量大而且识别效果不好。然后，受摄像头安装距离、位置、方位等的限制，现有摄像头采集的船舶视频质量往往清晰度不足、分辨率不够，传统方法难以提高识别的成功率。此外，由于船舶目标具有形状细长、多个目标排列紧凑等特点，应用传统的目标检测框架也易出现漏检、误检等问题。最后，传统的图像检测受光线变化影响大，在夜晚或者恶劣天气条件下会失去识别效果。
[0003]近几年来，随着深度学习在计算机视觉、图像处理以及遥感信息处理领域的应用，目标检测识别、图像语义分割等应用取得了巨大突破，另一方面，激光感知技术也得到了突破性的进步，激光雷达采集到的三维信息不需要接触到被测物体就能快速获取信息，不受时间限制，扫描速度快、实时性强、精度高并且全数字化。视频本质上是二维点阵信息，其中包含了船舶丰富的细节信息，包括载货类型、形态等，基于深度视觉可以获得精准的类型信息；激光雷达则是三维坐标信息，尽管丢失了大量的颜色细节，但其中又包含了精确的空间位置信息、轮廓信息。如果将两类信息进行有效融合，将会对导航、管理提供重要的支撑。

技术实现思路

[0004]本专利技术主要是解决现有技术所存在的受光线影响大、信息不全、容易发生误识别等的技术问题，提供一种精度高、信息全面、识别速度快的船用激光雷达与视频联合目标捕捉方法。
[0005]本专利技术针对上述技术问题主要是通过下述技术方案得以解决的：一种船用激光雷达与视频联合目标捕捉方法，包括以下步骤：
[0006]S1、对激光雷达和摄像头进行联合标定；
[0007]S2、基于摄像头采集的RGB图像对目标船舶进行识别与分割；
[0008]S3、计算目标船舶的中心(x1,y1)；
[0009]S4、去除激光雷达采集到的点云图的噪声；
[0010]S5、将点云图与RGB图像进行融合，具体包括单帧空间融合和多帧融合，单帧空间融合为：
[0011]S501、基于步骤S2的结果通过联合标定获得目标船舶这个同一对象的激光点云信息；
[0012]S502、找到目标船舶中心对应的激光点云像素点空间位置记为M(x2,y2,z2)；确定M时可以使用激光点云处理算法库PCL的segmentation子集中的欧式空间分割法或其他方法；
[0013]S503、根据激光雷达信息获得目标船舶至本船的距离；
[0014]多帧融合为：
[0015]S504、计算M点的视频横向估算坐标M
’
(x
’
,y
’
)，计算公式如下：
[0016]x
’
＝(arctan((y2
‑
y1)/(x2
‑
x1))
‑
α)/β
×
wid/2+(wid/2)
[0017]y
’
＝logb(((y2
‑
y1)
×
(y2
‑
y1)+(x2
‑
x1)
×
(x2
‑
x1))^(1/2)/k)
[0018]式中，wid为视频分辨率，α为摄像头中心指向位，β为摄像头横向视域范围，摄像头横向摆置，b和k为常数，由现场数值标定获得；
[0019]数据融合中心会依次对发送回的视频信息和激光信息进行预处理，使实时传输回来的数据符合监管人员的观感需要，数据融合中心在视频和多帧激光图像中，选取数据样本中的位移和方向两个特征值作为相对独立的证据；
[0020]S505、将M
’
和距离信息融合到视频中，获得目标船舶的位置信息。
[0021]数据融合中心采用双线性插值做到对同一时刻的多源数据格式的统一。
[0022]本方案基于一种船用激光雷达与视频联合目标捕捉系统，所述系统包括传感器系统、数据处理中心、数据融合中心和终端控制部分。
[0023]传感器系统集成在船尾，定点安装于船桥上，其包括视频设备和激光雷达。视频设备可以利用摄像头和数传天线实时传输图像到终端控制部分，从而将真实可靠的视觉信息完整提取给驾驶人员。激光雷达是利用激光雷达发射激光束并接受反射光的方式测量周围环境是否有物体阻挡，可以快速、准确的获得目标的三维坐标并形成三维点云。
[0024]数据处理中心包括两个模块：视频信息处理模块和激光雷达数据处理模块。前者用于将船载摄像机的光学信号转变为图像模拟电信号，提取船舶的特征和类型；后者同时提取激光雷达采集的空间位置信息。
[0025]数据融合中心是将视觉目标和激光雷达目标进行空间和时间上的融合。
[0026]终端控制部分包括显示屏、三色指示灯、功能按键组和VHF甚高频对讲机；显示屏用来显示实时视频信息，三色指示灯用来指示该系统的工作状态，功能按键组用来接收监管人员对摄像机的控制指令，VHF甚高频对讲机用来进行实时交通指挥。
[0027]通常，上述传感器系统、数据处理中心和数据融合中心，通过光纤传输各个子设备之间的数据；视频设备和激光雷达作为整个系统正常工作的信息源，为视频分析、距离测量、数据融合提供源数据。有船舶进入该监控区域时，激光雷达采集三维点云图，视频设备采集视频信息。
[0028]在数据处理和数据融合之前需要做一些标定工作。本系统的数据融合是为了解决单一传感器的局限性，为了提高系统稳健性，融合包含不同传感器的时间同步和空间同步。本系统采取激光雷达和摄像头的联合标定来完成空间同步。基本原理是用激光雷达扫描棋
盘图，再用摄像头拍摄相应图像，找到摄像头形成的二维RGB图像像素与相应激光点的映射关系，再用标定好的激光雷达和视频设备采集数据。
[0029]作为优选，所述步骤S2中，在对目标船舶进行识别与分割之前，先对深度视觉模型进行训练，深度视觉模型为Mask RCNN模型，模型输出包括三个分支，分别是目标船舶的具体类型、目标船舶的包围框的像素坐标和目标船舶的形本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种船用激光雷达与视频联合目标捕捉方法，其特征在于，包括以下步骤：S1、对激光雷达和摄像头进行联合标定；S2、基于摄像头采集的RGB图像对目标船舶进行识别与分割；S3、计算目标船舶的中心(x1,y1)；S4、去除激光雷达采集到的点云图的噪声；S5、将点云图与RGB图像进行融合，具体包括单帧空间融合和多帧融合，单帧空间融合为：S501、基于步骤S2的结果通过联合标定获得目标船舶这个同一对象的激光点云信息；S502、找到目标船舶中心对应的激光点云像素点空间位置记为M(x2,y2，z2)；S503、根据激光雷达信息获得目标船舶至本船的距离；多帧融合为：S504、计算M点的视频横向估算坐标M
’
(x
’
,y
’
)，计算公式如下：x
’
＝(arctan((y2
‑
y1)/(x2
‑
x1))
‑
α)/β
×
wid/2+(wid/2)y
’
＝logb(((y2
‑
y1)
×
(y2
‑
y1)+(x2
‑
x1)
×
(x2
‑
x1))^(1/2)/k)式中，wid为视频分辨率，α为摄像头中心指向位，β为摄像头横向视域范围，摄像头横向摆置，b和k为常数，由现场数值标定获得；S505、将M
’
和距离信息融合到视频中，获得目标船舶的位置信息。2.根据权利要求1所述的一种船用激光雷达与视频联合目标捕捉方法，其特征在于，所述步骤S2中，在对目标船舶进行识别与分割之前，先对深度视觉模型进行训练，深度视觉模型为Mask RCNN模型，模型输出包括三个分支，分别是目标船舶的具体类型、目标船舶的包围框的像素坐标和目标船舶的形状掩码，训练过程如下：A1、通过通过Unity3D渲染和数据增强，得到给深度视觉模型进行迁移训练的船舶RGB图像，像素为1080*1080，并用VIA标注工具标注；A2、把船舶RG...

【专利技术属性】
技术研发人员：金钱菽，朱维平，沈旭峰，吴大鹏，史旭初，禇小斌，罗洋，马枫，
申请(专利权)人：杭州钱航船舶修造有限公司，
类型：发明
国别省市：