一种基于立体视觉的全方向船舶防撞预警与导航系统技术方案

本发明专利技术公开一种基于立体视觉的全方向防撞预警与导航系统，属于图像处理及自动化技术领域。包括全景摄像装置；稳像系统；水面目标检测、立体视觉测距、防撞预警与导航数据处理系统；终端处理器；全景摄像装置用于采集海上视频图像及全景图像拼接，稳像系统用于机械稳像。水面目标检测、立体视觉测距、防撞预警与导航数据处理系统用于目标检测、测距、防撞预警与规避计算。终端处理器用于处理该系统中的数据计算及外部通讯。本发明专利技术应用多组普通摄像头及稳像云台可在海洋环境下对船舶进行全方向的防撞预警与导航，可适用于恶劣的海洋环境及各型号船只的不同任务。

A omni directional ship collision avoidance warning and navigation system based on stereo vision

The invention discloses a omni directional collision avoidance warning and navigation system based on stereoscopic vision, and belongs to the field of image processing and automation technology. It includes panoramic camera device, image stabilization system, water surface target detection, stereo vision ranging, collision warning and navigation data processing system, terminal processor, panoramic camera device for collecting video images and panoramic image stitching at sea, and image stabilization system for mechanical image stabilization. Surface target detection, stereo vision ranging, collision warning and navigation data processing system are used for target detection, ranging, collision warning and avoidance calculation. The terminal processor is used to process data calculation and external communication in the system. This invention can be used in the full direction of collision warning and navigation of ships in the marine environment, which can be applied to the bad marine environment and the different tasks of various types of ships.

【技术实现步骤摘要】
一种基于立体视觉的全方向船舶防撞预警与导航系统
本专利技术属于图像处理及自动化
，具体涉及一种基于立体视觉的全方向船舶防撞预警与导航系统。
技术介绍
随着航海相关技术日益发展，海洋权益受到各国重视，水面船舶自动化
相应的迅猛发展，而相关问题也接踵而至。2017年8月内接连发生了两起美国军舰与民船相撞事件，造成人员伤亡和巨大的财产损失，为解决这一问题美军花费巨资为各军舰安装了船舶自动识别系统。该系统不但造价昂贵，且无法广泛应用于各类船舶，这使得船舶的避碰问题成为了一个急于解决的问题。船舶巨头RR公司发表的未来船舶计划中指出，未来的船舶发展趋势为无人化、小型化、大型化和快速化。这种发展趋势使得小型无人化船舶难以在安全距离外被发现，相对速度大又难以躲避；大型无人化船舶因自身惯性大难以制动，且动能大撞击破坏大。针对海上状况突发多变，环境恶劣，地面环境的自动化车辆基于雷达传感器的导航系统无法直接应用于自动化船舶。同时雷达传感器无法使远程操控者通过最直接的方式，即视觉感官，获得船舶周边环境信息。另一方面，因船舶航行时间长，需操控者长时间对船舶全方向进行警戒，需要众多人手轮班值守，且耗费精力，往往因疲劳或疏忽大意而无法第一时间发现险情。这使得不仅无人化船舶，普通船舶也需要自动化的防撞预警与导航系统。为解决这一问题则需要一种基于立体视觉的全方向船舶防撞预警与导航系统。视觉导航技术可以的向操控者提供方便理解的视觉信息，实现同时导航与监控两种功能；双目立体视觉技术可以计算出视野内物体的距离；全景拼接技术可以向使用者展示同一时刻镜头所在位置的360°范围内的景象，改善了仅能观察单个镜头视场角内景象的缺点。机械稳像技术可以减少载具平台运动带来的颠簸振荡，优化采集到的视频信息，降低无效帧的概率，减少操控者因画面剧烈抖动而带来的视觉上的不适。现有的基于视觉的避碰导航系统。多采用单摄像头与传感器融合的技术，或利用全景摄像头与双目测距模块结合的方法。两种方法都一定程度解决了船舶在行驶过程中基于视觉的避碰问题。通过摄像头与激光测距传感器相融合的方法因摄像头视场角及激光测距传感器的工作原理限制，仅可获得船舶船首方向的图像与视场中物体的距离。并且，船舶在高速行驶时会出现剧烈颠簸，小型船舶在急转弯时因承受较大向心力，船身倾斜、抖动、转动等原因使得在现有技术方法下，摄像头无法采集到连续而稳定的图像，传感器检测不到较远距离物体反射信号，整套系统无法连续的正常工作。而本专利技术采用带有稳像系统的全景摄像系统与立体视觉测距相结合的方法，既可以获得船首方向物体距离信息，又可以获得船只周边视觉信息及物体距离信息。并且该专利技术在船舶高速运动、急转弯与面对恶劣海况时可以通过稳像装置的机械稳像，消除俯仰及翻转扰动并持摄像头采集到的图像中始终可见海天线及陆天线，保障整套系统可以连续的正常工作。此外，大多数船舶相撞事件都是船舶的侧面船板遭受撞击，因此大型无人船的避碰系统必要考虑多方向的物体距离信息。未来的商用无人货船也要防范海盗从船侧船尾靠近的可能性。对此，本专利技术的全景摄像头与双目测距模块结合的方法可以有效观察船舶全方向的景象，并对工作范围内的物体进行测距，在日后船舶自动化、无人化的发展趋势中可以用于防范大型化无人货船遭遇侧面撞击以及海盗登船。
技术实现思路
本专利技术的目的在于提供一种改善了现有视觉导航装置在大风、海浪等海洋环境或船舶高速前进，急转情况下输出图像不稳定，改善了原有的船舶只能获取前向视野内目标距离的限制的一种基于立体视觉的全方向船舶防撞预警与导航系统。本专利技术的目的通过如下技术方案来实现：一种基于立体视觉的全方向船舶防撞预警与导航系统。装置由全景摄像装置、稳像系统、水面目标检测、立体视觉测距、防撞预警与导航数据处理系统、终端处理器共四个主要部分组成。全景摄像装置用于采集用于全景拼接及用于目标检测、双目立体视觉测距、路径规划的海上视频图像。全景摄像装置由摄像头、支撑结构及终端处理器中的全景图像拼接程序共三部分组成，其中摄像头用于采集图像，支撑结构用于安装固定摄像头及连接机械稳像系统，全景图像拼接程序。全景图像拼接程序用于将获取到的海上视频图像进行全景拼接，并将拼接后的全景视频图像传输至及水面目标检测、立体视觉测距、防撞预警与导航数据处理系统。稳像系统由加速度计、稳像云台、终端处理器中的机械稳像程序三部分组成，其中加速度计用于检测无人船运动信息及加速度信息，并反馈给终端处理器中的机械稳像程序，机械稳像程序进行数据处理后将相应的姿态调整指令传输至稳像云台，进行机械稳像。水面目标检测、立体视觉测距、防撞预警与导航数据处理系统由终端处理器中的水面目标检测程序、立体视觉测距程序及防撞预警与导航数据处理程序共三部分组成。水面目标检测程序用于检测船舶周围海面区域物体、立体视觉测距程序用于对感兴趣目标进行测距、防撞预警与导航数据处理程序用于生成视野范围内物体与船舶自身关系的俯视图，对交叉路径与可能发生的碰撞进行防撞预警，并进行相应的路径规划。终端处理器为终端数据处理执行计算机，包含实现各部分功能相关的程序，可将笔记本电脑、微型计算机等作为处理器使用。为克服
技术介绍
中所述的装置中无法进行全方向监控的缺陷，本专利技术将n台同型号的摄像头以圆形阵列的形式安装在支撑结构上，再将支撑结构安装至稳像云台上以便获得船舶周边全部方向的视频图像。根据不同需求，选择摄像头的视场角及安装基准圆半径，并计算出摄像头的数量，使每台摄像头在最小工作距离上的视野可以被其临近的两侧摄像头视野完全覆盖。为减轻后续拼接全景图像的处理量，应合理选择摄像头数量、镜头视场角、安装半径及安装角度，减小三台摄像头同时覆盖区域的面积。摄像头的数量、安装半径、镜头视场角、基于立体视觉的全方向防撞预警与导航系统的最小工作距离、关系如下：式中：γ——摄像头镜头的视场角。β——摄像头以圆形阵列安装时各摄像头之间的夹角。r——摄像头安装半径。R——基于全景拼接的视觉测距装置的最小工作距离。n——摄像头的最小数量，n为偶数。为克服
技术介绍
中所述的装置中雷达等传感器无法在船舶高速行驶时进行测距的缺陷，本专利技术采用机械、电子稳像及双目立体视觉测距的方法。根据双目立体视觉原理，将圆形阵列安装的摄像头两两一组进行双目视觉测距。双目立体测距的前提是两台摄像头的位置关系已知，摄像头的内部参数已知，即需要对摄像头进行光学标定。为此本装置的n台摄像头需要在使用前进行标定，确定各摄像头间的准确位置关系及内部、外部参数。本专利技术中的全景摄像装置中的摄像头在标定时采用手动标定，根据使用的标定工具不同也可采用自动标定，如OpenCV的标定工具箱，可完成自动标定。也可以在终端处理器内预先编写自动标定程序，从而完成摄像头的标定。本专利技术对摄像头标定顺序如下：首先，对n台摄像头按顺时针顺序进行递增编号，如：1,2,3,……继而，使用CameraCalibrationToolboxforMatlab工具箱中的立体视觉系统标定工具对2台摄像头进行立体视觉标定。先取摄像头1和2，将标定板置于两摄像头的公共视野区域内，拍摄10组标定板位置不同的照片，由工具处理后得出两摄像头的内部参数：焦距、光圈、主点等；外部参数：两摄像头相对的距离、角度、旋转等。得到摄像头1和2本文档来自技高网...

【技术保护点】
1.一种基于立体视觉的全方向船舶防撞预警与导航系统，其特征在于：包括全景摄像装置(1)，稳像系统(2)，水面目标检测、立体视觉测距、防撞预警与导航数据处理系统(3)，终端处理器(4)；全景摄像装置(1)与水面目标检测、立体视觉测距、防撞预警与导航数据处理系统(3)，终端处理器(4)分别通信连接。

【技术特征摘要】
1.一种基于立体视觉的全方向船舶防撞预警与导航系统，其特征在于：包括全景摄像装置(1)，稳像系统(2)，水面目标检测、立体视觉测距、防撞预警与导航数据处理系统(3)，终端处理器(4)；全景摄像装置(1)与水面目标检测、立体视觉测距、防撞预警与导航数据处理系统(3)，终端处理器(4)分别通信连接。2.根据权利要求1所述的一种基于立体视觉的全方向船舶防撞预警与导航系统，其特征在于：所述的全景摄像装置(1)由摄像头(11)、支撑结构(12)及终端处理器(4)中的全景图像拼接程序(13)共三部分组成；所述的稳像系统(2)由加速度计(21)、稳像云台(22)、终端处理器(4)中的机械稳像程序(23)三部分组成；所述的水面目标检测、立体视觉测距、防撞预警与导航数据处理系统(3)由终端处理器(4)中的水面目标检测程序(31)、终端处理器(4)中的立体视觉测距程序(32)及防撞预警与导航数据处理程序(33)共三部分组成。3.根据权利要求2所述的一种基于立体视觉的全方向船舶防撞预警与导航系统，其特征在于：所述的多台摄像头(11)根据本系统所述方法呈圆形阵列安装在全景摄像装置中的支撑结构上，具体公式如下：式中：γ——摄像头镜头的视场角；β——摄像头以圆形阵列安装时各摄像头之间的夹角；r——摄像头安装半径；R——基于全景拼接的视觉测距装置的最小工作距离；n——摄像头的最小数量，n≥4，且n为偶数。4.根据权利要求1所述的一种基于立体视觉的全方向船舶防撞预警与导航系统，其特征在于，包含一种基于立体视觉的全方向船舶防撞预警与导航的控制方法：步骤(1)获取摄像头(11)采集的n幅图像，n为正整数；步骤(2)终端处理器(4)中的全景图像拼接程序(1...

【专利技术属性】
技术研发人员：王平，韩泽慧，薛开，李秋红，黄文浩，
申请(专利权)人：哈尔滨工程大学，
类型：发明
国别省市：黑龙江,23