【技术实现步骤摘要】
本专利技术属于船舶领域，涉及机器视觉技术，具体涉及一种基于多目视觉的船舶周围环境感知方法。
技术介绍
1、海洋具有丰富的资源和重要的运输地位，海洋货运是国际物流中最重要的运输方式，占国际贸易总量的2/3以上。如今海上交通运输业发展快速，船舶数量呈现上升趋势，但在此趋势下在船舶的靠离泊过程还存在这巨大隐患，对船舶周围环境感知不够是威胁船舶靠离泊安全的一个重要原因。
2、船舶的靠离泊过程是船舶整个航次中最为复杂的操作过程，在船舶靠离泊过程中对环境信息感知不够精确，港口水域的限制性对船舶的操纵性和驾引人员的技术能力提出了极大考验，在多种因素的影响下，船舶的可控性受到很大的挑战，使得这一操作过程的事故发生率逐年提高。除此以外，船舶在港口狭窄水域与它船发生碰撞、碰毁航标等导助航标志、碰触防波堤、船行波导致它船碰撞等事故也时有发生。
3、目前，大中型船舶靠泊时主要依靠拖船“拖拉作业”实现靠泊，过分依靠船长和引航员的操作经验。当引航员操作不当或者拖船进港速度过快时，极易发生船舶撞上码头这种灾难性情况的发生。
4、所以，现行大中型船舶存在对周围环境感知能力弱的问题。在船舶靠泊或者航行时由于风浪大、船员技术经验不足等因素，容易造成时间和人力财力的损失，特别是容易发生船舶在靠泊时撞上码头和船舶航行撞上障碍物等危险情况。
5、因此，需要一个新的技术方案来解决这个问题。
技术实现思路
1、专利技术目的：为了克服现有技术中存在的现行大中型船舶对周围环境感知能力
2、技术方案：为实现上述目的，本专利技术提供一种基于多目视觉的船舶周围环境感知方法，包括如下步骤：
3、s1：通过预先布局和安装在船舶上的多个相机组进行图像采集；
4、s2：针对采集到的图像，计算图像特征点，对图像重叠区域特征进行配准，将单个相机组的三个单目相机获取到的图像拼接成一幅180°平面图像；
5、s3：针对步骤s2中所有相机组的180°平面图像，提取图像之间重叠区域特征，重新进行图像配准、图像融合，获得相机组之间拼接好的180°平面图像；
6、s4：将步骤s3中获得的所有相机组拼接好的180°平面图像进行图像拼接，生成船舶周围环境360°全景图；
7、s5：提取单个相机组的视频帧，以图像拼接为基础，构造拼接模板，进行视频拼接生成船舶周围环境180°全景视频，并通过切换不同相机组视角的方式，观察船舶周围环境。
8、进一步地，所述步骤s1中相机组的布局方法为：根据船舶尺寸、相机组的工作距离，确定相机组的数量，使得相机组能够获取船舶周围360°的环境信息；根据相机工作距离和单个相机视场设计相机组，确定相机组中单目相机的数量，使得相机组的视场达到180°。
9、进一步地，所述步骤s2中图像拼接的具体方法为：
10、a1：计算图像特征点，进行图像配准，建立原始图像之间的对应关系；
11、a2：在图像之间进行估计的变换和配准后，通过选择图像平面，然后对配准的图像进行变形并将图像投影到同一平面；
12、a3：将对齐后的图像融合到一个大画布上，在图像之间的重叠区域融合相同的对应像素，并保留非重叠区域的像素，进行图像拼接生成船舶周围环境180°平面图。
13、进一步地，所述步骤a1中计算图像特征点的具体方法为：先用surf进行特征点提取，然后再用orb再次进行特征点提取，采用两次特征提取的方式来保证更多的匹配点被选中。
14、进一步地，所述步骤a2中图像特征点匹配的具体方法为：使用featurematcher对步骤a1中的成对特征进行匹配，采用两次特征提取的方式，以保证更多的匹配点被选中、获得更高的变换精度，使用单应性变换(homography)将图像之间的特征点进行一一映射进行特征点匹配。
15、进一步地，所述步骤s3中图像拼接的具体方法为：
16、b1：输入各个相机组拼接好的船舶周围环境180°图像，提取各个输入图像特征，采用orb(orientedfast and rotatedbrief)进行特征提取，并进行特征点粗匹配；
17、b2：利用ransac(random sample consensus，随机抽样一致)算法剔除错误匹配点，进行精匹配，重新计算单应矩阵h；
18、b3：使用levenberg-marquardt非线性迭代最小逼近法求解最佳匹配点；
19、b4：根据最佳匹配点，获得相机组之间拼接好的180°平面图像。
20、进一步地，所述步骤b2的具体方式为：从已求得的匹配点对中抽取几对匹配点，计算变换矩阵，然后对所有匹配点计算映射误差，接着根据误差阈值，确定inliers，针对最大inliers集合，重新计算单应矩阵h。
21、进一步地，所述步骤b2中利用ransac方法进行精匹配的具体方法为：
22、b2-1：构建一个最小抽样集的势为n的模型(n为初始化模型参数所需的最小样本数)和一个样本集p，集合p的样本数#(p)>n，从p中随机抽取包含n个样本的p的子集s初始化模型m；
23、b2-2：余集sc＝p/s与模型m的误差小于某一设定阈值t的样本集以及s构成s*，s*认为是内点集，它们构成s的一致集(consensus set)；
24、b2-3：若#(s*)≥n，认为得到正确的模型参数，并利用集s*(内点inliers)采用最小二乘等方法重新计算新的模型m*；重新随机抽取新的s，重复以上过程。
25、b2-4：在完成一定的抽样次数后，选取抽样后得到的最大一致集判断内外点。
26、进一步地，所述步骤b3中使用levenberg-marquardt非线性迭代最小逼近法求解最佳匹配点的具体方法为：
27、设x(k)表示第k次迭代的权值和阈值所组成额向量，新的权值和阈值组成的向量x(k+1)可根据下面的规则求得：
28、x(k+1)＝x(k)+δx
29、
30、式中，表示误差指标e(x)的hessian矩阵；表示梯度；
31、设误差指标函数为：
32、
33、式中，ei(x)为误差；
34、高斯-牛顿法中δx的计算法为：
35、δx＝-[jt(x)j(x)]-1jt(x)e(x)
36、式中，j(x)为e(x)的jacobian矩阵；
37、lm算法是一种改进的高斯——牛顿法，其计算δx的方法为：
38、δx＝-[jt(x)j(x)+μi]-1jt(x)e(x)...
【技术保护点】
1.一种基于多目视觉的船舶周围环境感知方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于多目视觉的船舶周围环境感知方法，其特征在于，所述步骤S1中相机组的布局方法为：根据船舶尺寸、相机组的工作距离，确定相机组的数量，使得相机组能够获取船舶周围360°的环境信息；根据相机工作距离和单个相机视场设计相机组，确定相机组中单目相机的数量，使得相机组的视场达到180°。
3.根据权利要求1所述的一种基于多目视觉的船舶周围环境感知方法，其特征在于，所述步骤S2中图像拼接的具体方法为：
4.根据权利要求3所述的一种基于多目视觉的船舶周围环境感知方法，其特征在于，所述步骤A1中计算图像特征点的具体方法为：先用SURF进行特征点提取，然后再用ORB再次进行特征点提取。
5.根据权利要求4所述的一种基于多目视觉的船舶周围环境感知方法，其特征在于，所述步骤A2中图像特征点匹配的具体方法为：使用FeatureMatcher对步骤A1中的成对特征进行匹配，使用单应性变换将图像之间的特征点进行一一映射进行特征点匹配。
6.根据权利要
7.根据权利要求6所述的一种基于多目视觉的船舶周围环境感知方法，其特征在于，所述步骤B2的具体方式为：从已求得的匹配点对中抽取几对匹配点，计算变换矩阵，然后对所有匹配点计算映射误差，接着根据误差阈值，确定inliers，针对最大inliers集合，重新计算单应矩阵H。
8.根据权利要求7所述的一种基于多目视觉的船舶周围环境感知方法，其特征在于，所述步骤B2中利用RANSAC方法进行精匹配的具体方法为：
9.根据权利要求6所述的一种基于多目视觉的船舶周围环境感知方法，其特征在于，所述步骤B3中使用Levenberg-Marquardt非线性迭代最小逼近法求解最佳匹配点的具体方法为：
10.根据权利要求1所述的一种基于多目视觉的船舶周围环境感知方法，其特征在于，所述步骤S5中全景视频的视频拼接具体为：
...【技术特征摘要】
1.一种基于多目视觉的船舶周围环境感知方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于多目视觉的船舶周围环境感知方法，其特征在于，所述步骤s1中相机组的布局方法为：根据船舶尺寸、相机组的工作距离，确定相机组的数量，使得相机组能够获取船舶周围360°的环境信息；根据相机工作距离和单个相机视场设计相机组，确定相机组中单目相机的数量，使得相机组的视场达到180°。
3.根据权利要求1所述的一种基于多目视觉的船舶周围环境感知方法，其特征在于，所述步骤s2中图像拼接的具体方法为：
4.根据权利要求3所述的一种基于多目视觉的船舶周围环境感知方法，其特征在于，所述步骤a1中计算图像特征点的具体方法为：先用surf进行特征点提取，然后再用orb再次进行特征点提取。
5.根据权利要求4所述的一种基于多目视觉的船舶周围环境感知方法，其特征在于，所述步骤a2中图像特征点匹配的具体方法为：使用featurematcher对步骤a1中的成对特征进行匹配，使用单应性变换将图...
【专利技术属性】
技术研发人员：王红茹，代超磊，成虎，张京涛，王佳，
申请(专利权)人：江苏科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。