【技术实现步骤摘要】
本专利技术属于船舶领域，更具体地，涉及一种船舶全景环视影像获取方法、系统及介质。
技术介绍
1、近几十年来，船舶由于其可运行于广阔的江河湖泊、海洋等水域环境，被广泛应用于渔业、林业、水质监测、军事侦察、海洋勘探等领域。在相关的水上任务中，船舶需要在复杂的环境下完成高难度的单一性、集群性的作业，这意味着船舶驾驶人员对于船体周围的环境需要有良好的观测。
2、而传统的辅助船舶感知系统常包含摄像头、激光雷达、毫米波雷达、声呐探测器、航海雷达等多源传感器组成。囿于雷达传感器的物理性质，激光雷达和毫米波雷达在船舶行驶于环境较为复杂的水域时对水面漂浮物无法产生良好的效果，声呐探测器主要应用于水下环境的感知，航海雷达的探测距离过于遥远，对于近处的物体、水面目标无法实现探测、感知，单一摄像头的探测视野范围、场景较为受限。
技术实现思路
1、针对现有技术的缺陷和改进需求，本专利技术提供了一种船舶全景环视影像获取方法、系统及介质，旨在解决现有单一摄像头的探测视野范围、场景较为受限的技术问题。
2、为实现上述目的，第一方面，本专利技术提供了一种船舶全景环视影像获取方法，所述方法包括：
3、预先标定阶段：
4、获取主体船上的n个摄像头所采集的n幅标定图像，其中，n≥4；
5、根据环绕在主体船周围的无人标定船上发光的标志物在世界坐标系下的坐标以及在图像坐标系中的像素坐标求得n组不同的透视变换矩阵族；再根据n组不同的透视变换矩阵族，将n幅标定图像转变为
6、对每幅标定图像中每个子区域的投影俯视图进行特征提取，根据提取后的特征求得相邻两个子区域的投影俯视图对应的第一单应性矩阵，再根据各所述第一单应性矩阵拼接每个子区域的投影俯视图，得到完整投影俯视图；
7、对每幅完整投影俯视图进行特征提取，根据提取后的特征求得相邻两幅完整投影俯视图对应的第二单应性矩阵，再根据各所述第二单应性矩阵拼接每幅完整投影俯视图，得到主体船标定阶段的全景环视影像；
8、实时运行阶段：
9、获取主体船上的n个摄像头所采集的n幅运行图像；
10、根据预先标定阶段获取的n组不同的透视变换矩阵族，将n幅运行图像转变为不同的投影俯视图；
11、对每幅运行图像，根据预先标定阶段获取的各第一单应性矩阵拼接每个子区域的投影俯视图，得到完整投影俯视图；再根据预先标定阶段获取的各第二单应性矩阵拼接每幅完整投影俯视图，得到主体船运行阶段的全景环视影像。
12、进一步地，所述主体船上的前、后、左、右共有n个安装于云台稳定器上且能够实时获取三通道图像信息、视场角＞180°的摄像头。
13、进一步地，获取主体船上的n个摄像头所采集的n幅运行图像后，所述方法还包括：基于所述n幅运行图像以及预先获取的各个摄像头的内参矩阵以及畸变系数对所述n幅运行图像进行畸变矫正处理。
14、进一步地，所述各个摄像头的内参矩阵以及畸变系数是预先采用张正友标定法获取得到的。
15、进一步地，所述无人标定船体上安装有四个发光小球，四个发光小球在世界坐标系下的坐标μl为：
16、μl＝[r t]μo，l∈{1,2,3,4}
17、其中，r、t分别为世界坐标系下的发光小球相对于定位中心的旋转矩阵和平移矩阵，μo为定位中心在世界坐标系下的坐标。
18、进一步地，四个发光小球在世界坐标系下的坐标经透视变换矩阵变换后的目标像素坐标应满足重投影误差最小的约束条件：
19、
20、其中，gij表示第i航道的第j个位置，z*表示正整数，(x,y)是发光小球在世界坐标系下空间z＝0下选定的坐标，(x′,y′)是发光小球经透视变换后的目标像素坐标，为透视变换矩阵的逆矩阵。
21、进一步地，对同一摄像头拍摄的视图的各个patch区域有：
22、
23、
24、其中，代表各视图下所处gij(i、j∈z*)区域的经内参矩阵、畸变系数校正后的图像，gij表示第i航道的第j个位置，代表第i个航道的第j-1个patch区域投影俯视图到第i个航道的第j个patch区域投影俯视图的单应性矩阵，代表第i-1个航道的第j个patch区域投影俯视图到第i个航道的第j个patch区域投影俯视图的单应性矩阵。
25、进一步地，n＝4时，所述全景影像的计算方法如下：
26、
27、其中，iboat为主体船自身区域的图像，为四个视图经投影、拼接后的完整投影俯视图，分别为左视图到前视图、前视图到右视图、右视图到后视图、后视图到左视图的单应性矩阵。
28、第二方面，本专利技术提供了一种船舶全景环视影像获取系统，包括：计算机可读存储介质和处理器；
29、所述计算机可读存储介质用于存储可执行指令；
30、所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行如第一方面所述的船舶全景环视影像获取方法。
31、第三方面，本专利技术提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如第一方面所述的船舶全景环视影像获取方法。
32、总体而言，通过本专利技术所构思的以上技术方案，能够取得以下有益效果：
33、本专利技术根据船舶形状、大小选择合适的摄像头安装位置，分别位于前后左右安装于云台稳定器之上的四个鱼眼摄像头经过标定校正后得到相对无畸变的图像，再根据环绕在主体船周围的标定船上发光的标志物在世界坐标系下的坐标以及标志物在图像坐标系中的像素坐标求得透视变换矩阵族，四个不同位置的摄像头采集到的图像经过四组不同的变换矩阵族得到不同的投影俯视图，每幅图像的不同区域对应着矩阵族中不同的变换矩阵，对每幅图像的每个局部变换结果进行特征检测，再由匹配算法将离散的局部变换结果拼接为整幅图像，最后将得到的四幅图像变换、组合成上帝视角下的鸟瞰图，最后由削弱抖动影响的算法输出稳定的、上帝视角下的环视鸟瞰图。上述方法简洁有效，同时逻辑清晰，易于实施，为船舶的辅助驾驶、船舶安全驾驶、船舶靠港等问题提供了新思路，解决了船舶驾驶时存在盲区等问题，提高了船舶处于复杂作业环境中的稳定性、安全性，为船舶应用的发展做出了贡献。
本文档来自技高网...【技术保护点】
1.一种船舶全景环视影像获取方法，其特征在于，所述方法包括：
2.根据权利要求1所述的船舶全景环视影像获取方法，其特征在于，所述主体船上的前、后、左、右共有N个安装于云台稳定器上且能够实时获取三通道图像信息、视场角＞180°的摄像头。
3.根据权利要求2所述的船舶全景环视影像获取方法，其特征在于，获取主体船上的N个摄像头所采集的N幅运行图像后，所述方法还包括：基于所述N幅运行图像以及预先获取的各个摄像头的内参矩阵以及畸变系数对所述N幅运行图像进行畸变矫正处理。
4.根据权利要求3所述的船舶全景环视影像获取方法，其特征在于，所述各个摄像头的内参矩阵以及畸变系数是预先采用张正友标定法获取得到的。
5.根据权利要求1所述的船舶全景环视影像获取方法，其特征在于，所述无人标定船体上安装有四个发光小球，四个发光小球在世界坐标系下的坐标μl为：
6.根据权利要求5所述的船舶全景环视影像获取方法，其特征在于，四个发光小球在世界坐标系下的坐标经透视变换矩阵变换后的目标像素坐标应满足重投影误差最小的约束条件：
7.根据权利要求1
8.根据权利要求1所述的船舶全景环视影像获取方法，其特征在于，N＝4时，所述全景影像的计算方法如下：
9.一种船舶全景环视影像获取系统，其特征在于，包括：计算机可读存储介质和处理器；
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-8任一项所述的船舶全景环视影像获取方法。
...【技术特征摘要】
1.一种船舶全景环视影像获取方法，其特征在于，所述方法包括：
2.根据权利要求1所述的船舶全景环视影像获取方法，其特征在于，所述主体船上的前、后、左、右共有n个安装于云台稳定器上且能够实时获取三通道图像信息、视场角＞180°的摄像头。
3.根据权利要求2所述的船舶全景环视影像获取方法，其特征在于，获取主体船上的n个摄像头所采集的n幅运行图像后，所述方法还包括：基于所述n幅运行图像以及预先获取的各个摄像头的内参矩阵以及畸变系数对所述n幅运行图像进行畸变矫正处理。
4.根据权利要求3所述的船舶全景环视影像获取方法，其特征在于，所述各个摄像头的内参矩阵以及畸变系数是预先采用张正友标定法获取得到的。
5.根据权利要求1所述的船舶全景环视影像获取方法，其特征在于，所述无人标定船体...
【专利技术属性】
技术研发人员：张海涛，徐亦凡，刘彬，黄志辉，汤益锋，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。