System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种宽基线全景图像拼接系统的非限制场景在线标定方法技术方案_技高网

一种宽基线全景图像拼接系统的非限制场景在线标定方法技术方案

技术编号:40600887 阅读:3 留言:0更新日期:2024-03-12 22:05
多相机系统拼接形成环视全景图像或视频,能有效满足获取周围环境大视场全景环视信息的需求,当拼接系统使用中因位置偏移、负载变化等外界因素导致相机位姿发生变化时,必须采用在线标定方法进行拼接结果修正。本发明专利技术公开了一种宽基线全景图像拼接系统的非限制场景在线标定方法。该方法通过利用非限制场景下的图像特征提取、判定、匹配和变换矩阵计算等步骤,极大程度了提升了拼接系统的场景适应性,并解决了宽基线全景拼接系统的在线标定的鲁棒性问题。实验结果表明,本发明专利技术所提供的方法在真实环境下有明显效果得到。

【技术实现步骤摘要】

本专利技术涉及图像处理,特别涉及一种宽基线全景图像拼接系统的非限制场景在线标定方法


技术介绍

1、由于单镜头相机视场和部署位置的局限,难以实现全景环视观测。多相机系统拼接形成环视全景图像或视频,能有效满足获取周围环境大视场全景环视信息的需求,因此在车载360环视系统、视频全景监控等领域都有重要的应用。在多相机全景系统中,宽基线(即各相机镜头光心间的距离较大)相机部署方式较为灵活,这种部署方式不要求多相机系统共光心排列,所以可以适配车载360环视系统等多相机必须较为分散部署的应用场景。

2、相机位姿标定是多相机图像或视频拼接效果的基础,现有相关技术主要通过获取标定板等已知尺寸和坐标的目标物实现离线标定。然而,当拼接系统使用中因位置偏移、负载变化等外界因素导致相机位姿发生变化时,应用离线标定结果将使拼接结果出现目标重影或消失的图像缺陷,因此必须采用在线标定方法进行拼接结果修正。现有在线或自动标定相关技术主要通过检测某些已知尺寸或坐标的各种特定图案、线条和点等目标物(如360环视系统使用的车道线)实现在线标定,这类在线标定方案较大的场景局限性,因此需要实现非限制场景的在线标定,进一步提升拼接系统的场景适应性。同时,当场景中存在非平面的立体目标时,宽基线全景拼接系统的物体视差大,导致图像匹配存在较大难度,因此需要通过有效方法解决在线标定的鲁棒性问题。


技术实现思路

1、本专利技术提出了一种宽基线全景图像拼接系统的非限制场景在线标定方法,用以解决现有技术存在的不足问题。

2、根据本专利技术的一个方面,提供了一种宽基线全景图像拼接系统的非限制场景在线标定方法,包括以下步骤:

3、a)获取多相机位姿离线标定结果,作为在线标定位姿的初始值;

4、b)获取多相机的时间同步的一组图像帧,并与步骤a)获得的离线标定位姿共同输入图像变换模块,获得一组变换图像帧;

5、c)将步骤b)中获取的一组变换图像帧输入重叠区域计算模块,获取多个相邻图像间的重叠区域;

6、d)将步骤b)中获取的变换图像帧按照步骤c)中获取的重叠区域截取后,形成多组相邻重叠区域图像输入图像特征提取模块,获得多组重叠区域特征;

7、e)将步骤d)中获取的每一组重叠区域特征输入判别模块,判断是否满足特征匹配和计算要求;如每组重叠区域特征都满足要求,则执行后续步骤;如不是每组都满足要求,则重新执行步骤b),当前每组图像特征保存并待下一轮处理使用;如循环执行超过一定轮次后仍未全部满足要求,则认为无充足的有效特征,结束在线标定流程;

8、f)将步骤e)中获取的满足要求的每一组重叠区域特征分别输入图像特征匹配模块,计算特征匹配,输出对应特征对;

9、g)将步骤f)中获取的多组对应特征对输入图像变换矩阵计算模块,计算图像变换矩阵;

10、h)将步骤g)中图像变换矩阵与初始离线标定结果融合,输出在线标定结果;

11、其中,步骤b)中的图像变换模块包括,根据相机位姿离线标定结果计算各相机图像帧的透视变换矩阵,输入图像帧经过透视变换矩阵的作用输出变换图像帧;

12、其中,步骤c)中的重叠区域计算模块包括,根据输入变换图像的有效范围,计算获得各个变换图像的重叠区域范围;

13、其中,步骤d)中的图像特征提取模块包括,使用图像特征描述方法,包括并不限于点特征、线特征或区域特征等深度学习或传统特征描述方法,提取描述图像的特征向量组;

14、其中,步骤e)中的判别模块包括,根据图像特征的数量和位置分布等相关的判据,判断所步骤d)提取的图像特征能否匹配和计算可信的图像变换结果;

15、其中,步骤f)中的图像特征匹配模块包括,对步骤e)获得的特征组对利用包括但不限于最近邻、深度学习的匹配方法进行匹配,输出一一对应的匹配的对应特征对;

16、其中,步骤g)中的图像变换矩阵计算模块包括,利用匹配特征对计算当前相机位姿下的图像变换矩阵,也即完善拼接结果所需的图像变换修正量;

17、其中,步骤h)中的图像变换矩阵与初始离线标定结果融合包括,将步骤g)中获取的变换矩阵与离线标定所获得原始变换矩阵相乘,并获得新的从输入图像到输出图像的变换矩阵,即多相机在线标定结果。

18、与现有技术相比,本专利技术具有以下有益效果:

19、本专利技术提出一种宽基线全景图像拼接系统的非限制场景在线标定方法,该方法通过有效利用非限制场景下筛选的重叠区域图像特征,获得多相机拼接系统的在校标定结果,有效提升在宽基线场景下图像拼接系统的场景适应性。

本文档来自技高网
...

【技术保护点】

1.一种宽基线全景图像拼接系统的非限制场景在线标定方法,其特征在于包括如下步骤:

2.根据权利要求1所述的非限制场景在线标定方法,其特征在于,步骤E)的合格特征判别的操作包括:

3.根据权利要求1所述的非限制场景在线标定方法,其特征在于,步骤F)的图像变换矩阵的计算包括:

4.根据权利要求2所述的非限制场景在线标定方法,其特征在于:

5.根据权利要求4所述的非限制场景在线标定方法,其特征在于:

6.根据权利要求2所述的非限制场景在线标定方法,其特征在于:

7.根据权利要求3所述的非限制场景在线标定方法,其特征在于进一步包括:

8.根据权利要求7所述的非限制场景在线标定方法,其特征在于进一步包括:

9.存储有计算机程序的计算机可读存储介质,该计算机程序能使处理器执行根据权利要求1-8之一所述的非限制场景在线标定方法。

【技术特征摘要】

1.一种宽基线全景图像拼接系统的非限制场景在线标定方法,其特征在于包括如下步骤:

2.根据权利要求1所述的非限制场景在线标定方法,其特征在于,步骤e)的合格特征判别的操作包括:

3.根据权利要求1所述的非限制场景在线标定方法,其特征在于,步骤f)的图像变换矩阵的计算包括:

4.根据权利要求2所述的非限制场景在线标定方法,其特征在于:

5.根据权利要求4所述的非...

【专利技术属性】
技术研发人员:程瑞琦龚轩胡海苗
申请(专利权)人:北京航空航天大学杭州创新研究院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1