The invention proposes a fish eye image mosaic method based on spatial triangular patch fitting. By this method, approximate to the faceting scene structure of shot, shooting scenes will be approximated as a combination of a series of space mesh and planar projection transformation and the unit sphere in the camera coordinate system on the surface by solving 3 parameters, 8 parameters to overcome the limitation of local perspective transformation can not handle the fisheye image parallax, The fish eye image is precisely registered and stitching. In terms of computational efficiency, to lower than the existing computing local transformation model matching based on weighted data complexity, more able to meet the needs of practical application.
【技术实现步骤摘要】
基于空间三角面片拟合的图像拼接方法
本专利技术属于图像信息处理领域，涉及图像拼接方法，尤其涉及基于空间三角面片拟合的鱼眼图像拼接方法。
技术介绍
全景图像因其远大于人眼的视场角，在监控、侦查、影视制作以及虚拟现实等领域具有巨大应用价值。拼接式全景成像兼具大视场角和高分辨率的优点，正逐渐成为主流的全景图像采集方式。计算机硬件能力的不断提高和并行计算技术的快速发展也为多路图像甚至视频数据的快速处理提供了有利的现实条件。在计算机视觉和图像处理理论与技术的发展过程中，关于图像拼接技术的创新受到越来越广泛的关注。图像拼接的目的是以尽可能小的计算代价输出高质量的全景图像。在多幅图像的拍摄过程中，相机的拍摄角度和位置的变化会导致图像之间出现结构偏差，即同一物体在不同图像中呈现出形状或位置上的差异。在场景深度未知的情况下，得到各路图像之间的精确投影关系是困难的。在过去几十年中，一系列基于不同数学理论的图像拼接方法被提出。其中，传统的全局方法通常使用全局变换将所有输入图像投影到统一的观察平面，目前主流的图像拼接软件通常基于这一方案实现。若相机的光心保持不动或被拍摄场景是近似平面的，...
【技术保护点】
1.一种基于空间三角面片拟合的鱼眼图像拼接方法，其特征在于包括以下步骤：S1.对有重叠区域的两幅输入图像进行特征提取与匹配，得到图像间的匹配特征点；S2.在S1中得到的匹配特征点基础上，通过最小化关于相机参数的代价函数，得到一组近似的相机参数；S3.利用S2中得到的相机参数，通过两步RANSAC，剔除S1中得到匹配点中的误匹配点；S4.在S3中得到的正确匹配特征点基础上，对相机坐标系下的单位球面进行三角划分；S5.在S2中得到的相机参数与S4中得到的三角划分基础上，求解每一个空间三角面片的参数；S6.在S5中得到的三角面片参数基础上，逐面片地渲染得到精确配准的重投影图像；S...
【技术特征摘要】
1.一种基于空间三角面片拟合的鱼眼图像拼接方法，其特征在于包括以下步骤：S1.对有重叠区域的两幅输入图像进行特征提取与匹配，得到图像间的匹配特征点；S2.在S1中得到的匹配特征点基础上，通过最小化关于相机参数的代价函数，得到一组近似的相机参数；S3.利用S2中得到的相机参数，通过两步RANSAC，剔除S1中得到匹配点中的误匹配点；S4.在S3中得到的正确匹配特征点基础上，对相机坐标系下的单位球面进行三角划分；S5.在S2中得到的相机参数与S4中得到的三角划分基础上，求解每一个空间三角面片的参数；S6.在S5中得到的三角面片参数基础上，逐面片地渲染得到精确配准的重投影图像；S7.在S6中得到的重投影图像基础上，通过图像融合得到最终的全景图像。2.根据权利要求1所述的基于空间三角面片拟合的鱼眼图像拼接方法，其特征在于：所述步骤S2的具体方法包括：用于拍摄图像I与I′的鱼眼相机分别为C与C′；I中的图像点x＝(u,v,1)T与C的相机坐标系下单位球面上的空间点z＝(x,y,z)T之间的投影关系可表示为x＝Kθ其中，θ＝(θx/r,θy/r,1)T，θ＝arccos(z)，将上述变换表示为x＝κ(z)，类似地，I′中的图像点x′＝(u′,v′,1)T与C′的相机坐标系下单位球面上的空间点z′＝(x′,y′,z′)T之间的投影关系表示为x′＝κ′(z′)，其中κ(·)与κ′(·)为可逆非线性函数；鱼眼图像间的极线约束表示如下：z′TQz＝0其中，Q为基本矩阵，且Q＝[t]×R，其中R与t分别为C与C′的相机坐标系间的旋转矩阵与平移向量；除此之外，增加关于全局投影的二级约束：z′～Rz其中，～表示正比关系；对于一对匹配点{x,x′}，需最小化的代价函数为：E(x,x′)＝h(re,σe)+λh(rp,σp)其中，系数λ用于控制rp的影响，取为λ＝0.01，函数h(·)为具有误匹配抑制能力的Huber误差函数：参数σe与σp分别表示极线约束与全局投影约束下正常误差的上限，残差者的度量单位均为像素，z＝κ-1(x)，z′＝κ′-1(x′)，其中K′为相机C′的内参数矩阵；在re的表达式中，记(a,b,c)T＝Qz，则标准化参数其中f′x与f′y分别为相机C′在x，y方向上的等效焦距；在rp的表达式中，系数w＝r3Ty，其中r3T为R的第三行。对于所有匹配点{xi,x′i}，以及它们对应的残差re,i与rp,i，i＝1,…,n，总的代价函数为：注意到Eall是关于残差re与rp的二次函数，因此Eall的最小化可通过LM迭代实现，所得结果是一组真实相机参数的近似值；其中K，K′为内参数，R，t为外参数。3.根据权利要求1所述的基于空间三角面片拟合的鱼眼图像拼接方法，其特征在于：所述步骤S3的具体方法包括：两步RANSAC，包括：第一步以图像间的极线约束作为RANSAC的目标函数，最小化其中，zi＝κ-1(xi)，z′i＝κ′-1(x′i)。第二步以全局平面变换模型作为目标函数，最小化取两次筛选后所得匹配数据的交集用于建立图像间的局部配准模型...
【专利技术属性】
技术研发人员：邓宝松，李靖，印二威，唐荣富，张周，闫野，
申请(专利权)人：中国人民解放军军事科学院国防科技创新研究院，
类型：发明
国别省市：北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。