鱼眼镜头全景图像拼接方法技术

本发明专利技术公开了一种鱼眼镜头全景图像拼接方法，包括：将多个鱼眼镜头拍摄的单元图像分别映射到三维球面上进而确定多项式拟合模型；将待配准的多个单元图像中的每幅图像重叠区域中的匹配特征点通过多项式拟合模型映射到三维单位球面上，在三维单位球面上对多个单元图像进行计算求出各个单元图像的配准模型矩阵，根据配准模型矩阵在三维球面上将多个单元图像配准形成球面全景图像；把球面全景图像展开成柱面全景图像，对柱面全景图像进行处理，建立柱面全景图像中每个像素点与多单个元图像中的每个像素点的对应位置关系的参数映射表；调用参数映射表将多个鱼眼镜头拍摄的鱼眼图像融合成全景图像。本发明专利技术改善了鱼眼全景图像拼接重叠区域中的拼接误差。

【技术实现步骤摘要】

本专利技术涉及图像拼接
，特别是一种鱼眼镜头全景图像拼接方法。
技术介绍
目前的鱼眼图像的实时拼接技术非常少且单一，一般鱼眼图像的全景图像的实时拼接分两步，首先求出全景图像与各镜头单元图像的参数映射表，然后在线的调用参数映射表对镜头单元图像实时一帧一帧的进行全景图像拼接。最关键的就是第一步，目前解决方案主要有两种：第一种是把鱼眼图像的径向畸变校正参数和图像元(即单元镜头)的位姿参数作为一体，整体用最优化技术进行参数估计。镜头畸变参数校正最常用的技术是多项式拟合，单元镜头的位姿估计参数是3x3维矩阵，9个参数，这两部分的参数的关系是复合函数，通常用RANSAC或遗传算法、免疫算法、蚁群算法等迭代优化技术求解，这种复合最优化技术对参数的初始值依赖性很强，而且彼此的干扰性也很强，很难达到全局最优，甚至局部最优也无法找到，即使找到的局部最优解，这种比较差的局部最优解也使图像拼接误差增大，因此全景图像重叠区域中的重影、错位问题，边缘区域变形严重、模糊及图像区域空白等问题都比较严重。第二种是用一个常规镜头的投影变换和多项式畸变校正技术用校正模板图像对镜头畸变参数进行畸变校正，生成一组中间校正后的2D图像，然后用2D图像配准技术对校正后的图像元进行2D配准。该方案在最后的一个拼接重叠区域会把误差放大，导致全景球面图像和等柱面全景图像中会有一个拼接误差严重的区域，在该区域重影、错位问题，边缘区域变形严重、模糊及图像区域空白等问题比较严重。综上，现有技术鱼眼镜头图像拼接技术拼接出来的全景图像拼接误差比较大，如在拼接重叠区域中重影、错位严重，在图像的边缘区域变形严重，甚至在全景等柱面展开图的上下边缘中存在一定面积的空白区域。
技术实现思路
本专利技术的目的是提供一种鱼眼镜头全景图像拼接方法，以改进提高鱼眼全景图像拼接重叠区域中的拼接误差，进而解决全景拼接图像重叠区域中的重影错位问题，边缘区域变形严重、模糊及图像区域空白等问题。为了解决上述技术问题，本专利技术提供一种鱼眼镜头全景图像拼接方法，包括：步骤一、通过多项式拟合模型将多个鱼眼镜头拍摄的单元图像分别映射到三维球面上，并计算求解出所述多项式拟合模型的系数参数进而确定所述多项式拟合模型；步骤二、将待配准的多个所述单元图像中的每幅图像重叠区域中的匹配特征点通过确定后的所述多项式拟合模型分别映射到三维单位球面上，在三维单位球面上对多个所述单元图像进行计算求出对应镜头成像的配准模型，根据所述配准模型在三维球面上将多个所述单元图像配准形成球面全景图像；步骤三、把所述球面全景图像按等柱面方式展开成柱面全景图像，对所述柱面全景图像进行处理，建立所述柱面全景图像中每个像素点与多个鱼眼镜头拍摄的单元图像中的每个像素点的对应位置关系的参数映射表；步骤四、读取多个鱼眼镜头拍摄的鱼眼图像，调用所述参数映射表将多个鱼眼镜头拍摄的鱼眼图像融合成全景图像。步骤一中计算求解出所述多项式拟合模型的系数参数进而确定所述多项式拟合模型，具体为：取空间同一条直线映射到鱼眼镜头的元图像上的直线上的至少三个点，然后用所述多项式拟合模型求出所述至少三个点到三维单位球面上的映射点，再把所有映射点在三维单位球面拟合成一个大圆，求出各个映射点到拟合的大圆的球面距离，求出他们的平方和；用同种方法取空间中多条直线计算，所取的多条直线在鱼眼图像中分布均匀，如果分布不均可以多拍几张弥补。建立以下函数：Dist＝S1+…+SNn；其中S1＝d1^2+d2^2+…+dn1^2，…，SNn＝dN1^2+dN2^2+…+dNn^2；以函数Dist最小值为目标，求出所述多项式拟合模型的系数参数。在三维单位球面上对多个所述单元图像进行计算求出对应镜头成像的配准模型，根据所述配准模型在三维球面上将多个所述单元图像配准形成球面全景图像，具体为：设多个鱼眼镜头的单元图像重叠区域中匹配的特征点为(x，y)，则通过确定后的所述多项式拟合模型映射到三维单位球面上的点的四元坐标为[x，y，z，1]；以多个鱼眼镜头中的一个鱼眼镜头为参考镜头，用特征点对求解另外的鱼眼镜头相对于参考镜头的配准模型：[X，Y，Z，H]’＝Modle*[x，y，z，1]’，其中，Modle=h11,h12,h13,h14h21,h22,h23,h24h31,h32,h33,h34h41,h42,h43,h44,]]>Modle是16个自由度的矩阵。该配准模型演化出以下三个方程：X′=h11*x+h12*y+h13*z+h14h41*x+h42*y+h43*z+h44,Y′=h21*x+h22*y+h23*z+h24h41*x+h42*y+h43*z+h44,]]>(X′，Y′，Z′)和(x，y，z)是匹配的特征点对的球面坐标，把5对不共面的匹配特征点的坐标代入这三个方程中，5对特征点可以得到15个独立的方程，通过解他们组成的方程组求解得到Modle矩阵。所述步骤三具体为：对所述柱面全景图像进行重采样处理，将采样点通过柱面展开图和球面全景图像的变换关系求得在参考球面上的位置，再通过配准模型的逆模型求得到原来镜头影射的单位球面的位置，再由鱼眼图像到单位球面的所述多项式拟合模型反求出在鱼眼图像中的位置，从而建立所述柱面全景图像中每个像素点与多个鱼眼镜头拍摄的单元图像中的每个像素点的对应位置关系的参数映射表。该专利技术从原理上说，通过鱼眼图像的球面映射校正模型能够有效校正鱼眼图像产生的径向畸变，使其映射到自己所在单位球面上的映射的相对位置得到校正，边缘区域的变形得到有效的校正；通过在单位球面上的配准，使得球面上的绝对位置得到有效的配准，两步分开进行也消除了彼此参数间的耦合影响。因此使得重合区域中匹配的图像点间的拼接误差大幅度减小，因此使得全景图像中由匹配点间的拼接误差引起的重影、错位、模糊等问题也相应得到了解决。只要鱼眼镜头的分布都能满足在单位球面的任意位置都至少是一个鱼眼镜头的成像区域，从原理上说全景图像中就不可能存在空白图像区域。本专利技术的有益效果是：根据本专利技术产生的参数映射表拼接出来的全景图像效果好，全景图像中完全没有空白图像区域，重叠区域图像误差小，使得该区域重影、错位问题以及边缘区域变形严重、模糊及图像区域空白等问题肉眼几乎分辨不出来。附图说明图1是本专利技术中二维平面图像到三维球面图像的映射模型示意图；图2是本专利技术实施例中单元鱼眼镜头的分布示意图；图3是本专利技术实施例中单元鱼眼镜头的一个特殊分布示意图；图4是本专利技术实施例中鱼眼图像到单位球面映射流程图；本文档来自技高网...

【技术保护点】
一种鱼眼镜头全景图像拼接方法，其特征在于，包括：步骤一、通过多项式拟合模型将多个鱼眼镜头拍摄的单元图像分别映射到三维球面上，并计算求解出所述多项式拟合模型的系数参数进而确定所述多项式拟合模型；步骤二、将待配准的多个所述单元图像中的每幅图像重叠区域中的匹配特征点通过确定后的所述多项式拟合模型分别映射到三维单位球面上，在三维单位球面上对多个所述单元图像进行计算求出对应镜头成像的配准模型，根据所述配准模型在三维球面上将多个所述单元图像配准形成球面全景图像；步骤三、把所述球面全景图像按等柱面方式展开成柱面全景图像，对所述柱面全景图像进行处理，建立所述柱面全景图像中每个像素点与多个鱼眼镜头拍摄的单元图像中的每个像素点的对应位置关系的参数映射表；步骤四、读取多个鱼眼镜头拍摄的鱼眼图像，调用所述参数映射表将多个鱼眼镜头拍摄的鱼眼图像融合成全景图像。

【技术特征摘要】
1.一种鱼眼镜头全景图像拼接方法，其特征在于，包括：
步骤一、通过多项式拟合模型将多个鱼眼镜头拍摄的单元图像分别映射到三维球面
上，并计算求解出所述多项式拟合模型的系数参数进而确定所述多项式拟合模型；
步骤二、将待配准的多个所述单元图像中的每幅图像重叠区域中的匹配特征点通过确
定后的所述多项式拟合模型分别映射到三维单位球面上，在三维单位球面上对多个所述单
元图像进行计算求出对应镜头成像的配准模型，根据所述配准模型在三维球面上将多个所
述单元图像配准形成球面全景图像；
步骤三、把所述球面全景图像按等柱面方式展开成柱面全景图像，对所述柱面全景图
像进行处理，建立所述柱面全景图像中每个像素点与多个鱼眼镜头拍摄的单元图像中的每
个像素点的对应位置关系的参数映射表；
步骤四、读取多个鱼眼镜头拍摄的鱼眼图像，调用所述参数映射表将多个鱼眼镜头拍
摄的鱼眼图像融合成全景图像。
2.根据权利要求1所述的鱼眼镜头全景图像拼接方法，其特征在于，步骤一中计算求解
出所述多项式拟合模型的系数参数进而确定所述多项式拟合模型，具体为：
取空间同一条直线映射到鱼眼镜头图像上的直线上的至少三个点，然后用所述多项式
拟合模型求出所述至少三个点到三维单位球面上的映射点，再把所有映射点在三维单位球
面拟合成一个大圆，求出各个映射点到拟合的大圆的球面距离，求出他们的平方和；用同种
方法取空间中多条直线计算，建立以下函数：Dist＝S1+...+SNn；其中S1＝d1^2+d2^2+...+
dn1^2，...，SNn＝dN1^2+dN2^2+...+dNn^2；以函数Dist最小值为目标，求出所述多项式拟
合模型的系数参数；其中所取的多条直线在鱼眼镜头图像中分布均匀。
3....

【专利技术属性】
技术研发人员：段梦凡，
申请(专利权)人：段梦凡，
类型：发明
国别省市：北京;11