一种鱼眼全景相机自然环境下标定方法技术

本发明专利技术公开了一种鱼眼全景相机自然环境下标定方法。包括获取双鱼眼图像，建立理论参数模型，提取鱼眼图像特征点，用最优化算法计算模型参数，将参数带入模型迭代筛选，获得鱼眼图像到球体表面的映射关系并以球体表面图像显示；本发明专利技术图像特征点提取方法能应用于大畸变的鱼眼图像，并能进一步保证提取到的特征点的准确性，本发明专利技术还提出了一种筛选特征点的迭代模型，利用本发明专利技术的方法可以准确地在自然、随机的环境下标定全景相机；不需要为了获得映射关系而搭建特殊的场景，本发明专利技术采用一种自主化的方法，自主求得每幅鱼眼图像到球体表面的映射关系，降低了全景相机使用门槛，扩大了全景相机使用范围。

A natural environment calibration method for fish eye panoramic camera

The invention discloses a method for calibrating a fish eye panoramic camera in a natural environment. This includes obtaining eye image, establish the theory of parameter model, extracting the fisheye image feature points, the model parameters were calculated by optimization algorithm, the model parameters into iterative screening, get to the spherical surface of the fisheye image mapping and display based on sphere surface image; image the fisheye image feature extraction method can be applied to large distortion. The accuracy of feature points and can further guarantee to extract, the invention also provides a model of iterative filtering feature points, using the method of the invention can accurately calibrate panoramic camera in a natural, random environment; do not need to obtain the mapping relationship and build special scenes, the invention adopts a method of self the independent of each piece of the fisheye image to obtain the mapping relationship between the surface of the ball, reducing the threshold using the panoramic camera, expanding panoramic camera Range of use.

【技术实现步骤摘要】
一种鱼眼全景相机自然环境下标定方法
本专利技术属于计算机图像处理应用
，涉及一种鱼眼全景相机自然环境下标定方法。
技术介绍
全景相机一般由两个或两个以上光学成像系统组成，然后将采集到的图像通过数学计算映射到一个球体表面上。这一过程涉及到每幅图像到球体表面的映射关系，标定的目的就是获得各图像间匹配对应的映射关系，以便在显示装置中正确显示获得的图像。一般现有的标定方法只能标定没有畸变，或是畸变很小的图像，其方法是通过寻找图像间冗余部分的对应特征点，推算每幅图像的映射关系。但是此方法不适用鱼眼图像，畸变较大的鱼眼镜头成像图像只能在特殊布置的场景下进行标定，不能适用随机、任意的应用环境。
技术实现思路
为了解决鱼眼全景相机自然环境下标定问题，获得无缝、均匀的全景画面，本专利技术采用一种自主化的方法估计每幅鱼眼图像到球体表面的映射关系。本专利技术采取的鱼眼全景相机自然环境下标定方法是通过建立理论参数模型，提取鱼眼图像特征点，利用最优化算法计算模型参数，将参数带入模型迭代筛选，求得每幅鱼眼图像到球体表面的映射关系。本专利技术通过以下技术方案实现：获取双鱼眼图像：通过双鱼眼镜头获得双鱼眼图像F1,、F2；建立理论参数模型：鱼眼图像到球面坐标映射公式：鱼眼图像F(u,v)，球Q，球面坐标经纬度表示Q(θ,φ)(θ∈[0,360],φ∈[0,180])；M为映射关系矩阵；球到平面球的平面展开映射关系公式：球Q，球面坐标经纬度表示Q(θ,φ)(θ∈[0,360],φ∈[0,180])，球Q的平面展开为S(x,y)x＝θ；提取鱼眼图像特征点：目前的特征点提取算法例如SFIT、SURF都不能有效的从鱼眼图像中提取特征点，本专利技术中通过以下公式获得：S(x，y)-F(u，v)·Mf2s；F(u，v)＝S(x，y)·Ms2f；其中Mf2s为鱼眼图像到球的平面展开映射参数，Ms2f为球的平面展开到鱼眼图像映射参数。获取方法包括：先获取鱼眼图像F1、F2，通过Mf2s将F1、F2映射到球的平面展开S1、S2上，然后利用SFIT算法从S1、S2提取并匹配特征点得到PS1i(i＝0，1….N)(N为自然正整数，下同)、PS2i(i＝0，1….N)，然后将PS1i(i＝0，1….N)、PS2i(i＝0，1….N)与Ms2f进行运算得到PF1i(i＝0，1….N)、PF2i(i＝0，1….N)。PF1i(i＝0，1….N)、PF2i(i＝0，1….N)即鱼眼图像上匹配的特征点。用最优化算法计算模型参数：[M1，M2]＝L(PF1i，PF2i)；i∈(0，1，2，......，N)；L为优化算法，M1、M2为优化后得到的鱼眼图像F1、F2到球体Q表面的映射关系。将参数带入模型迭代筛选PQ1i＝PF1i·M1；i∈(0，1，2，......，N)；PQ2i＝PF2i·M2；i∈(0，1，2，......，N)；δi＝(PQ1i-PQ2i)2；i∈(0，1，2，......，N)；PF1k＝PF1i；δi＜T1，i∈(0，1，2，......，N)；PF2k＝PF2i；δi＜T1，i∈(0，1，2，......，N)；PQ1i、PQ2i为全景图像上坐标点、δi为对应的点坐标的欧拉距离，T1为特征点筛选阈值，PQ1i、PQ2i为每次筛选剩下的标定点。按照上面公式进行迭代，当满足下面公式停止迭代，(PQ1i·Ms2f-PQ2i·Ms2f)2＜T2T2为停止迭代阈值。多次迭代后计算得到的M1、M2即为鱼眼图像到球体表面的映射关系。本专利技术为解决现有的特征提取方法不能应用于大畸变的鱼眼图像，提出了一种鱼眼图像的特征点提取方法，该方法可以有效的提取出一对鱼眼图像中匹配的特征点，为进一步保证提取到的特征点的准确性，本专利技术还提出了一种筛选特征点的迭代模型，利用本专利技术的方法可以准确地在自然、随机的环境下标定全景相机。本专利技术的有益效果是，不需要为了获得映射关系而搭建特殊的场景，适用于随机、任意的应用环境；本专利技术采用一种自主化的方法，自主求得每幅鱼眼图像到球体表面的映射关系，降低了全景相机使用门槛，扩大了全景相机使用范围。附图说明图1是本专利技术方法流程图。图2是本专利技术获取鱼眼镜头成像示意图。图3是本专利技术获取特征点示意图。具体实施方式下面通过实施例对本专利技术进行具体的描述，本实施例只用于对本专利技术进行进一步的说明，但不能理解为对本专利技术保护范围的限制，本领域的技术人员根据上述本专利技术的内容作出的一些非本质的改进和调整也属于本专利技术保护的范围。为实现鱼眼全景相机自然环境下标定，本专利技术无需搭建特殊的场景，通过获得的双鱼眼图像，建立理论参数模型，提取鱼眼图像特征点，利用最优化算法计算模型参数，将参数带入模型迭代筛选，求得每幅鱼眼图像到球体表面的映射关系。下面对本专利技术方法进行描述。获取双鱼眼图像：通过双鱼眼镜头获得双鱼眼图像F1,、F2；建立理论参数模型：鱼眼图像到球面坐标映射公式：鱼眼图像F(u,v)，球Q，球面坐标经纬度表示Q(θ,φ)(θ∈[0,360],φ∈[0,180])；M为映射关系矩阵；球到平面球的平面展开映射关系公式：球Q，球面坐标经纬度表示Q(θ,φ)(θ∈[0,360],φ∈[0,180])，球Q的平面展开为S(x,y)x＝θ；提取鱼眼图像特征点：目前的特征点提取算法例如SFIT、SURF都不能有效的从鱼眼图像中提取特征点，本专利技术中通过以下公式获得：S(x，y)＝F(u，v)·Mf2s；(1)F(u，v)＝S(x，y)·Ms2f；(2)其中Mf2s为鱼眼图像到球的平面展开映射参数，Ms2f为球的平面展开到鱼眼图像映射参数。获取方法包括：先获取鱼眼图像F1、F2，通过Mf2s将F1、F2映射到球的平面展开S1、S2上，然后利用SFIT算法从S1、S2提取并匹配特征点得到PS1i(i＝0，1….N)(N为自然正整数，下同)、PS2i(i＝0，1….N)，然后将PS1i(i＝0，1….N)、PS2i(i＝0，1….N)与Ms2f进行运算得到PF1i(i＝0，1….N)、PF2i(i＝0，1….N)。PF1i(i＝0，1….N)、PF2i(i＝0，1….N)即鱼眼图像上匹配的特征点。用最优化算法计算模型参数：[M1，M2]＝L(PF1i，PF2i)；i∈(0，1，2，......，N)；L为优化算法，M1、M2为优化后得到的鱼眼图像F1、F2到球体Q表面的映射关系。将参数带入模型迭代筛选PQ1i＝PF1i·M1；i∈(0，1，2，......，N)；PQ2i＝PF2i·M2；i∈(0，1，2，......，N)；δi＝(PQ1i-PQ2i)2；i∈(0，1，2，......，N)；PF1k＝PF1i；δi＜T1，i∈(0，1，2，......，N)；PF2k＝PF2i；δi＜T1，i∈(0，1，2，......，N)；PQ1i、PQ2i为全景图像上坐标点、δi为对应的点坐标的欧拉距离，T1为特征点筛选阈值，PQ1i、PQ2i为每次筛选剩下的标定点。按照上面公式进行迭代，当满足下面公式停止迭代，(PQ1i·Ms2f-PQ2i·Ms2f)2＜T2T2为停止迭代阈值。多次迭代后计算得到的M1、M2即为鱼眼图像到球体表面的映射关系。具体实施举例：结合附图1至图3；首先通过带有鱼眼镜头的全本文档来自技高网...

【技术保护点】
一种鱼眼全景相机自然环境下标定方法，其特征在于包括以下步骤：(1)获取双鱼眼图像通过双鱼眼镜头获得双鱼眼图像F1,、F2；(2)建立理论参数模型鱼眼图像到球面坐标映射公式：鱼眼图像F(u,v)，球Q，球面坐标经纬度表示Q(θ,φ)(θ∈[0,360],φ∈[0,180])；

【技术特征摘要】
1.一种鱼眼全景相机自然环境下标定方法，其特征在于包括以下步骤：(1)获取双鱼眼图像通过双鱼眼镜头获得双鱼眼图像F1,、F2；(2)建立理论参数模型鱼眼图像到球面坐标映射公式：鱼眼图像F(u,v)，球Q，球面坐标经纬度表示Q(θ,φ)(θ∈[0,360],φ∈[0,180])；M为映射关系矩阵；球到平面球的平面展开映射关系公式：球Q，球面坐标经纬度表示Q(θ,φ)(θ∈[0,360],φ∈[0,180])，球Q的平面展开为S(x,y)；x＝θ；(3)提取鱼眼图像特征点通过以下公式获得：S(x，y)-F(u，v)·Mf2s；F(x，v)＝S(x，y)·Ms2f；其中Mf2s为鱼眼图像到球的平面展开映射参数，Ms2f为球的平面展开到鱼眼图像映射参数；获取方法包括：先获取鱼眼图像F1、F2，通过Mf2s将F1、F2映射到球的平面展开S1、S2上，然后利用SFIT算法从S1、S2提取并匹配特征点得到PS1i、PS2i，然后将PS1i、PS2i与Ms2f进行运算得到PF1i、PF2i；PF1i、PF2i即为鱼眼图像上匹配的特征点，其中i＝0.1….N，N为自然正整数；(4)用最优化算法计算模型参数[M1，M2]＝L(...

【专利技术属性】
技术研发人员：张恩泽，赖文杰，胡志发，成茵，余黎，
申请(专利权)人：成都易瞳科技有限公司，
类型：发明
国别省市：四川,51