一种基于坐标转换的鱼眼图像校正方法及装置制造方法及图纸

本发明专利技术公开了一种基于坐标转换的鱼眼图像校正方法及装置，从鱼眼图像中任意选取一个像素点P'作为对鱼眼图像进行校正的中心点，通过鱼眼摄像机的成像模型计算出P′在鱼眼半球的入射点P的球面坐标，将平行于以P点为切点与鱼眼半球相切的切面的任意平面作为校正图像所在的平面，以该平面与射线OP的交点Q为校正图像的中心点建立校正图像的虚拟成像面，逐个计算出各绘制点在鱼眼图像中对应的像素点的坐标，将计算出的绘制点在鱼眼图像中对应的像素点的像素值作为该绘制点在校正图像中的像素值在校正图像中进行绘制，得到鱼眼图像的校正图像。本发明专利技术的方法和装置对高清鱼眼摄相机进行多方位实时校正，便于观察鱼眼图像中各个不同区域的细节。

Fisheye image correction method and device based on coordinate conversion

The invention discloses a fisheye image coordinates correction method and device based on a selected pixel P'from any fisheye image as the center point of the fisheye image correction, calculated by the fisheye camera imaging model in spherical coordinates P' incident point fisheye hemisphere P, parallel to the point P for arbitrary plane tangent tangent and hemisphere section as fisheye correction plane image location, on the plane and the ray OP Q is the intersection of the center point of correcting image based virtual image correction image, one by one to calculate the coordinates of each pixel point in fisheye images rendering, the pixel pixel is calculated the drawing point correspondences in fisheye images of the value of the drawing in the correction of pixel value in the image in the corrected image rendering, image correction of fisheye image. The method and the device of the invention have the advantages of carrying out the multi-directional real-time correction of the high-definition fisheye camera, and being convenient for observing the details of different regions in the fisheye image.

【技术实现步骤摘要】
一种基于坐标转换的鱼眼图像校正方法及装置
本专利技术属于视频监控领域，尤其涉及一种基于坐标转换的鱼眼图像校正方法及装置。
技术介绍
在很多应用场景中，用户希望在一个视频监控摄像机的监控画面中能够监控到更大的范围，因此超大广角的镜头得到了越来越多的应用，其中，鱼眼镜头拥有能够获得超过180度视场角的图像，实现无死角监控，在视频监控中得到广泛应用。鱼眼摄像机虽然能获取超大视场角的图像，但是鱼眼摄像机拍摄的图像有着严重的畸变，不符合人眼的观察习惯，因此需要对鱼眼摄像机拍摄的图像进行畸变校正，以便人们对鱼眼摄像机的监控区域进行观察。基于透视原理的畸变校正技术可以将鱼眼摄像机拍摄的图像校正为无畸变的图像，目前基于透视原理的畸变校正一般根据球面投影模型，通过多项式求解对鱼眼摄像机拍摄的图像进行校正，这种方法计算复杂，计算量大，在实时应用中有较大的困难。例如，专利CN201510195083公开了一种基于球面透视投影的鱼眼图像校正方法，该方法首先将鱼眼图像映射成球面图像,据此建立鱼眼图像与校正图像的关系，然后对空白的校正图像内的像素点采用向后映射，以确定空白校正图像中的像素点在鱼眼图像中对应的亚像素坐标，对确定的亚像素坐标进行线性插值，以得到亚像素值，再将亚像素值填充到空白校正图像内，遍历空白校正图像内的每个像素点，直至空白校正图像内每个像素点均赋予对应的亚像素值，得到鱼眼图像的校正图像。上述方法虽然能对鱼眼图像进行校正，但是该方法首先要将鱼眼图像映射成球面图像,而将鱼眼图像映射成球面图像计算量非常大,并且通过该方法对鱼眼图像进行校正时，并不需要用到全部的鱼眼图像的像素,因此该方法的效率较低。
技术实现思路
本专利技术的目的是提供一种基于坐标转换的鱼眼图像校正方法及装置，通过改进坐标转换的球面映射方法，能以鱼眼图像中的任意一个点为中心对鱼眼图像进行快速、精准的校正。为了实现上述目的，本专利技术技术方案如下：一种基于坐标转换的鱼眼图像校正方法，用于对鱼眼摄像机拍摄的鱼眼图像进行校正，所述基于坐标转换的鱼眼图像校正方法，包括：从鱼眼图像中任意选取一个像素点P′作为对鱼眼图像进行校正的中心点，根据P′点在鱼眼图像中的坐标、鱼眼图像的中心点的坐标以及鱼眼图像的半径，通过鱼眼摄像机的成像模型计算出P′对应在成像模型中鱼眼半球上的入射点P的球面坐标；将平行于以P点为切点与所述鱼眼半球相切的切面的任意平面作为校正图像所在的平面，以该平面与所述鱼眼半球中心点O到P点的射线OP的交点Q为校正图像的中心点建立校正图像的虚拟成像面；根据校正图像中绘制点的坐标、鱼眼图像中心点的坐标、鱼眼图像的半径、以及Q点到O点的距离，逐个计算出各绘制点在鱼眼图像中对应的像素点的坐标；将计算出的绘制点在鱼眼图像中对应的像素点的像素值作为该绘制点在校正图像中的像素值在校正图像中进行绘制，得到鱼眼图像的校正图像。进一步地，所述根据P′点在鱼眼图像中的坐标、鱼眼图像的中心点的坐标以及鱼眼图像的半径，通过鱼眼摄像机的成像模型计算出P′对应在成像模型中鱼眼半球上的入射点P的球面坐标，包括：以所述鱼眼半球中心点O为坐标原点，以鱼眼半球的圆形底面为XOY所在的平面，建立的三维坐标系XYZ，计算P′对应在等距投影模型中鱼眼半球上的入射点P的球面坐标P的公式如下：f＝r*2/πθ＝π-arctan{(d-m),(e-n)}其中，f为鱼眼摄像机的等效焦距，为OP与Z轴的夹角，P0为P点在XOY平面上的投影，θ为OP0与X轴的夹角，r为鱼眼图像的半径，m为P′点在鱼眼图像中的横坐标，n为P′点在鱼眼图像中的纵坐标，d为鱼眼图像中心点O"在鱼眼图像中的横坐标，e为鱼眼图像中心点O"在鱼眼图像中的纵坐标。进一步地，所述根据校正图像中绘制点的坐标、鱼眼图像中心点的坐标、鱼眼图像的半径、以及Q点到O点的距离，计算出绘制点在鱼眼图像中对应的像素点的坐标，包括：将XYZ坐标系绕Z轴旋转θ，使X轴旋转到与OP0重合的位置，然后再绕Y轴旋转使P点落在Z′轴上，得到坐标系X′Y′Z′；根据校正图像中绘制点M的坐标(x,y)、Q点到O点的距离h，通过如下公式计算出校正图像中的绘制点M与鱼眼光学中心O的连线与鱼眼半球的交点M′的球面坐标(f,θ′)中的θ′:其中，为OM′与Z轴的夹角，θ′为M′在XOY上的投影与X轴的夹角，OM的长度为L，R为从坐标系XYZ到坐标系X′Y′Z′的旋转矩阵，根据M′的球面坐标(f,θ′)中的θ′以及等距投影模型，通过如下公式计算出绘制点M在鱼眼图像上对应的像素点M"的坐标：其中，i为M"在鱼眼图像中的横坐标，j为M"在鱼眼图像中的纵坐标，m为鱼眼图像中心点O"在鱼眼图像中的横坐标，n为鱼眼图像中心点O"在鱼眼图像中的纵坐标，r为鱼眼图像的半径。进一步地，所述基于坐标转换的鱼眼图像校正方法，还包括：在对鱼眼图像进行实时校正时，如果需要扩大校正图像在鱼眼图像中对应的校正区域，则缩短校正图像的中心点Q到O点的距离h，如果需要缩小校正图像的在鱼眼图像中对应的校正区域，则增大校正图像的中心点Q到O点的距离h。本专利技术还提出了一种基于坐标转换的鱼眼图像校正装置，用于对鱼眼摄像机拍摄的鱼眼图像进行校正，其特征在于，所述基于坐标转换的鱼眼图像校正装置，包括：球面坐标计算模块，用于从鱼眼图像中任意选取一个像素点P′作为对鱼眼图像进行校正的中心点，根据P′点在鱼眼图像中的坐标、鱼眼图像的中心点的坐标以及鱼眼图像的半径，通过鱼眼摄像机的成像模型计算出P′对应在成像模型中鱼眼半球上的入射点P的球面坐标；虚拟成像面建立模块，用于将平行于以P点为切点与所述鱼眼半球相切的切面的任意平面作为校正图像所在的平面，以该平面与所述鱼眼半球中心点O到P点的射线OP的交点Q为校正图像的中心点建立校正图像的虚拟成像面；像素点坐标计算模块，用于根据校正图像中绘制点的坐标、鱼眼图像中心点的坐标、鱼眼图像的半径、以及Q点到O点的距离，逐个计算出各绘制点在鱼眼图像中对应的像素点的坐标；校正图像绘制模块，用于将计算出的绘制点在鱼眼图像中对应的像素点的像素值作为该绘制点在校正图像中的像素值在校正图像中进行绘制，得到鱼眼图像的校正图像。进一步地，所述基于坐标转换的鱼眼图像校正装置，还包括：校正区域调整模块，用于在对鱼眼图像进行实时校正时，如果需要扩大校正图像在鱼眼图像中对应的校正区域，则缩短校正图像的中心点Q到O点的距离h，如果需要缩小校正图像的在鱼眼图像中对应的校正区域，则增大校正图像的中心点Q到O点的距离h。本专利技术还提出了一种基于坐标转换的鱼眼图像校正装置，用于对鱼眼摄像机拍摄的鱼眼图像进行校正，所述基于坐标转换的鱼眼图像校正装置，包括：球面坐标计算模块，用于从鱼眼图像中任意选取一个像素点P′作为对鱼眼图像进行校正的中心点，根据P′点在鱼眼图像中的坐标、鱼眼图像的中心点的坐标以及鱼眼图像的半径，通过鱼眼摄像机的成像模型计算出P′对应在成像模型中鱼眼半球上的入射点P的球面坐标；虚拟成像面建立模块，用于将平行于以P点为切点与所述鱼眼半球相切的切面的任意平面作为校正图像所在的平面，以该平面与所述鱼眼半球中心点O到P点的射线OP的交点Q为校正图像的中心点建立校正图像的虚拟成像面；像素点坐标计算模块，用于根据校正图像中绘制点的坐标、本文档来自技高网...

【技术保护点】
一种基于坐标转换的鱼眼图像校正方法，用于对鱼眼摄像机拍摄的鱼眼图像进行校正，其特征在于，所述基于坐标转换的鱼眼图像校正方法，包括：从鱼眼图像中任意选取一个像素点P′作为对鱼眼图像进行校正的中心点，根据P′点在鱼眼图像中的坐标、鱼眼图像的中心点的坐标以及鱼眼图像的半径，通过鱼眼摄像机的成像模型计算出P′对应在成像模型中鱼眼半球上的入射点P的球面坐标；将平行于以P点为切点与所述鱼眼半球相切的切面的任意平面作为校正图像所在的平面，以该平面与所述鱼眼半球中心点O到P点的射线OP的交点Q为校正图像的中心点建立校正图像的虚拟成像面；根据校正图像中绘制点的坐标、鱼眼图像中心点的坐标、鱼眼图像的半径、以及Q点到O点的距离，逐个计算出各绘制点在鱼眼图像中对应的像素点的坐标；将计算出的绘制点在鱼眼图像中对应的像素点的像素值作为该绘制点在校正图像中的像素值在校正图像中进行绘制，得到鱼眼图像的校正图像。

【技术特征摘要】
1.一种基于坐标转换的鱼眼图像校正方法，用于对鱼眼摄像机拍摄的鱼眼图像进行校正，其特征在于，所述基于坐标转换的鱼眼图像校正方法，包括：从鱼眼图像中任意选取一个像素点P′作为对鱼眼图像进行校正的中心点，根据P′点在鱼眼图像中的坐标、鱼眼图像的中心点的坐标以及鱼眼图像的半径，通过鱼眼摄像机的成像模型计算出P′对应在成像模型中鱼眼半球上的入射点P的球面坐标；将平行于以P点为切点与所述鱼眼半球相切的切面的任意平面作为校正图像所在的平面，以该平面与所述鱼眼半球中心点O到P点的射线OP的交点Q为校正图像的中心点建立校正图像的虚拟成像面；根据校正图像中绘制点的坐标、鱼眼图像中心点的坐标、鱼眼图像的半径、以及Q点到O点的距离，逐个计算出各绘制点在鱼眼图像中对应的像素点的坐标；将计算出的绘制点在鱼眼图像中对应的像素点的像素值作为该绘制点在校正图像中的像素值在校正图像中进行绘制，得到鱼眼图像的校正图像。2.根据权利要求1所述的基于坐标转换的鱼眼图像校正方法，其特征在于，所述成像模型为等距投影，所述根据P′点在鱼眼图像中的坐标、鱼眼图像的中心点的坐标以及鱼眼图像的半径，通过鱼眼摄像机的成像模型计算出P′对应在成像模型中鱼眼半球上的入射点P的球面坐标，包括：以所述鱼眼半球中心点O为坐标原点，以鱼眼半球的圆形底面为XOY所在的平面，建立的三维坐标系XYZ，计算P′对应在等距投影模型中鱼眼半球上的入射点P的球面坐标的公式如下：f＝r*2/πθ＝π-arctan{(d-m),(e-n)}其中，f为鱼眼摄像机的等效焦距，为OP与Z轴的夹角，P0为P点在XOY平面上的投影，θ为OP0与X轴的夹角，r为鱼眼图像的半径，m为P′点在鱼眼图像中的横坐标，n为P′点在鱼眼图像中的纵坐标，d为鱼眼图像中心点O"在鱼眼图像中的横坐标，e为鱼眼图像中心点O"在鱼眼图像中的纵坐标。3.根据权利要求2所述的基于坐标转换的鱼眼图像校正方法，其特征在于，所述根据校正图像中绘制点的坐标、鱼眼图像中心点的坐标、鱼眼图像的半径、以及Q点到O点的距离，计算出绘制点在鱼眼图像中对应的像素点的坐标，包括：将XYZ坐标系绕Z轴旋转θ，使X轴旋转到与OP0重合的位置，然后再绕Y轴旋转使P点落在Z′轴上，得到坐标系X′Y′Z′；根据校正图像中绘制点M的坐标(x,y)、Q点到O点的距离h，通过如下公式计算出校正图像中的绘制点M与鱼眼光学中心O的连线与鱼眼半球的交点M′的球面坐标中的θ′:其中，为OM′与Z轴的夹角，θ′为M′在XOY上的投影与X轴的夹角，OM的长度为L，R为从坐标系XYZ到坐标系X′Y′Z′的旋转矩阵，根据M′的球面坐标中的θ′以及等距投影模型，通过如下公式计算出绘制点M在鱼眼图像上对应的像素点M"的坐标：其中，i为M"在鱼眼图像中的横坐标，j为M"在鱼眼图像中的纵坐标，m为鱼眼图像中心点O"在鱼眼图像中的横坐标，n为鱼眼图像中心点O"在鱼眼图像中的纵坐标，r为鱼眼图像的半径。4.根据权利要求1所述的基于坐标转换的鱼眼图像校正方法，其特征在于，所述基于坐标转换的鱼眼图像校正方法，还包括：在对鱼眼图像进行实时校正时，如果需要扩大校正图像在鱼眼图像中对应的校正区域，则缩短校正图像的中心点Q到O点的距离h，如果需要缩小校正图像的在鱼眼图像中对应的校正区域，则增大校正图像的中心点Q到O点的距离h。5.一种基于坐标转换的鱼眼图像校正装置，用于对鱼眼摄像机拍摄的鱼眼...

【专利技术属性】
技术研发人员：王玲，祝中科，毛泉涌，徐茜，陈艳良，
申请(专利权)人：浙江宇视科技有限公司，
类型：发明
国别省市：浙江,33