基于遗传算法的鱼眼相机标定系统及其图像畸变矫正方法技术方案

本发明专利技术涉及一种基于遗传算法的鱼眼相机标定系统及其图像畸变矫正方法，属于计算机图形学、数字图像处理以及人工智能算法技术领域。鱼眼相机标定系统包括顺序连接的畸变校正模块、特征检测模块和鱼眼相机参数标定模块。图像畸变矫正方法包括图像预处理、哈里斯角点检测和遗传算法逼近内参、外参三个步骤。本发明专利技术能减少标定参数，且提高标定内参、外参的精度。

Fisheye camera calibration system based on genetic algorithm and image distortion correction method

The invention relates to a fisheye camera calibration system based on genetic algorithm and an image distortion correction method, belonging to the technical field of computer graphics, digital image processing and artificial intelligent algorithms. The fisheye camera calibration system consists of a sequence connected distortion correction module, a feature detection module and a fisheye camera parameter calibration module. Image distortion correction method includes image preprocessing, Harris corner detection and genetic algorithm, the reference external parameters in three steps. The invention can reduce the calibration parameters, and improve the internal and external parameters calibration accuracy.

【技术实现步骤摘要】
基于遗传算法的鱼眼相机标定系统及其图像畸变矫正方法
本专利技术涉及一种基于遗传算法的鱼眼相机标定系统及其图像畸变矫正方法，属于计算机图形学、数字图像处理以及人工智能算法

技术介绍
鱼眼图像畸变矫正有许多方法，其中文献(基于双经度模型的鱼眼图像畸变矫正方法[J].仪器仪表学报,2015,02:377-385)提出了运用双经度球面模型转化为平面模型的方法，利用鱼眼图像的桶形畸变特点，实现快速畸变矫正。然而，矫正后的图像虽然在中间部位还原为正常图像，但是在两极拉伸严重。文献(应用经纬映射的鱼眼图像校正设计方法[J].工程图学学报,2010,06:19-22)提出的经纬度模型矫正，是双经度矫正的一种改进，该方法同样具有快速矫正的特点，但是面对大于180度的鱼眼相机，矫正图片的拱形畸变较为严重，在双极处未得到很好的还原。摄像机标定有许多经典的方法，文献(Aflexiblenewtechniqueforcameracalibration[J].IEEETransactionsonpatternanalysisandmachineintelligence,2000,22(11):1330-1334.)【一种灵活的新型摄像机标定技术】中提出的张正友标定法是被运用最为广泛的一种方法，其运用单幅标定板拍摄多幅图像，建立空间点到图像的数学关系式，可以达到普通相机的精确标定。然而对于畸变严重的鱼眼图像，张正友标定法利用极大似然法逼近内参、外参及畸变系数等多个参数，精度大幅下降。并且，在目前商业化生产线的条件下，通过相机拍摄多幅图像的方法效率较低。
技术实现思路
为了克服鱼眼图像畸变、标定方法复杂和标定参数不精确这几个缺点，提出了一种基于遗传算法的鱼眼相机标定系统及其图像畸变矫正方法。本专利技术仅需对单幅图像进行标定，并且，运用基于小孔成像对比矫正法对图像进行预处理，能减少标定参数，并且利用鲁棒性高、收敛性好的遗传算法进行参数寻优，从而达到提高标定内参、外参精度的要求。这对于鱼眼图像矫正、鱼眼相机标定的研究与实际应用的开发都具有重要的理论与实际意义。本专利技术为解决其技术问题采用如下技术方案：一种基于遗传算法的鱼眼相机标定系统，包括顺序连接的畸变校正模块、特征检测模块和鱼眼相机参数标定模块；所述畸变校正模块：对图像进行预处理，用于消除原鱼眼图像的畸变；所述特征检测模块：进行四边形拟合，哈里斯角点检测；用于提供稳定的特征点；所述鱼眼相机参数标定模块：将理论内参作为初始值，由畸变校正模块输出的已预处理图像作为输入，并且以特征检测模块计算出的特征点作为参数，最后利用遗传算法逼近得出准确的摄像机内参、外参。一种基于遗传算法的鱼眼相机标定系统的图像畸变矫正方法，包括以下步骤：(1)图像预处理在汽车的前后左右分别安装一个鱼眼摄像机，摄像机光轴与地面呈45度，标定场中标定板分别安置在距离汽车的前后左右，标定板中的方块面积为60cm*60cm，之后4个相机分别拍摄一副图像；利用小孔成像对比法分别对4幅图像进行畸变矫正；(2)哈里斯角点检测在图像预处理之后，对图像中标定板先进行四边形拟合，四边形拟合运用了矢量数据压缩算法；然后利用哈里斯角点检测，分别检测4幅矫正图中的角点；(3)遗传算法逼近内参、外参[1]寻优参数设定；[2]适应度函数定义；定义F为每组摄像机参数的适应度函数，其为空间中的点通过内外参数映射到二维平面与图像中角点的曼哈顿距离之和与阈值D的差值：其中D是常数，根据经验设定，n是一副图像中检测角点总数，Gi(f′x,f′y,u′0,v′0)为空间中的第i点通过当前内参映射到二维平面的坐标，Hi为图像中对应的第i个哈里斯角点；[3]遗传算法求解过程；遗传算法求解过程包含：选择、交叉、变异三个部分，通过不断地进行选择-交叉-变异的操作，直到达到预先设定的最大迭代数M代或高于预先设定阈值后，停止迭代，输出最终代的最优摄像机内参，之后通过该最优内参、空间点坐标和图像中的角点计算得到外参即为最优外参。步骤(2)中对图像中标定板进行四边形拟合，具体步骤如下：1)图像转化为灰度图，并进行二值化处理，二值化阈值设定为210；2)多边形轮廓提取；3)利用矢量数据压缩算法逼近多边形，若多边形有4个顶点，判断为标定板；4)运用哈里斯角点检测提取角点。步骤(3)设定适应度函数具体过称如下：利用空间中的点、图像中的角点和第i组内参计算出第i组外参，再利用空间中的点和第i组内、外参映射到二维平面，将此二维平面中的每个点与原图像中的对应的角点求曼哈顿距离，用参数D减去曼哈顿距离之和。步骤(3)中所述遗传算法求解过程选择部分，具体过程如下：首先根据定义的适应度函数F计算种群中每组摄像机内参的适应度：F1,F2,F3...FN,保存适应度最高的一组参数，用于替代下一代种群中适应度最低的一组参数，同时用前代种群中的最优参数替代当前组适应度最低的参数。本专利技术的有益效果如下：由于本专利技术中的图像矫正法不依赖于球体模型，也不局限于鱼眼相机的最大入射角度，在双极点还原度较高，并且利用反向映射法，无需进行双线性插值。与此同时，本专利技术对图像进行预处理，减少了畸变参数的测定，为之后的摄像机标定提高了效率以及精度。与经典的张正友标定法相比，针对单幅标定图像，利用遗传算法逼近摄像机内参、外参，可以得到较高的精度，并且在标定流程上也更为简便，为生产提供了很大的便利。同时，利用寻优高效的遗传算法，仅需利用标定图像中极少的特征点，简化了标定物。附图说明图1为鱼眼相机标定系统结构图。图2为鱼眼相机标定方法流程图。具体实施方式下面结合附图对本专利技术创造做进一步详细说明。整个鱼眼相机标定系统如图1所示，其中包含三个处理模块，分别为畸变校正模块、特征检测模块和鱼眼相机参数标定模块。(1)畸变校正模块：对图像进行预处理，主要包括利用小孔成像对比矫正法进行畸变矫正；用于消除原鱼眼图像的畸变，减少在鱼眼相机参数标定模块中的畸变系数的计算；(2)特征检测模块：四边形拟合，哈里斯角点检测；用于提供稳定的特征点，作为鱼眼相机参数标定模块中的期望参考点；(3)鱼眼相机参数标定模块：该模块将理论内参作为初始值，由畸变校正模块输出的已预处理图像作为输入，并且以特征检测模块计算出的特征点作为参数，最后利用遗传算法逼近得出准确的摄像机内参、外参，达到精确标定鱼眼相机的目的。本专利技术涉及到单幅鱼眼图像的鱼眼图像矫正技术和遗传算法的寻优方法如图2所示，包括以下步骤：1.图像预处理在汽车360度全景环视系统的标定流程中，汽车的前后左右分别安装一个鱼眼摄像机，摄像机光轴与地面呈45度，标定场中标定板分别安置在距离汽车的前后左右，标定板中的方块面积为60cm*60cm，之后4个相机分别拍摄一副图像。利用小孔成像对比法分别对4幅图像进行畸变矫正，其主要原理如下：小孔成像的物理模型为Rp＝f*tan(θ)，其中，Rp是成像点离图像中心的距离，f是焦距，θ是入射角。鱼眼成像的物理模型为Rf＝f*sin(θ/2)，其中，Rf是鱼眼图像中成像点离图像中心的距离，f是焦距，θ是入射角。由两式比较得出以下等式，其中，xp和yp分别代表小孔成像图中成像点到中心的横向及纵向距离，xf和yf分别代表鱼眼图像中成像点到中心的横向及纵向距离，λ为小孔成本文档来自技高网...

【技术保护点】
一种基于遗传算法的鱼眼相机标定系统，其特征在于，包括顺序连接的畸变校正模块、特征检测模块和鱼眼相机参数标定模块；所述畸变校正模块：对图像进行预处理，用于消除原鱼眼图像的畸变；所述特征检测模块：进行四边形拟合，哈里斯角点检测；用于提供稳定的特征点；所述鱼眼相机参数标定模块：将理论内参作为初始值，由畸变校正模块输出的已预处理图像作为输入，并且以特征检测模块计算出的特征点作为参数，最后利用遗传算法逼近得出准确的摄像机内参、外参。

【技术特征摘要】
1.一种基于遗传算法的鱼眼相机标定系统，其特征在于，包括顺序连接的畸变校正模块、特征检测模块和鱼眼相机参数标定模块；所述畸变校正模块：对图像进行预处理，用于消除原鱼眼图像的畸变；所述特征检测模块：进行四边形拟合，哈里斯角点检测；用于提供稳定的特征点；所述鱼眼相机参数标定模块：将理论内参作为初始值，由畸变校正模块输出的已预处理图像作为输入，并且以特征检测模块计算出的特征点作为参数，最后利用遗传算法逼近得出准确的摄像机内参、外参。2.根据权利要求1所述的基于遗传算法的鱼眼相机标定系统的图像畸变矫正方法，其特征在于，包括以下步骤：（1）图像预处理在汽车的前后左右分别安装一个鱼眼摄像机，摄像机光轴与地面呈45度，标定场中标定板分别安置在距离汽车的前后左右，标定板中的方块面积为60cm*60cm，之后4个相机分别拍摄一副图像；利用小孔成像对比法分别对4幅图像进行畸变矫正；（2）哈里斯角点检测在图像预处理之后，对图像中标定板先进行四边形拟合，四边形拟合运用了矢量数据压缩算法；然后利用哈里斯角点检测，分别检测4幅矫正图中的角点；（3）遗传算法逼近内参、外参[1]寻优参数设定；[2]适应度函数定义；定义F为每组摄像机参数的适应度函数，其为空间中的点通过内外参数映射到二维平面与图像中角点的曼哈顿距离之和与阈值D的差值：，其中D是常数，根据经验设定，n是一副图像中检测角点总数，为空间中的第i点通过当前内参映射到二维平面的坐标，为图像中对应的第i...

【专利技术属性】
技术研发人员：吴庆宪，孙诚，李轶锟，郑文超，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：江苏,32