摄像头校正方法以及使用该方法的装置制造方法及图纸

摄像头校正方法以及使用该方法的装置。本发明专利技术的实施例提出一种由处理单元执行的摄像头校正方法。控制摄像头模块以获得包含失真的拍摄图像；基于拍摄图像的像素值决定拍摄图像的多个角点；利用角点的信息来确定相应于摄像头模块的最佳参数，其中，最佳参数是使能量函数最小时的一组参数；以及基于最佳参数校正摄像头模块的输出。

Camera calibration method and apparatus using the method

Camera correction method and device using the method. The embodiment of the invention proposes a camera correction method executed by the processing unit. The camera control module to obtain the images contain distortion; many corners of the captured image based on the image pixel value decided to shoot; use the corner information to determine the optimal parameters corresponding to the optimum parameters of the camera module, is a set of parameters to the energy function minimum; and the output module based on optimum parameters of camera calibration the.

【技术实现步骤摘要】
摄像头校正方法以及使用该方法的装置
本专利技术涉及一种图像处理技术，特别是一种离线摄像头校正方法以及使用该方法的装置。
技术介绍
在图像拍摄上，使用镜片可带来一些好处，例如，增加进光量，缩短曝光时间等，但也带来造成非线性的图像形变的缺点。非线性的图像失真通常包含径面失真(radialdistortion)以及切向失真(tangentdistortion)。因此，需要一种离线摄像头校正以及使用该方法的装置，用以降低拍摄图像的失真。
技术实现思路
本专利技术的实施例提出一种由处理单元执行的摄像头校正方法。控制摄像头模块以获得包含失真的拍摄图像；基于拍摄图像的像素值决定拍摄图像的多个角点；利用角点的信息来确定相应于摄像头模块的最佳参数，其中，最佳参数是使能量函数最小时的一组参数；以及基于最佳参数校正摄像头模块的输出。本专利技术的实施例提出一种离线摄像头校正装置，至少包含摄像头模块及处理单元。处理单元耦接于摄像头模块，控制摄像头模块以获得包含失真的拍摄图像；基于拍摄图像的像素值决定拍摄图像的多个角点；利用角点的信息来确定相应于摄像头模块的最佳参数，其中，最佳参数是使能量函数最小时的一组参数；以及基于最佳参数校正摄像头模块的输出。附图说明图1是依据本专利技术实施例的运算装置的系统架构图。图2是依据本专利技术实施例的摄像头校正方法流程图。图3是依据本专利技术实施例的校验板示意图。图4是依据本专利技术实施例的拍摄图像示意图。图5是依据本专利技术实施例的角点示意图。图6是依据本专利技术实施例的参数决定的方法流程图。图7是依据本专利技术实施例的决定极大似然点坐标的方法流程图。图8是依据本专利技术实施例消除径面失真后的角点示意图。图9是依据本专利技术实施例消除径面失真及切向失真后的角点示意图。【符号说明】110处理单元；130图像缓存器；150易失性存储器；160非易失性存储装置；170摄像头模块控制器；190摄像头模块；S210～S290方法步骤；30校验板；40拍摄图像；S611～S650方法步骤；S710～S790方法步骤。具体实施方式以下说明为完成专利技术的较佳实现方式，其目的在于描述本专利技术的基本精神，但并不用以限定本专利技术。实际的
技术实现思路
必须参考之后的权利要求范围。必须了解的是，使用于本说明书中的”包含”、”包括”等词，用以表示存在特定的技术特征、数值、方法步骤、作业处理、元件和/或组件，但并不排除可加上更多的技术特征、数值、方法步骤、作业处理、元件、组件，或以上的任意组合。在权利要求中使用如“第一”、“第二”、“第三”等词用来修饰权利要求中的元件，并非用来表示之间具有优先权顺序，先行关系，或者是一个元件先于另一个元件，或者是执行方法步骤时的时间先后顺序，仅用来区别具有相同名字的元件。图1是依据本专利技术实施例的运算装置的系统架构图。此系统架构可实施于桌上型计算机、笔记型计算机、平板计算机、手机、数字相机、数字录影机等，至少包含处理单元110。处理单元110可使用多种方式实施，例如以专用硬件电路或通用硬件(例如，单一处理器、具平行处理能力的多处理器、图形处理器或其他具运算能力的处理器)，并且在执行硬件(hardware)、固件(firmware)或软件(software)指令时，提供之后所描述的功能。处理单元110可整合于图像信号处理器(ISP，ImageSignalProcessor)中，并且可通过摄像头模块控制器170控制摄像头模块190用以捕捉图像。摄像头模块190可包含图像传感器，例如，互补式金属氧化物半导体(complementarymetal-oxide-semiconductor，CMOS)、电荷耦合元件(charge-coupleddevice，CCD)等传感器，用以感测由红、绿、蓝光强度所形成的图像，以及包含读取电子电路，用以从图像传感器搜集感测到的数据。易失性存储器150，例如动态随机随取存储器(DRAM，DynamicRandomAccessMemory)，用以存储执行过程中需要的数据，例如，变量、数据表(datatables)等。图2是依据本专利技术实施例的图像校正方法流程图。此方法由处理单元110执行相关的硬件、固件或软件指令时实施。图3是依据本专利技术实施例的校验板示意图。为了校正摄像头模块190取得的图像，本专利技术实施例提供像西洋棋盘(chessboard)一般的校验板(checkerboard)30。在一些实施例中，校验板的长度和/或宽度是可调整的。一般而言，校验板的大小以能铺满整个拍摄镜头为宜。在摄像头模块190出厂前，处理单元110驱动摄像头模块控制器170以控制摄像头模块190拍摄校验板30，使得摄像头模块190取得拍摄图像及存储拍摄图像至图像缓存器130(步骤S210)。图4是依据本专利技术实施例的拍摄图像示意图。然而，图像传感器感测穿透摄像头模块190中透镜的光线所产生的拍摄图像40。拍摄图像40是一幅包含失真(distortion)的校验板图像，失真包含径面失真及切向失真。径面失真肇因于摄像头模块190中镜片的形状，使得距离镜片中心越远的光线在通过镜片时弯折较大，越靠近镜片中心的光线则弯折越小。切向失真则由摄像头模块190的组装误差造成，主要是摄像头模块190中镜片及图像传感器没有平行设置。为了校正摄像头的输出，处理单元110决定拍摄图像40的角点及一失真中心(步骤S230)，决定相应于摄像头模块190的最佳参数及(步骤S250)，应用最佳参数及及失真中心获得拍摄图像40中角点的消除径面失真及切向失真后的极大似然点坐标(步骤S270)，依据角点的极大似然点坐标获得拍摄图像40中除角点外的像素的极大似然点的坐标(步骤S280)以及根据上述计算结果产生及存储映射表至非易失性存储装置160(步骤S290)。在步骤S230，角点为一个极值点，亦即在特定属性上特别突出的点。角点可为两条线的交叉处(例如图3中任意两条线的交叉点)，也可以是位于相邻的两个主要方向的不同事物上的点。当拍摄图像是通过拍摄一校验板而得时，角点为为二个边的交叉点(详见图4和图5的示例)。本领域技术人员可参考已知的算法决定拍摄图像40的角点(corners)及失真中心(xe，ye)。例如，RichardHartley及SingBingKang发表于2007年八月的学术期刊IEEETransactionsonPatternAnalysisandMachineIntelligence，Vol.29，No.8第1309至1321页的论文Parameter-FreeRadialDistortionCorrectionwithCenterofDistortionEstimation。图5是依据本专利技术实施例的角点示意图。在步骤S250，处理单元110从多组参数中选择出一组，使用选择出的参数计算拍摄图像40中的所有角点以产生一能量函数。处理单元110再用多组参数中的其他组参数产生多个能量函数，当所有组的所对应的能量函数都计算完毕后，将使能量函数最小时所对应的那组参数作为最佳参数，最佳参数可表示为及详细计算过程描述如下：图6是依据本专利技术实施例的参数决定的方法流程图。此方法包含一个外循环(outerloop)(步骤S611至S615)及一个内循环(innerloop)(步骤S631至S6本文档来自技高网...

【技术保护点】
一种摄像头校正方法，由一处理单元执行，包含：控制摄像头模块以获得拍摄图像，其中，上述拍摄图像包含失真；基于上述拍摄图像的像素值决定上述拍摄图像的多个角点；利用上述角点的信息来确定相应于上述摄像头模块的最佳参数，其中，上述最佳参数是使能量函数最小时的一组参数；以及基于上述最佳参数校正上述摄像头模块的输出。

【技术特征摘要】
1.一种摄像头校正方法，由一处理单元执行，包含：控制摄像头模块以获得拍摄图像，其中，上述拍摄图像包含失真；基于上述拍摄图像的像素值决定上述拍摄图像的多个角点；利用上述角点的信息来确定相应于上述摄像头模块的最佳参数，其中，上述最佳参数是使能量函数最小时的一组参数；以及基于上述最佳参数校正上述摄像头模块的输出。2.如权利要求1所述的摄像头校正方法，其中，上述最佳参数由能量函数来确定，上述能量函数是由上述角点的深度值及上述摄像头模块与校验板的距离来确定。3.如权利要求1所述的摄像头校正方法，还包含：提供多组参数；产生相应于上述多组参数的多个能量函数；以及利用上述最佳参数获得上述多个角点的消除上述失真后的最佳坐标，其中，上述失真包括径面失真。4.如权利要求3所述的摄像头校正方法，其中，上述最佳坐标使用以下公式：其中，P’u，v代表第u行第v列角点的消除径面失真后的最佳坐标，h代表上述摄像头模块与校验板间的距离，xu，v代表第u行第v列角点的x-坐标值，yu，v代表第u行第v列角点的y-坐标值，以及zu，v代表第u行第v列角点的最佳深度值。5.如权利要求1所述的摄像头校正方法，其中，上述能量函数使用以下公式计算：h代表上述摄像头模块与校验板间的距离，xk代表上述第k个角点的x-坐标值，yk代表第k个角点的y-坐标值，zk代表第k个角点的深度值，xk-1代表第k-1个角点的x-坐标值，yk-1代表第k-1个角点的y-坐标值，zk-1代表第k-1个角点的深度值，xk+1代表第k+1个角点的x-坐标值，yk+1代表第k+1个角点的y-坐标值，以及zk+1代表第k+1个角点的深度值。6.如权利要求1所述的摄像头校正方法，其中，上述最佳参数包含第一最佳参数及第二最佳参数，上述第一最佳参数模拟曲面，上述第二最佳参数模拟光轴的方向。7.如权利要求1所述的摄像头校正方法，还包括：基于上述最佳参数产生上述拍摄图像的多个角点的参考位置信息；存储上述参考位置信息至映射表；以及利用上述映射表校正上述摄像头模块的上述输出。8.如权利要求1所述的摄像头校正方法，还包括：基于上述最佳参数来产生上述拍摄图像除上述多个角点外的像素的参考位置信息；存储上述角点的参考位置信息和角点外的像素的参考位置信息至映射表；以及利用上述映射表校正上述摄像头模块的上述输出。9.如权利要求1所述的摄像头校正方法，还包含：利用上述最佳参数获得上述多个角点的消除径面失真后的最佳坐标；以及基于上述最佳坐标及失真中心获得上述拍摄图像中多个角点的消除上述失真后的极大似然点坐标，其中，上述失真包括切向失真。10.如权利要求9所述的摄像头校正方法，其中，上述极大似然点坐标是在上述最佳坐标的基础上，依据相邻角点间等距原则来确定。11.如权利要求9所述的摄像头校正方法，还包括：基于上述最佳坐标计算上述多个角点的多个列平均值和多个行平均...

【专利技术属性】
技术研发人员：王旭，杨飞菲，姜亚龙，
申请(专利权)人：上海兆芯集成电路有限公司，
类型：发明
国别省市：上海,31