对于从摄像机获得的图像，具备自动补正功能的图像处理装置及其方法制造方法及图纸

本发明专利技术涉及一种对于从摄像机获得的图像具备自动补正功能的图像处理装置及其方法，提供对于从摄像机获得的图像具备自动补正功能的图像处理装置，包括：自动补正图案，在摄像机周边的任意场所，安装一个以上；输出入模块，从所述摄像机接收图像，传送至所述图像处理装置；及图像处理模块，作为处理部，包含用于补正从所述摄像机获得的图像歪曲的算法，且所述输出入模块包括：图像输出入单元，在所述摄像机和所述图像处理模块之间，接发数据；和存储单元，存储在所述图像处理模块处理的信息，且所述图像处理模块包括：歪曲补正单元，从接收的图像提取所述自动补正图案的特征点，利用对提取特征点的已知信息，推定所述摄像机的绝对位置和安装角，利用存储在所述存储单元的内部参数，执行镜片歪曲补正；图片排列推定单元，利用从所述歪曲补正单元推定的摄像机的绝对位置和安装角的信息，在图像中作为变更参数，推定摄像机安装位置及旋转误差；及图片排列生成单元，利用从所述图片排列推定单元推定的变更参数，补正图像的三维位置及大小。

【技术实现步骤摘要】
【国外来华专利技术】对于从摄像机获得的图像，具备自动补正功能的图像处理装置及其方法
本专利技术涉及对于从摄像机获得的图像，具备自动补正功能的图像处理装置及其方法，更详细地讲，涉及通过从摄像机获得的图像，自动补正安装在车辆的摄像机安装误差，具备自动补正功能的图像处理装置及其方法。
技术介绍
最近，因信息通信技术的发达与互联网使用人口的增加，多种摄像机被广泛普及，且利用此的图像分析及对灵活使用的要求逐渐增加。但是，因摄像机镜片的特性，从摄像机获得的图像发生歪曲，且为了分析并灵活使用图像，要补正这些图像的歪曲。其中，如安装在汽车的摄像机，具有宽视角的广角摄像机，拍摄的图像比普通摄像机拍摄的图像歪曲更严重，将摄像机的图像都表现在图像输出装置内时，图像被显示成以水平和垂直被压缩的歪曲图像。特别地，离镜片的中心越远，需要补正比原来位置向内侧或外侧移动的放射形歪曲。类似的图像歪曲现象，出现在所有使用镜片的摄像机，因此，很久之前开始，研发了在多个领域用于补正歪曲图像的技术。其中，用于车辆的摄像机，在其功能和目的中，非常多样地被使用，因此，这些技术被广泛地灵活使用。用于车辆的摄像机中，后视摄像机是代表性的，但是，后视摄像机需要将外部的摄像机和其摄像机的图像，单纯地按原样输出的输出装置，但是，最近随着高级驾驶辅助系统(ADAS)的开发及发展，不是单纯地按原样输出摄像机的图像，而是必须将摄像机的图像以符合用户要求或适合于控制系统要求的形态来加工表现的必要性突显。即，如要求全景形式的视觉，或要求顶视图形式的视觉，须符合用户或系统的要求来将摄像机的图像加工表现。要想这样的将需要于车辆的图像加工表现，如上述首先要解决对歪曲的摄像机图像的补正，但是，其用于歪曲补正的代表方法，大致过程随如下。即，定义摄像机模型，从补正图案推定模型的内部及外部参数之后，通过模型的逆变换复原的方法。其中，在从补正图案推定参数的过程中，为了摄像机补正，使用特定图案工具。如此使用图案工具，其优点在于可预先正确地知道图案上的特定标识的相对位置，可获得精密的结果，但需要一直带着重的特征图案工具，因此，具有繁琐的缺点。有关先行技术为韩国公开专利2009-0065198号(公开日：2009.06.22)。
技术实现思路
专利技术要解决的问题本专利技术提供对于从摄像机获得的图像具备自动补正功能的图像处理装置及其方法，补正从摄像机获得的图像歪曲时，从自动补正图案执行摄像机的镜片歪曲补正的同时，也可执行摄像机的位置及对姿势的误差补正。本专利技术的另一目的是提供对于从摄像机获得的图像具备自动补正功能的图像处理装置及其方法，在补正从摄像机获得的图像歪曲的过程中，从自动补正图案推定参数的过程无特定的自动补正图案，只利用由三角形、四边形、圆形或者其他多角形等的多种形状形成的图案，可简单地补正摄像机的图像。本专利技术所要达成的技术课题，不限定于上述提及的技术课题。解决问题的技术方案为了达成所述课题，提供一种对于从摄像机获得的图像具备自动补正功能的图像处理装置，本专利技术的对于从摄像机获得的图像具备自动补正功能的图像处理装置，可包括：自动补正图案，在摄像机周边的任意场所，安装一个以上；输出入模块，从所述摄像机接收图像，传送至所述图像处理装置；及图像处理模块，用于补正从所述摄像机获得的图像歪曲的算法被包含的处理部，且所述输出入模块包括：图像输出入单元，在所述摄像机和所述图像处理模块之间，接发数据；和存储单元，存储在所述图像处理模块处理的信息，且所述图像处理模块包括：歪曲补正单元，从接收的图像提取所述自动补正图案的特征点，利用对提取特征点的已知信息，推定所述摄像机的绝对位置和安装角，利用存储在所述存储单元的内部参数，执行镜片歪曲补正；图片排列推定单元，利用从所述歪曲补正单元推定的摄像机的绝对位置和安装角的信息，在图像作为变更参数，推定摄像机安装位置及旋转误差；及图片排列生成单元，利用从所述图片排列推定单元推定的变更参数，补正图像的三维位置及大小。具体地，所述自动补正图案的形状可以是三角形、四角形、多角形及圆形中任何一个。具体地，如所述自动补正图案的模样、大小或者色彩等的图形规格的信息，和如棱、矩等的几何信息可以是已知的信息。具体地，所述内部参数可包括光中心、纵横比、投影类型及焦距中任何一个以上。具体地，所述图片排列推定单元作为变更参数，推定摄像机安装位置及旋转误差时，可使其误差为最小，利用最佳算法方法。具体地，所述最佳算法可以是雷文博格-马括特方法(LM，Levenberg-Marquadts)、最小均方LMS(LeastMeanSquare)、蚁群最佳算法ACO(AntColonyOptimization)、粒子群算法PSO(ParticleSwarmOptimization)中任何一个。具体地，所述图片排列生成单元补正图像时，可将推定的信息存储在存储单元，以如查找表LUT(Look-upTable)、由图形处理器纹理(GPUtexture)坐标映射方法的顶点(Vertex)、用户定义元数据格式(meta-dataformat，如，XML格式(format))等多种形式生成并存储。具体地，可包括：接收自动补正图案图像步骤，图像处理模块从输出入模块，接收摄像机拍摄的自动补正图案图像；提取特征点步骤，所述图像处理模块的歪曲补正单元，利用对所述自动补正图案的已知信息，在接收的图像提取自动补正图案的特征点；推定绝对位置和安装角步骤，利用从所述歪曲补正单元提取的所述自动补正图案的特征点，推定获得图像当时的摄像机绝对位置和安装角；获得内部参数步骤，所述歪曲补正单元利用接收图像，获得用于镜片歪曲补正的内部参数；执行镜片歪曲补正步骤，利用所述获得的内部参数，通过歪曲补正算法，补正镜片歪曲图像；及推定变更参数及执行图像补正步骤，图片排列生成单元利用所述变更参数，最终执行图像补正。具体地，在所述执行镜片歪曲补正步骤中，补正镜片歪曲图像的方法可以是非线性歪曲补正方法，或者通过高斯球(GaussianSphere)映射的歪曲补正方法中任何一个。具体地，所述非线性歪曲补正方法可以是基于针孔(pinholebased)的方法或基于捕获光线的方法(capturedraybased)，使用在所述基于捕获光线的方法(capturedraybased)的投影方程式是等距投影(Equidistantprojection)、正射投影(Orthographicprojec)、等立体角投影(Equisolidangleprojection)及立体拍摄投影(Stereographicprojection)中任何一个。具体地，对于从摄像机获得的图像，具备自动补正功能的图像处理方法，其特征可包括所述推定变更参数及执行图像补正步骤，可由以下方程式执行实际自动补正图案和图案匹配。方程式等距投影：Rf＝f·ω正投影：Rf＝f·sin(ω)等立体角射影：Rf＝2f·sin(ω/2)立体投影：Rf＝2f·tan(ω/2)其中，XYc是歪曲补正图像的一点的直角坐标、XYp是将XYc映射在地面的点的二维坐标、Sc是比例要素、fpc是将三维坐标映射为平面的一个点的函数、R(θ)及R(ψ)如方程式3所示，以三维坐标的旋转矩阵分别意味着φ是以x轴为中心旋转的角、θ是以y轴为中心旋转的角本文档来自技高网...

【技术保护点】
一种摄像机拍摄安装在地面的自动补正图案，将获得的图像传送至输出入模块，图像处理模块接收所述图像，补正歪曲图像的具备自动补正功能的图像处理装置，对于从摄像机获得的图像具备自动补正功能的所述图像处理装置包括：自动补正图案，在摄像机周边的任意场所，安装一个以上；输出入模块，从所述摄像机接收图像，传送至所述图像处理装置；及图像处理模块，作为处理部，包含用于补正从所述摄像机获得的图像歪曲的算法，且所述输出入模块包括：图像输出入单元，在所述摄像机和所述图像处理模块之间，接发数据；和存储单元，存储在所述图像处理模块处理的信息，且所述图像处理模块包括：歪曲补正单元，从接收的图像提取所述自动补正图案的特征点，利用对提取特征点的已知信息，推定所述摄像机的绝对位置和安装角，利用存储在所述存储单元的内部参数，执行镜片歪曲补正；图片排列推定单元，利用从所述歪曲补正单元推定的摄像机的绝对位置和安装角的信息，在图像中作为变更参数，推定摄像机安装位置及旋转误差；及图片排列生成单元，利用从所述图片排列推定单元推定的变更参数，补正图像的三维位置及大小。

【技术特征摘要】
【国外来华专利技术】2015.03.25 KR 10-2015-00412931.一种摄像机拍摄安装在地面的自动补正图案，将获得的图像传送至输出入模块，图像处理模块接收所述图像，补正歪曲图像的具备自动补正功能的图像处理装置，对于从摄像机获得的图像具备自动补正功能的所述图像处理装置包括：自动补正图案，在摄像机周边的任意场所，安装一个以上；输出入模块，从所述摄像机接收图像，传送至所述图像处理装置；及图像处理模块，作为处理部，包含用于补正从所述摄像机获得的图像歪曲的算法，且所述输出入模块包括：图像输出入单元，在所述摄像机和所述图像处理模块之间，接发数据；和存储单元，存储在所述图像处理模块处理的信息，且所述图像处理模块包括：歪曲补正单元，从接收的图像提取所述自动补正图案的特征点，利用对提取特征点的已知信息，推定所述摄像机的绝对位置和安装角，利用存储在所述存储单元的内部参数，执行镜片歪曲补正；图片排列推定单元，利用从所述歪曲补正单元推定的摄像机的绝对位置和安装角的信息，在图像中作为变更参数，推定摄像机安装位置及旋转误差；及图片排列生成单元，利用从所述图片排列推定单元推定的变更参数，补正图像的三维位置及大小。2.根据权利要求1所述的对于从摄像机获得的图像具备自动补正功能的图像处理装置，其中，所述自动补正图案的形状是三角形、四边形、多角形及圆形中任何一个。3.根据权利要求1所述的对于从摄像机获得的图像具备自动补正功能的图像处理装置，其中，如所述自动补正图案的形状、大小或者色彩等的图形规格的信息，和如棱、矩等的几何信息是已知的信息。4.根据权利要求1所述的对于从摄像机获得的图像具备自动补正功能的图像处理装置，其中，所述内部参数包括光中心、纵横比、投影类型及焦距中任何一个以上。5.根据权利要求1所述的对于从摄像机获得的图像具备自动补正功能的图像处理装置，其中，所述图片排列推定单元作为变更参数，推定摄像机安装位置及旋转误差时，利用最佳算法方法使其误差为最小。6.根据权利要求5所述的对于从摄像机获得的图像具备自动补正功能的图像处理装置，其中，所述最佳算法是雷文博格-马括特方法、最小均方、蚁群最佳算法、粒子群算法中任何一个。7.根据权利要求1所述的对于从摄像机获得的图像具备自动补正功能的图像处理装置，其中，所述图片排列生成单元补正图像时，将推定的信息存储在存储单元，以如查找表、由图形处理器纹理坐标映射方法的顶点、用户定义元数据格式等多种形式生成并存储。8.一种对于从摄像机获得的图像具备自动补正功能的图像处理方法，其步骤包括：接收自动补正图案图像步骤，图像处理模块从输出入模块，接收摄像机拍摄的自动补正图案图像；提取特征点步骤，所述图像处理模块的歪曲补正单元，利用对所述自动补正图案的已知信息，在接收的图像提取自动补正图案的特征点；推定绝对位置和安装角步骤，利用从所述歪曲补正单元提取的所述自动补正图案的特征点，推定获得图像当时的摄像机绝对位置和安装角；获得内部参数步骤，所述歪曲补正单元利用接收图像，获得用于镜片歪曲补正的内部参数；执行镜片歪曲补正步骤，利用所述获得的内部参数，通过歪曲补正算法，补正镜片歪曲图像；及推定变更参数及执行图像补正步骤，图片排列生成单元利用所述变更参数，最终执行图像补正。9.根据权利要求8所述的对于从摄像机获得的图像具备自动补正功能的图像处理方法，其中，在所述执行镜片歪曲补正步骤中，补正镜片歪曲图像的方法是非线性歪曲补正方法，或者...

【专利技术属性】
技术研发人员：李俊锡，
申请(专利权)人：威达斯高级驾驶辅助设备有限公司，
类型：发明
国别省市：韩国,KR