AVM系统的公差校正装置、方法及其记录介质制造方法及图纸

本发明专利技术公开了AVM系统的公差校正装置及其方法。根据本发明专利技术的一实施例中的公差校正装置，包括：图像输入部，将由所述车辆具备的摄像机对配置在所述车辆周边的圆形图案进行拍摄而获得的图像信号，分别转换为摄像机图像数据；以及公差校正部，在所述摄像机图像数据中提取与所述圆形图案对应的椭圆，利用所述椭圆和所述圆形图案之间的相关关系，计算出所述摄像机图像数据和顶视图图像之间的单应矩阵，并计算出所述摄像机的外部参数，从而在世界坐标上推定所述摄像机的位置。

【技术实现步骤摘要】

本专利技术涉及AVM系统的公差校正装置及其方法。
技术介绍
通常，乘坐在车辆内部的驾驶员的视野主要朝向前方，驾驶员的左右侧和后方视野被车体遮挡相当一部分，因此具有非常有限的视野。为了解决上述问题，通常使用用来弥补驾驶员有限范围的视野的侧镜等视野辅助工具，最近的趋势是，车辆中应用包括摄像手段的技术，用来拍摄车辆外部图像提供给驾驶员。其中，具有全景监测系统(AVM：AroundViewMonitoring)(以下称作AVM)，即在目前车辆周围设置多个摄像机，显示车辆周边360°全方位的图像。AVM系统不仅提供通过拍摄车辆周边的多个摄像机所拍摄的单独视图(view)，还组合车辆周边的图像，提供驾驶员犹如从空中观看车辆般的顶视图(TopView)图像，从而显示车辆周边障碍物，消除死角地带。图1中概略地示出了AVM系统的概念。参照图1时，车辆100的前后方、左右侧分别设置有摄像机110a、110b、110c、110d(以下，统称为110)。摄像机110分别拍摄车辆100的前后方以及左右侧的图像A、B、C、D，并将拍摄的图像重建为如同从上方观看车辆100的状态的图像(参照图1的(b))，并输出到安装在车辆100上的各种显示装置上。其中，在生成如图1的(b)所示的顶视图的过程中，组合利用多个摄像机所拍摄的周边图像时，摄像机的安装误差会产生如个别摄像机所拍摄的图像之间的不整合的缺陷，这种在车辆中的摄像机安装过程中所产生的误差称作公差。目前研究出一种用软件去除顶视图生成过程中的缺陷的图像校正方法，美国专利公开US2009/0010630号也公开了摄像机系统的图像校正方法。以往，利用设置在车辆上的摄像机生成车辆周边图像的顶视图的过程中，为了校正公差，一直使用了矩形、三角形、棋盘形态的多边形图案。对于图像中出现的多边形图案，找出顶点或X字记号等特征，利用特征的世界坐标(worldcoordinate)和图像坐标来校正公差，从而生成顶视图。此时，对于多边形图案，需任意赋予世界坐标，但为了赋予世界坐标，需要掌握顶点之间的距离或顶点的位置关系等多边形图案在世界坐标中的相对信息。这样的制约具有如下不便，即为了生成顶视图，需按照指定规格设置多边形图案，输入或掌握图案信息很费劲。在先技术文献专利文献美国专利公开US2009/0010630号(公开日期2009年1月8日)-Camerasystemandmethodofcorrectingcamerafittingerrors
技术实现思路
专利技术所要解决的技术问题因此，本专利技术是为了解决上述问题而提出的，提供一种AVM系统的公差校正装置及其方法，其利用圆形图案(pattern)而非多边形图案，无需输入图案的世界坐标，当图案满足图像出现的条件时可生成顶视图，利用为了生成顶视图而计算的单应矩阵(homography)，能够正确地推定摄像机的外部参数。本专利技术提供一种AVM系统的公差校正装置及其方法，即便使图案位于任意位置也能校正公差，可以缩短设置图案所需的时间，即使不知道摄像机和图案的相对以及绝对位置，也能够合成多个摄像机的图像，自动寻找圆形图案，从而可用于自动校正公差。本专利技术的其他目的会通过以下说明的优选实施例更加明确。问题的解决方法根据本专利技术的一个实施方式，提供一种设置在车辆上的摄像机的公差校正装置，该装置包括：图像输入部，将由所述车辆具备的摄像机对配置在所述车辆周边的圆形图案进行拍摄而获得的图像信号，分别转换为摄像机图像数据；以及公差校正部，在所述摄像机图像数据中提取与所述圆形图案对应的椭圆，利用所述椭圆和所述圆形图案之间的相关关系，计算出所述摄像机图像数据和顶视图图像之间的单应矩阵(homography)，并计算出所述摄像机的外部参数(extrinsicparameter)，从而在世界坐标上推定所述摄像机的位置。所述摄像机包括设置在所述车辆的前方、右侧、左侧以及后方的第一摄像机、第二摄像机、第三摄像机以及第四摄像机，所述圆形图案可包括第一圆形图案，该第一圆形图案被配置成满足如下位置条件，即，位于所述摄像机中相邻摄像机的视角重叠的区域内的任意位置。或者，所述摄像机包括设置在所述车辆的前方、右侧、左侧以及后方的第一摄像机、第二摄像机、第三摄像机以及第四摄像机，所述圆形图案包括第一圆形图案，该第一圆形图案包含于从至少两个视图获得的所述摄像机图像数据中。所述圆形图案还包括以与所述车辆的左右侧车轮成水平的方式配置的第二圆形图案。所述公差校正部可执行如下步骤：从所述摄像机图像数据提取椭圆；提取所述椭圆的轮廓；校正所述摄像机的由内部参数引起的畸变；基于校正畸变后的椭圆的轮廓坐标，计算出椭圆方程式；利用所述椭圆方程式，计算出世界坐标和摄像机图像数据之间的单应矩阵。所述公差校正部求出经过圆形点(circularpoint)变换的所述椭圆的交点，求出投影矩阵的逆矩阵P-1和仿射矩阵的逆矩阵A-1，并可根据下面的数学式计算出单应矩阵H。数学式是HI=P-1A-1I=P-1β+iαi0=β+iαi-l1l3(β+iα)-il2l3,]]>α=-cos(φ)sin(φ)sin2(θ)cos2(φ)cos2(θ)+sin2(θ)β=-cos(θ)cos2(θ)cos2(φ)+sin2(φ),]]>φ是旋转角(rotationalangle)，θ是仰角(elevationangle)。所述公差校正部利用将所述世界坐标变换为所述摄像机图像数据的图像坐标的矩阵P、所述摄像机的内部参数K、世界坐标和摄像机坐标之间的旋转变换R、在世界坐标中的摄像机坐标之间的移动量C之间的相关关系，利用单应矩阵H和已知的K，从在世界坐标上推定摄像机的位置。另一方面，根据本专利技术的另一实施方式，提供设置在车辆上的摄像机的公差校正方法以及记录用于执行该公差校正方法的程序的记录介质。根据一个实施例的公差校正方法可以包括如下步骤：通过图像输入部，将所述车辆具备的摄像机对配置在所述车辆周边的圆形图案进行拍摄而获得的图像信号，分别变换为摄像机图像数据；从所述摄像机图像数据提取与所述圆形图案对应的椭圆；利用所述椭圆和所述圆形图案之间的相关关系，计算出所述摄像机图像数据和顶视图图像之间的单应矩阵；以及计算出所述摄像机的外部参数，在世界坐标上推定所述摄像机的位置。所述计算单应矩阵的步骤可以包括如下步骤：提取所述椭圆的轮廓；校正所述摄像机的由内部参数引起的畸变；基于校正畸变后的椭圆的轮廓坐标，计算出椭圆方程式；以及利用所述椭圆方程式，计算出世界坐标和摄像机图像数据之间的单应矩阵。求出经过圆形点变换的所述椭圆之间的交点，求出投影矩阵的逆矩阵P-1和仿射矩阵的逆矩阵A-1，并根据指定的数学式，计算出单应矩阵H。所述摄像机位置推定步骤中，可利用将所述世界坐标变换为所述摄像机图像数据的图像坐标的矩阵P、所述摄像机的内部参数K、世界坐标和摄像机坐标之间的旋转变换R、在世界坐标中的摄像机坐标之间的移动量C之间的相关关系，利用单应矩阵H和已知的K，在本文档来自技高网...

【技术保护点】
一种公差校正装置，用于对设置在车辆上的摄像机的公差进行校正，其特征在于，包括：图像输入部，将由所述车辆具备的摄像机对配置在所述车辆周边的圆形图案进行拍摄而获得的图像信号，分别转换为摄像机图像数据；以及公差校正部，在所述摄像机图像数据中提取与所述圆形图案对应的椭圆，利用所述椭圆和所述圆形图案之间的相关关系，计算出所述摄像机图像数据和顶视图图像之间的单应矩阵，并计算出所述摄像机的外部参数，从而在世界坐标上推定所述摄像机的位置。

【技术特征摘要】
2015.06.25 KR 10-2015-00901671.一种公差校正装置，用于对设置在车辆上的摄像机的公差进行校正，其特征在于，包括：图像输入部，将由所述车辆具备的摄像机对配置在所述车辆周边的圆形图案进行拍摄而获得的图像信号，分别转换为摄像机图像数据；以及公差校正部，在所述摄像机图像数据中提取与所述圆形图案对应的椭圆，利用所述椭圆和所述圆形图案之间的相关关系，计算出所述摄像机图像数据和顶视图图像之间的单应矩阵，并计算出所述摄像机的外部参数，从而在世界坐标上推定所述摄像机的位置。2.根据权利要求1所述的公差校正装置，其特征在于，所述摄像机包括设置在所述车辆的前方、右侧、左侧以及后方的第一摄像机、第二摄像机、第三摄像机以及第四摄像机，所述圆形图案包括第一圆形图案，该第一圆形图案被配置成满足如下位置条件，即，位于所述摄像机中相邻摄像机的视角重叠的区域内的任意位置。3.根据权利要求1所述的公差校正装置，其特征在于，所述摄像机包括设置在所述车辆的前方、右侧、左侧以及后方的第一摄像机、第二摄像机、第三摄像机以及第四摄像机，所述圆形图案包括第一圆形图案，该第一圆形图案包含于从至少两个视图获得的所述摄像机图像数据中。4.根据权利要求1所述的公差校正装置，其特征在于，所述公差校正部执行如下步骤：从所述摄像机图像数据中提取椭圆；提取所述椭圆的轮廓；校正所述摄像机的由内部参数引起的畸变；基于校正畸变后的椭圆的轮廓坐标，计算出椭圆方程式；利用所述椭圆方程式，计算出世界坐标和摄像机图像数据之间的单应矩阵。5.根据权利要求4的公差校正装置，其特征在于，所述公差校正部求出经过圆形点变换的所述椭圆之间的交点，以求出投影矩阵的逆矩阵P-1和仿射矩阵的逆矩阵A-1，并根据下述数学式，计算出单
\t应矩阵，其中，数学式是HI=P-1A-1I=P-1β+iαi0=β+iαi-l1l3(β+iα)-il2l3,]]>α=-cos(φ)sin(φ)sin2(θ)cos2(φ)cos2(φ)+sin2(θ)]]>β=-cos(θ)cos2(θ)cos2(φ)+sin2(φ),]]>φ是旋转角，θ是仰角。6.根据权利要求4所述的公差校正装置，其特征在于，所述公差校正部利用将所述世界坐标变换为所述摄像机图像数据的图像坐标的矩阵P、所述摄像机的内部参数K、世界坐标和摄像机坐标之间的旋转变换R、以及在世界坐标中的摄像机坐标之间的移动量C之间的相关关系，并利用单应矩阵H和已知的K，在世界坐标上推定摄像机的位置。7.根据权利要求2或3所述的公差校正装置，其特征在于，所述圆形图案还包括以与所述车辆的左右侧车轮成水平的方式配置的第二圆形图案...

【专利技术属性】
技术研发人员：曹尚铉，韩定洙，
申请(专利权)人：株凯希思，
类型：发明
国别省市：韩国;KR