全景泊车辅助系统及其广角图像调试方法和装置制造方法及图纸

提供全景泊车辅助系统的广角图像调试方法及装置，包括：获取调试模板特征点的世界坐标；获取广角摄像头采集的调试模板特征点的图像数据，图像数据至少包括调试模板特征点在采集图像中的理论坐标值；根据获取的调试模板特征点的图像数据建立特征点的图像观测值与内、外参数集之间的观测模型；计算当前次特征点的图像观测值与理论坐标值之间的误差；并迭代优化误差，得到优化后的内、外参数集。由于采用了内、外参数集建立特征点观测模型，在优化迭代时，可以同时对内、外参数进行优化，从而避免了在调试过程中，因内参输入错误而导致的调试错误。

Panoramic parking assist system and wide-angle image debugging method and device thereof

Provide panoramic parking assistant system of wide-angle image method and apparatus for debugging, including obtaining the world coordinate debug template feature points; image data debugging template feature points to obtain wide-angle camera, image data including at least the theoretical coordinates of the feature points in the debugging template in the image value; according to the observation model between the internal and external parameters set the observed image image data debugging template feature points to obtain the establishment of feature point value; calculation error between theory and the coordinate values of the observed image feature points of the current value; and the iterative optimization error, get the optimized internal and external parameters set. The parameters used in the set of feature points and observation model in the optimization iteration, the internal and external parameters are optimized, so as to avoid in the process of debugging, debugging due to internal input errors.

【技术实现步骤摘要】

本专利技术涉及视频图像处理领域，具体涉及一种全景泊车辅助系统及其广角图像调试方法和装置。
技术介绍
全景泊车辅助系统，又称360度全景辅助系统，主要采用安装在车身前后左右四个方向的超广角摄像头进行图像采集，并通过对摄像头采集的图像去畸变及拼接后，展现出效果上相当于从车顶俯视车身周边的全景图。全景图的拼接需要两个参数：摄像头的内参和外参。内参反映的是摄像头本身的特性，通过内参的调整能够去除摄像头本身的畸变，其主要包括焦距，中心点，以及畸变参数(包括k1、k2、k3、k4等，通常用于对图像进行建模)；外参反映的是摄像头在汽车所处三维世界坐标的位置关系，通过摄像头外参，能够将四个摄像头中的图片，拼接成一个完整的360度全景图，其主要包括平移向量和旋转向量当前市面上针车载鱼眼摄像头的标定主流的有两步法和一步法。两步法标定过程分两步，分别为内参标定和外参标定，其中内参标定主要在出厂前完成，而外参标定一般在现场装车后进行。两步法的缺点是，需要对摄像头进行工厂定参，并对摄像头编号管理和标定，标定完成后需要对参数进行管理以及拷贝或传输，现场安装时需要根据摄像头编号导入参数。此方法成本高，效率低，且容易出错。一步法主要是安装后，通过铺设特定的调试布，实现内外参的一次调试。而当前一步调试由于采用的模板过于简单，需要使用键盘和屏幕交互，并由现场调试人员完成特征点的标定，耗时较长，不利于自动化批量生产。
技术实现思路
本申请提供一种全景泊车辅助系统及其广角图像调试方法和装置，以实现同时优化调试广角图像内、外参数集。根据第一方面，一种实施例中提供一种全景泊车辅助系统的广角图像调试方法，包括：世界坐标获取步骤，获取调试模板特征点的世界坐标；采集数据获取步骤，获取广角采集的调试模板特征点的图像数据，所述图像数据至少包括调试模板
特征点在采集图像中的理论坐标值；观测模型建立步骤，根据获取的调试模板特征点的世界坐标建立特征点的图像观测值与内、外参数集之间的观测模型；迭代优化步骤，计算当前次特征点的图像观测值与理论坐标值之间的误差；并迭代优化误差，得到优化后的内、外参数集。根据第二方面，一种实施例中提供一种全景泊车辅助系统的广角图像调试装置，包括：世界坐标获取模块，用于获取调试模板特征点的世界坐标；采集数据获取模块，用于获取广角采集的调试模板特征点的图像数据，所述图像数据至少包括调试模板特征点在采集图像中的理论坐标值；观测模型建立模块，用于根据获取的调试模板特征点的世界坐标建立特征点的图像观测值与内、外参数集之间的观测模型；迭代优化模块，用于计算当前次特征点的图像观测值与理论坐标值之间的误差；并迭代优化误差，得到优化后的内、外参数集。根据第三方面，一种实施例中提供一种全景泊车辅助系统，包括：上述广角图像调试装置。依据上述实施例的全景泊车辅助系统的广角图像调试方法，由于采用了内、外参数集建立特征点观测模型，在优化迭代时，可以同时对内、外参数进行优化，从而避免了在调试过程中，因内参输入错误而导致的调试错误。附图说明图1为本实施例全景泊车辅助系统示意图；图2为本实施例公开的一种广角图像调试装置示意图；图3为一种实施例的一种观测模型建立模块示意图；图4为一种实施例的一种迭代优化模块示意图；图5为本实施例公开的一种广角图像调试方法流程图；图6为本实施例广角摄像头采集的调试模板示意图；图7为广角摄像头采集图像畸变原理图；图8为本实施例公开的一种迭代优化流程图；图9为本实施例迭代优化后的效果示意图。具体实施方式请参考图1，为一种全景泊车辅助系统示意图，由于全景泊车辅助系统采用的是广角摄像头，其采集的图像会发生畸变，因此需要对广角摄像头采集的图
像数据进行调试，得到校正参数，以实现畸变图像的校正。在对全景泊车辅助系统进行调试过程中，通常会在铺设调试模板，例如图1所示的在车身四周摄像头正下方铺设调试模板A(5x7棋盘格)，在摄像头公共区域铺设调试模板B(3x3棋盘格)，而后由摄像头采集调试模板(包括A和B)的图像数据，调试系统将调试模板的世界坐标映射到调试模板的采集图像中得到调试模板的观测值；采集调试模板的图像数据，得到特征点的实际坐标(即理论坐标值)，根据调试模板的观测值与实际的理论坐标值进行比对来对调试校正参数进行优化。请参考图2，为本实施例公开的一种全景泊车辅助系统的广角图像调试装置，包括：世界坐标获取模块1、采集数据获取模块2、观测模型建立模块3和迭代优化模块4，其中，世界坐标获取模块1用于获取调试模板特征点的世界坐标；采集数据获取模块2用于获取广角摄像头采集的调试模板特征点的图像数据，其中，图像数据至少包括调试模板特征点在采集图像中的理论坐标值；观测模型建立模块3用于根据获取的调试模板特征点的世界坐标建立特征点的图像观测值与内、外参数集之间的观测模型；迭代优化模块4用于计算当前次特征点的图像观测值与理论坐标值之间的误差；并迭代优化误差，得到优化后的内、外参数集。在具体实施例中，请参考图3，观测模型建立模块3包括：初始化单元31和建立单元32，其中，初始化单元31用于将获取的调试模板特征点的图像数据与调试模板特征点的世界坐标进行映射得到初始化外参；建立单元32根据初始化外参和预设内参建立特征点的图像观测值与内、外参数集之间的观测模型。在具体实施例中，迭代优化模块4包括：迭代增量计算单元41和观测模型更新单元42，其中，迭代增量计算单元41用于根据当前次特征点的图像观测值与理论坐标值之间的误差得到当前次内、外参的迭代增量；观测模型更新单元42用于将当前次内、外参的迭代增量加入当前的内、外参集更新观测模型。在一种实施例中，迭代增量计算单元41用于根据如下公式计算迭代增量：Δxi＝(JTJ)-1JTεi，其中，Δxi为当前次内、外参的迭代增量，J为当前次观测模型对内、外参集的雅可比导数矩阵，εi为当前次特征点的图像观测值与理论坐标值之间的误差；在另一种实施例中，迭代增量计算单元41用于根据如下公式计算迭代增量：Δxi＝(JTJ+μI)-1JTεi，其中，Δxi为当前次内、外参的迭代增量，J为当前次观测模型对内、外参集的雅可比导数矩阵，μ为阻尼系数，I为单位对角阵，εi为当前次特征点的图像观测值与理论坐标值之间的误差。基于上述实施例公开的全景泊车辅助系统的广角图像调试装置，本实施例还公开了一种全景泊车辅助系统的广角图像调试方法，请参考图5，为本实施例
全景泊车辅助系统的广角图像调试方法流程图，具体方法包括如下步骤：步骤100、世界坐标获取。获取调试模板特征点的世界坐标。请参考图1，在对全景泊车辅助系统进行调试过程中，需要在车身四周摄像头正下方铺设调试模板A(5x7棋盘格)，在摄像头公共区域铺设调试模板B(3x3棋盘格)，并获取调试模板特征点的世界坐标。一般而言，调试模板为黑白间隔的棋盘格，本实施例中，将黑格(当然也可以是黑格的角点)作为调试模板的特征点。在其它实施例中，也可以是白格或者白格的角点。步骤200、采集数据获取。获取广角摄像头采集的调试模板特征点的图像数据，其中，图像数据至少包括调试模板特征点在采集图像中的理论坐标值。请参考图6，为本实施例广角摄像头采集的调试模板示意图，由图6可知，由于摄像头采用的是广角摄本文档来自技高网...

【技术保护点】
一种全景泊车辅助系统的广角图像调试方法，其特征在于，包括：世界坐标获取步骤，获取调试模板特征点的世界坐标；采集数据获取步骤，获取广角摄像头采集的调试模板特征点的图像数据，所述图像数据至少包括调试模板特征点在采集图像中的理论坐标值；观测模型建立步骤，根据获取的调试模板特征点的世界坐标建立特征点的图像观测值与内、外参数集之间的观测模型；迭代优化步骤，计算当前次特征点的图像观测值与理论坐标值之间的误差；并迭代优化误差，得到优化后的内、外参数集。

【技术特征摘要】
1.一种全景泊车辅助系统的广角图像调试方法，其特征在于，包括：世界坐标获取步骤，获取调试模板特征点的世界坐标；采集数据获取步骤，获取广角摄像头采集的调试模板特征点的图像数据，所述图像数据至少包括调试模板特征点在采集图像中的理论坐标值；观测模型建立步骤，根据获取的调试模板特征点的世界坐标建立特征点的图像观测值与内、外参数集之间的观测模型；迭代优化步骤，计算当前次特征点的图像观测值与理论坐标值之间的误差；并迭代优化误差，得到优化后的内、外参数集。2.如权利要求1所述的广角图像调试方法,其特征在于，所述观测模型建立步骤包括：将获取的调试模板特征点的图像数据与调试模板特征点的世界坐标进行映射得到初始化外参；根据初始化外参和预设内参建立特征点的图像观测值与内、外参数集之间的观测模型。3.如权利要求1所述的广角图像调试方法,其特征在于，所述迭代优化步骤包括：迭代增量计算步骤，根据当前次特征点的图像观测值与理论坐标值之间的误差得到当前次内、外参的迭代增量；观测模型更新步骤，将当前次内、外参的迭代增量加入当前的内、外参集更新观测模型；根据更新后的观测模型计算下一次特征点的图像观测值与理论坐标值之间的误差；并迭代优化误差，得到优化后的内、外参数集。4.如权利要求3所述的广角图像调试方法,其特征在于，所述迭代增量计算步骤采用如下公式计算：Δxj＝(JTJ)-1JTεj，其中，Δxj为当前次内、外参的迭代增量，J为当前次观测模型对内、外参集的雅可比导数矩阵，εj为当前次特征点的图像观测值与理论坐标值之间的误差，j为迭代次数。5.如权利要求3所述的广角图像调试方法,其特征在于，所述迭代增量计算步骤采用如下公式计算：Δxj＝(JTJ+μI)-1JTεj，其中，Δxj为当前次内、外参的迭代增量，J为当前次观测模型对内、外参集的雅可比导数矩阵，μ为阻尼系数，I为单位对角阵，εj为当前次特征点的图像观测值与理论坐标值之间的误差，j为...

【专利技术属性】
技术研发人员：龚冰冰，周建波，吴谋硕，王洪涛，
申请(专利权)人：深圳市汉华安道科技有限责任公司，
类型：发明
国别省市：广东;44