双目相机自标定方法及系统技术方案

技术编号:26174485 阅读:21 留言:0更新日期:2020-10-31 14:02
本发明专利技术提供一种双目相机自标定方法及系统,包括:1)获取左右原始图像;2)校正左右原始图像;3)从左右校正图像中提取特征点并匹配;4)统计左右图像纵坐标偏差的平均值,若大于对应阈值则修正估计第一参数组,反复迭代修正,直至小于对应阈值;5)找到静态物体;6)处于移动状态时,追踪静态物体的视差及车轮运动信息;7)得到车轮运动距离与静态物体的三维距离变化值的距离偏差,若大于对应阈值则修正估计第二参数组,反复迭代校正,直至小于对应阈值,完成自标定。本发明专利技术利用实时图像追踪和车体运动信息,对内外参进行优化标定,完成图像校正工作,为车体提供准确的三维识别数据。

【技术实现步骤摘要】
双目相机自标定方法及系统
本专利技术涉及图像处理领域,特别是涉及一种双目相机自标定方法及系统。
技术介绍
双目传感器作为可应用于室外场景的立体相机,可以为机器人提供立体障碍物检测功能,双目相机通过对机器人前进方向的图像分析识别可以计算视野内障碍物的三维位置信息,为机器人的安全行驶提供保障。然而双目相机在作为立体相机使用前,需要经过严格的标定过程。如“AFlexibleNewTechniqueforCameraCalibration”文章给出了经典的双目棋盘格标定方法,该标定方法可以对双目相机的内外参进行估计,但由于双目使用过程中受到外力挤压撞击,甚至是环境的温度湿度影响,均会导致双目相机的内外参,特别是外参的变化。现有技术中还给出了一些对双目相机的内外参进行估计的方法,但是普遍存在受外界环境影响大、非线性优化无法收敛等问题。因此,如何提出一种基于实时数据对内外参进行优化标定的方法以使得双目相机提供准确的三维识别数据,已成为本领域技术人员亟待解决的问题之一。
技术实现思路
鉴于以上所述现有技术的缺点,本专利技术的目的在于提供一种双目相机自标定方法及系统,用于解决现有技术中内外参在使用过程中受环境影响发生变化、非线性优化无法收敛等问题。为实现上述目的及其他相关目的,本专利技术提供一种双目相机自标定方法,所述双目相机自标定方法至少包括:1)分别从双目相机的两个图像采集单元获取左右原始图像;2)根据当前第一参数组及第二参数组构建双目内外参矩阵,对左右原始图像进行校正,得到左右校正图像;其中,第一参数组影响垂直方向视差,第二参数组影响水平方向视差;3)从左右校正图像中分别提取特征点,并对左右校正图像中的特征点进行匹配得到匹配的特征点对,对误匹配的特征点进行过滤;4)统计各特征点对的左右图像纵坐标偏差,若所述纵坐标偏差的平均值大于对应阈值则对所述第一参数组中至少一个参数进行修正估计,重新校准后再次与对应阈值比较,反复迭代修正,直至所述纵坐标偏差的平均值小于对应阈值,更新所述第一参数组;5)对场景内的物体进行分类,找到场景中的静态物体;6)所述双目相机处于移动状态时,基于处于所述静态物体范围内的特征点对计算静态物体的视差,并追踪所述静态物体的视差及车轮运动信息;7)基于所述车轮运动信息得到至少两个方向的车轮运动距离,基于所述静态物体的视差得到与车轮运动距离方向对应的静态物体的三维距离变化值,分别比较同一方向的车轮运动距离与静态物体的三维距离变化值得到对应的距离偏差;若任意距离偏差大于对应阈值则对所述第二参数组进行修正估计,并基于校准后的图像重新计算静态物体的三维距离,反复迭代校正,直至各距离偏差均小于对应阈值,更新所述第二参数组,完成对双目相机参数的自标定。可选地,所述第一参数组中的参数包括双目相机左右镜头的焦距偏差、俯仰角偏差、翻滚角偏差、高度偏差及前后偏差。更可选地,所述第二参数组中的参数包括双目相机的镜头焦距、偏航角偏差及基线长。更可选地,步骤4)中所述纵坐标偏差的平均值满足如下关系式:其中,VErr为所述纵坐标偏差值的平均值,wk为第k对特征点对的权重,VLk为第k对特征点对在左图像中的纵坐标,VRk为第k对特征点对在右图像中的纵坐标,N为特征点对的数量,UCk,VCk,UDk,VDk为中间变量,ULk为第k对特征点对在左图像中的横坐标,URk为第k对特征点对在右图像中的横坐标,Δdf为双目相机左右镜头的焦距偏差,f为双目相机的镜头焦距,Δp为双目相机的俯仰角偏差,Δr为双目相机的翻滚角偏差,ΔH为双目相机的高度偏差,ΔD为双目相机的前后偏差,b为双目相机的基线长。更可选地,将求解所述第一参数组中各参数的方法替换为矩阵运算或者非线性优化方式。更可选地,第k对特征点对的权重wk为默认值或第k对特征点对的权重wk满足如下关系:其中,ResU为左右图像每行的像素数,ResV为左右图像每列的像素数。更可选地,步骤3)中对所述第一参数组中的参数进行修正时,将修正量乘以第一系数后进行修正,得到修正的参数,其中,所述第一系数大于0且小于等于1。可选地,步骤3)中基于四叉树提取策略提取所述特征点,使得各特征点在校正后的左右图像中均匀分布。可选地,步骤5)中采用语义识别找到所述静态物体。可选地,步骤7)中,得到第一方向及第二方向的车轮运动距离,所述第一方向为车身前后方向,所述第二方向为车身左右方向;对应计算第一方向及第二方向上所述静态物体的三维距离变化值,满足如下关系式:其中,ΔZ为第一方向上静态物体的三维距离变化值合集;b为双目相机的基线长;f为双目相机的镜头焦距;D1、D2分别为静态物体在t1时刻及t2时刻的视差合集;Δd为视差偏差;ΔX为第二方向上静态物体的三维距离变化值合集;U1、U2分别为静态物体在t1时刻及t2时刻的横坐标合集;Δy为双目相机的偏航角偏差。更可选地,第一方向上的距离偏差满足如下关系式:第二方向上的距离偏差满足如下关系式:其中,Δf为双目相机焦距的修正量,ΔM为车轮在第一方向上的运动距离,Δb为双目相机基线长的修正量,f为双目相机的镜头焦距,D1i、D2i分别为第i个静态物体在t1时刻及t2时刻的视差值,ΔN为车轮在第二方向上的运动距离,U1i、U2i分别为第i个静态物体在t1时刻及t2时刻的横坐标。更可选地,步骤7)中对所述第二参数组中的参数进行修正时,将修正量乘以第二系数后进行修正,得到修正的参数,其中,所述第二系数大于0且小于等于1。可选地,步骤7)中追踪的起始时刻及追踪的最终时刻,所述双目相机的朝向一致。可选地,所述双目相机自标定方法还包括8)根据修正的所述第二参数组计算视野环境内的三维信息。为实现上述目的及其他相关目的,本专利技术提供一种双目相机自标定系统,所述双目相机自标定系统至少包括:移动平台、双目相机、图像处理单元及移动平台控制单元;所述双目相机设置于所述移动平台上,用于获取左右图像;所述图像处理单元设置于所述移动平台上,且与所述双目相机及所述移动平台控制单元连接,执行上述双目相机自标定方法,实现自标定;所述移动平台控制单元设置于所述移动平台上,且与所述移动平台的车轮连接,控制所述车轮转动并获取所述车轮的运动距离。可选地,所述双目相机的两个图像采集单元具有同步触发关系、同样的分辨率、同样焦段的镜头,镜头的调整过程具有同步调整关系,成像平面处于同一个平面上。可选地,所述移动平台的车轮包括轮子、电机及编码器,所述电机驱动所述轮子转动,所述编码器用于记录所述轮子的转动角度及圈数。如上所述,本专利技术的双目相机自标定方法及系统,具有以下有益效果:本专利技术的双目相机自标定方法及系统不依靠事先准备的标定工本文档来自技高网...

【技术保护点】
1.一种双目相机自标定方法,其特征在于,所述双目相机自标定方法至少包括:/n1)分别从双目相机的两个图像采集单元获取左右原始图像;/n2)根据当前第一参数组及第二参数组构建双目内外参矩阵,对左右原始图像进行校正,得到左右校正图像;其中,第一参数组影响垂直方向视差,第二参数组影响水平方向视差;/n3)从左右校正图像中分别提取特征点,并对左右校正图像中的特征点进行匹配得到匹配的特征点对,对误匹配的特征点进行过滤;/n4)统计各特征点对的左右图像纵坐标偏差,若所述纵坐标偏差的平均值大于对应阈值则对所述第一参数组中至少一个参数进行修正估计,重新校准后再次与对应阈值比较,反复迭代修正,直至所述纵坐标偏差的平均值小于对应阈值,更新所述第一参数组;/n5)对场景内的物体进行分类,找到场景中的静态物体;/n6)所述双目相机处于移动状态时,基于处于所述静态物体范围内的特征点对计算静态物体的视差,并追踪所述静态物体的视差及车轮运动信息;/n7)基于所述车轮运动信息得到至少两个方向的车轮运动距离,基于所述静态物体的视差得到与车轮运动距离方向对应的静态物体的三维距离变化值,分别比较同一方向的车轮运动距离与静态物体的三维距离变化值得到对应的距离偏差;若任意距离偏差大于对应阈值则对所述第二参数组进行修正估计,并基于校准后的图像重新计算静态物体的三维距离,反复迭代校正,直至各距离偏差均小于对应阈值,更新所述第二参数组,完成对双目相机参数的自标定。/n...

【技术特征摘要】
1.一种双目相机自标定方法,其特征在于,所述双目相机自标定方法至少包括:
1)分别从双目相机的两个图像采集单元获取左右原始图像;
2)根据当前第一参数组及第二参数组构建双目内外参矩阵,对左右原始图像进行校正,得到左右校正图像;其中,第一参数组影响垂直方向视差,第二参数组影响水平方向视差;
3)从左右校正图像中分别提取特征点,并对左右校正图像中的特征点进行匹配得到匹配的特征点对,对误匹配的特征点进行过滤;
4)统计各特征点对的左右图像纵坐标偏差,若所述纵坐标偏差的平均值大于对应阈值则对所述第一参数组中至少一个参数进行修正估计,重新校准后再次与对应阈值比较,反复迭代修正,直至所述纵坐标偏差的平均值小于对应阈值,更新所述第一参数组;
5)对场景内的物体进行分类,找到场景中的静态物体;
6)所述双目相机处于移动状态时,基于处于所述静态物体范围内的特征点对计算静态物体的视差,并追踪所述静态物体的视差及车轮运动信息;
7)基于所述车轮运动信息得到至少两个方向的车轮运动距离,基于所述静态物体的视差得到与车轮运动距离方向对应的静态物体的三维距离变化值,分别比较同一方向的车轮运动距离与静态物体的三维距离变化值得到对应的距离偏差;若任意距离偏差大于对应阈值则对所述第二参数组进行修正估计,并基于校准后的图像重新计算静态物体的三维距离,反复迭代校正,直至各距离偏差均小于对应阈值,更新所述第二参数组,完成对双目相机参数的自标定。


2.根据权利要求1所述的双目相机自标定方法,其特征在于:所述第一参数组中的参数包括双目相机左右镜头的焦距偏差、俯仰角偏差、翻滚角偏差、高度偏差及前后偏差。


3.根据权利要求2所述的双目相机自标定方法,其特征在于:所述第二参数组中的参数包括双目相机的镜头焦距、偏航角偏差及基线长。


4.根据权利要求3所述的双目相机自标定方法,其特征在于:步骤4)中所述纵坐标偏差的平均值满足如下关系式:





















其中,VErr为所述纵坐标偏差值的平均值,wk为第k对特征点对的权重,VLk为第k对特征点对在左图像中的纵坐标,VRk为第k对特征点对在右图像中的纵坐标,N为特征点对的数量,UCk,VCk,UDk,VDk为中间变量,ULk为第k对特征点对在左图像中的横坐标,URk为第k对特征点对在右图像中的横坐标,Δdf为双目相机左右镜头的焦距偏差,f为双目相机的镜头焦距,Δp为双目相机的俯仰角偏差,Δr为双目相机的翻滚角偏差,ΔH为双目相机的高度偏差,ΔD为双目相机的前后偏差,b为双目相机的基线长。


5.根据权利要求4所述的双目相机自标定方法,其特征在于:将求解所述第一参数组中各参数的方法替换为矩阵运算或者非线性优化方式。


6.根据权利要求4所述的双目相机自标定方法,其特征在于:第k对特征点对的权重wk为默认值或第k对特征点对的权重wk满足如下关系:



其中,ResU为左右图像每行的像素数,ResV为左右图像每列的像素数。


7.根据权利要求4~6任意一项所述的双目相机自标定方法,其特征在于:步骤3)中对所述第一参数组中的参数进行修正时,将修正量乘以第一系...

【专利技术属性】
技术研发人员:王磊李嘉茂朱冬晨刘衍青张晓林
申请(专利权)人:中国科学院上海微系统与信息技术研究所
类型:发明
国别省市:上海;31

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1