定焦双目相机自标定方法及系统技术方案

本发明专利技术提供一种定焦双目相机自标定方法及系统，包括：1)获取左右原始图像；2)校正左右原始图像；3)从左右校正图像中提取特征点并匹配；4)统计左右图像纵坐标偏差的平均值，若大于第一阈值则修正估计第一参数组，校准后再次比较，反复迭代修正，直至小于第一阈值；5)找到静态物体；6)处于移动状态时，追踪静态物体的视差及车轮运动信息；7)得到车轮运动距离与静态物体的三维距离变化值的距离偏差，若大于第二阈值则修正估计第二参数组，重新计算，反复迭代校正，直至小于第二阈值，完成自标定。本发明专利技术利用实时图像追踪和车体运动信息，对外参进行优化标定，完成图像校正工作，为车体提供准确的三维识别数据。

【技术实现步骤摘要】
定焦双目相机自标定方法及系统
本专利技术涉及图像处理领域，特别是涉及一种定焦双目相机自标定方法及系统。
技术介绍
双目传感器作为可应用于室外场景的立体相机，可以为机器人提供立体障碍物检测功能，双目相机通过对机器人前进方向的图像分析识别可以计算视野内障碍物的三维位置信息，为机器人的安全行驶提供保障。然而双目相机在作为立体相机使用前，需要经过严格的标定过程。“SLAM-BasedSelf-CalibrationofaBinocularStereoVisionRiginReal-Time”文章给出了基于Slam的非线性优化求解双目外参的方法，然而过多的变量可能会导致非线性优化无法收敛。CN109313813A专利提出了一种利用车体运动信息修正双目外参的方法，但是仅仅考虑了偏航角的偏差，实际情况当双目相机受到外界环境影响导致位置变化时往往是伴随着多种误差在内的。因此，如何针对定焦双目相机提出一种基于实时数据对外参进行优化标定的方法以使得定焦双目相机能提供准确的三维识别数据，已成为本领域技术人员亟待解决的问题之一。
技术实现思路
鉴于以上所述现有技术的缺点，本专利技术的目的在于提供一种定焦双目相机自标定方法及系统，用于解决现有技术中外参在使用过程中受环境影响发生变化、非线性优化无法收敛等问题。为实现上述目的及其他相关目的，本专利技术提供一种定焦双目相机自标定方法，所述定焦双目相机自标定方法至少包括：1)分别从双目相机的两个图像采集单元获取左右原始图像；2)根据当前第一参数组及第二参数组构建双目外参矩阵，对左右原始图像进行校正，得到左右校正图像；其中，第一参数组影响垂直方向视差，第二参数组影响水平方向视差；3)从左右校正图像中分别提取特征点，并对左右校正图像中的特征点进行匹配得到匹配的特征点对，对误匹配的特征点进行过滤；4)统计各特征点对的左右图像纵坐标偏差，若所述纵坐标偏差的平均值大于第一阈值则对所述第一参数组中至少一个参数进行修正估计，重新校准后再次与所述第一阈值比较，反复迭代修正，直至所述纵坐标偏差的平均值小于所述第一阈值，更新所述第一参数组；5)对场景内的物体进行分类，找到场景中的静态物体；6)所述双目相机处于移动状态时，基于处于所述静态物体范围内的特征点对计算静态物体的视差，并追踪所述静态物体的视差及车轮运动信息；7)基于所述车轮运动信息得到车轮运动距离，基于所述静态物体的视差得到静态物体的三维距离变化值，比较车轮运动距离与静态物体的三维距离变化值得到距离偏差，若所述距离偏差大于第二阈值则对所述第二参数组进行修正估计，并基于校准后的图像重新计算静态物体的三维距离，反复迭代校正，直至所述距离偏差小于所述第二阈值，更新所述第二参数组，完成对双目相机参数的自标定。可选地，所述第一参数组中的参数包括双目相机的俯仰角偏差、翻滚角偏差、高度偏差及前后偏差。更可选地，所述第二参数组中的参数包括双目相机的偏航角偏差及基线长。更可选地，步骤4)中所述纵坐标偏差的平均值满足如下关系式：其中，VErr为所述纵坐标偏差值的平均值，wk为第k对特征点对的权重，VLk为第k对特征点对在左图像中的纵坐标，VRk为第k对特征点对在右图像中的纵坐标，N为特征点对的数量，UCk,VCk,UDk,VDk为中间变量，ULk为第k对特征点对在左图像中的横坐标，URk为第k对特征点对在右图像中的横坐标，Δp为双目相机的俯仰角偏差，Δr为双目相机的翻滚角偏差，ΔH为双目相机的高度偏差，ΔD为双目相机的前后偏差，b为双目相机的基线长，f为双目相机的镜头焦距。更可选地，将求解所述第一参数组中各参数的方法替换为矩阵运算或者非线性优化方式。更可选地，第k对特征点对的权重wk为默认值或第k对特征点对的权重wk满足如下关系：其中，ResU为左右图像每行的像素数，ResV为左右图像每列的像素数。更可选地，步骤3)中对所述第一参数组中的参数进行修正时，将修正量乘以第一系数后进行修正，得到修正的参数，其中，所述第一系数大于0且小于等于1。可选地，步骤3)中基于四叉树提取策略提取所述特征点，使得各特征点在校正后的左右图像中均匀分布。可选地，步骤5)中采用语义识别找到所述静态物体。可选地，步骤7)中，所述静态物体的三维距离变化值满足如下关系式：其中，ΔZ为静态物体的三维距离变化值合集，b为双目相机的基线长，f为双目相机的镜头焦距，D1、D2分别为静态物体在t1时刻及t2时刻的视差合集，Δd为视差偏差，Δy为双目相机的偏航角偏差。更可选地，所述距离偏差满足如下关系式：其中，Δb为双目相机基线长的修正量，ΔM为所述车轮运动距离，D1i、D2i分别为第i个静态物体在t1时刻及t2时刻的视差值。更可选地，步骤7)中对所述第二参数组中的参数进行修正时，将修正量乘以第二系数后进行修正，得到修正的参数，其中，所述第二系数大于0且小于等于1。可选地，步骤7)中追踪的起始时刻及追踪的最终时刻，所述双目相机的朝向一致。可选地，所述定焦双目相机自标定方法还包括8)根据修正的所述第二参数组计算视野环境内的三维信息。为实现上述目的及其他相关目的，本专利技术提供一种定焦双目相机自标定系统，所述定焦双目相机自标定系统至少包括：移动平台、双目相机、图像处理单元及移动平台控制单元；所述双目相机设置于所述移动平台上，用于获取左右图像；所述图像处理单元设置于所述移动平台上，且与所述双目相机及所述移动平台控制单元连接，执行上述定焦双目相机自标定方法，实现自标定；所述移动平台控制单元设置于所述移动平台上，且与所述移动平台的车轮连接，控制所述车轮转动并获取所述车轮的运动距离。可选地，所述双目相机的两个图像采集单元具有同步触发关系、同样的分辨率、同样焦段的定焦镜头，成像平面处于同一个平面上。可选地，所述移动平台的车轮包括轮子、电机及编码器，所述电机驱动所述轮子转动，所述编码器用于记录所述轮子的转动角度及圈数。如上所述，本专利技术的定焦双目相机自标定方法及系统，具有以下有益效果：本专利技术的定焦双目相机自标定方法及系统不依靠事先准备的标定工具，利用实时图像追踪和车体运动信息，对包括外参的旋转以及平移偏差在内的参数进行优化标定，并完成相关图像校正工作，使定焦双目相机能够为车体提供准确的三维识别数据。附图说明图1显示为本专利技术的定焦双目相机自标定方法的流程示意图。图2显示为本专利技术的校正图像的中坐标系的示意图。图3显示为本专利技术的t1时刻及t2时刻的运动方向及坐标系示意图。图4显示为本专利技术的定焦双目相机自标定系统的结构示意图。元件标号说明101～102第一～第二图像采集单元110图像处理单元201～本文档来自技高网...

【技术保护点】
1.一种定焦双目相机自标定方法，其特征在于，所述定焦双目相机自标定方法至少包括：/n1)分别从双目相机的两个图像采集单元获取左右原始图像；/n2)根据当前第一参数组及第二参数组构建双目外参矩阵，对左右原始图像进行校正，得到左右校正图像；其中，第一参数组影响垂直方向视差，第二参数组影响水平方向视差；/n3)从左右校正图像中分别提取特征点，并对左右校正图像中的特征点进行匹配得到匹配的特征点对，对误匹配的特征点进行过滤；/n4)统计各特征点对的左右图像纵坐标偏差，若所述纵坐标偏差的平均值大于第一阈值则对所述第一参数组中至少一个参数进行修正估计，重新校准后再次与所述第一阈值比较，反复迭代修正，直至所述纵坐标偏差的平均值小于所述第一阈值，更新所述第一参数组；/n5)对场景内的物体进行分类，找到场景中的静态物体；/n6)所述双目相机处于移动状态时，基于处于所述静态物体范围内的特征点对计算静态物体的视差，并追踪所述静态物体的视差及车轮运动信息；/n7)基于所述车轮运动信息得到车轮运动距离，基于所述静态物体的视差得到静态物体的三维距离变化值，比较车轮运动距离与静态物体的三维距离变化值得到距离偏差，若所述距离偏差大于第二阈值则对所述第二参数组进行修正估计，并基于校准后的图像重新计算静态物体的三维距离，反复迭代校正，直至所述距离偏差小于所述第二阈值，更新所述第二参数组，完成对双目相机参数的自标定。/n...

【技术特征摘要】
1.一种定焦双目相机自标定方法，其特征在于，所述定焦双目相机自标定方法至少包括：
1)分别从双目相机的两个图像采集单元获取左右原始图像；
2)根据当前第一参数组及第二参数组构建双目外参矩阵，对左右原始图像进行校正，得到左右校正图像；其中，第一参数组影响垂直方向视差，第二参数组影响水平方向视差；
3)从左右校正图像中分别提取特征点，并对左右校正图像中的特征点进行匹配得到匹配的特征点对，对误匹配的特征点进行过滤；
4)统计各特征点对的左右图像纵坐标偏差，若所述纵坐标偏差的平均值大于第一阈值则对所述第一参数组中至少一个参数进行修正估计，重新校准后再次与所述第一阈值比较，反复迭代修正，直至所述纵坐标偏差的平均值小于所述第一阈值，更新所述第一参数组；
5)对场景内的物体进行分类，找到场景中的静态物体；
6)所述双目相机处于移动状态时，基于处于所述静态物体范围内的特征点对计算静态物体的视差，并追踪所述静态物体的视差及车轮运动信息；
7)基于所述车轮运动信息得到车轮运动距离，基于所述静态物体的视差得到静态物体的三维距离变化值，比较车轮运动距离与静态物体的三维距离变化值得到距离偏差，若所述距离偏差大于第二阈值则对所述第二参数组进行修正估计，并基于校准后的图像重新计算静态物体的三维距离，反复迭代校正，直至所述距离偏差小于所述第二阈值，更新所述第二参数组，完成对双目相机参数的自标定。


2.根据权利要求1所述的定焦双目相机自标定方法，其特征在于：所述第一参数组中的参数包括双目相机的俯仰角偏差、翻滚角偏差、高度偏差及前后偏差。


3.根据权利要求2所述的定焦双目相机自标定方法，其特征在于：所述第二参数组中的参数包括双目相机的偏航角偏差及基线长。


4.根据权利要求3所述的定焦双目相机自标定方法，其特征在于：步骤4)中所述纵坐标偏差的平均值满足如下关系式：


















其中，VErr为所述纵坐标偏差值的平均值，wk为第k对特征点对的权重，VLk为第k对特征点对在左图像中的纵坐标，VRk为第k对特征点对在右图像中的纵坐标，N为特征点对的数量，UCk,VCk,UDk,VDk为中间变量，ULk为第k对特征点对在左图像中的横坐标，URk为第k对特征点对在右图像中的横坐标，Δp为双目相机的俯仰角偏差，Δr为双目相机的翻滚角偏差，ΔH为双目相机的高度偏差，ΔD为双目相机的前后偏差，b为双目相机的基线长，f为双目相机的镜头焦距。


5.根据权利要求4所述的定焦双目相机自标定方法，其特征在于：将求解所述第一参数组中各参数的方法替换为矩阵运算或者非线性优化方式。


6.根据权利要求4所述的定焦双目相机自标定方法，其特征在于：第k对特征点对的权重wk为默认值或第k对特征点对的权重wk满足如下关系：



其中，ResU为左右图像每行的像素数，ResV为左右图像每列...

【专利技术属性】
技术研发人员：王磊，李嘉茂，朱冬晨，杨冬冬，张晓林，
申请(专利权)人：中国科学院上海微系统与信息技术研究所，
类型：发明
国别省市：上海;31