一种相对位姿标定方法及相关装置制造方法及图纸

一种应用于自动驾驶汽车上的相机之间的相对位姿标定方法及相关装置，该相对位姿标定方法包括：通过第一相机和第二相机采集图像；对该第一相机采集的图像和该第二相机采集的图像进行特征点匹配，以得到第一匹配特征点集；根据该第一匹配特征点集，确定该第一相机和该第二相机之间的第一相对位姿；在该第一相对位姿与第二相对位姿之间的差值不大于位姿变化阈值的情况下，将该第二相对位姿更新为该第一相对位姿；该第二相对位姿为该自动驾驶装置当前存储的该第一相机和该第二相机之间的相对位姿。本申请提供的相对位姿标定方法，标定精度高，并且可靠性高。

【技术实现步骤摘要】
【国外来华专利技术】一种相对位姿标定方法及相关装置
本申请涉及自动驾驶领域，尤其涉及一种应用于自动驾驶汽车上的相机之间的相对位姿标定方法及相关装置。
技术介绍
自动驾驶汽车需要对车身360°的环境都具有较高的感知能力，对不同场景、不同光照条件、不同距离的障碍物都需要有稳定可靠的感知结果。单个相机由于受到相机参数、安装位置等因素影响，不能实现360°度范围的全覆盖。因此，自动驾驶车辆一般配备有多个相机以提高视觉感知能力。不同的相机一般具有不同的相机参数(如焦距、分辨率、动态范围等)，并安装于车身的不同位置，以获得更全面的感知结果。举例来说，自动驾驶车辆在前向、侧向、后向均配备至少一个相机，以覆盖车身周围360°的环境。同时，不同相机的视野不同，不同相机之间均具有部分重叠视野。自动驾驶汽车上的相机之间的相对位姿会随着使用时间的增加而发生变化，此时就需要对各相机的标定参数(即相机的外参)进行修正，修正相机外参的过程称为重标定。随着具备自动驾驶功能的车辆越来越多，对相机的标定参数重标定的需求也大大增加，不能及时重标定各相机的外参的自动驾驶车辆存在很大的安全隐患。当本文档来自技高网...

【技术保护点】
1.一种相对位姿标定方法，其特征在于，包括：/n通过第一相机和第二相机采集图像；所述第一相机的视野和所述第二相机的视野存在重叠，所述第一相机和所述第二相机安装于自动驾驶装置的不同位置；/n对所述第一相机采集的图像和所述第二相机采集的图像进行特征点匹配，以得到第一匹配特征点集；所述第一匹配特征点集包括H组特征点对，每组特征点对包括两个相匹配的特征点，其中一个特征点为从所述第一相机采集的图像中提取的特征点，另一个特征点为从所述第二相机采集的图像中提取的特征点，所述H为不小于8的整数；/n根据所述第一匹配特征点集，确定所述第一相机和所述第二相机之间的第一相对位姿；/n在所述第一相对位姿与第二相对位姿...

【技术特征摘要】
【国外来华专利技术】1.一种相对位姿标定方法，其特征在于，包括：
通过第一相机和第二相机采集图像；所述第一相机的视野和所述第二相机的视野存在重叠，所述第一相机和所述第二相机安装于自动驾驶装置的不同位置；
对所述第一相机采集的图像和所述第二相机采集的图像进行特征点匹配，以得到第一匹配特征点集；所述第一匹配特征点集包括H组特征点对，每组特征点对包括两个相匹配的特征点，其中一个特征点为从所述第一相机采集的图像中提取的特征点，另一个特征点为从所述第二相机采集的图像中提取的特征点，所述H为不小于8的整数；
根据所述第一匹配特征点集，确定所述第一相机和所述第二相机之间的第一相对位姿；
在所述第一相对位姿与第二相对位姿之间的差值不大于位姿变化阈值的情况下，将所述第二相对位姿更新为所述第一相对位姿；所述第二相对位姿为所述自动驾驶装置当前存储的所述第一相机和所述第二相机之间的相对位姿。


2.根据权利要求1所述的方法，其特征在于，所述根据第一匹配特征点集，确定所述第一相机和所述第二相机之间的第一相对位姿包括：
确定所述第一相机和所述第二相机之间的本质矩阵；
根据所述本质矩阵的奇异值分解结果，计算所述第一相机和所述第二相机之间的5自由度DOF相对位姿；
将第一距离和第二距离之间的比值，作为尺度因子；所述第一距离和所述第二距离分别为所述自动驾驶装置上的非视觉传感器和视觉传感器测量同一距离得到的结果，所述视觉传感器包括所述第一相机和/或所述第二相机；
合并所述5自由度相对位姿和所述尺度因子以得到所述第一相对位姿。


3.根据权利要求2所述的方法，其特征在于，所述根据所述本质矩阵作的奇异值分解结果，计算得到所述第一相机和所述第二相机之间的5自由度DOF相对位姿包括：
将所述本质矩阵进行奇异值分解以得到所述奇异值分解结果；
根据所述奇异值分解结果，得到所述第一相机和所述第二相机之间的至少两个相对位姿；
分别利用所述至少两个相对位姿计算所述第一匹配特征点集中的特征点的三维坐标位置：
将所述至少两个相对位姿中使得所述第一匹配特征点集中的各特征点的三维坐标位置均位于所述第一相机和所述第二相机前方的相对位姿作为所述5自由度相对位姿。


4.根据权利要求1所述的方法，其特征在于，所述根据第一匹配特征点集，确定所述第一相机和所述第二相机之间的第一相对位姿包括：
迭代求解目标方程以得到所述第一相对位姿；在所述目标方程中，所述第一相对位姿包括的参数为未知数，所述第一匹配特征点集中的特征点对、所述第一相机的内参以及所述第二相机的内参为已知数。


5.根据权利要求1至4任一项所述的方法，其特征在于，所述自动驾驶装置安装有M个相机，所述M个相机包括所述第一相机、所述第二相机以及第三相机，所述第三相机的视野与所述第一相机的视野和所述第二相机的视野均存在重叠，所述M为大于2的整数；所述方法还包括：
获得M个第一旋转矩阵、M个第二旋转矩阵、M个第一平移矩阵以及M个第二平移矩阵；所述M个第一旋转矩阵为所述第一相机和所述第二相机之间的旋转矩阵且所述M个第一旋转矩阵中至少两个旋转矩阵不同，所述M个第二旋转矩阵为所述第二相机和所述第三相机之间的旋转矩阵且所述M个第二旋转矩阵中至少两个旋转矩阵不同，所述M个第一平移矩阵为所述第一相机和所述第二相机之间的平移矩阵且所述M个第一平移矩阵中至少两个平移矩阵不同，所述M个第二平移矩阵为所述第二相机和所述第三相机之间的平移矩阵且所述M个第二平移矩阵中至少两个平移矩阵不同，所述M个第一旋转矩阵与所述M个第一平移矩阵一一对应，所述M个第二旋转矩阵与所述M个第二平移矩阵一一对应，所述M为大于1的整数；
求解第一方程组以得到第三旋转矩阵；所述第一方程组中包括M个第一方程，所述M个第一方程与所述M个第一旋转矩阵一一对应，且与所述M个第二旋转矩阵一一对应；在每个第一方程中，第一旋转矩阵和第二旋转矩阵为已知数，所述第三旋转矩阵为未知数；所述第三旋转矩阵为所述第一相机和所述第三相机之间的旋转矩阵；
求解第二方程组以得到第三平移矩阵；所述第二方程组中包括M个第二方程，所述M个第二方程与所述M个第一旋转矩阵一一对应，且与所述M个第二旋转矩阵一一对应；在每个第二方程中，第一旋转矩阵、第二旋转矩阵、第一平移矩阵以及第二平移矩阵为已知数，所述第三平移矩阵为未知数；所述第三平移矩阵为所述第一相机和所述第三相机之间的平移矩阵；
将包括所述第三旋转矩阵和所述第三平移矩阵的位姿作为所述第一相机和所述第三相机之间的相对位姿。


6.根据权利要求1所述的方法，其特征在于，所述第一匹配特征点集包括所述第一相机从至少两帧图像中提取出的特征点以及所述第二相机从至少两帧图像中提取出的特征点；所述根据第一匹配特征点集，确定所述第一相机和所述第二相机之间的第一相对位姿包括：
根据所述第一匹配特征点集中的特征点对，确定所述第一相机和所述第二相机之间的相对位姿以得到第一中间位姿；
将所述第一匹配特征点集中各特征点对代入至第一公式，得到所述第一匹配特征点集中各特征点对对应的残差，所述第一公式表征中包括所述第一中间位姿；
剔除所述第一匹配特征点集中的干扰特征点对以得到第二匹配特征点集；所述干扰特征点对为所述第一匹配特征点集中对应的残差大于残差阈值的特征点对；
根据所述第二匹配特征点集中的特征点对，确定所述第一相机和所述第二相机之间的相对位姿以得到第二中间位姿；
将目标中间位姿作为所述第一相机和所述第二相机之间的所述第一相对位姿；所述目标中间位姿为根据目标匹配特征点集中的特征点对确定的所述第一相机和所述第二相机之间的相对位姿，所述目标匹配特征点集中的特征点对的个数小于数量阈值或者所述目标匹配特征点集中的特征点对的个数与所述第一匹配特征点集中的特征点对的个数的比值小于比例阈值。


7.根据权利要求1至6任一项所述的方法，其特征在于，所述方法还包括：
在所述第一相对位姿与所述第二相对位姿之间的差值不大于所述位姿变化阈值的情况下，输出提醒信息；所述提醒信息用于提示所述第一相机和所述第二相机之间的相对位姿异常。


8.一种自动驾驶装置，其特征在于，包括：
图像采集单元，用于分别通过第一相机和第二相机采集图像；所述第一相机的视野和所述第二相机的视野存在重叠，所述第一相机和所述第二相机安装于自动驾驶装置的不同位置；
图像特征点提取单元，用于对所述第一相机采集的图像和所述第二相机采集的图像进行特征点匹配，以得到...

【专利技术属性】
技术研发人员：刘会，陈亦伦，陈同庆，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44