一种激光点云与视觉图像映射关系快速精确标定方法技术

本发明专利技术涉及一种激光点云与视觉图像映射关系快速精确标定方法，该标定方法包括以下步骤：1)设置一带方孔的棋盘格标定板，并将标定板同时置于激光雷达与相机的视野中，经激光点云和视觉图像的特征点提取，得到n组对应的特征点；2)进行单应性矩阵初解计算；3)进行单应性矩阵极大似然估计；4)进行相机畸变参数极大似然估计；5)进行激光点云和视觉图像映射关系中全部映射参数极大似然估计。本发明专利技术基于单应性矩阵直接构建三维点云与视觉图像像素间直接的映射关系，而不需对相机内参矩阵和传感器外参矩阵进行标定，采用这种标定方法不仅减少了标定步骤，而且由于是直接对映射结果进行优化，不会造成标定误差的传递，有着更高的标定精度。

【技术实现步骤摘要】
一种激光点云与视觉图像映射关系快速精确标定方法
本专利技术涉及一种激光点云与视觉图像映射关系快速精确标定方法，属于智能网联汽车环境感知领域。
技术介绍
激光雷达能够直接测得周围环境的距离信息，有着准确的测量精度和较远的测量范围，尤其是多线激光雷达有着理想的三维建模能力。但由于其不能得到丰富的颜色信息，因此采用三维点云对周围环境进行语义理解还存在困难。而相机能够得到周围环境丰富的颜色信息，且目前针对图像的语义分割算法较为成熟。但由于视觉图片丢失了深度信息，故难以对周围环境进行精确的三维尺寸表达。而通过融合三维点云和视觉图片信息，可以得到既包含颜色语义信息，又有准确三维坐标的空间颜色点云，弥补单个传感器的不足。融合多元数据的前提是多传感器之间的标定问题，需要建立三维激光雷达点云与视觉图像像素间对应关系。现有标定方法需先标定相机内参并对图片进行畸变矫正，然后采用不同的约束方程，求解相机坐标系和激光雷达坐标系之间的坐标转换矩阵；标定结束后三维点云通过坐标转换，并基于相机内参矩阵的投影，进而间接建立与图片像素间的对应关系。现有标定方法虽然在标定过程中每一个参数的意义都为实际物理参数，便于直观理解。但通过标定所有物理参数，进而得到三维点云与像素间的映射关系会导致误差积累，难以求得标定过程的全局最优，而且多次标定不同参数还会造成标定流程的繁琐。因此，现有标定方法的标定流程复杂度和标定精度还需改善。
技术实现思路
针对上述问题，本专利技术的目的是提供一种多线激光点云与视觉图像映射关系快速精确标定方法。为实现上述目的，本专利技术采取以下技术方案：一种激光点云与视觉图像映射关系快速精确标定方法，其特征在于，该标定方法包括以下步骤：1)设置一带方孔的棋盘格标定板，并将标定板同时置于激光雷达与相机的视野中，经激光点云和视觉图像的特征点提取，得到n组对应的特征点；2)进行单应性矩阵初解计算：在得到n组对应的特征点后，将式(2)中单应性矩阵H展开为式(3)：上式中，s为尺度因子；为像素坐标系下的齐次坐标；为激光雷达坐标系下的齐次坐标；h1,h2,h3为4维的行向量，将其改写为式(4)的形式：上式中，ui、vi为特征点在像素坐标系下的坐标；角标i表示n组特征点中的第i组，i＝1,2,…,n；将尺度因子s作为未知量放入待求解向量中，于是将式(4)转化为式(5)：上式中，为相机坐标系下的齐次坐标；其中：由于单应性矩阵H与尺度因子s同时放大或缩小式(4)依然满足，因此令sn＝1，并将式(5)化为式(6)：为书写方便用式(7)来代表式(6)：Γ·(hTcT)T＝b(7)其中：然后应用奇异值分解求式(7)的最小二乘解，即将矩阵Γ分解为：Γ＝UΣVT，并求得最小二乘解为其中，Σ是包含Γ奇异值的对角阵；U和V是正交矩阵；Σ+是Σ的广义逆矩阵；3)进行单应性矩阵极大似然估计：假设观测噪声是高斯的，则极大似然估计为：式中，是不考虑相机畸变时激光雷达坐标系下的点经投影变换得到的像素坐标系下坐标；令步骤2)求出的h′为初解，使用Levenberg-Marquardt算法迭代，对式(8)进行求解，求得对h的极大似然估计4)进行相机畸变参数极大似然估计：相机的畸变模型为：5)进行激光点云和视觉图像映射关系中全部映射参数极大似然估计：采用极大似然估计考虑相机的畸变模型下全部映射参数Θ进行求解，最终可得到标定映射关系时需要求解参数的最优解Θ*，该最优解Θ*即激光点云与视觉图像的映射关系：Θ＝(h,k,p,uc,vc)是标定映射关系时需要求解的全部映射参数，而是其最优解；p＝(p1,p2)T和k＝(k1,k2,k3)T是畸变参数矩阵；是考虑相机畸变时激光雷达坐标系下的点经投影变换得到的像素坐标系下坐标；λγ2＝λ||(ru-uc)(rv-vc)||2是正则项，λ是正则化系数；ru、rv是视觉图像的几何中心在像素坐标系下的坐标。对于畸变越严重的相机，kj和pj保留的阶次应越高，对于通常情况选取保留k1,k2,p1,p2，其他高阶畸变参数取0，对于鱼眼镜头等畸变严重的相机额外保留p3、k3。在上述步骤5)中，最初先去优化k,p,uc,vc：得到后，再以此为初解求解式(10)得到最优解Θ*，迭代过程的终止条件为最优解和目标函数值在两次迭代中的变化小于某一阈值α和β，在实际应用中选取α＝β＝1×10-4。本专利技术由于采取以上技术方案，其具有以下优点：1、本专利技术简化了标定流程，无需先对相机内参进行标定，也不需要标定两传感器间坐标转移矩阵，可直接标定三维点云与视觉图像间的映射关系。2、本专利技术相对于间接标定方法，标定后的三维空间点与视觉图像像素间的映射精度更高。3、本专利技术采用特殊形状标定板，便于在三维点云和视觉图像中提取对应的特征点，在标定过程中建立点约束。4、本专利技术的标定结果，在激光雷达与相机融合算法中应用时，无需先对视觉图像进行畸变矫正，提高了运行效率。本专利技术基于单应性矩阵直接构建三维点云与视觉图像像素间直接的映射关系，而不需对相机内参矩阵和传感器外参矩阵进行标定，采用这种标定方法不仅减少了标定步骤，而且由于是直接对映射结果进行优化，不会造成标定误差的传递，有着更高的标定精度。附图说明图1是标定流程示意图；图2是标定板结构示意图。具体实施方式下面结合附图和实施例对本专利技术进行详细的描述。然而应当理解，附图的提供仅为了更好地理解本专利技术，它们不应该理解成对本专利技术的限制。假设世界坐标系下有一空间点xworld，其在激光雷达坐标系下是一个三维空间点xlidar＝(xl,yl,zl)T；而其在相机坐标系下的坐标为xcamera＝(xc,yc,zc)T，在经相机投影后的像素坐标系下变为一个二维点ucamera＝(u,v)T。所谓标定就是要建立xlidar与ucamera间的对应关系，即给出世界坐标系下某一空间点在激光雷达坐标系下的表示xlidar，通过标定结果能够在像素坐标系中找到该点对应的ucamera。传统方法通过分别标定得到xlidar与xcamera，xcamera与ucamera之间的关系，继而得到xlidar与ucamera之间的映射关系：式中，为相机坐标系下的齐次坐标；为像素坐标系下的齐次坐标；为激光雷达坐标系下的齐次坐标；为相机外参矩阵；s为尺度因子；A为相机内参矩阵。而与的之间可以用单应性矩阵H来建立映射关系：相对于传统方法的间接计算,本专利技术将直接对单应性矩阵H进行求解。由于式(2)的映射关系假设相机模型为针孔模型，但在实际情况中会由于相机镜头的凸透镜特性等原因造成视觉图像的畸变。因此，在对单应性矩阵H标定后，需要进行考虑视觉图像畸变的非线性优化，得到最终的xlidar与ucamera间考虑相机畸变模型的映射关系，通过此映射关系可得到与激光点云中三维空间点对应的像素坐标系坐标。基于上述原理，本专利技术提出了一种激光点云与视觉图像映射关系快速精确标定方法，如图1所示，该标定方法包括以下步骤：1)设置一带方孔2的棋盘格标定板1(如图2所示)，并将标定板1同时置于激光雷达与相机的视野中，经激光点云和视觉图像的特征点提取，可得到n组对应的特征点。由于棋盘格标定板1上带有方孔2，相较于传统棋盘格标定板，便于在激光点云中自动的精确确定标定板位置，提取出特征点。2)进行单应性矩阵初解计算：本文档来自技高网...

【技术保护点】
1.一种激光点云与视觉图像映射关系快速精确标定方法，其特征在于，该标定方法包括以下步骤：1)设置一带方孔的棋盘格标定板，并将标定板同时置于激光雷达与相机的视野中，经激光点云和视觉图像的特征点提取，得到n组对应的特征点；2)进行单应性矩阵初解计算：在得到n组对应的特征点后，将式(2)中单应性矩阵H展开为式(3)：

【技术特征摘要】
1.一种激光点云与视觉图像映射关系快速精确标定方法，其特征在于，该标定方法包括以下步骤：1)设置一带方孔的棋盘格标定板，并将标定板同时置于激光雷达与相机的视野中，经激光点云和视觉图像的特征点提取，得到n组对应的特征点；2)进行单应性矩阵初解计算：在得到n组对应的特征点后，将式(2)中单应性矩阵H展开为式(3)：上式中，s为尺度因子；为像素坐标系下的齐次坐标；为激光雷达坐标系下的齐次坐标；h1,h2,h3为4维的行向量，将其改写为式(4)的形式：上式中，ui、vi为特征点在像素坐标系下的坐标；角标i表示n组特征点中的第i组，i＝1,2,…,n；将尺度因子s作为未知量放入待求解向量中，于是将式(4)转化为式(5)：上式中，为相机坐标系下的齐次坐标；其中：由于单应性矩阵H与尺度因子s同时放大或缩小式(4)依然满足，因此令sn＝1，并将式(5)化为式(6)：为书写方便用式(7)来代表式(6)：Γ·(hTcT)T＝b(7)其中：然后应用奇异值分解求式(7)的最小二乘解，即将矩阵Γ分解为：Γ＝UΣVT，并求得最小二乘解为其中，Σ是包含Γ奇异值的对角阵；U和V是正交矩阵；Σ+是Σ的广义逆矩阵；3)进行单应性矩阵极大似然估计：假设观测噪声是高斯的，则极大似然估计为：式中，是不考虑相机畸变时激光雷达坐标系下的点经投影变换得到的像素坐标系下坐标；令步骤2)求出的h′为初解，使用Levenberg-Marquardt算法迭代，对式(8)进行求解，求得对h的极大似然估计4)进行相机畸变参数极大似...

【专利技术属性】
技术研发人员：杨殿阁，谢诗超，江昆，钟元鑫，肖中阳，曹重，王思佳，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11