基于相机和激光雷达的在线联合标定方法以及系统技术方案

本发明专利技术公开一种基于相机和激光雷达的在线联合标定方法以及系统。方法包括：根据相机内参矩阵、相机畸变参数、坐标系变换矩阵对点云特征点集进行转换，获得投影像素点集；根据图像特征点集与投影像素点集，计算每个图像特征点与每个投影像素点的距离差值；查找投影像素点的投影近邻点，对投影像素点与投影近邻点直线拟合，获得投影直线方向向量；查找图像特征点的图像近邻点，对图像特征点与图像近邻点直线拟合，获得图像直线方向向量，并计算夹角；若距离差值小于或等于距离阈值，且夹角小于或等于夹角阈值时，则将距离差值进行求和计算，获得距离总和；以最小化距离总和为条件，对相机内参矩阵、相机畸变参数、坐标系变换矩阵进行求解标定。行求解标定。行求解标定。

【技术实现步骤摘要】
基于相机和激光雷达的在线联合标定方法以及系统


[0001]本专利技术涉及图像处理
，特别是涉及一种基于相机和激光雷达的在线联合标定方法以及系统。

技术介绍

[0002]在机器人研究和工程领域，为了采集完整的环境信息，通常需要配置多颗传感器进行数据采集。相机和激光雷达是比较常用的两种传感器设备。相机用于采集图像信息，包含被采集物体的颜色、纹理、亮度等信息。激光雷达用于采集点云信息，包含物体在三维空间的距离、形状等尺度信息和反射率等物理信息。基于相机和激光雷达的信息，机器人将二者进行融合，就可以得到更加丰富的环境信息。
[0003]相机和激光雷达被放置于机器人的不同部位上，相机采集的图像与激光雷达采集的点云是以不同的空间位置为起点对三维空间信息的描述结果。所以，激光点云信息与相机拍摄的图像信息是无法直接匹配的，需要通过对相机和激光雷达的联合标定技术将点云和图像进行对齐，从而保证数据描述空间一致性。
[0004]然而，在标定过程中，传统方法需要借助一个棋盘格或者其他已知固定模式的标定板作为标定工具，在采集标定数据后，通过提取标定板上的特征进行标定工作。传统方法天然地将标定环节和使用环节分隔开，但是，在后期使用过程中，采集的景物信息通常会更加复杂，实际使用场景的景物的距离更加多变，且出现在点云和图像中的位置也更加多样化，导致标定准确度偏低，从而无法获取相机和激光雷达一致性的数据。

技术实现思路

[0005]本专利技术的目的是解决传统方法标定准确度偏低的技术问题。为实现上述目的，本专利技术提供一种基于相机和激光雷达的在线联合标定方法以及系统。
[0006]本专利技术提供一种基于相机和激光雷达的在线联合标定方法，包括：
[0007]获取相机图像与激光点云，所述相机图像与所述激光点云覆盖至少部分相同环境区域；
[0008]对所述相机图像进行图像特征提取，获得图像特征点集，对所述激光点云进行点云特征提取，获得点云特征点集；
[0009]设置相机内参矩阵、相机畸变参数以及坐标系变换矩阵，根据所述相机内参矩阵、所述相机畸变参数以及所述坐标系变换矩阵对所述点云特征点集进行转换，获得每个所述点云特征点在图像中的像素点，形成投影像素点集；
[0010]根据所述图像特征点集与所述投影像素点集，计算每个所述图像特征点与每个所述投影像素点的距离差值；
[0011]查找每个所述投影像素点的投影近邻点，对所述投影像素点与所述投影近邻点进行直线拟合，获得投影直线方向向量；
[0012]查找每个所述图像特征点的图像近邻点，对所述图像特征点与所述图像近邻点进
行直线拟合，获得图像直线方向向量，并计算所述投影直线方向向量与所述图像直线方向向量的夹角；
[0013]若所述距离差值小于或等于距离阈值，且所述夹角小于或等于夹角阈值时，则将所述距离差值进行求和计算，获得距离总和；
[0014]以最小化距离总和为条件，对所述相机内参矩阵、所述相机畸变参数以及所述坐标系变换矩阵进行求解标定。
[0015]在一个实施例中，所述对所述相机图像进行图像特征提取，获得图像特征点集，包括：
[0016]对所述相机图像进行灰度化处理，获得相机灰度图像；
[0017]对所述相机灰度图像进行高斯模糊处理，获得相机除噪图像；
[0018]根据边缘检测算法对所述相机除噪图像进行边缘检测，获得所述图像特征点集。
[0019]在一个实施例中，所述对所述激光点云进行点云特征提取，获得点云特征点集，包括：
[0020]对所述激光点云进行下采样处理，获得激光除噪点云；
[0021]对所述激光除噪点云进行点云分割处理，获得地面点云与非地面点云；
[0022]根据所述地面点云中每个点的反射强度信息，分割获得交通标线点云的外沿特征点集，形成地面点云特征点集；
[0023]根据所述非地面点云构建多维数据空间结构，并根据所述多维数据空间结构进行最近邻搜索，获得每个非地面点对应的近邻点集；
[0024]计算所述近邻点集中每个近邻点相对于所述非地面点的向量曲率，获得向量曲率集；
[0025]若所述向量曲率集中向量曲率变化值小于第一曲率变化阈值，则所述非地面点为非边缘点；
[0026]若所述向量曲率变化值大于第二曲率变化阈值，则所述非地面点为边缘点，形成非地面点云特征点集；
[0027]其中，所述地面点云特征点集与所述非地面点云特征点集形成所述点云特征点集。
[0028]在一个实施例中，所述对所述激光除噪点云进行点云分割处理，获得地面点云与非地面点云，包括：
[0029]对所述激光除噪点云的地面部分进行检测，获得所述地面点云，并在所述激光除噪点云中将所述地面点云进行分割，获得初始非地面点云；
[0030]在所述地面点云的法线方向上，获取预设高度的点云；
[0031]将所述初始非地面点云中所述预设高度的点云剔除，获得所述非地面点云。
[0032]在一个实施例中，所述对所述激光除噪点云进行点云分割处理，获得地面点云与非地面点云，还包括：
[0033]对所述初始非地面点云中无规则分布点云进行过滤处理，获得所述非地面点云。
[0034]本专利技术提供一种基于相机和激光雷达的在线联合标定系统，包括：
[0035]数据获取模块，用于获取相机图像与激光点云，所述相机图像与所述激光点云覆盖至少部分相同环境区域；
[0036]特征提取模块，用于对所述相机图像进行图像特征提取，获得图像特征点集，对所述激光点云进行点云特征提取，获得点云特征点集；
[0037]点云转换模块，用于设置相机内参矩阵、相机畸变参数以及坐标系变换矩阵，根据所述相机内参矩阵、所述相机畸变参数以及所述坐标系变换矩阵对所述点云特征点集进行转换，获得每个所述点云特征点在图像中的像素点，形成投影像素点集；
[0038]距离差值计算模块，用于根据所述图像特征点集与所述投影像素点集，计算每个所述图像特征点与每个所述投影像素点的距离差值；
[0039]方向向量获取模块，用于查找每个所述投影像素点的投影近邻点，对所述投影像素点与所述投影近邻点进行直线拟合，获得投影直线方向向量；
[0040]夹角计算模块，用于查找每个所述图像特征点的图像近邻点，对所述图像特征点与所述图像近邻点进行直线拟合，获得图像直线方向向量，并计算所述投影直线方向向量与所述图像直线方向向量的夹角；
[0041]距离总和计算模块，用于若所述距离差值小于或等于距离阈值，且所述夹角小于或等于夹角阈值时，则将所述距离差值进行求和计算，获得距离总和；
[0042]求解标定模块，用于以最小化距离总和为条件，对所述相机内参矩阵、所述相机畸变参数以及所述坐标系变换矩阵进行求解标定。
[0043]在一个实施例中，所述特征提取模块包括：
[0044]灰度处理模块，用于对所述相机图像进行灰度化处理，获得相机灰度图像；
[004本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于相机和激光雷达的在线联合标定方法，其特征在于，包括：获取相机图像与激光点云，所述相机图像与所述激光点云覆盖至少部分相同环境区域；对所述相机图像进行图像特征提取，获得图像特征点集，对所述激光点云进行点云特征提取，获得点云特征点集；设置相机内参矩阵、相机畸变参数以及坐标系变换矩阵，根据所述相机内参矩阵、所述相机畸变参数以及所述坐标系变换矩阵对所述点云特征点集进行转换，获得每个所述点云特征点在图像中的像素点，形成投影像素点集；根据所述图像特征点集与所述投影像素点集，计算每个所述图像特征点与每个所述投影像素点的距离差值；查找每个所述投影像素点的投影近邻点，对所述投影像素点与所述投影近邻点进行直线拟合，获得投影直线方向向量；查找每个所述图像特征点的图像近邻点，对所述图像特征点与所述图像近邻点进行直线拟合，获得图像直线方向向量，并计算所述投影直线方向向量与所述图像直线方向向量的夹角；若所述距离差值小于或等于距离阈值，且所述夹角小于或等于夹角阈值时，则将所述距离差值进行求和计算，获得距离总和；以最小化距离总和为条件，对所述相机内参矩阵、所述相机畸变参数以及所述坐标系变换矩阵进行求解标定。2.根据权利要求1所述的基于相机和激光雷达的在线联合标定方法，其特征在于，所述对所述相机图像进行图像特征提取，获得图像特征点集，包括：对所述相机图像进行灰度化处理，获得相机灰度图像；对所述相机灰度图像进行高斯模糊处理，获得相机除噪图像；根据边缘检测算法对所述相机除噪图像进行边缘检测，获得所述图像特征点集。3.根据权利要求1所述的基于相机和激光雷达的在线联合标定方法，其特征在于，所述对所述激光点云进行点云特征提取，获得点云特征点集，包括：对所述激光点云进行下采样处理，获得激光除噪点云；对所述激光除噪点云进行点云分割处理，获得地面点云与非地面点云；根据所述地面点云中每个点的反射强度信息，分割获得交通标线点云的外沿特征点集，形成地面点云特征点集；根据所述非地面点云构建多维数据空间结构，并根据所述多维数据空间结构进行最近邻搜索，获得每个非地面点对应的近邻点集；计算所述近邻点集中每个近邻点相对于所述非地面点的向量曲率，获得向量曲率集；若所述向量曲率集中向量曲率变化值小于第一曲率变化阈值，则所述非地面点为非边缘点；若所述向量曲率变化值大于第二曲率变化阈值，则所述非地面点为边缘点，形成非地面点云特征点集；其中，所述地面点云特征点集与所述非地面点云特征点集形成所述点云特征点集。4.根据权利要求3所述的基于相机和激光雷达的在线联合标定方法，其特征在于，所述
对所述激光除噪点云进行点云分割处理，获得地面点云与非地面点云，包括：对所述激光除噪点云的地面部分进行检测，获得所述地面点云，并在所述激光除噪点云中将所述地面点云进行分割，获得初始非地面点云；在所述地面点云的法线方向上，获取预设高度的点云；将所述初始非地面点云中所述预设高度的点云剔除，获得所述非地面点云。5.根据权利要求4所述的基于相机和激光雷达的在线联合标定方法，其特征在于，所述对所述激光除噪点云进行点云分割处理，获得地面点云与非地面点云，还包括：对所述初始非地面点云中无规则分布点云进行过滤处理，获得所述非地面点云。6.一种基于相机和激光雷达的在线联合标定系统，其特征在于，包括：数据获取模块，用于获取相机图像与激光点云，所述相机图像与所述激光点云覆盖至少部分相同环境...

【专利技术属性】
技术研发人员：闫军，刘毅，王艳清，
申请(专利权)人：智慧互通科技股份有限公司，
类型：发明
国别省市：