多相机与激光雷达系统相对位姿检校方法及装置制造方法及图纸

一种多相机与激光雷达系统相对位姿检校方法及装置，包括在检校场中建立世界坐标系，对多相机与激光雷达系统中的各个传感器相对于世界坐标系的外参分别进行检定；将相机坐标系转换到激光坐标系下，并求取变换矩阵；利用激光数据生成三维模型，根据相机与激光坐标系的相对位姿关系，将某时刻由多个相机拍摄的影像根据相机成像模型映射至对应位置三维模型上，为点云附上灰度信息；根据几何拼接结果中着色点云重叠区域间的特征匹配程度优化相机外参，最终得到更精确的多相机在激光坐标系下的外参，实现多相机与激光雷达系统相对位姿检校。本发明专利技术对相机之间的相对位姿关系进行了优化，对影像拼接和量测起着关键性作用，具有高度稳定性和足够的精度。

【技术实现步骤摘要】
多相机与激光雷达系统相对位姿检校方法及装置
本专利技术属于传感器检校和多传感器融合领域，更具体地，涉及一种基于多相机与激光雷达系统相对位姿检校方法及装置。
技术介绍
传感器检校是车载多传感器集成系统中不可或缺的重要环节，其中相机与激光雷达相对位姿的检校结果是影像数据与点云数据融合的依据，对实际工程测量有着重要的意义。例如，在进行隧道测量的时候，凭借线阵相机具有高分辨率的优势，用多个线阵相机对隧道进行影像数据采集，结合激光雷达采集得到的点云数据进行几何拼接，得到整个隧道的全景影像，很大程度上提高了隧道量测与检查的效率。因此，如何高精度和高效地进行相机与激光雷达相对位姿检校是目前亟需解决的技术难题。
技术实现思路
针对现有技术的缺陷或改进需求，本专利技术提出了一种多相机与激光雷达相对位姿检校的方法与装置，由此解决如何高精度和高效地得到多相机与激光雷达位姿转换关系的技术难题。为实现上述目的，本专利技术提供一种多相机与激光雷达系统相对位姿检校方法，包括以下步骤，步骤1，在检校场中建立世界坐标系；步骤2，对多相机与激光雷达系统中的各个传感器相对于世界坐标系的外参分别进行检定；步骤3，将相机坐标系转换到激光坐标系下，并求取转换过程的变换矩阵；步骤4，利用激光数据生成三维模型，根据相机坐标系与激光坐标系的相对位姿关系，将某时刻由多个相机拍摄的一组有一定重叠度的影像根据相机成像模型映射至对应位置三维模型上，为点云附上灰度信息，生成着色点云；步骤5，根据几何拼接结果中着色点云重叠区域间的特征匹配程度优化相机外参，最终得到较为精确的多相机在激光坐标系下的外参，实现多相机与激光雷达系统相对位姿检校。而且，步骤1实现方式为，在检校场中选择原点位置和三个坐标轴方向，建立三维空间坐标系，使得在此坐标系下，标定架上的点位置坐标数值符合实际空间认知且易于表示计算，记为世界坐标系Ow-XwYwZw。而且，步骤2包括以下子步骤，步骤2.1，设置待检校的多相机与激光雷达系统，所述多相机与激光雷达系统由若干个相机和激光雷达组成，相机按主光轴方向呈放射状排布，激光雷达安装位置在多相机光心所在平面一侧；步骤2.2，分别设置相机与激光雷达两类检校标志物，并将标志物粘贴或焊接在弧面标定架上，使得多相机与激光雷达系统在以某种姿态工作时能够同时采集到两类检校标志物区域的数据；步骤2.3，利用在移动平台上搭载的所述激光雷达与多相机系统采集检校标志物的多组数据；步骤2.4，量测检校标志物的特征点在世界坐标系下的坐标，其中检校标志物的特征点采用检校标志物中的图案边缘交点或空间平面边缘交点；步骤2.5，分别获取检校标志物特征点在相机、激光坐标系下的坐标，计算激光雷达和相机转换到世界坐标系下的变换矩阵[RlwTlw]和[RcwTcw]，其中Rlw、Tlw分别表示激光雷达转换到世界坐标系下的旋转矩阵与平移向量，Rcw、Tcw分别表示相机转换到世界坐标系下的旋转矩阵与平移向量。而且，步骤3中，将相机坐标系Oc-XcYcZc转换到激光坐标系Ol-XlYlZl下，并求取转换过程的变换矩阵[RclTcl]，实现方式如下，联立激光雷达与相机转换到世界坐标系下的变换矩阵[RlwTlw]和[RcwTcw]的表达式，得到相机坐标系变换到激光坐标系的变换矩阵[RclTcl]，有表达式如下，Rcl＝RlwTRcwTcl＝RlwT(Tcw-Tlw)其中，Rcl、Tcl分别表示相机坐标系转换到激光坐标系下的旋转矩阵与平移向量。而且，步骤4包括以下子步骤，步骤4.1，激光雷达原始数据生成三维模型，包括根据不同类型激光雷达的数据生成方式，恢复多组激光扫描时的位姿，将原始数据分为多个时刻的多组数据，再将数据拼合到同一坐标基准下，实现从原始数据恢复得到场景三维模型；步骤4.2，将三维模型点坐标与相机在激光坐标系下的外参带入相机的成像模型，得到三维模型点在每个相机像平面坐标系中的坐标值，从而确定影像与点云模型点之间的映射关系，根据此关系将映射后在相机成像范围内的三维模型点赋予对应影像位置的灰度值，在三维模型上体现影像特征。而且，步骤5的实现方式如下，基于步骤4.2生成的映射关系，将某时刻由多个相机拍摄的一组有一定重叠度的影像映射至三维模型上，每个相机都得到一块着色点云，将这一组着色点云置于同一空间中，比较重叠区域灰度特征的匹配程度，根据重叠区匹配情况与正交变换的性质调整变换矩阵[RclTcl]，对检校结果进行优化。而且，用于隧道测量。本专利技术提供一种多相机与激光雷达系统相对位姿检校装置，用于执行如上所述的多相机与激光雷达系统相对位姿检校方法。总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，能够取得下列有益效果：本专利技术基于多相机与激光雷达组成的装置，得到了激光雷达与相机之间的相对位姿关系，并对相机之间的相对位姿关系不准确的问题进行了优化，对影像拼接和量测起着关键性作用，该检校方法在工程测量中具有较强的可实施性，同时具有高度的稳定性和足够的精度。附图说明图1是本专利技术实施例提供的一种多相机与激光雷达系统示意图；图2是本专利技术实施例提供的一种方法流程示意图；图3是本专利技术实施例提供的一种检校标志物及其布设方式示意图；图4是本专利技术实施例提供的一种坐标系示意图；图5是本专利技术实施例提供的一种根据着色点云匹配情况调整相机间相对位姿的示意图。具体实施方式下面结合附图和实施例对本专利技术的技术方案进行描述，以便本领域的技术人员更好地理解该专利技术。参见图2，本专利技术实施例提供了一种多相机与激光雷达相对位姿检校的方法，将多个传感器统一到一个坐标基准下，并借助激光点云对独立检校得到的多个相机外参进行整体优化，具体流程实现包括以下步骤：(1)参见图4，在检校场中建立世界坐标系Ow-XwYwZw；优选地，步骤(1)包括：在检校场中选择合适的原点位置和三个坐标轴方向，建立三维空间坐标系，使得在此坐标系下，标定架上的点位置坐标数值符合实际空间认知且易于表示与计算，定义此坐标系为世界坐标系Ow-XwYwZw。(2)对多相机与激光雷达系统中的各个传感器相对于世界坐标系的外参分别进行检定；优选地，步骤(2)包括：(2.1)参见图1，本专利技术中待检校传感器系统由若干个相机与激光雷达组成，因此称为多相机与激光雷达系统。为了能在数据采集中获取更大范围的影像，相机以其主光轴方向呈放射状排布，多相机光心位置如图。为了便于后续影像到点云的映射，激光雷达安装位置在多相机光心所在平面一侧，且与此平面距离较近。受限于机械加工精度，各传感器间的位姿关系与图纸中设计的关系之间有一定误差，所以需要分别检校并组合优化；(2.2)参见图3，分别设置相机与激光雷达两类检校标志物，为了模拟隧道环境，将标志物粘贴或焊本文档来自技高网...

【技术保护点】
1.一种多相机与激光雷达系统相对位姿检校方法，其特征在于：包括以下步骤，/n步骤1，在检校场中建立世界坐标系；/n步骤2，对多相机与激光雷达系统中的各个传感器相对于世界坐标系的外参分别进行检定；/n步骤3，将相机坐标系转换到激光坐标系下，并求取转换过程的变换矩阵；/n步骤4，利用激光数据生成三维模型，根据相机坐标系与激光坐标系的相对位姿关系，将某时刻由多个相机拍摄的一组有一定重叠度的影像根据相机成像模型映射至对应位置三维模型上，为点云附上灰度信息，生成着色点云；/n步骤5，根据几何拼接结果中着色点云重叠区域间的特征匹配程度优化相机外参，最终得到更精确的多相机在激光坐标系下的外参，实现多相机与激光雷达系统相对位姿检校。/n

【技术特征摘要】
1.一种多相机与激光雷达系统相对位姿检校方法，其特征在于：包括以下步骤，
步骤1，在检校场中建立世界坐标系；
步骤2，对多相机与激光雷达系统中的各个传感器相对于世界坐标系的外参分别进行检定；
步骤3，将相机坐标系转换到激光坐标系下，并求取转换过程的变换矩阵；
步骤4，利用激光数据生成三维模型，根据相机坐标系与激光坐标系的相对位姿关系，将某时刻由多个相机拍摄的一组有一定重叠度的影像根据相机成像模型映射至对应位置三维模型上，为点云附上灰度信息，生成着色点云；
步骤5，根据几何拼接结果中着色点云重叠区域间的特征匹配程度优化相机外参，最终得到更精确的多相机在激光坐标系下的外参，实现多相机与激光雷达系统相对位姿检校。


2.根据权利要求1所述多相机与激光雷达系统相对位姿检校方法，其特征在于：步骤1实现方式为，在检校场中选择原点位置和三个坐标轴方向，建立三维空间坐标系，使得在此坐标系下，标定架上的点位置坐标数值符合实际空间认知且易于表示计算，记为世界坐标系Ow-XwYwZw。


3.根据权利要求2所述多相机与激光雷达系统相对位姿检校方法，其特征在于：步骤2包括以下子步骤，
步骤2.1，设置待检校的多相机与激光雷达系统，所述多相机与激光雷达系统由若干个相机和激光雷达组成，相机按主光轴方向呈放射状排布，激光雷达安装位置在多相机光心所在平面一侧；
步骤2.2，分别设置相机与激光雷达两类检校标志物，并将标志物粘贴或焊接在弧面标定架上，使得多相机与激光雷达系统在以某种姿态工作时能够同时采集到两类检校标志物区域的数据；
步骤2.3，利用在移动平台上搭载的所述激光雷达与多相机系统采集检校标志物的多组数据；
步骤2.4，量测检校标志物的特征点在世界坐标系下的坐标，其中检校标志物的特征点采用检校标志物中的图案边缘交点或空间平面边缘交点；
步骤2.5，分别获取检校标志物特征点在相机、激光坐标系下的坐标，计算激光雷达和相机转换到世界坐标系下的变换矩阵[RlwTlw]和[RcwTcw]，其中Rlw、Tlw分别表示激光雷达转换到世界坐标系下的旋转矩阵与平移向量，Rcw、Tcw分别表示相机转换到世界坐标系下的旋转矩阵与平移向量...

【专利技术属性】
技术研发人员：黄玉春，张博，陈玉曦，陈宇飞，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北;42