一种参数标定方法及其装置、处理设备制造方法及图纸

本发明专利技术公开一种参数标定方法及其装置、处理设备，以解决现有标定技术存在的需要准备特定道具以及无法得到激光雷达坐标系与摄像头坐标系外参最优解的技术问题。方法包括：接收激光雷达对所述靶标进行激光扫描所得到的激光点云，从所述激光点云中检测出所述多条交线，根据所述多条交线确定激光雷达坐标系和虚拟坐标系之间的第一旋转矩阵；接收摄像头对所述靶标进行拍摄得到的图像；在所述图像中标注出所述靶标的多条交线，根据所述多条交线的几何空间结构、所述靶标在摄像头中的成像原理确定出摄像头坐标系和虚拟坐标系之间的第二旋转矩阵；根据所述第一旋转矩阵和第二旋转矩阵，确定所述激光雷达坐标系和摄像头坐标系之间的旋转矩阵。

A method of parameter calibration and its device and processing equipment

【技术实现步骤摘要】
一种参数标定方法及其装置、处理设备
本专利技术涉及传感器标定
，特别涉及一种参数标定方法及其装置、处理设备。
技术介绍
在自动驾驶、机器人等人工智能领域，为了提高车辆或机器人等智能设备对周边环境的环境感知和定位能力，将多种传感器进行融合是一种较为重要的技术，其中以激光雷达为代表的测距传感器和以摄像头为代表的图像传感器在环境感知和定位方面具有互补特性，是目前人工智能领域最为常用的两种传感器。为了对激光雷达和摄像头的信息进行融合，需要预先标定激光雷达与摄像头之间的外参，外参是两个传感器的坐标系之间的相对变换，包括旋转矩阵和平移向量。激光雷达测量得到的是三维激光点云数据，而摄像头测量得到的是二维图像，目前对激光雷达和摄像头进行标定的方式主要是借助于例如棋盘格这样的工具，该种标定方式存在以下技术缺陷：缺陷1、需要准备专门的道具(比如棋盘格)，并且需要按照要求摆放，实现和操作较为复杂。缺陷2、求解外参的过程中需要进行迭代优化，无法确保计算得到的外参对应全局最优解。
技术实现思路
鉴于上述技术问题，本专利技术提供一种参数标定方法及其装置、处理设备，以解决现有标定技术存在的需要准备特定道具以及无法得到外参最优解的技术问题。本专利技术实施例，第一方面，提供一种参数标定方法，靶标包含多个相交的平面且多个平面的多条交线经过同一个交点，所述多条交线所在的坐标系称为虚拟坐标系，所述方法包括：接收激光雷达对所述靶标进行激光扫描所得到的激光点云，从所述激光点云中检测出所述多条交线，根据所述多条交线确定激光雷达坐标系和虚拟坐标系之间的第一旋转矩阵；接收摄像头对所述靶标进行拍摄得到的图像；在所述图像中标注出所述靶标的多条交线，根据所述多条交线的几何空间结构、所述靶标在摄像头中的成像原理确定出摄像头坐标系和虚拟坐标系之间的第二旋转矩阵；根据所述第一旋转矩阵和第二旋转矩阵，确定所述激光雷达坐标系和摄像头坐标系之间的旋转矩阵。本专利技术实施例，第二方面，提供一种参数标定装置，靶标包含多个相交的平面且多个平面的多条交线经过同一个交点，所述多条交线所在的坐标系称为虚拟坐标系，所述装置包括：第一旋转矩阵计算单元，用于接收激光雷达对所述靶标进行激光扫描所得到的激光点云，从所述激光点云中检测出所述多条交线，根据所述多条交线确定激光雷达坐标系和虚拟坐标系之间的第一旋转矩阵；第二旋转矩阵计算单元，用于接收摄像头对所述靶标进行拍摄得到的图像；在所述图像中标注出所述靶标的多条交线，根据所述多条交线的几何空间结构、所述靶标在摄像头中的成像原理确定出摄像头坐标系和虚拟坐标系之间的第二旋转矩阵；第三旋转矩阵计算单元，用于根据所述第一旋转矩阵和第二旋转矩阵，确定所述激光雷达坐标系和摄像头坐标系之间的旋转矩阵。本专利技术实施例，第三方面，提供靶标包含多个相交的平面且多个平面的多条交线经过同一个交点，所述多条交线所在的坐标系称为虚拟坐标系，处理设备包括第一通信单元、第二通信单元和处理单元，其中：第一通信单元，用于接收激光雷达对所述靶标进行激光扫描所得到的激光点云，并将所述激光点云发送给处理单元；第二通信单元，用于接收摄像头对所述靶标进行拍摄得到的图像，并将所述图像发送给处理单元；处理单元，用于从所述激光点云中检测出所述多条交线，根据所述多条交线确定激光雷达坐标系和虚拟坐标系之间的第一旋转矩阵；接收摄像头对所述靶标进行拍摄得到的图像；在所述图像中标注出所述靶标的多条交线，根据所述多条交线的几何空间结构、所述靶标在摄像头中的成像原理确定出摄像头坐标系和虚拟坐标系之间的第二旋转矩阵；根据所述第一旋转矩阵和第二旋转矩阵，确定所述激光雷达坐标系和摄像头坐标系之间的旋转矩阵。本专利技术实施例提供的技术方案，一方面，仅需要选择一个具有特定几何空间结构靶标即可，可以在实际生活环境中寻找即可得到，例如建筑物的墙角、箱子等，靶标的选取更灵活、更加随意，不需要像现有技术需要具备特定的某一类专业道具；另一方面，在计算激光雷达坐标系和摄像头坐标系之间的外参时，计算第一旋转矩阵、第二旋转矩阵均可计算出解析解，不需要进行迭代优化，从而不会陷入局部极小值，根据第一旋转矩阵和第二旋转矩阵可以直接得到激光雷达坐标系和摄像头坐标系之间旋转矩阵的解析解，提高准确性。附图说明附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例一起用于解释本专利技术，并不构成对本专利技术的限制。图1为本专利技术实施例中参数标定方法的流程图之一；图2A、图2B和图2C为靶标的一个具体示例；图3为本专利技术实施例中计算第一旋转矩阵的方法流程图；图4为本专利技术实施例中靶标的一个示意图；图5为本专利技术实施例中计算第二旋转矩阵的方法流程图；图6为本专利技术实施例中参数标定方法的流程图之一；图7A～图7E为本专利技术实施例中靶标的三条交线垂直的情况下计算雷达坐标系和摄像头坐标系之间的外参的示意图；图8为本专利技术实施例中参数标定装置1的结构示意图之一；图9为本专利技术实施例中参数标定装置1的结构示意图之二；图10为本专利技术实施例中处理设备的结构示意图。具体实施方式为了使本
的人员更好地理解本专利技术中的技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。本专利技术提供的技术方案，可以广泛应用于同时安装有激光雷达和摄像头的场景的标定，例如，可以应用于智能驾驶、自动驾驶领域(例如商用车、乘用车、物流车等)对车载摄像头和车载激光雷达之间的标定，还可应用于机器人领域对装载在机器人上的摄像头和车载激光雷达之间的标定，本申请对技术方案的应用场景不作严格限定。实施例一参见图1，为本专利技术实施例提供的一种参数标定方法的流程图，该方法中选取的靶标包含多个相交的平面且多个平面的多条交线经过同一个交点，假设将多条交线所在的坐标系称为虚拟坐标系，所述方法包括：步骤101、接收激光雷达对所述靶标进行激光扫描所得到的激光点云，从所述激光点云中检测出所述多条交线，根据所述多条交线确定激光雷达坐标系和虚拟坐标系之间的第一旋转矩阵；步骤102、接收摄像头对所述靶标进行拍摄得到的图像；在所述图像中标注出所述靶标的多条交线，根据所述多条交线的几何空间结构、所述靶标在摄像头中的成像原理确定出摄像头坐标系和虚拟坐标系之间的第二旋转矩阵；步骤103、根据所述第一旋转矩阵和第二旋转矩阵，确定所述激光雷达坐标系和摄像头坐标系之间的旋转矩阵。本专利技术实施例中，前述步骤101与步骤102之间没有严格的先后执行顺序，可以先执行步骤101再执行步骤102，也可以先执行步骤102再执行步骤101，也可以同时执行步骤101和步骤10本文档来自技高网...

【技术保护点】
1.一种参数标定方法，其特征在于，靶标包含多个相交的平面且多个平面的多条交线经过同一个交点，所述多条交线所在的坐标系称为虚拟坐标系，所述方法包括：/n接收激光雷达对所述靶标进行激光扫描所得到的激光点云，从所述激光点云中检测出所述多条交线，根据所述多条交线确定激光雷达坐标系和虚拟坐标系之间的第一旋转矩阵；/n接收摄像头对所述靶标进行拍摄得到的图像；在所述图像中标注出所述靶标的多条交线，根据所述多条交线的几何空间结构、所述靶标在摄像头中的成像原理确定出摄像头坐标系和虚拟坐标系之间的第二旋转矩阵；/n根据所述第一旋转矩阵和第二旋转矩阵，确定所述激光雷达坐标系和摄像头坐标系之间的旋转矩阵。/n

【技术特征摘要】
1.一种参数标定方法，其特征在于，靶标包含多个相交的平面且多个平面的多条交线经过同一个交点，所述多条交线所在的坐标系称为虚拟坐标系，所述方法包括：
接收激光雷达对所述靶标进行激光扫描所得到的激光点云，从所述激光点云中检测出所述多条交线，根据所述多条交线确定激光雷达坐标系和虚拟坐标系之间的第一旋转矩阵；
接收摄像头对所述靶标进行拍摄得到的图像；在所述图像中标注出所述靶标的多条交线，根据所述多条交线的几何空间结构、所述靶标在摄像头中的成像原理确定出摄像头坐标系和虚拟坐标系之间的第二旋转矩阵；
根据所述第一旋转矩阵和第二旋转矩阵，确定所述激光雷达坐标系和摄像头坐标系之间的旋转矩阵。


2.根据权利要求1所述的方法，其特征在于，根据所述多条交线确定激光雷达坐标系和虚拟坐标系之间的第一旋转矩阵，具体包括：
确定多条交线分别在激光雷达坐标系中的方向向量；
根据所述多条交线的方向向量确定所述虚拟坐标系在激光雷达坐标系中的三个方向向量；
根据虚拟坐标系在激光雷达坐标系中的三个方向向量确定出激光雷达坐标系和虚拟坐标系之间的第一旋转矩阵。


3.根据权利要求1所述的方法，其特征在于，根据所述多条交线的几何空间结构、所述靶标在摄像头中的成像原理确定出摄像头坐标系和虚拟坐标系之间的第二旋转矩阵，具体包括：
根据所述多条交线的几何空间结构、所述靶标在摄像头中的成像原理确定出多条交线分别在摄像头坐标系的方向向量；
根据多条交线在摄像头坐标系的方向向量确定所述虚拟坐标系在摄像头坐标系中的三个方向向量；
根据虚拟坐标系在摄像头坐标系中的三个方向向量确定出摄像头坐标系和虚拟坐标系之间的第二旋转矩阵。


4.根据权利要求1～3任一项所述的方法，其特征在于，所述方法还包括：
根据所述多条交线的交点在激光雷达坐标系中的坐标确定激光雷达坐标系和虚拟坐标系之间的第一平移向量；
在其中一条交线上选取一个非交点的位置点作为标志点，并在图像平面中标注所述标志点的第一投影点和所述交点的第二投影点；
根据所述交点和标志点的距离、摄像头光心到第一投影点的方向向量、摄像头光心到第二投影点的方向向量、正弦定理，确定虚拟坐标系和摄像头坐标系之间的第二平移向量；
根据所述第一平移向量和第二平移向量确定所述激光雷达坐标系和摄像头坐标系之间的平移向量。


5.根据权利要求1所述的方法，其特征在于，从所述激光点云中检测出所述多条交线，具体包括：
采用预置的检测算法从去除了所有已检测平面的三维点的激光点云中检测出当前平面以及归属于该当前平面的三维点，将该当前平面的三维点从激光点云中去除；将该当前平面确定为已检测平面，并继续进行下一个平面的检测，直到检测出所有平面；
计算各平面相交的交线得到靶标的多条交线。


6.根据权利要求1所述的方法，其特征在于，所述靶标包含三个相交的平面，且该三个平面相交的三条交线经过同一个交点。


7.一种参数标定装置，其特征在于，靶标包含多个相交的平面且多个平面的多条交线经过同一个交点，所述多条交线所在的坐标系称为虚拟坐标系，所述装置包括：
第一旋转矩阵计算单元，用于接收激光雷达对所述靶标进行激光扫描所得到的激光点云，从所述激光点云中检测出所述多条交线，根据所述多条交线确定激光雷达坐标系和虚拟坐标系之间的第一旋转矩阵；
第二旋转矩阵计算单元，用于接收摄像头对所述靶标进行拍摄得到的图像；在所述图像中标注出所述靶标的多条交线，根据所述多条交线的几何空间结构、所述靶标在摄像头中的成像原理确定出摄像头坐标系和虚拟坐标系之间的第二旋转矩阵；
第三旋转矩阵计算单元，用于根据所述第一旋转矩阵和第二旋转矩阵，确定所述激光雷达坐标系和摄像头坐标系之间的旋转矩阵。


8.根据权利要求7所述的装置，其特征在于，所述第一旋转矩阵计算单元根据所述多条交线确定激光雷达坐标系和虚拟坐标系之间的第一旋转矩阵，具体包括：
确定多条交线分别在激光雷达坐标系中的方向向量；
根据所述多条交线的方向向量确定所述虚拟坐标系在激光雷达坐标系中的三个方向向量；
根据虚拟坐标系在激光雷达坐标系中的三个方向向量确定出激光雷达坐标系和虚拟坐标系之间的第一旋转矩阵。


9.根据权利要求7所述的装置，其特征在于，所述第二旋转矩阵计算单元根据所述多条交线的几何空间结构、所述靶标在摄像头中的成像原理确定出摄像头坐标系和虚拟坐标系之间的第二旋转矩阵，具体包括：
根据所述多条交线的几何空间结构、所述靶标在摄像头中的成像原理确定出多条交线分别在摄像头坐标...

【专利技术属性】
技术研发人员：赵季，
申请(专利权)人：北京图森智途科技有限公司，
类型：发明
国别省市：北京;11