基于分类惩罚的摄像头和激光雷达信息配准方法技术

本发明专利技术公开了一种基于分类惩罚的摄像头和激光雷达信息配准方法，包括：对采集的图像通过区域分类算法将图像分为正负区域；将激光雷达点分成正负两个类别；将激光雷达点按照位姿参数投影在图像坐标系内，当激光雷达的正点投影到正区域，分配正的奖励值，反之分配负的奖励值，设置目标函数，将目标函数抽象成位姿参数的函数，每一次位姿更新，将所有的激光雷达点投影在图像区域，通过统计分类正确以及错误点计算目标函数值，然后评价此次位姿参数的优劣，并继续更新，得到目标函数值最大的位姿参数。可以十分方便的获得激光雷达以及摄像头之间的位姿关系,从而可以方便的进行视觉信息以及激光雷达的信息融合。

Information Registration Method of Camera and Lidar Based on Classified Punishment

The invention discloses a camera and lidar information registration method based on classification penalty, which includes: dividing the collected image into positive and negative regions by region classification algorithm; dividing lidar points into positive and negative categories; projecting lidar points into image coordinates according to position and attitude parameters, and distributing positive reward values when lidar points are projected into positive regions. On the contrary, the negative reward value is allocated, the objective function is set, the objective function is abstracted into the function of pose parameters. Every pose update, all the lidar points are projected into the image area, and the objective function value is calculated by the correct and wrong points of statistical classification. Then the quality of the pose parameters is evaluated, and the maximum position and attitude parameters of the objective function value are obtained by continuing to update. It is very convenient to get the position and attitude relationship between the lidar and the camera, so as to facilitate the fusion of visual information and lidar information.

【技术实现步骤摘要】
基于分类惩罚的摄像头和激光雷达信息配准方法
本专利技术涉及自动驾驶环境感知系统的不同传感器之间的信息配准以及融合
，具体地涉及一种基于分类惩罚的摄像头和激光雷达信息配准方法。
技术介绍
自动驾驶环境感知系统是一个信息冗余系统,其环境感知传感器包括如激光雷达、双目摄像头、单目摄像头、超声波、毫米波雷达等。而在这个冗余感知系统中，不同传感器之间的信息配准以及融合是自动驾驶的环境感知模块中的关键步骤。激光雷达和摄像头之间的融合是目前的一个研究热点，其主要原理如图1所示。激光雷达数据到摄像头数据的坐标变换，其实就是一个旋转平移矩阵[R，t]。为了表述方便，如图1所示，我们将摄像机坐标系定义为OcXcYcZc，雷达坐标系定义为OlXlYlZl,摄像机的图像坐标系定义为OcUcVc。对于空间任意一点M，其在摄像机坐标系下的坐标Xc，Yc，Zc，其在雷达坐标系下的坐标为(Xl,Yl,Zl)，其在摄像机的图像坐标系下的坐标为(u,v)，这样对于空间之间的坐标转换关系如下：dx代表x轴方向一个像素的宽度，dy代表y轴方向上一个像素的宽度。dx、dy为摄像机的内参数。(u0,v0)称为图像平面的主点，也是摄像机的内参数。摄像机的内参数可以通过张正友的标定方法进行快速精确的标定。为了表述方便我们将内参矩阵定义为P，空间点在摄像机坐标系以及雷达坐标系的向量定义为Mc，Ml。摄像机坐标系和雷达坐标系之间满足：R代表旋转，T代表平移。R、T与摄像机无关，所以称这两个参数为摄像机的外参数。有以上关系可以得出摄像机图像坐标系和雷达坐标系存在如下关系：在公式中，仅有R，T两个未知矩阵，因此存在两类标定方法。1.基于Phantom的点到点对应关系标定，此方法直接利用上述公式，通过获取空间点在雷达坐标系中的坐标以及在摄像机图像坐标系上的坐标，然后通过解线性非齐次方程组的方法进行标定。但是由于雷达数据的稀疏特性，因此需要通过曲线拟合的方法获取标定点。如图2所示，由于激光雷达点的稀疏特性，可能雷达射线并不能恰好扫描到模体的顶点A，因此我们需要先进性模型边线的直线拟合,边线拟合的交点即是模型的顶点A，其他的标定点可以同理获取。该方法操作相对复杂且该配准方法的配准精度会受到很大影响。2.另一种方法基于雷达强度图像以及摄像头强度图像之间的互信息来进行摄像头以及激光雷达的位姿配准，如图3所示。激光雷达获取的强度分布统计与摄像头图像的强度分布统计之间的互信息与它们之间的位姿关系R，T存在一个一个正相关关系，当R，T靠近摄像头和激光雷达之间位姿关系的真值时，其互信息值达到最大。这种方法有一个关键的假设：对于同一个物体激光雷达的探测强度和摄像头图像的强度相同。但是这个假设对环境的要求过于苛刻，因为，激光雷达是主动光探测，其探测强度受环境光照影响很小，但是摄像头图像却是被动探测，其探测强度受环境影响很大，因此此种方法的鲁棒性很差。
技术实现思路
为了解决上述存在的技术问题，本专利技术提供了一种基于分类惩罚的摄像头和激光雷达信息配准方法，将激光雷达点分成正负两类和视觉图像分为正负区域，原则上，激光雷达的正类别点要投影到图像的正类别区域，负类别点投影到负类别区域。以此为原则，设计目标分数，目标分数是关于位姿参数的函数，当激光雷达的正负类别点恰好投影到相对应的正负图像区域时，此目标分数达到最大值，此时的位姿参数即为真实位姿参数。本专利技术的技术方案是：一种基于分类惩罚的摄像头和激光雷达信息配准方法，包括以下步骤：S01：对采集的图像通过区域分类算法将图像分为正负区域；S02：将激光雷达点分成正负两个类别；S03：将激光雷达点按照位姿参数投影在图像坐标系内，当激光雷达的正点投影到正区域，分配正的奖励值，反之分配负的奖励值，设置目标函数，将目标函数抽象成位姿参数的函数，每一次位姿更新，将所有的激光雷达点投影在图像区域，通过统计分类正确以及错误点计算目标函数值，然后评价此次位姿参数的优劣，并继续更新，得到目标函数值最大的位姿参数。优选的技术方案中，通过仿体对图像进行区域分类，将仿体区域设置为正区域，其他区域设置为负区域。优选的技术方案中，将激光雷达扫描在仿体上的点设置为正类别，其他的点设置为负类别，通过激光雷达的每个点的坐标判断激光雷达点是否打在仿体上。优选的技术方案中，所述步骤S03中通过搜索算法搜索得到目标函数值最大的位姿参数。与现有技术相比，本专利技术的优点是：1、通过激光雷达距离将激光雷达点分成正负两类，与之相对应的是摄像头视觉图像也分为正负区域，原则上，激光雷达的正类别点要投影到图像的正类别区域，负类别点投影到负类别区域。以此为原则，设计目标分数，目标分数是关于位姿参数的函数，当激光雷达的正负类别点恰好投影到相对应的正负图像区域时，此目标分数达到最大值。此时的位姿参数即为真实位姿参数。可以十分方便地对位姿进行配准，避免了需求精度较高的配准仿体，同时解决了基于强度的互信息配准的受环境影响比较大的缺点。2、通过基于分类设计目标函数，具有极强的鲁棒性。附图说明下面结合附图及实施例对本专利技术作进一步描述：图1为激光雷达和摄像头之间的位姿变换示意图；图2为激光雷达的稀疏点直线拟合获取标定点示意图；图3为激光雷达图像和摄像机图像的互信息配准示意图；图4为激光雷达和单目摄像头示意图；图5为本专利技术基于分类惩罚的摄像头和激光雷达信息配准方法的流程图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本专利技术进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本专利技术的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本专利技术的概念。实施例：下面结合附图，对本专利技术的较佳实施例作进一步说明。单目摄像头，激光雷达的位置安装，如图4所示，单目摄像头，激光雷达连接PC处理终端。摄像头模块主要用于周围环境的视觉感知。在本方案中，需要使用仿体(Phantom)，仿体是一个外形规则，易于进行图像轮廓提取的物体，比如一个平板。这样可以十分方便的将图像进行区域分类，通过区域分类算法，如二值化、角点提取、边提取算法等，将图像分为正负区域，将平板区域设置为正区域，其他区域设置为负区域。摄像头和PC处理终端通过USB协议或者网口协议传输。激光雷达感知周围环境，获取周围物体在激光雷达坐标系中的坐标位置。通过将物体在激光雷达坐标系的坐标进行仿射变换，转变成物体在摄像机坐标系中的坐标，然后经过摄影变换转成物体在图像坐标系的位置。但是在此之前，需要将激光雷达点进行正负分类，此算法逻辑是将激光雷达扫描在仿体上的点设置为正类别，其他的点设置为负类别。可以使用激光雷达的每个点的坐标来判断激光雷达点是否打在了仿体上。举例来说，仿体距离激光雷达约为2米，通过这个信息就可以判断某个激光雷达点是否打在了仿体上。当然，也得保证仿体周围没有干扰物体，才能比较精确的将激光雷达点进行分类，但是这个条件可以十分容易的实现。在分类完成之后，需要将激光雷达点按照位姿参数(R、T)投影在摄像机图像坐标系内，原则上，分类为正的激光雷达点(打在了仿体上的激光雷达点)应该投影到图像的正区域(仿体的图像区域)。负点亦然。因此，我们以此为逻辑出发点设置了目标函数。目标函数抽象成位姿参数本文档来自技高网...

【技术保护点】
1.一种基于分类惩罚的摄像头和激光雷达信息配准方法，其特征在于，包括以下步骤：S01：对采集的图像通过区域分类算法将图像分为正负区域；S02：将激光雷达点分成正负两个类别；S03：将激光雷达点按照位姿参数投影在图像坐标系内，当激光雷达的正点投影到正区域，分配正的奖励值，反之分配负的奖励值，设置目标函数，将目标函数抽象成位姿参数的函数，每一次位姿更新，将所有的激光雷达点投影在图像区域，通过统计分类正确以及错误点计算目标函数值，然后评价此次位姿参数的优劣，并继续更新，得到目标函数值最大的位姿参数。

【技术特征摘要】
1.一种基于分类惩罚的摄像头和激光雷达信息配准方法，其特征在于，包括以下步骤：S01：对采集的图像通过区域分类算法将图像分为正负区域；S02：将激光雷达点分成正负两个类别；S03：将激光雷达点按照位姿参数投影在图像坐标系内，当激光雷达的正点投影到正区域，分配正的奖励值，反之分配负的奖励值，设置目标函数，将目标函数抽象成位姿参数的函数，每一次位姿更新，将所有的激光雷达点投影在图像区域，通过统计分类正确以及错误点计算目标函数值，然后评价此次位姿参数的优劣，并继续更新，得到目标函数值最大的位姿参数...

【专利技术属性】
技术研发人员：周坤，孙辉，张伟，成波，
申请(专利权)人：清华大学苏州汽车研究院吴江，
类型：发明
国别省市：江苏,32