一种基于无人驾驶技术的赛车多传感器数据融合实现方法，通过激光雷达及相机联合标定以进行锥桶检测，具体包括以下步骤：1)针对激光雷达与摄像头进行时空标定；2)将激光雷达锥桶检测结果投影至对应的2D图像；3)将投影至2D图像的激光雷达锥桶检测结果与相机摄像头锥桶检测结果进行数据匹配；4)剔除未匹配的单传感器检测结果，激光雷达锥桶检测结果决定锥桶的准确位置信息，摄像头检测结果决定锥桶的颜色信息。本发明专利技术采用上述方法，实现了无人驾驶赛车上激光雷达对锥桶的3D位置检测数据及相机对锥桶的2D颜色检测数据的融合。
【技术实现步骤摘要】
本专利技术涉及无人驾驶赛车的数据检测及融合，具体的是一种基于无人驾驶技术的赛车多传感器数据融合实现方法。
技术介绍
1、目前，中国大学生无人驾驶方程式大赛(fsac)是中国大学生方程式汽车大赛四大赛事之一，参赛队员由汽车、计算机、机械等相关专业在校大学生组成，按照赛事规则和赛车制造标准自行设计和制造一辆能够实现无人驾驶功能的赛车进行比赛。该赛事的参赛队伍普遍都使用相机、激光雷达作为环境感知系统的重要传感器。
2、针对该赛项制造出的无人驾驶方程式赛车需要具备良好的环境感知、定位、路径规划以及车辆控制能力，环境感知在其中起到关键作用，同时也是实现无人驾驶的基础。环境感知在系统利用传感器检测周围障碍物为路径规划算法提供有效、稳定的障碍物属性。在fsac比赛的动态赛项中，赛车需要在三个不同赛道实现无人驾驶功能，分别是直线加速、八字环绕和高速避障。三个不同赛道中均使用小锥桶和大锥桶形成赛道边界，大、小锥桶的物理尺寸分别为20cm*20cm*30cm和35cm*35cm*70cm，其中小锥桶具有红色、蓝色和黄色三种不同的颜色，大锥桶均为黄色。
3、相比于相机而言，激光雷达不受外部光照影响，能够在强光、弱光等环境下稳定工作，能够获得周围环境中物体的形状、深度，但其扫描不出物体的具体纹理、颜色等信息，不具有判断锥桶颜色的能力。相对于激光雷达而言，rgb相机拍摄出的图片具有三个颜色通道，能够捕捉物体纹理、颜色等信息，但其在强光、弱光等环境下不能稳定工作。
4、通过上述分析，现有技术存在的问题及缺陷为：
<
p>5、(1)现有的激光雷达锥桶检测不能获取准确的锥桶颜色信息；6、(2)现有基于2d视觉(图像数据)进行锥桶检测的方法不能获取准确的锥桶位置信息；
7、(3)现有技术尚没有将激光雷达与相机融合进行锥桶检测的方法或装置，因此现有技术不能很好地对激光雷达与相机进行联合标定；
8、(4)为提炼两种不同类型数据包含的环境信息特征，需将激光雷达与相机的两类检测数据进行融合，而激光雷达获取的数据为3d点云，相机获取的数据为2d像素，两者数据表达方式与内含的特征不一致，从而导致不易将这两类数据进行有效地融合；
9、(5)对激光雷达和相机的数据进行融合之前，需要对激光雷达与相机进行时间、空间上的联合标定，而联合标定误差会受单一传感器标定误差的影响，即激光雷达或相机传感器内参标定过程中产生的标定误差会影响到联合标定的准确性，形成累积误差，同时联合标定自身也会产生误差，最终导致联合标定误差较大；
10、(6)利用激光雷达检测锥桶，首先需要剔除地面点云。目前大多采用迭代拟合平面的方法，为保持一定地面检测精度，需要大量增加迭代次数，导致检测时间过长，检测效率降低。最终导致锥桶检测准确率与检测速度难以兼得。
技术实现思路
1、本专利技术所要解决的技术问题是提供一种基于无人驾驶技术的赛车多传感器数据融合实现方法，实现了无人驾驶赛车上激光雷达对锥桶的3d位置检测数据及相机对锥桶的2d颜色检测数据的融合。
2、为解决上述技术问题，本专利技术所采用的技术方案是：一种基于无人驾驶技术的赛车多传感器数据融合实现方法，通过激光雷达及相机联合标定以进行锥桶检测，具体包括以下步骤：
3、1)针对激光雷达与摄像头进行时空标定；
4、2)将激光雷达锥桶检测结果投影至对应的2d图像；
5、3)将投影至2d图像的激光雷达锥桶检测结果与相机摄像头锥桶检测结果进行数据匹配；
6、4)剔除未匹配的单传感器检测结果，激光雷达锥桶检测结果决定锥桶的准确位置信息，摄像头检测结果决定锥桶的颜色信息。
7、优选的方案中，所述步骤1)中时空标定流程包括：
8、1.1)首先接收基于点云的锥桶检测结果和基于图像的锥桶检测结果，结果中均包含对应数据的原始时间戳信息以及锥桶检测结果；
9、1.2)当图像锥桶检测结果数据到达时，将图像检测结果放入imageobjs队列；
10、1.3)当点云锥桶检测结果到来时，直接进入时间同步模块，通过判断imageobjs队列是否存有图像锥桶检测结果选择进入时间戳匹配或结束时间同步；
11、1.4)若队列中存有数据，则按照队列的先进先出原则比对两者数据时间戳，寻找满足时间阈值的最近邻数据，若找到最近邻数据则认为匹配成功，同时删除小于当前匹配时间戳的队列数据；
12、1.5)将匹配成功的点云、图像锥桶检测结果作为时间同步后的数据传入融合模块。
13、优选的方案中，还包括相机与激光雷达数据的空间同步，具体流程包括：
14、1)将相机坐标系设为基准坐标系；
15、2)将激光雷达坐标系通过变换矩阵(r|t)转换至相机坐标系。
16、优选的方案中，所述激光雷达坐标系向相机坐标系的转换具体包括：
17、1)激光雷达坐标系通过旋转平移变换矩阵转换至相机坐标系；
18、2)随后通过已完成标定的相机内参矩阵和相似三角形原理将三维的相机坐标系转换至二维像素坐标系。
19、优选的方案中，所述所述相机内参包括透视投影和仿射变换。
20、优选的方案中，所述相机与激光雷达数据采用匈牙利匹配算法进行融合，具体包括以下流程：
21、1)创建一个称为成本矩阵mn×m，其中每个元素代表将n个激光雷达检测结果之一分配给m个图像锥桶检测结果之一的欧式距离，并令k＝min(n，m)；
22、2)对于矩阵的每一行，找到最小的元素，并将其从其行中的每个元素中减去；
23、3)在生成的矩阵中找到0元素。如果其行或列中没有0*，则标记为0*，并对矩阵中的每个元素重复此操作；
24、4)使用线条覆盖有0*的每一列，若覆盖了k列，则0*表示完整的唯一匹配集合，该情况下转到“完成”，否则转至步骤5)；
25、5)找到一个未覆盖的0并将其准备好，如果包含0*行中没有准备好的0′，则转至步骤6)，否则，用线条覆盖该行并找出包含0*的列，并继续以该方式进行操作，直到所有0元素均被线条覆盖为止，最后保存最小的未被线覆盖的值，并转至步骤6)；
26、6)构造更多的0元素，令z0表示步骤5)中没有被线条覆盖的元素0′，令z1表示z0列中0*，令z2表示z1行中的元素0′，令z＝{z0,z1,z2}，将z中0*标记为0，将z中0′标记为0*，移除方阵中所有0′和线条，转到步骤4)；
27、7)将在步骤4中找到的最小值添加到每个覆盖行的每个元素中，并将其从每个未被线条覆盖列的每个元素中减去，返回步骤5)；
28、done：分配对由成本矩阵中加星号的零的位置指示。如果c(i，j)为0*，则将与行i关联的元素分配给与列j关联的元素。
29、优选的方案中，采用以下公式进行激光雷达坐标系向相机坐标系的转换：
30、本文档来自技高网
...
【技术保护点】
1.一种基于无人驾驶技术的赛车多传感器数据融合实现方法，其特征在于：通过激光雷达及相机联合标定以进行锥桶检测，具体包括以下步骤：
2.根据权利要求1所述的一种基于无人驾驶技术的赛车多传感器数据融合实现方法，其特征在于：所述步骤1)中时空标定流程包括：
3.根据权利要求1所述的一种基于无人驾驶技术的赛车多传感器数据融合实现方法，其特征在于：还包括相机与激光雷达数据的空间同步，具体流程包括：
4.根据权利要求3所述的一种基于无人驾驶技术的赛车多传感器数据融合实现方法，其特征在于：所述激光雷达坐标系向相机坐标系的转换具体包括：
5.根据权利要求3所述的一种基于无人驾驶技术的赛车多传感器数据融合实现方法，其特征在于：所述所述相机内参包括透视投影和仿射变换。
6.根据权利要求1所述的一种基于无人驾驶技术的赛车多传感器数据融合实现方法，其特征在于：所述相机与激光雷达数据采用匈牙利匹配算法进行融合，具体包括以下流程：
7.根据权利要求4所述的一种基于无人驾驶技术的赛车多传感器数据融合实现方法，其特征在于：采用以下公式进行激光雷达坐标系向相机坐标系的转换：
...
【技术特征摘要】
1.一种基于无人驾驶技术的赛车多传感器数据融合实现方法，其特征在于：通过激光雷达及相机联合标定以进行锥桶检测，具体包括以下步骤：
2.根据权利要求1所述的一种基于无人驾驶技术的赛车多传感器数据融合实现方法，其特征在于：所述步骤1)中时空标定流程包括：
3.根据权利要求1所述的一种基于无人驾驶技术的赛车多传感器数据融合实现方法，其特征在于：还包括相机与激光雷达数据的空间同步，具体流程包括：
4.根据权利要求3所述的一种基于无人驾驶技术的赛车多传感器数据融合实现方法，其特征在于...
【专利技术属性】
技术研发人员：兰建平，魏小源，董秀娟，
申请(专利权)人：湖北汽车工业学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。