【技术实现步骤摘要】
本专利技术涉及自动驾驶，具体为雷达与相机时空同步的方法、装置、终端设备和存储介质。
技术介绍
1、多传感器(激光雷达中采集点云图像的传感器和相机系统中采集影像的传感器)的数据融合旨在发挥各个传感器的优势，从而提高系统的检测能力。激光雷达能够准确获得周围环境的3d坐标信息，不受光照变化影响，然而其获取的点云数据缺少彩色纹理信息，且受光滑或可穿透物体表面的影响。相比于激光雷达，相机容易获得丰富的彩色语义信息，但很难获得深度信息，且受光照影响严重。而相机与雷达的数据融合可应用于移动测图、自动驾驶等领域。
2、数据融合的关键涉及两个方面，时间同步和空间同步(时间戳对齐以及外参标定)，即相机系统和激光雷达采集图像的时间同步和空间位置同步。目前，对于时间戳同步常用的方法是利用gps时钟同时给多个传感器传输时间，对于空间同步，一般是采用手动标定相机与激光雷达的外参。就目前来看，不管是时间同步还是空间同步，在技术上都有待改进，时间同步采用gps时钟授时的方式，精度容易受到外在环境的影响，且对于投入成本而言也较高；而对于空间同步，手动标定外参操作麻烦，过程较为繁琐。
3、因此，本专利技术提供雷达与相机时空同步的方法、装置、终端设备和存储介质，用于解决上述所提出的相关技术问题。
技术实现思路
1、本专利技术的目的在于提供雷达与相机时空同步的方法、装置、终端设备和存储介质，用于有效改善现有技术中激光雷达和相机数据之间实时同步的准确性较差的问题。
2、为实现上述目的，本
3、本专利技术的第一方面：提供了一种雷达与相机时空同步的方法，包括以下步骤：
4、获取由相机采集的影像帧和激光雷达采集的点云帧，对相机所采集的影像帧以及激光雷达所采集的点云帧进行延迟计算，以匹配出所述点云帧和所述影像帧在时间上同步采集的预匹配帧；
5、对所述预匹配帧中的所述影像帧进行畸变处理；
6、确定所述预匹配帧中经过畸变处理后的所述影像帧与所述点云帧之间位置差异信息，对所述位置差异信息进行标定融合，以使所述预匹配帧中的影像帧和点云帧在空间上重合。
7、本专利技术进一步的设置为：所述对相机所采集的影像帧以及激光雷达所采集的点云帧进行延迟计算，以匹配出所述点云帧和所述影像帧在时间上同步采集的预匹配帧，具体包括以下步骤：
8、根据激光雷达的预设和扫描信息，以及相机的预设信息，计算出所述激光雷达与所述相机之间的角度差；
9、根据所述角度差和所述激光雷达的预设信息计算出第一时间差，根据所述相机的曝光信息计算出第二时间差；
10、所述第一时间差和所述第二时间差之和，即为所述影像帧与所述点云帧之间的延迟时间，根据所述延迟时间匹配出所述预匹配帧。
11、本专利技术进一步的设置为：所述激光雷达的预设和扫描信息包括激光雷达的属性信息以及激光雷达相较于x轴的偏航角，其中，所述激光雷达的属性信息包括激光雷达的工作周期；所述相机的预设信息包括相机的属性信息和基于坐标原点的偏航角；所述相机的曝光信息包括曝光时间。
12、本专利技术进一步的设置为：所述相机的属性信息包括相机的曝光总时间和相机的视场角，所述相机的曝光信息包括相机的曝光时间，所述第二时间差为所述相机的曝光延迟时间。
13、本专利技术进一步的设置为：所述角度差的计算公式为：c＝byaw-ayaw-bfov/2；所述第一时间差的计算公式为：t2＝c/360*f；所述第二时间差的计算公式为：t3＝t0-t1；所述延迟时间的计算公式为：td＝t2+t3；
14、式中，f为激光雷达的工作周期，ayaw为激光雷达相较于x轴的偏航角，bfov为相机的视场角，t0为相机的曝光总时间，byaw为相机基于坐标原点的偏航角，t1为曝光时间，c为角度差，t2为第一时间差，t3为第二时间差，td为延迟时间。
15、本专利技术进一步的设置为：所述曝光时间为曝光开始的时间戳和曝光结束的时间戳的时间差。
16、本专利技术进一步的设置为：所述曝光时间还可以为寄存器内所读取的曝光行数和行曝光单位时间的乘积。
17、本专利技术的第二方面：还提供了一种雷达与相机时空同步的装置，包括：
18、获取匹配模块，与激光雷达和相机均连接，用于获取激光雷达所采集的点云帧和相机所采集的影像帧，并匹配所述点云帧和所述影像帧以得到预匹配帧；
19、畸变处理模块，与相机连接，用于对所述影像帧进行畸变处理；
20、标定融合模块，与所述激光雷达和所述相机均连接，用于获取所述预匹配帧中经过畸变处理后的影像帧与所述点云帧之间的位置差异信息，并对所述位置差异信息进行标定融合，以使所述预匹配帧中的影像帧和点云帧在空间上重合。
21、本专利技术的第三方面：还提供了一种终端设备，包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的雷达与相机时空同步的方法程序，所述处理器执行所述雷达与相机时空同步的方法程序时，实现如第一方面所述的雷达与相机时空同步的方法的步骤。
22、本专利技术的第四方面：还提供了一种存储介质，其特征在于：所述存储介质上存储有雷达与相机时空同步的方法程序，所述雷达与相机时空同步的方法程序被处理器执行时，实现如第一方面所述的雷达与相机时空同步的方法的步骤。
23、与现有技术相比，本专利技术的有益效果是：
24、本专利技术通过获取相机采集的影像帧和激光雷达采集的点云帧，计算影像帧和点云帧之间的延迟，以匹配出在时间上同步采集的预匹配帧，从而实现在时间上的同步，确保在该时间点相机和激光雷达所采集的帧为同一时刻的帧，并作为预匹配帧；再通过对预匹配帧中的影像帧进行畸变处理，使影像帧显示正常；最后通过确定在该同一时间点，经过畸变处理的影像帧和点云帧之间的位置差异，对该位置差异信息进行标定融合，最终实现影像帧和点云帧在空间上的重合。在计算影像帧和点云帧之间的延迟时，便能够知道在激光雷达扫描至某一位置时，对应的相机就能在该时刻进行图像采集工作，从而使影像帧和点云帧在获取时能够保证毫秒级的误差，处于该误差内的影像帧和点云帧则组成预匹配帧，确保得到的数据足够精确，以便于后续操作。
本文档来自技高网...【技术保护点】
1.一种雷达与相机时空同步的方法，其特征在于，包括以下步骤：
2.根据权利要求1中所述的一种雷达与相机时空同步的方法，其特征在于：所述对相机所采集的影像帧以及激光雷达所采集的点云帧进行延迟计算，以匹配出所述点云帧和所述影像帧在时间上同步采集的预匹配帧，具体包括以下步骤：
3.根据权利要求2中所述的一种雷达与相机时空同步的方法，其特征在于：所述激光雷达的预设和扫描信息包括激光雷达的属性信息以及激光雷达相较于x轴的偏航角，其中，所述激光雷达的属性信息包括激光雷达的工作周期；所述相机的预设信息包括相机的属性信息和基于坐标原点的偏航角；所述相机的曝光信息包括曝光时间。
4.根据权利要求3中所述的一种雷达与相机时空同步的方法，其特征在于：所述相机的属性信息包括相机的曝光总时间和相机的视场角，所述相机的曝光信息包括相机的曝光时间，所述第二时间差为所述相机的曝光延迟时间。
5.根据权利要求4中所述的一种雷达与相机时空同步的方法，其特征在于：所述角度差的计算公式为：C＝Byaw-Ayaw-Bfov/2；所述第一时间差的计算公式为：T2＝C/360*
6.根据权利要求3中所述的一种雷达与相机时空同步的方法，其特征在于：所述曝光时间为曝光开始的时间戳和曝光结束的时间戳的时间差。
7.根据权利要求3中所述的一种雷达与相机时空同步的方法，其特征在于：所述曝光时间还可以为寄存器内所读取的曝光行数和行曝光单位时间的乘积。
8.一种雷达与相机时空同步的装置，其特征在于，包括：
9.一种终端设备，其特征在于：包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的雷达与相机时空同步的方法程序，所述处理器执行所述雷达与相机时空同步的方法程序时，实现如权利要求1～7中任一项所述的雷达与相机时空同步的方法的步骤。
10.一种存储介质，其特征在于：所述存储介质上存储有雷达与相机时空同步的方法程序，所述雷达与相机时空同步的方法程序被处理器执行时，实现如权利要求1～7中任一项所述的雷达与相机时空同步的方法的步骤。
...【技术特征摘要】
1.一种雷达与相机时空同步的方法，其特征在于，包括以下步骤：
2.根据权利要求1中所述的一种雷达与相机时空同步的方法，其特征在于：所述对相机所采集的影像帧以及激光雷达所采集的点云帧进行延迟计算，以匹配出所述点云帧和所述影像帧在时间上同步采集的预匹配帧，具体包括以下步骤：
3.根据权利要求2中所述的一种雷达与相机时空同步的方法，其特征在于：所述激光雷达的预设和扫描信息包括激光雷达的属性信息以及激光雷达相较于x轴的偏航角，其中，所述激光雷达的属性信息包括激光雷达的工作周期；所述相机的预设信息包括相机的属性信息和基于坐标原点的偏航角；所述相机的曝光信息包括曝光时间。
4.根据权利要求3中所述的一种雷达与相机时空同步的方法，其特征在于：所述相机的属性信息包括相机的曝光总时间和相机的视场角，所述相机的曝光信息包括相机的曝光时间，所述第二时间差为所述相机的曝光延迟时间。
5.根据权利要求4中所述的一种雷达与相机时空同步的方法，其特征在于：所述角度差的计算公式为：c＝byaw-ayaw-bfov/2；所述第...
【专利技术属性】
技术研发人员：王硕，李雨瑞，莫松霖，谢裕舒，王强，谷晓贺，李国梁，
申请(专利权)人：上海泽尔汽车科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。