针对自动驾驶车辆的数据处理方法、装置和自动驾驶车辆制造方法及图纸

本公开提供了一种针对自动驾驶车辆的数据处理方法、装置、设备、介质、产品和自动驾驶车辆，涉及人工智能交通领域，具体为自动驾驶领域。针对自动驾驶车辆的数据处理方法包括：获取针对自动驾驶车辆的传感器数据，传感器数据包括惯性测量数据、激光雷达数据和视觉图像数据；根据惯性测量数据和视觉图像数据，确定针对惯性测量数据的第一约束因子；根据惯性测量数据和激光雷达数据，确定针对激光雷达数据的第二约束因子；根据惯性测量数据、视觉图像数据和激光雷达数据，确定针对视觉图像数据的第三约束因子；基于第一约束因子、第二约束因子和第三约束因子，处理传感器数据，得到用于对自动驾驶车辆进行定位的定位数据。对自动驾驶车辆进行定位的定位数据。对自动驾驶车辆进行定位的定位数据。

【技术实现步骤摘要】
针对自动驾驶车辆的数据处理方法、装置和自动驾驶车辆


[0001]本公开涉及智能交通
，尤其涉及自动驾驶领域，更具体地，涉及一种针对自动驾驶车辆的数据处理方法、装置、电子设备、介质、程序产品和自动驾驶车辆。

技术介绍

[0002]目前针对视觉/LiDAR里程计问题已经有很多解决方案，现有的方法虽然可以满足在线实时应用的需求，但一般需要消耗大量的CPU计算资源。

技术实现思路

[0003]本公开提供了一种针对自动驾驶车辆的数据处理方法、装置、电子设备、存储介质、程序产品和自动驾驶车辆。
[0004]根据本公开的一方面，提供了一种针对自动驾驶车辆的数据处理方法，包括：获取针对所述自动驾驶车辆的传感器数据，所述传感器数据包括惯性测量数据、激光雷达数据和视觉图像数据；根据所述惯性测量数据和所述视觉图像数据，确定针对所述惯性测量数据的第一约束因子；根据所述惯性测量数据和所述激光雷达数据，确定针对所述激光雷达数据的第二约束因子；根据所述惯性测量数据、所述视觉图像数据和所述激光雷达数据，确定针对所述视觉图像数据的第三约束因子；基于所述第一约束因子、所述第二约束因子和所述第三约束因子，处理所述传感器数据，得到用于对所述自动驾驶车辆进行定位的定位数据。
[0005]根据本公开的另一方面，提供了一种针对自动驾驶车辆的数据处理装置，包括：获取模块、第一确定模块、第二确定模块、第三确定模块以及处理模块。获取模块，用于获取针对所述自动驾驶车辆的传感器数据，所述传感器数据包括惯性测量数据、激光雷达数据和视觉图像数据；第一确定模块，用于根据所述惯性测量数据和所述视觉图像数据，确定针对所述惯性测量数据的第一约束因子；第二确定模块，用于根据所述惯性测量数据和所述激光雷达数据，确定针对所述激光雷达数据的第二约束因子；第三确定模块，用于根据所述惯性测量数据、所述视觉图像数据和所述激光雷达数据，确定针对所述视觉图像数据的第三约束因子；处理模块，用于基于所述第一约束因子、所述第二约束因子和所述第三约束因子，处理所述传感器数据，得到用于对所述自动驾驶车辆进行定位的定位数据。
[0006]根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器和与所述至少一个处理器通信连接的存储器。其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的针对自动驾驶车辆的数据处理方法。
[0007]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行上述的针对自动驾驶车辆的数据处理方法。
[0008]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述的针对自动驾驶车辆的数据处理方法。
[0009]根据本公开的另一方面，提供了一种自动驾驶车辆，包括上述电子设备。
[0010]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0011]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0012]图1示意性示出了根据本公开一实施例的针对自动驾驶车辆的数据处理方法的流程图；
[0013]图2示意性示出了根据本公开一实施例的针对自动驾驶车辆的数据处理方法的原理图；
[0014]图3示意性示出了根据本公开一实施例的插值计算的原理示意图；
[0015]图4示意性示出了根据本公开一实施例的因子图的示意图；
[0016]图5示意性示出了根据本公开一实施例的针对自动驾驶车辆的数据处理装置的框图；以及
[0017]图6是用来实现本公开实施例的用于执行针对自动驾驶车辆的数据处理的电子设备的框图。
具体实施方式
[0018]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0019]在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
[0020]在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
[0021]在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
[0022]由于利用视觉/LiDAR里程计在进行定位计算过程中一般需要消耗大量的CPU计算资源。因此搭建一个精度高、CPU资源占用少、GPU资源利用合理的视觉、激光雷达、惯性测量单元的里程计是有实用价值的。本公开的实施例提供了一种搭建基于视觉、激光雷达、惯性测量单元里程计的方法，并利用基于视觉、激光雷达、惯性测量单元里程计进行自动驾驶车辆的定位。
[0023]为了便于描述，对本公开中所使用的符号进行说明。使用(
·
)
w
来表示全局坐标系，即系统初始关键帧所对应的IMU(惯性测量单元)坐标系。使用(
·
)
b
表示局部坐标系，即
IMU坐标系。使用(
·
)
c
表示视觉坐标系。在文中使用旋转矩阵R和Hamilton风格的单位四元数q来表达旋转。是局部坐标系到全局坐标系的旋转和平移值。表示车体坐标系到局部坐标系的外参关系。b
k
是处理第k帧数据时的局部坐标系。c
k
表示第k帧视觉图像数据。表示在第k帧IMU的速度在全局坐标系中的值。表示在第k帧IMU的速度在相应帧局部坐标系中的值。使用b
ω
表示IMU陀螺仪的零偏，b
a
表示IMU加速度计的零偏。g
w
表示重力加速度在全局坐标系中的值，由初始化建立。使用表示带有噪声的测量数据或者具有一定不确定性的估计数据。表示两个四元数相乘，
×
表示两个3维向量的矢量积。
[0024]本公开的实施例提供了一种针对自动驾驶车辆的数据处理方法，包括：获取针对自动驾驶车辆的传感器数据，传感器数据包括惯性测量数据、激光雷达数据和视觉图像数据。然后，根据惯性测量数据和视觉图像数据，确定针对惯性测本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种针对自动驾驶车辆的数据处理方法，包括：获取针对所述自动驾驶车辆的传感器数据，所述传感器数据包括惯性测量数据、激光雷达数据和视觉图像数据；根据所述惯性测量数据和所述视觉图像数据，确定针对所述惯性测量数据的第一约束因子；根据所述惯性测量数据和所述激光雷达数据，确定针对所述激光雷达数据的第二约束因子；根据所述惯性测量数据、所述视觉图像数据和所述激光雷达数据，确定针对所述视觉图像数据的第三约束因子；以及基于所述第一约束因子、所述第二约束因子和所述第三约束因子，处理所述传感器数据，得到用于对所述自动驾驶车辆进行定位的定位数据。2.根据权利要求1所述的方法，其中，所述激光雷达数据包括多帧激光点云数据；所述根据所述惯性测量数据和所述激光雷达数据，确定针对所述激光雷达数据的第二约束因子包括：根据所述惯性测量数据、所述多帧激光点云数据中的第一帧激光点云数据和第二帧激光点云数据，确定第一帧激光点云数据与第二帧激光点云数据之间的初始相对位姿；分别确定所述第一帧激光点云数据的第一投影数据和所述第二帧激光点云数据的第二投影数据；根据所述第一投影数据和所述第二投影数据，调整所述初始相对位姿，得到点云帧间相对位姿；以及根据所述点云帧间相对位姿，确定所述第二约束因子。3.根据权利要求2所述的方法，其中，所述第一投影数据和所述第二投影数据均包括N个体像素，N为大于1的整数；所述根据所述第一投影数据和所述第二投影数据，调整所述初始相对位姿，得到点云帧间相对位姿包括：根据N个体像素中的每一个体像素和所述初始相对位姿，执行N次迭代操作，得到第N相对位姿，作为所述点云帧间相对位姿。4.根据权利要求3所述的方法，其中，所述第一投影数据包括第一投影图像和第一法向量，所述第二投影数据包括第二投影图像和第二法向量；所述根据所述第一投影数据和所述第二投影数据，调整所述初始相对位姿，得到点云帧间相对位姿包括：所述N次迭代中的第i次迭代包括：根据i确定距离阈值和角度阈值，i大于等于1且小于等于N；在确定第一投影图像中的第i第一像素与第二投影图像中的第i第二像素之间的距离小于等于所述距离阈值且第i像素的对应第一法向量与对应第二法向量之间的夹角小于等于所述角度阈值的情况下，利用第i
‑
1次迭代得到的第i
‑
1相对位姿、第i第一像素、第i第二像素、第i像素的对应第一法向量和第i像素的对应第二法向量，确定第i相对位姿。5.根据权利要求1所述的方法，其中，所述根据所述惯性测量数据、所述视觉图像数据和所述激光雷达数据，确定针对所述视觉图像数据的第三约束因子包括：根据所述视觉图像数据和所述激光雷达数据，确定所述视觉图像数据的深度信息；根据所述视觉图像数据和所述惯性测量数据，确定所述视觉图像数据和所述惯性测量
数据之间的映射关系；以及根据所述深度信息和所述映射关系，确定所述第三约束因子。6.根据权利要求5所述的方法，其中，所述根据所述视觉图像数据和所述激光雷达数据，确定所述视觉图像数据的深度信息包括：确定在视觉图像数据的视觉图像采集时刻相对于相邻雷达数据的雷达数据采集时刻的初始惯性测量相对位姿；根据视觉图像采集时刻、雷达数据采集时刻和初始惯性测量相对位姿，确定所述激光雷达数据到视觉图像数据平面的第一投影位置；根据所述第一投影位置确定图像投影时刻以及更新的惯性测量相对位姿；以及根据所述更新的惯性测量相对位姿确定视觉图像数据的深度信息。7.根据权利要求6所述的方法，其中，所述根据所述第一投影位置确定图像投影时刻以及更新的惯性测量相对位姿包括：确定在视觉图像采集时刻相对于图像投影时刻的第一惯性测量相对位姿；确定在图像投影时刻相对于激光数据采集时刻的第二惯性测量相对位姿；以及利用所述第一惯性测量相对位姿和所述第二惯性测量相对位姿对所述初始惯性测量相对位姿进行插值，得到所述更新的惯性测量相对位姿。8.根据权利要求1
‑
7中任意一项所述的方法，其中，所述基于所述第一约束因子、所述第二约束因子和所述第三约束因子，处理所述传感器数据，得到用于对所述自动驾驶车辆进行定位的定位数据包括将满足以下公式的X作为所述定位数据：其中，为所述第一约束因子，为所述第三约束因子，为所述第二约束因子；为惯性测量数据，为视觉图像数据，为激光雷达数据。9.根据权利要求1
‑
8中任意一项所述的方法，其中，所述惯性测量数据是由惯性传感器采集的；所述方法还包括：根据所述激光雷达数据和所述第一约束因子，对所述惯性传感器的速度和加速度进行初始化。10.一种针对自动驾驶车辆的数据处理装置，包括：获取模块，用于获取针对所述自动驾驶车辆的传感器数据，所述传感器数据包括惯性测量数据、激光雷达数据和视觉图像数据；第一确定模块，用于根据所述惯性测量数据和所述视觉图像数据，确定针对所述惯性测量数据的第一约束因子；第二确定模块...

【专利技术属性】
技术研发人员：高巍，丁文东，万国伟，彭亮，
申请(专利权)人：阿波罗智能技术北京有限公司，
类型：发明
国别省市：