信息补全方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种上述信息补全方法、装置、计算机设备和存储介质，获取毫米波雷达采集的第一区域的毫米波雷达数据，以及视觉传感器采集的第二区域的图像数据；将毫米波雷达数据输入预设的第一模型，获得第一区域中的道路对象的第一特征信息；基于图像数据获得第二区域中道路对象的像素坐标，并根据像素坐标与第二扫描区域对应的第二模型，获得第二区域中道路对象的第二特征信息。采用上述方法，可以避免激光雷达失效导致系统工作异常，提升了系统的可靠性。靠性。靠性。

【技术实现步骤摘要】
信息补全方法、装置、计算机设备和存储介质


[0001]本申请涉及传感器
，特别是涉及一种信息补全方法、装置、计算机设备和存储介质。

技术介绍

[0002]随着自动化驾驶、车路协同等技术的发展，传感器得到了越来越广泛的应用。自动化驾驶系统或者车路协同系统中，需要采集目标对象的不同类型的特征信息，使得系统根据特征信息做出的判断更准确。
[0003]为了采集不同类型的特征信息，上述系统可以部署多个传感器。系统中可以同时部署激光雷达、视觉传感器以及毫米波雷达，可以通过激光雷达采集道路对象的尺寸、深度信息等特征；可以视觉传感器采集道路对象的颜色特征，以及通过毫米波雷达采集道路对象的速度等特征。
[0004]但是，当其中激光雷达失效的情况下，系统不能通过获得道路对象的尺寸和定位等特征，导致自动化驾驶系统或者车路协同系统工作异常甚至引发安全事故。

技术实现思路

[0005]基于此，有必要针对上述技术问题，提供一种能够提升系统可靠性的信息补全方法、装置、计算机设备和存储介质。
[0006]一种信息补全方法，上述方法包括：
[0007]获取毫米波雷达采集的第一区域的毫米波雷达数据，以及视觉传感器采集的第二区域的图像数据；第一区域为激光雷达与毫米波雷达的扫描重叠区域，第二区域为激光雷达与视觉传感器的扫描重叠区域中，与第一区域不相交的区域；
[0008]将毫米波雷达数据输入预设的第一模型，获得第一区域中的道路对象的第一特征信息；第一模型为基于毫米波雷达和激光雷达在用一时间段、同一场景下采集的数据进行训练获得的；第一特征信息包括尺寸信息、类别信息以及深度信息中的至少一种；
[0009]基于图像数据获得第二区域中道路对象的像素坐标，并根据像素坐标与第二扫描区域对应的第二模型，获得第二区域中道路对象的第二特征信息；第二模型包含像素坐标与第二特征信息的对应关系；第二特征信息包括深度信息、尺寸信息以及类别信息中的至少一种。
[0010]在其中一个实施例中，所述第一模型为深度学习模型，所述第二模型为拟合映射模型，上述获取毫米波雷达采集的第一区域的毫米波雷达数据，以及视觉传感器采集的第二区域的图像数据之前，还包括：
[0011]获取在同一时间段、同一场景下激光雷达采集的历史点云数据与第二传感器采集的第二历史数据；第二传感器为毫米波雷达或视觉传感器；第二历史数据为毫米波雷达采集的历史毫米波雷达数据，或者视觉传感器采集的历史图像数据；
[0012]对历史点云数据与第二历史数据进行时空同步处理，得到历史点云数据与第二历
史数据的时空对应关系；
[0013]基于历史点云数据与第二历史数据的时空对应关系，建立深度学习模型或拟合映射模型。
[0014]在其中一个实施例中，上述历史点云数据包括多个第一数据帧，第二历史数据包括多个第二数据帧，对历史点云数据与第二历史数据进行时空同步处理，得到历史点云数据与第二历史数据的时空对应关系，包括：
[0015]对历史点云数据和第二历史数据进行时间同步，获得时间同步的多个数据帧对；每个数据帧对包括采样时刻同步的第一数据帧和第二数据帧；
[0016]对每个数据帧对中的第一数据帧和第二数据帧进行坐标系转换，获得空间同步的数据对，每个数据对包括空间同步的第一数据帧中的第一数据以及第二数据帧中的第二数据。
[0017]在其中一个实施例中，上述第二传感器为毫米波雷达；第二历史数据为毫米波雷达采集的历史毫米波雷达数据；基于历史点云数据与第二历史数据的时空对应关系，建立深度学习模型包括：
[0018]对历史点云数据进行特征提取，获取各第一数据对应的第一特征信息；
[0019]将第二数据作为训练输入样本，将第二数据对应的第一数据所关联的第一特征信息作为训练输入样本的样本标签，获得训练数据集合；
[0020]将第二数据作为初始深度学习模型的输入，将第一数据所关联的第一特征信息作为初始深度学习模型的参考输出，对初始深度学习模型进行训练，获得深度学习模型；
[0021]在其中一个实施例中，上述第二传感器为视觉传感器；第二历史数据为视觉传感器采集的历史图像数据；基于历史点云数据与第二历史数据的时空对应关系，建立拟合映射模型包括：
[0022]对历史点云数据进行特征提取，得到第二特征信息；
[0023]对视觉传感器采集的历史图像数据进行特征提取，得到像素坐标；
[0024]基于各数据对中，第一数据对应的第二特征信息与第二数据对应的像素坐标之间的对应关系，建立拟合映射模型。
[0025]在其中一个实施例中，上述激光雷达和视觉传感器的相对位置固定；第二特征信息为第二区域中道路对象的深度信息；基于各数据对中，第一数据对应的第二特征信息与第二数据对应的像素坐标之间的对应关系，建立拟合映射模型，包括：
[0026]根据第二数据的坐标，将深度信息映射至图像数据中对应的像素坐标处，获得深度图像，以使深度图像上的部分像素坐标具有深度信息；
[0027]对深度图像中的部分像素坐标进行曲线拟合连接，得到多条深度拟合曲线，并将多条深度拟合曲线确定为拟合映射模型。
[0028]在其中一个实施例中，上述根据像素坐标与第二扫描区域对应的拟合映射模型，获得第二区域中道路对象的第二特征信息，包括：
[0029]在深度图像中，确定第二区域中道路对象的像素坐标是否落在多条深度拟合曲线上；
[0030]若是，则将道路对象的像素坐标对应的深度信息，确定为第二区域中道路对象的深度信息。
[0031]在其中一个实施例中，上述方法还包括：
[0032]若否，则获取第二区域中道路对象的像素坐标周围的多个目标像素坐标；目标像素坐标为具有深度信息的像素坐标；
[0033]采用预设的插值算法，对各目标像素坐标所对应的深度信息进行插值处理，得到第二区域中道路对象的深度信息。
[0034]在其中一个实施例中，上述采用预设的插值算法，对各目标像素坐标所对应的深度信息进行插值处理，得到第二区域中道路对象的深度信息，包括：
[0035]计算第二区域中道路对象的像素坐标与各目标像素坐标之间的距离值；
[0036]根据距离值，对各目标像素坐标所对应的深度信息进行插值处理，得到第二区域中道路对象的深度信息。
[0037]在其中一个实施例中，上述获取第二区域中道路对象的像素坐标周围的多个目标像素坐标，包括：
[0038]在深度图像中，确定与第二区域中道路对象的像素坐标距离最近的两条目标深度拟合曲线；
[0039]确定经过第二区域中道路对象的像素坐标的标定线；标定线与两条目标深度拟合曲线相交；
[0040]将标定线与两条目标深度拟合曲线的交点的像素坐标，确定为目标像素坐标。
[0041]在其中一个实施例中，上述对每个数据帧对中的第一数据帧和第二数据帧进行坐标系转换，获得空间同步的数据对包括：
[0042]根据预设的转换矩阵本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种信息补全方法，其特征在于，所述方法包括：获取毫米波雷达采集的第一区域的毫米波雷达数据，以及视觉传感器采集的第二区域的图像数据；所述第一区域为激光雷达与所述毫米波雷达的扫描重叠区域，所述第二区域为所述激光雷达与所述视觉传感器的扫描重叠区域中，与所述第一区域不相交的区域；将所述毫米波雷达数据输入预设的第一模型，获得所述第一区域中的道路对象的第一特征信息；所述第一模型为基于所述毫米波雷达和所述激光雷达在用一时间段、同一场景下采集的数据进行训练获得的；所述第一特征信息包括尺寸信息、类别信息以及深度信息中的至少一种；基于所述图像数据获得所述第二区域中道路对象的像素坐标，并根据所述像素坐标与所述第二扫描区域对应的第二模型，获得所述第二区域中道路对象的第二特征信息；所述第二模型包含像素坐标与第二特征信息的对应关系；所述第二特征信息包括深度信息、尺寸信息以及类别信息中的至少一种。2.根据权利要求1所述的方法，其特征在于，所述第一模型为深度学习模型，所述第二模型为拟合映射模型；所述获取所述毫米波雷达采集的第一区域的毫米波雷达数据，以及所述视觉传感器采集的第二区域的图像数据之前，所述还包括：获取在同一时间段、同一场景下所述激光雷达采集的历史点云数据与第二传感器采集的第二历史数据；所述第二传感器为所述毫米波雷达或所述视觉传感器；所述第二历史数据为所述毫米波雷达采集的历史毫米波雷达数据，或者所述视觉传感器采集的历史图像数据；对所述历史点云数据与所述第二历史数据进行时空同步处理，得到所述历史点云数据与所述第二历史数据的时空对应关系；基于所述历史点云数据与所述第二历史数据的时空对应关系，建立所述深度学习模型或所述拟合映射模型。3.根据权利要求2所述的方法，其特征在于，所述历史点云数据包括多个第一数据帧，所述第二历史数据包括多个第二数据帧，所述对所述历史点云数据与所述第二历史数据进行时空同步处理，得到所述历史点云数据与所述第二历史数据的时空对应关系，包括：对所述历史点云数据和所述第二历史数据进行时间同步，获得时间同步的多个数据帧对；每个数据帧对包括采样时刻同步的第一数据帧和第二数据帧；对每个数据帧对中的第一数据帧和第二数据帧进行坐标系转换，获得空间同步的数据对，每个数据对包括空间同步的所述第一数据帧中的第一数据以及所述第二数据帧中的第二数据。4.根据权利要求3所述的方法，其特征在于，所述第二传感器为所述毫米波雷达；所述第二历史数据为所述毫米波雷达采集的历史毫米波雷达数据；所述基于所述历史点云数据与所述第二历史数据的时空对应关系，建立所述深度学习模型包括：对所述历史点云数据进行特征提取，获取各所述第一数据对应的第一特征信息；将所述第二数据作为训练输入样本，将所述第二数据对应的第一数据所关联的第一特征信息作为所述训练输入样本的样本标签，获得训练数据集合；将所述第二数据作为初始深度学习模型的输入，将所述第一数据所关联的第一特征信息作为所述初始深度学习模型的参考输出，对所述初始深度学习模型进行训练，获得所述
深度学习模型。5.根据权利要求3所述的方法，其特征在于，所述第二传感器为所述视觉传感器；所述第二历史数据为所述视觉传感器采集的历史图像数据；所述基于所述历史点云数据与所述第二历史数据的时空对应关系，建立所述拟合映射模型包括：对所述历史点云数据进行特征提取，得到第二特征信息；对所述视觉传感器采集的历史图像数据进行特征提取，得到像素坐标；基于各所述数据对中，第一数据对应的第二特征信息与第二数据对应的像素坐标之间的对应关系，建立所述拟合映射模型。6.根据权利要求5所述的方法，其特征在于，所述激光雷达和所述视觉传感器的相对位置固定；所述第二特征信息为所述第二区域中道路对象的深度信息；所述基于各所述数据对中，第一数据对应的第二特征信息与第二数据对应的像素坐标之间的对应关系，建立所述拟合映射模型，包括：根据所述第二数据的坐标，将所述深度信息映射至所述图像数据中对应的像素坐标处，获得深度图像，以使所述深度图像上的部分像素坐标具有深度信息；对所述深度图像中的所述部分像素坐标进行曲线拟合连接，得到多条深度拟合曲线，并将所述多条深度拟合曲线确定为所述拟合映射模型。7.根据权利要求6所述的方法，其特征在于...

【专利技术属性】
技术研发人员：关喜嘉，王邓江，邓永强，
申请(专利权)人：北京万集科技股份有限公司，
类型：发明
国别省市：