一种基于车路协同的无盲区感知方法和系统技术方案

本申请公开了一种基于车路协同的无盲区感知方法和系统，该方法包括：获取车载端点云数据、车载端视觉数据和路侧端点云数据；根据车载端点云数据和车载端视觉数据，确定车载端目标检测结果；利用预设配准方法，对车载端点云数据和路侧端点云数据进行配准，确定全局定位信息；根据全局定位信息，获取路侧端目标检测结果；根据车载端目标检测结果和路侧端目标检测结果得到全局目标检测结果。本发明专利技术能够融合路侧检测结果和车载端目标检测结果，实现当前场景全局无盲区感知，为自动驾驶车辆提供准确、丰富的环境感知信息，克服了自动驾驶车辆感知范围存在盲区的问题，为车辆未来的轨迹规划分析提供基础。划分析提供基础。划分析提供基础。

【技术实现步骤摘要】
一种基于车路协同的无盲区感知方法和系统


[0001]本专利技术涉及智能驾驶
，具体涉及一种基于车路协同的无盲区感知方法和系统。

技术介绍

[0002]近些年来自动驾驶汽车的发展势头良好，为了提供安全的自动驾驶服务，自动驾驶汽车需要对车辆所处的完整环境信息进行感知，并对感知到的信息进行融合处理，最后实时做出行驶决策。
[0003]现有技术中，通常是依靠单台车辆的感知系统对车辆环境信息进行获取的，但任何应用于单台车辆的传感器都有局部缺陷，不可避免的存在传感器视野盲区，从而导致感知准确度低、获取的环境信息不够丰富等问题。此外，车载信息处理器需要将众多传感器获取的数据进行融合，这样会增加车辆的能耗，增加车辆的制造成本，难以符合实际中获取完整的车辆环境信息、做出实时行驶决策的需求。
[0004]因此，需要提出一种基于车路协同的无盲区感知方法和系统，用以解决依靠单台车的车载感知系统存在感知范围盲区，从而导致获取信息不准确，且车辆数据处理量大、车辆造价偏高的问题。

技术实现思路

[0005]有鉴于此，有必要提供一种基于车路协同的无盲区感知方法和系统，用以解决现有车辆在进行环境感知时，由于只依靠车载感知系统获取数据而导致存在感知范围盲区、造成环境信息获取不准确的问题。
[0006]为了解决上述问题，本专利技术提供一种基于车路协同的无盲区感知方法，包括：
[0007]获取车载端点云数据、车载端视觉数据和路侧端点云数据；
[0008]根据所述车载端点云数据和车载端视觉数据，确定车载端目标检测结果；
[0009]利用预设配准方法，对所述车载端点云数据和路侧端点云数据进行配准，确定全局定位信息；
[0010]根据所述全局定位信息，获取路侧端目标检测结果；
[0011]根据所述车载端目标检测结果和路侧端目标检测结果得到全局目标检测结果。
[0012]进一步的，根据所述车载端点云数据和车载端视觉数据，确定车载端目标检测结果，包括：
[0013]将所述车载端点云数据和车载端视觉数据输入到训练完备的目标检测网络模型中，提取点云3D边界框和图像2D边界框，对所述点云3D边界框和图像2D边界框进行匹配，确定车载端目标检测结果。
[0014]进一步的，所述目标检测网络模型包括降采样模块、特征点提取模块、体素集合抽样模块、2D边界框提取模块和目标融合模块；
[0015]所述降采样模块，用于将所述车载端点云数据分割为多个体素，并对多个所述体
素进行降采样，得到多尺度降采样特征图；
[0016]所述特征点提取模块，用于提取所述多尺度降采样特征图的关键特征点，并将所述多尺度降采样特征图投影为2D鸟瞰特征图；
[0017]所述体素集合抽样模块，用于根据所述2D鸟瞰特征图和关键特征点生成点云3D边界框，并将所述点云3D边界框在预设方向上进行投影，得到投影边界框；
[0018]所述2D边界框提取模块，用于根据所述车载端视觉数据提取图像2D边界框；
[0019]所述目标融合模块，用于对所述投影边界框和图像2D边界框进行匹配，得到车载端目标检测结果。
[0020]进一步的，所述降采样模块包括多个3D稀疏卷积层。
[0021]进一步的，所述目标融合模块对所述投影边界框和图像2D边界框进行匹配，包括：
[0022]将所述投影边界框在点云坐标系的坐标转换到图像坐标系下，得到所述投影边界框在图像坐标系下的坐标。
[0023]进一步的，所述预设配准方法为NDT配准算法。
[0024]进一步的，利用预设配准方法，对所述车载端点云数据和路侧端点云数据进行配准，确定全局定位信息，包括：
[0025]将所述路侧端点云数据划分为多个立体栅格；
[0026]确定多个所述立体栅格的NDT模型；
[0027]建立所述车载端点云数据与所述立体栅格的转换矩阵，并根据所述转换矩阵得到所述车载端点云数据的转换点云数据；
[0028]构建以所述转换矩阵作为自变量，以所述转换点云数据与立体栅格NDT模型匹配度为因变量的全局目标函数；
[0029]利用预设优化方法对所述全局目标函数进行求解，得到所述最优转换矩阵，并根据所述最优转换矩阵对所述车载端点云数据和路侧端点云数据进行配准。
[0030]进一步的，所述预设优化方法为海森矩阵优化法。
[0031]进一步的，根据所述车载端目标检测结果和路侧端目标检测结果得到全局目标检测结果，包括：
[0032]将所述车载端目标检测结果和路侧端目标检测结果进行汇总，得到全局目标检测结果。
[0033]本专利技术还提供一种基于车路协同的无盲区感知系统，其特征在于，包括：
[0034]第一数据获取模块，用于获取车载端点云数据、车载端视觉数据和路侧端点云数据；
[0035]车载目标检测模块，用于根据所述车载端点云数据和车载端视觉数据，确定车载端目标检测结果；
[0036]全局定位模块，用于利用预设配准方法，对所述车载端点云数据和路侧端点云数据进行配准，确定全局定位信息；
[0037]第二数据获取模块，用于根据所述全局定位信息，获取路侧端目标检测结果；
[0038]全局目标确定模块，用于根据所述车载端目标检测结果和路侧端目标检测结果得到全局目标检测结果。
[0039]与现有技术相比，本专利技术的有益效果包括：首先，获取车载端点云数据、车载端视
觉数据和路侧端点云数据，根据获取的数据确定车载端目标检测结果和全局定位信息；其次，根据全局定位信息获取路侧端目标检测结果；最后，根据车载端目标检测结果和路侧端目标检测结果得到全局目标检测结果。本专利技术首先融合车载端点云数据和车载端视觉数据得到车载端目标检测结果；再通过预设配准方法，实现当前场景下全局定位，并根据全局定位结果获取路侧端目标检测结果，最后融合路侧检测结果和车载端目标检测结果，实现当前场景全局无盲区感知。本专利技术能够为自动驾驶车辆提供准确、丰富的环境感知信息，克服了自动驾驶车载感知范围存在盲区的问题，为车辆未来的轨迹规划分析提供基础。
附图说明
[0040]图1为本专利技术提供的一种基于车路协同的无盲区感知方法一实施例的流程示意图；
[0041]图2为本专利技术提供的确定车载端目标检测结果一实施例的流程示意图；
[0042]图3为本专利技术提供的一种基于车路协同的无盲区感知系统一实施例的结构示意图。
具体实施方式
[0043]下面结合附图来具体描述本专利技术的优选实施例，其中，附图构成本申请一部分，并与本专利技术的实施例一起用于阐释本专利技术的原理，并非用于限定本专利技术的范围。
[0044]在实施例描述之前，首先对本申请的专利技术构思进行说明。
[0045]目前，L2级别的辅助驾驶技术已经相对成熟，但感知功能成了个实现更高级别自动驾驶功能的瓶颈，主要表现在：单台车辆的感知范围较小、准确率不高、算力需求大，在特殊场景下存在感知盲区。...

【技术保护点】

【技术特征摘要】
1.一种基于车路协同的无盲区感知方法，其特征在于，包括；获取车载端点云数据、车载端视觉数据和路侧端点云数据；根据所述车载端点云数据和车载端视觉数据，确定车载端目标检测结果；利用预设配准方法，对所述车载端点云数据和路侧端点云数据进行配准，确定全局定位信息；根据所述全局定位信息，获取路侧端目标检测结果；根据所述车载端目标检测结果和路侧端目标检测结果得到全局目标检测结果。2.根据权利要求1所述的一种基于车路协同的无盲区感知方法，其特征在于，根据所述车载端点云数据和车载端视觉数据，确定车载端目标检测结果，包括：将所述车载端点云数据和车载端视觉数据输入到训练完备的目标检测网络模型中，提取点云3D边界框和图像2D边界框，对所述点云3D边界框和图像2D边界框进行匹配，确定车载端目标检测结果。3.根据权利要求2所述的一种基于车路协同的无盲区感知方法，其特征在于，所述目标检测网络模型包括降采样模块、特征点提取模块、体素集合抽样模块、2D边界框提取模块和目标融合模块；所述降采样模块，用于将所述车载端点云数据分割为多个体素，并对多个所述体素进行降采样，得到多尺度降采样特征图；所述特征点提取模块，用于提取所述多尺度降采样特征图的关键特征点，并将所述多尺度降采样特征图投影为2D鸟瞰特征图；所述体素集合抽样模块，用于根据所述2D鸟瞰特征图和关键特征点生成点云3D边界框，并将所述点云3D边界框在预设方向上进行投影，得到投影边界框；所述2D边界框提取模块，用于根据所述车载端视觉数据提取图像2D边界框；所述目标融合模块，用于对所述投影边界框和图像2D边界框进行匹配，得到车载端目标检测结果。4.根据权利要求3所述的一种基于车路协同的无盲区感知方法，其特征在于，所述降采样模块包括多个3D稀疏卷积层。5.根据权利要求3所述的一种基于车路协同的无盲区感知方法，其特征在于，所述目标融合模块对所述投影边界框和图像2D边界框进...

【专利技术属性】
技术研发人员：高铭，吕小磊，彭峰，张明帅，褚端峰，
申请(专利权)人：武汉深图智航科技有限公司，
类型：发明
国别省市：