一种图像与点云融合方法及装置制造方法及图纸

本发明专利技术涉及一种图像与点云融合方法，包括：获取图像检测结果和点云检测结果，其中，所述点云检测结果是通过图像和点云数据进行融合获得的；对属于同一物体的所述图像检测结果和所述点云检测结果进行匹配关联；将多个所述点云检测结果输入到神经网络模型得到所述点云检测结果对应的多个置信度分数；根据所述图像检测结果

【技术实现步骤摘要】
一种图像与点云融合方法及装置


[0001]本专利技术涉及自动驾驶
，具体涉及一种图像与点云融合方法及装置
。

技术介绍

[0002]自动驾驶领域三维物体检测的关键在于，在三维环境中识别并定位决策敏感的物体
。
自动驾驶车辆通常配备毫米波雷达和多个环视相机，以提供全方位的感知能力
。
然而，相关技术中，均是利用单一传感器所捕获的数据来进行三维物体检测，由于毫米波雷达的点云稀疏性
、
方位角误差较大和测量表面准确度低的原因，导致其三维目标检测的召回率较低，无法准确的检测出目标物体
。
而基于相机的三维物体检测，由于
RGB
图像无法直接提供距离和速度信息，部分研究通过深度估计的方法将二维特征映射到三维空间，然后在三维空间中执行物体检测，同时用简单的回归网络进行速度的预测，但是得到的速度预测误差也较大，由此可知，上述两种三维物体检测方法均不能有效
、
准确的检测出目标物体
。

技术实现思路

[0003]本专利技术的目的之一在于提供一种图像与点云融合方法，以解决现有技术无法有效
、
准确的检测出目标物体的问题；目的之二在于提供一种图像与点云融合装置
。
[0004]为了实现上述目的，本专利技术采用的技术方案如下：
[0005]一种图像与点云融合方法，包括：获得图像检测结果和点云检测结果，其中，所述点云检测结果是通过图像和点云数据进行融合获得的；对属于同一物体的所述图像检测结果和所述点云检测结果进行匹配关联；将多个所述点云检测结果输入到神经网络模型得到所述点云检测结果对应的多个置信度分数；根据所述图像检测结果
、
所述点云检测结果和所述置信度分数得到融合检测结果
。
[0006]根据上述技术手段，利用毫米波雷达采集的点云数据和相机采集的图像，获得图像检测结果和点云检测结果；对属于同一物体的所述图像检测结果和所述点云检测结果进行匹配关联；将多个所述点云检测结果输入到神经网络模型得到点云检测结果对应的多个置信度分数；根据所述图像检测结果
、
所述点云检测结果和所述置信度分数得到融合检测结果，这样充分利用了毫米波雷达可以提供具有较高的角分辨率和测距精度，能够提供精确的速度信息和广阔的视野范围，从而能够实现全方位的环境感知以及图像在高分辨率下提供丰富的色彩
、
纹理和语义信息的优点，将二者的优势结合，从而实现更加精确和全面的三维物体检测能力，提高自动驾驶系统的感知准确性和可靠性
。
[0007]进一步地，在所述获得图像检测结果和点云检测结果之前，所述方法还包括：对待获取图像检测结果和待获取点云检测结果进行筛选，获得所述图像检测结果和所述点云检测结果
。
[0008]根据上述技术手段，筛选出检测分数更高的图像检测结果和点云检测结果，提高了检测感知的准确性
。
[0009]进一步地，所述对待获取图像检测结果和待获取点云检测结果进行筛选，获得所
述图像检测结果和所述点云检测结果包括：将所述待获取图像检测结果的图像检测分数与设定的图像检测阈值进行比较，若所述图像检测分数大于所述图像检测阈值，则获得所述图像检测结果；将所述待获取点云检测结果的点云检测分数与设定的点云检测阈值进行比较，若所述点云检测分数大于所述点云检测阈值，则获得所述点云检测结果
。
[0010]上述技术手段，筛选出检测分数更高的图像检测结果和点云检测结果，提高了检测感知的准确性
。
[0011]进一步地，所述对属于同一物体的所述图像检测结果和所述点云检测结果进行匹配关联，获得关联信息包括：判断所述图像检测结果的第一标签和所述点云检测结果的第二标签是否相同；若所述第一标签和所述第二标签相同，则获得所述图像检测结果的第一投影中心和图像检测结果的深度；计算所述点云检测结果的第二投影中心和点云检测结果的深度；计算所述第一投影中心与所述第二投影中心之间的距离以及所述图像检测结果的深度与所述点云检测结果的深度的差异值；根据所述距离和所述差异值确定是否对所述图像检测结果和所述点云检测结果进行匹配关联
。
[0012]上述技术手段，筛选出属于同一物体的图像检测结果和点云检测结果，实现对同一物体的检测
。
[0013]进一步地，所述计算所述点云检测结果的第二投影中心和点云检测结果的深度包括：根据所述第一投影中心和所述点云检测结果相对于第二投影中心的偏置确定所述第二投影中心；根据所述图像检测结果的深度信息和所述点云检测结果的深度偏置确定所述点云检测结果的深度
。
[0014]上述技术手段，筛选出属于同一物体的图像检测结果和点云检测结果，实现对同一物体的检测
。
[0015]进一步地，所述根据所述图像检测结果
、
所述点云检测结果和所述置信度分数得到融合检测结果包括：判断所述置信度分数；若所述置信度分数大于设定的置信度阈值，则根据所述点云检测结果的深度和所述置信度分数确定所述融合检测结果的深度；根据所述点云检测结果的投影中心和所述置信度分数确定所述融合检测结果的投影中心；若所述置信度分数小于等于设定的置信度阈值，则将所述图像检测结果作为融合检测结果
。
[0016]根据上述技术手段，实现更加精确和全面的三维物体检测能力，提高自动驾驶系统的感知准确性和可靠性
。
[0017]一种图像与点云融合装置，包括：获取模块，用于获取图像检测结果和点云检测结果，其中，所述点云检测结果是通过图像和点云数据进行融合获得的；关联模块，用于对属于同一物体的所述图像检测结果和所述点云检测结果进行匹配关联；置信度模块，用于将多个所述点云检测结果输入到神经网络模型得到所述点云检测结果对应的多个置信度分数；融合模块，用于根据所述图像检测结果
、
所述点云检测结果和所述置信度分数得到融合检测结果
。
[0018]进一步地，所述装置还包括：筛选模块，用于对待获取图像检测结果和待获取点云检测结果进行筛选，获得所述图像检测结果和所述点云检测结果
。
[0019]进一步地，所述筛选模块包括：比较单元，用于将所述待获取图像检测结果的图像检测分数与设定的图像检测阈值进行比较，若所述图像检测分数大于所述图像检测阈值，则获得所述图像检测结果；
[0020]将所述待获取点云检测结果的点云检测分数与设定的点云检测阈值进行比较，若所述点云检测分数大于所述点云检测框阈值，则获得所述点云检测结果
。
[0021]进一步地，所述关联模块包括：
[0022]第一判断单元，用于判断所述图像检测结果的第一标签和所述点云检测结果的第二标签是否相同；
[0023]获得单元，用于所述第一判断单元的判断结果为所述第一标签和所述第二标签相同，则获得所述图像检测结果的第一投影中心和图像检测结果的深度；<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种图像与点云融合方法，其特征在于，包括：获取图像检测结果和点云检测结果，其中，所述点云检测结果是通过图像和点云数据进行融合获得的；对属于同一物体的所述图像检测结果和所述点云检测结果进行匹配关联；将多个所述点云检测结果输入到神经网络模型得到所述点云检测结果对应的多个置信度分数；根据所述图像检测结果
、
所述点云检测结果和所述置信度分数得到融合检测结果
。2.
根据权利要求1所述的方法，其特征在于，在所述获取图像检测结果和点云检测结果之前，所述方法还包括：对待获取图像检测结果和待获取点云检测结果进行筛选，获得所述图像检测结果和所述点云检测结果
。3.
根据权利要求2所述的方法，其特征在于，所述对待获取图像检测结果和待获取点云检测结果进行筛选，获得所述图像检测结果和所述点云检测结果包括：将所述待获取图像检测结果的图像检测分数与设定的图像检测阈值进行比较，若所述图像检测分数大于所述图像检测阈值，则获得所述图像检测结果；将所述待获取点云检测结果的点云检测分数与设定的点云检测阈值进行比较，若所述点云检测分数大于所述点云检测阈值，则获得所述点云检测结果
。4.
根据权利要求1所述的方法，其特征在于，所述对属于同一物体的所述图像检测结果和所述点云检测结果进行匹配关联包括：判断所述图像检测结果的第一标签和所述点云检测结果的第二标签是否相同；若所述第一标签和所述第二标签相同，则获得所述图像检测结果的第一投影中心和图像检测结果的深度；计算所述点云检测结果的第二投影中心和点云检测结果的深度；计算所述第一投影中心与所述第二投影中心之间的距离以及所述图像检测结果的深度与所述点云检测结果的深度的差异值；根据所述距离和所述差异值确定是否对所述图像检测结果和所述点云检测结果进行匹配关联
。5.
根据权利要求4所述的方法，其特征在于，所述计算所述点云检测结果的第二投影中心和点云检测结果的深度包括：根据所述第一投影中心和所述点云检测结果相对于第二投影中心的偏置确定所述第二投影中心；根据所述图像检测结果的深度信息和所述点云检测结果的深度偏置确定所述点云检测结果的深度
。6.
根据权利要求1所述的方法，其特征在于，所述根据所述图像检测结果
、
所述点云检测结果和所述置信度分数得到融合检测结果包括：判断所述置信度分数；若所述置信度分数大于设定的置信度阈值，则根据所述点云检测结果的深度和所述置信度分数确定所述融合检测结果的深度；根据所述点云检测结果的投影中心和所述置信度分数确定所述融合检测结果的投影
中心；若所述置信度分数小于等于设定的置信度阈值，则将所述图像检测结果作为融合检测结果
。7.
一种图像与点云融合装置，其...

【专利技术属性】
技术研发人员：漆昇翔，董楠，
申请(专利权)人：重庆长安汽车股份有限公司，
类型：发明
国别省市：