驾驶场景的目标检测方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及自动驾驶控制领域，公开了一种驾驶场景的目标检测方法、装置、设备及存储介质。该方法包括：获取多个相机采集到驾驶场景的多张待检测图像，并确定各待检测图像中的目标检测框；分别提取各个目标检测框中的各个属性信息，并对各个属性信息进行预处理，得到各个目标检测框对应的多个单框特征向量；对单框特征向量按照所属图像之间的关联关系进行感知，得到感知结果，并根据感知结果，对单框特征向量进行交叉组合，得到各个目标检测框对应的全局特征向量；根据全局特征向量，预测对应的各个目标检测框信息，并基于各个目标检测框信息，得到驾驶场景的目标检测结果。本发明专利技术提升了驾驶场景目标检测的信息丰富程度以及检测结果的精确度。结果的精确度。结果的精确度。

【技术实现步骤摘要】
驾驶场景的目标检测方法、装置、设备及存储介质


[0001]本专利技术涉及自动驾驶控制领域，尤其涉及一种驾驶场景的目标检测方法、装置、设备及存储介质。

技术介绍

[0002]相机是无人驾驶感知的重要传感元件，相对于激光雷达点云，相机待检测图像能够提供更为丰富的细节、纹理信息。但是其本身没有绝对测距能力，因此理论上障碍物、车道线等信息只是在待检测图像的2D平面上，而没有直接的3D位置信息。获取待检测图像平面的2D检测结果对应的3D位置，通常是基于视觉的3D目标检测方法领域中最需要解决的目标。
[0003]业界和学术界常见的单目3D目标检测方法，主要可以概括为两大类：第一类是直接基于待检测图像视角，在2D检测结果的基础之上，预测目标的深度，通过相机参数的投影变换，来得到目标在3D空间中的位置信息；第二类是通过预测深度图或者直接利用相机参数投影，将待检测图像特征投影到3D空间中，之后在鸟瞰图视角下做目标检测的输出。但第一类检测方法对单个目标跨越多相机的情况不能很好的融合多视角的结果，以及预测目标的运动状态；第二类强依赖于2D平面到3D空间的投影变换，容易导致检测结果随深度误差的变大而迅速变差。总而言之，即现有多相机的3D目标检测方法存在检测精度不足的问题。

技术实现思路

[0004]本专利技术的主要目的在于解决现有多目相机的3D目标检测方法存在检测精度不足的技术问题。
[0005]本专利技术第一方面提供了一种驾驶场景的目标检测方法，包括：获取多个相机采集到驾驶场景的多张待检测图像，并确定各所述待检测图像中的目标检测框；分别提取各个目标检测框中的各个属性信息，并对所述各个属性信息进行预处理，得到所述各个目标检测框对应的多个单框特征向量；对所述各个单框特征向量按照所属图像之间的关联关系进行感知，得到感知结果，并根据所述感知结果，对所述各个单框特征向量进行交叉组合，得到所述各个目标检测框对应的全局特征向量；根据所述全局特征向量，预测对应的各个目标检测框信息，并基于所述各个目标检测框信息，得到驾驶场景的目标检测结果。
[0006]可选的，在本专利技术第一方面的第一种实现方式中，所述确定各所述待检测图像中的目标检测框包括：对各所述待检测图像进行目标检测，得到对应的预置维度的目标检测框；或者，按照所述多个相机的相机参数，对每个相机采集的待检测图像进行划分，得到对应的目标检测框。
[0007]可选的，在本专利技术第一方面的第二种实现方式中，所述对所述各个单框特征向量按照所属图像之间的关联关系进行感知，得到感知结果包括：若所述单框特征向量为相机参数对应的单框特征向量，则从相机参数对应的各个单框特征向量分别感知本相机参数对应的第一向量和非本相机参数对应的第二向量；识别所述第一向量和所述第二向量之间的
关联关系并作为感知结果。
[0008]可选的，在本专利技术第一方面的第三种实现方式中，所述对所述各个单框特征向量按照所属图像之间的关联关系进行感知，得到感知结果包括：若所述单框特征向量为目标检测对应的单框特征向量，则分别感知所述各个单框特征向量对应的非本相机采集到待检测图像的第三向量和本相机采集到待检测图像的历史帧的第四向量；识别所述各个单框特征向量与对应感知到的第三向量之间的第一关联关系、以及识别所述各个单框特征向量与对应感知到的第四向量之间的第二关联关系，并将所述第一关联关系和所述第二关联关系作为感知结果。
[0009]可选的，在本专利技术第一方面的第四种实现方式中，所述根据所述感知结果，对所述各个单框特征向量进行交叉组合，得到所述各个目标检测框对应的全局特征向量包括：根据所述第一关联关系，确定各个目标检测框对应目标物体的重复性信息，以及根据所述第二关联关系，确定各个目标检测框对应目标物体的运动状态信息；分别将各所述单框特征向量与感知到的对应运动状态信息和对应重复性信息进行融合，得到所述各个目标检测框对应的全局特征向量。
[0010]可选的，在本专利技术第一方面的第五种实现方式中，所述根据所述全局特征向量，预测对应的各个目标检测框信息包括：利用预置的注意力模型，根据所述全局特征向量中的重复性信息，对所述各个目标检测框对应目标物体进行存在性预测，得到第一预测结果；根据所述全局特征向量中的运动状态信息，对所述各个目标检测框对应目标物体进行物体跟踪和轨迹预测，得到第二预测结果；基于所述第一预测结果和所述第二预测结果，得到对应的各个目标检测框信息。
[0011]可选的，在本专利技术第一方面的第六种实现方式中，在所述获取多个相机采集到驾驶场景的多张待检测图像之前，还包括：获取多个相机采集到驾驶场景的历史图像，并识别各张历史图像的预测框，以及标注所述各张历史图像的真值框信息；对所述各个预测框中的各个属性信息进行特征预处理，并利用预置预训练模型，根据特征预处理的结果，预测对应的各个预测框信息；根据所述预测框信息和所述真值框信息，分别对所述张历史图像中的每个预测框和每个真值框进行匹配，得到匹配结果；根据所述匹配结果，确定每个预测框对应的真值框信息，并对所述每个预测框对应的预测框信息和真值框信息进行对比，得到对比结果；根据所述对比结果，计算所述预训练模型的损失值，并根据所述损失值对所述预训练模型进行梯度反传，以对所述预训练模型进行更新，得到所述注意力模型。
[0012]本专利技术第二方面提供了一种驾驶场景的目标检测装置，包括：获取模块，用于获取多个相机采集到驾驶场景的多张待检测图像，并确定各所述待检测图像中的目标检测框；预处理模块，用于分别提取各个目标检测框中的各个属性信息，并对所述各个属性信息进行预处理，得到所述各个目标检测框对应的多个单框特征向量；感知模块，用于对所述各个单框特征向量按照所属图像之间的关联关系进行感知，得到感知结果，并根据所述感知结果，对所述各个单框特征向量进行交叉组合，得到所述各个目标检测框对应的全局特征向量；预测模块，用于根据所述全局特征向量，预测对应的各个目标检测框信息，并基于所述各个目标检测框信息，得到驾驶场景的目标检测结果。
[0013]可选的，在本专利技术第二方面的第一种实现方式中，所述获取模块包括：目标检测单元，用于对各所述待检测图像进行目标检测，得到对应的预置维度的目标检测框；图像划分
单元，用于按照所述多个相机的相机参数，对每个相机采集的待检测图像进行划分，得到对应的目标检测框。
[0014]可选的，在本专利技术第二方面的第二种实现方式中，所述感知模块包括相机参数感知单元，用于：若所述单框特征向量为相机参数对应的单框特征向量，则从相机参数对应的各个单框特征向量分别感知本相机参数对应的第一向量和非本相机参数对应的第二向量；识别所述第一向量和所述第二向量之间的关联关系并作为感知结果。
[0015]可选的，在本专利技术第二方面的第三种实现方式中，所述感知模块还包括关联目标感知单元，用于：若所述单框特征向量为目标检测对应的单框特征向量，则分别感知所述各个单框特征向量对应的非本相机采集到待检测图像的第三向量和本相机采集到待检测图像的历史帧的第四向量；识别所述各个单框特征向量与对应感知到的第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种驾驶场景的目标检测方法，其特征在于，所述驾驶场景的目标检测方法包括：获取多个相机采集到驾驶场景的多张待检测图像，并确定各所述待检测图像中的目标检测框；分别提取各个目标检测框中的各个属性信息，并对所述各个属性信息进行预处理，得到所述各个目标检测框对应的多个单框特征向量；对所述各个单框特征向量按照所属图像之间的关联关系进行感知，得到感知结果，并根据所述感知结果，对所述各个单框特征向量进行交叉组合，得到所述各个目标检测框对应的全局特征向量；根据所述全局特征向量，预测对应的各个目标检测框信息，并基于所述各个目标检测框信息，得到驾驶场景的目标检测结果。2.根据权利要求1所述的驾驶场景的目标检测方法，其特征在于，所述确定各所述待检测图像中的目标检测框包括：对各所述待检测图像进行目标检测，得到对应的预置维度的目标检测框；或者，按照所述多个相机的相机参数，对每个相机采集的待检测图像进行划分，得到对应的目标检测框。3.根据权利要求2所述的驾驶场景的目标检测方法，其特征在于，所述对所述各个单框特征向量按照所属图像之间的关联关系进行感知，得到感知结果包括：若所述单框特征向量为相机参数对应的单框特征向量，则从相机参数对应的各个单框特征向量分别感知本相机参数对应的第一向量和非本相机参数对应的第二向量；识别所述第一向量和所述第二向量之间的关联关系并作为感知结果。4.根据权利要求2所述的驾驶场景的目标检测方法，其特征在于，所述对所述各个单框特征向量按照所属图像之间的关联关系进行感知，得到感知结果包括：若所述单框特征向量为目标检测对应的单框特征向量，则分别感知所述各个单框特征向量对应的非本相机采集到待检测图像的第三向量和本相机采集到待检测图像的历史帧的第四向量；识别所述各个单框特征向量与对应感知到的第三向量之间的第一关联关系、以及识别所述各个单框特征向量与对应感知到的第四向量之间的第二关联关系，并将所述第一关联关系和所述第二关联关系作为感知结果。5.根据权利要求4所述的驾驶场景的目标检测方法，其特征在于，所述根据所述感知结果，对所述各个单框特征向量进行交叉组合，得到所述各个目标检测框对应的全局特征向量包括：根据所述第一关联关系，确定各个目标检测框对应目标物体的重复性信息，以及根据所述第二关联关系，确定各个目标检测框对应目标物体的运动状态信息；分别将各所述单框特征向量与感知到的对应运动状态信息和对应重复性信息进行融合，得到所述各个目标检测框对应的全局特征向量。6.根据权利要求5所述的驾驶场景的目标检测方法，其特征在于，所述根据所述全局特征向量，预测对应的各...

【专利技术属性】
技术研发人员：何钦尧，郭湘，陈世熹，韩文韬，乐然，韩旭，
申请(专利权)人：广州文远知行科技有限公司，
类型：发明
国别省市：