一种3D目标检测方法、装置、设备和介质制造方法及图纸

本发明专利技术实施例提供了一种3D目标检测方法、装置、设备和介质，所述方法包括：获取当前时刻的图像特征、当前时刻的初始实例特征和上一时刻的输出实例特征；对所述当前时刻的图像特征、所述当前时刻的初始实例特征和所述上一时刻的输出实例特征进行交互处理，得到当前时刻的输出实例特征；基于所述当前时刻的输出实例特征进行3D目标检测，得到所述当前时刻的3D目标检测结果。在本发明专利技术实施例中，不需要保存较大的图像特征图，而是基于实例特征进行时序的交互，网络仅需要保存每个时刻输出的实例特征，进而降低了空间消耗低，更便于芯片部署；并且通过实例特征的逐时刻传递，达到较长时序的目的，有效解决目标物遮挡问题，提升3D目标检测的准确性。测的准确性。测的准确性。

【技术实现步骤摘要】
一种3D目标检测方法、装置、设备和介质


[0001]本专利技术涉及图像处理
，特别涉及一种3D目标检测方法、装置、设备和介质。

技术介绍

[0002]在线视频处理任务(例如，自动驾驶)需要源源不断的对不同时刻的图像进行处理，获取到周边世界的感知结果。基于单帧的目标检测由于物体的遮挡以及深度估计不准确很难获得令人满意的3D检测结果，越来越多的方法转而从时序的角度来解决3D目标检测问题。
[0003]现有的技术中，在对多帧图像进行处理时，需要保存较大的图像特征图，例如，BEV特征或者图像特征，此类较大的特征图会给图像处理设备存储带来挑战，也增加了计算负担，继而降低了模型的实时性。此外，运动目标在运动过程中可能存在较严重的遮挡，因此，如何解决运动目标遮挡问题也是亟待解决的技术问题。

技术实现思路

[0004]鉴于上述问题，本专利技术实施例提供了一种3D目标检测方法、装置、设备和介质，以便克服上述问题或者至少部分地解决上述问题。
[0005]本专利技术实施例的第一方面，公开了一种3D目标检测方法，所述方法包括：...

【技术保护点】

【技术特征摘要】
1.一种3D目标检测方法，其特征在于，所述方法包括：获取当前时刻的图像特征、当前时刻的初始实例特征和上一时刻的输出实例特征，其中，所述上一时刻的输出实例特征用于检测上一时刻的3D目标；对所述当前时刻的图像特征、所述当前时刻的初始实例特征和所述上一时刻的输出实例特征进行交互处理，得到当前时刻的输出实例特征；基于所述当前时刻的输出实例特征进行3D目标检测，得到所述当前时刻的3D目标检测结果。2.根据权利要求1所述的方法，其特征在于，所述对所述当前时刻的图像特征、所述当前时刻的初始实例特征和所述上一时刻的输出实例特征进行交互处理，得到当前时刻的输出实例特征，包括：对所述当前时刻的初始实例特征和上一时刻的输出实例特征进行交互处理，得到含有3D空间位置信息的交互实例特征；对所述含有3D空间位置信息的交互实例特征和所述当前时刻的图像特征进行交互处理，得到所述当前时刻的输出实例特征。3.根据权利要求2所述的方法，其特征在于，所述将所述当前时刻的初始实例特征和上一时刻的输出实例特征进行交互处理，得到含有3D空间位置信息的交互实例特征，包括：将所述当前时刻的初始实例特征和所述上一时刻的输出实例特征进行融合，得到融合实例特征；对所述融合实例特征进行第一位置编码，得到含有3D空间位置信息的融合实例特征，以及，对所述当前时刻的初始实例特征进行第二位置编码，得到当前时刻的含有3D空间位置信息的初始实例特征；对所述含有3D空间位置信息的融合实例特征与所述当前时刻的含有3D空间位置信息的初始实例特征进行交互处理，得到含有3D空间位置信息的交互实例特征。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：初始化当前时刻的初始实例特征，以及，当前时刻的初始3D空间位置信息；对所述当前时刻的初始实例特征进行第二位置编码，得到当前时刻的含有3D空间位置信息的初始实例特征，包括：根据当前时刻的初始3D空间位置信息，对所述当前时刻的初始实例特征进行第二位置编码，得到当前时刻的含有3D空间位置信息的初始实例特征。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：获得对应于上一时刻的输出实例特征的上一时刻的3D空间位置信息，所述上一时刻的3D空间位置信息表征上一时刻检测到的3D目标的空间位置；将所述当前时刻的初始3D空间位置信息和所述上一时刻的3D空间位置信息进行融合，得到融合3D空间位置信息；对所述融合实例特征进行第一位置编码，得到含有3D空间位置信息的融合实例特征，包括：根据所述融合3D空间位置信息，对所述融合实例特征进行第一位置编码，得到含有3D空间位置信息的融合实例特征。6.根据权利要求2所述的方法，其特征在于，对所述含有...

【专利技术属性】
技术研发人员：王仕豪，刘迎飞，严俊杰，汪天才，
申请(专利权)人：北京迈格威科技有限公司，
类型：发明
国别省市：