通过动态物体建模实现基于单目的四维物体检测方法技术

本发明专利技术公开一种通过动态物体建模实现基于单目的四维物体检测方法。该方法包括：针对目标图像，以当前帧和前序帧的图片作为输入，提取语义特征，并预测潜在的障碍物位置和速度；提取当前帧的鸟瞰图特征；估计物体的位移，以及前序帧和后序帧的位移，提取前序帧的鸟瞰图特征，获得时序鸟瞰图特征；将多帧的观测信息进行融合，得到出时序上耦合的物体位置和速度，作为预测的物体信息；利用预测的物体信息，通过循环迭代更新物体检测的位置和速度，进而输出当前帧周围障碍物的位置、尺寸、类别以及对应的速度信息，作为检测结果；基于所述检测结果联合进行物体检测和跟踪。本发明专利技术能够更准确的预测物体位置，并同时实现动态障碍物的时序跟踪。序跟踪。序跟踪。

【技术实现步骤摘要】
通过动态物体建模实现基于单目的四维物体检测方法


[0001]本专利技术涉及人工智能
，更具体地，涉及一种通过动态物体建模实现基于单目的四维物体检测方法。

技术介绍

[0002]三维物体检测旨在定位出周围的障碍物，并输出物体的三维位置，尺寸，朝向，以及类别信息。目前，三维物体检测在自动驾驶系统中通常充当前端感知的角色。三维物体检测通过定位出周围的障碍物，并利用跟踪算法将物体在不同时序中关联起来，以此交由后端预测和规划模块进行障碍物未来位置的预测以及自动驾驶车辆决策。
[0003]由于价格便宜，基于单目相机的三维物体检测是目前自动驾驶的主流选择之一。虽然基于单目的检测器具有更稠密以及富有语义的场景信息(如像素)，但是无法直接预测物体的三维位置信息。
[0004]在单目情况下，单视角的三维建模是一个歧义的问题：一组成像结果可以是来自不同的物体位置以及物体信息。因此，基于单目的三维建模效果相对受限。相对而言，如果在有多视角观测的情况下，可以通过多视角建模来反推出物体的三维信息。在自动驾驶环境下，虽然单帧的观测只有一个视角的结果，但本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种通过动态物体建模实现基于单目的四维物体检测方法，包括以下步骤：步骤S1：针对目标图像，以当前帧和前序帧的图片作为输入，利用深度学习模型提取图片的语义特征，并预测潜在的障碍物位置信息和速度信息；步骤S2：基于所述潜在的障碍物位置信息和速度信息，在潜在区域周围以固定栅格大小建模物体的鸟瞰图特征，以提取出当前帧的鸟瞰图特征；步骤S3：利用所述潜在的障碍物位置信息和速度信息估计物体的位移，以及前序帧和后序帧的位移，进而提取出前序帧的鸟瞰图特征，获得时序鸟瞰图特征；步骤S4：基于所述时序鸟瞰图特征，将多帧的观测信息进行融合，得到出时序上耦合的物体位置信息和速度信息，作为预测的物体信息；步骤S5：利用所述预测的物体信息代替步骤S1的输入，通过循环迭代更新物体检测的位置和速度，进而输出当前帧周围障碍物的位置、尺寸、类别以及对应的速度信息，作为检测结果；步骤S6：基于所述检测结果联合进行物体检测和跟踪。2.根据权利要求1所述的方法，其特征在于，在步骤S1中，所述潜在的障碍物位置信息和速度信息利用基于透视图的物体检测器进行预测。3.根据权利要求1所述的方法，其特征在于，步骤S3包括...

【专利技术属性】
技术研发人员：连庆，王泰，庞江淼，林达华，
申请(专利权)人：上海人工智能创新中心，
类型：发明
国别省市：