基于鱼眼相机的3d检测方法、装置、介质及车辆制造方法及图纸

本发明专利技术涉及辅助驾驶技术领域，具体提供一种基于鱼眼相机的3d检测方法、装置、介质及车辆，旨在解决在确保基于鱼眼相机的3d检测过程的准确度的前提下，如何有效降低预测模型的复杂度的问题。为此目的，本发明专利技术预先建立一个水平坐标系，该水平坐标系与鱼眼相机的相机坐标系的原点重合，且x轴与z轴组成的平面与地面平行，在应用3d检测模型对鱼眼相机采集的图像数据进行3d目标检测时，就只需要预测水平坐标系的偏航角度，而无需同时预测偏航角、俯仰角和横滚角三个角度，在确保预测准确度的同时，有效降低了模型预测的复杂度，且获得的3d检测结果也更易于与图像中的外观关联。果也更易于与图像中的外观关联。果也更易于与图像中的外观关联。

【技术实现步骤摘要】
基于鱼眼相机的3d检测方法、装置、介质及车辆


[0001]本专利技术涉及辅助驾驶
，具体提供一种基于鱼眼相机的3d检测方法、装置、介质及车辆。

技术介绍

[0002]在3d目标检测过程中，物体的3d框一般会包含7种属性：中心点坐标(x，y，z)、长宽高(w，h，l)和偏航角(yaw)。在3d目标检测过程中，一般是在lidar(雷达)坐标系中利用点云进行3d框的标注。因而，标注的3d框是平行于lidar坐标系的水平面的，也是平行于地面的。也就是说，该3d框的参数中仅包含yaw角，另外两个欧拉角(pitch(俯仰角)和roll(横滚角))默认为0。然后将3d框的坐标描述转换至相机坐标系下，如果相机坐标系也是平行于地面的，那么该3d框在相机坐标系下也仅含有yaw角。所以，以往的基于图像的3d检测只需要预测yaw角即可。
[0003]而鱼眼相机需要捕获较大的视野且不能有视觉盲区，因而其安装方式并非水平于地面的，而是会与地面形成一定的夹角。从而导致相机坐标系下的3d框会同时存储yaw、pitch和roll角。如果仍旧按照以往的方式，只预测相本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于鱼眼相机的3d检测方法，其特征在于，所述方法包括：获取所述鱼眼相机采集的图像数据；将所述图像数据输入至预先训练好的3d检测模型中进行3d目标检测，以获取所述图像数据中3d检测结果；其中，所述3d检测结果为所述图像数据中的目标的3d框，所述3d框的旋转角度为在预先建立的水平坐标系下的偏航角度；所述水平坐标系与所述鱼眼相机的相机坐标系的原点重合，且所述水平坐标系的x轴和z轴组成的平面为水平面。2.根据权利要求1所述的基于鱼眼相机的3d检测方法，其特征在于，所述方法还包括根据以下步骤建立所述水平坐标系：旋转所述相机坐标系，使得所述相机坐标系的z轴落入所述相机坐标系的原点所在的水平面上；将旋转后的z轴指向的方向，作为所述水平坐标系的z轴方向；基于所述水平坐标系的z轴方向和所述水平面，确定所述水平坐标系的x轴和y轴方向，以建立所述水平坐标系。3.根据权利要求1所述的基于鱼眼相机的3d检测方法，其特征在于，所述方法还包括根据以下步骤训练所述3d检测模型：基于预设的数据集中的点云数据，对所述数据集中与所述点云数据对应的图像数据进行3d框标注；其中，所述点云数据为激光雷达采集的，所述图像数据为所述鱼眼相机采集的；标注的3d框的旋转角度为所述水平坐标系下偏航角度；基于标注的图像数据对所述3d检测模型进行训练，以获得训练好的3d检测模型。4.根据权利要求3所述的基于鱼眼相机的3d检测方法，其特征在于，“基于预设的数据集中的点云数据，对所述数据集中与所述点云数据对应的图像数据进行3d框标注”的步骤包括：根据所述点云数据，获取目标在雷达坐标系下的偏航角度和长宽高；根据所述相机坐标系与所述雷达坐标系的外参，以及所述相机坐标系到所述水平坐标系的旋转矩阵，将所述雷达坐标系下的偏航角度转换至所述水平坐标系下；根据所述水平坐标系下的偏航角度、所述图像数据中所述目标的中心点坐标和目标的长宽高确定所述图像数据中的目标的3d框，以实现所述图像数据的3d框标注。5.根据权利要求4所述的基于鱼眼相机的3d检测方法，其特征在于，所述方法还包括根据以下步骤获取所述相机坐标系到所述水平坐标系的旋转矩阵：将所述相机坐标系绕x轴旋转，直至所述相机坐标系的z轴落入所述相机坐标系的原点所在的水平面上，获取所述x轴的旋转角度；将绕x轴旋转后的相机坐标系，继续绕z轴旋转，直至旋转后的相机坐标系的y轴与所述水平坐标系的y轴重合，获取所述z轴的旋转角度；将绕z轴旋转后的相机坐标下，继续绕y轴旋转...

【专利技术属性】
技术研发人员：胡少晗，
申请(专利权)人：安徽蔚来智驾科技有限公司，
类型：发明
国别省市：