本申请涉及一种基于深度的多相机鸟瞰图视角目标检测方法及装置，其方法包括获取自车采集的环视图像，得到输入特征图；从输入特征图提取得到深度特征图；利用深度特征图计算鸟瞰图视角映射坐标；基于鸟瞰图视角映射坐标，计算鸟瞰图视角特征图；将鸟瞰图视角特征图输入预设的卷积神经网络中，得到输出特征图；对输出特征图进行后处理，包括在第一距离内采取第一阈值，在第二距离内采取第二阈值，合并得到初步检测结果，其中，第一距离小于第二距离，第一阈值大于第二阈值；采用DBSCAN聚类算法对初步检测结果进行聚类去重处理，得到目标检测结果。本申请具有改善目标检测结果的串检问题，降低远处目标的漏检概率的效果。降低远处目标的漏检概率的效果。降低远处目标的漏检概率的效果。
【技术实现步骤摘要】
一种基于深度的多相机鸟瞰图视角目标检测方法及装置
[0001]本申请涉及自动驾驶
，尤其是涉及一种基于深度的多相机鸟瞰图视角目标检测方法及装置。
技术介绍
[0002]目前，利用环视多张图像直接在BEV(Bird
‑
Eye
‑
View，鸟瞰图视角)空间进行目标检测已经成为趋势。具体地，通过安装在车身周围的多个摄像头采集的多张透视图像作为信息来源，期望直接在BEV空间感知目标。
[0003]深度估计是一种利用2D图像估计出3D深度信息的技术，利用深度估计将图像空间转换到BEV空间，即基于深度将图像空间提取好的特征再利用事先标定好的参数投放至BEV空间，最后基于BEV特征进行目标检测。然而深度估计本身很困难，基于深度的多相机BEV目标检测方法又直接依赖于深度估计结果，一方面导致出现的目标检测结果即使经过NMS(非极大值抑制)处理仍然会存在“串检”现象，即相同的目标会沿着自车的视线方向出现多个检测结果，且这种现象在远处更加明显；另一方面由于深度估计的不确定性，远处目标的置信度会比近处目标的置信度要低得多，极容易出现漏检的情况。
[0004]针对上述中的相关技术，专利技术人发现现有的基于深度的多相机BEV目标检测方法存在有目标检测结果出现串检现象，且位于远处的目标容易被漏检的问题。
技术实现思路
[0005]为了减少目标检测结果的串检现象，降低位于远处的目标被漏检的概率，本申请提供了一种基于深度的多相机鸟瞰图视角目标检测方法及装置。
[0006]第一方面，本申请提供一种基于深度的多相机鸟瞰图视角目标检测方法。
[0007]本申请是通过以下技术方案得以实现的：
[0008]一种基于深度的多相机鸟瞰图视角目标检测方法，包括以下步骤，
[0009]获取自车采集的环视图像，得到输入特征图；
[0010]从所述输入特征图提取得到深度特征图；
[0011]利用所述深度特征图计算鸟瞰图视角映射坐标；
[0012]基于所述鸟瞰图视角映射坐标，计算鸟瞰图视角特征图；
[0013]将所述鸟瞰图视角特征图输入预设的卷积神经网络中，得到输出特征图；
[0014]对所述输出特征图进行后处理，包括在第一距离内采取第一阈值，在第二距离内采取第二阈值，合并得到初步检测结果，其中，所述第一距离小于所述第二距离，所述第一阈值大于所述第二阈值；
[0015]采用DBSCAN聚类算法对所述初步检测结果进行聚类去重处理，得到目标检测结果。
[0016]本申请在一较佳示例中可以进一步配置为：所述采用DBSCAN聚类算法对所述初步检测结果进行聚类去重处理，得到目标检测结果的步骤包括，
[0017]计算所述初步检测结果对应的检测框聚类特征，每个检测框聚类特征为二维特征，其中，第一维特征为方向特征，第二维特征为距离特征；
[0018]令所述初步检测结果对应的所述检测框聚类特征参与聚类，得到每个类别的聚类结果；
[0019]对每个类别的所述聚类结果的每一簇进行去重，保留置信度最高的检测框，得到目标检测结果。
[0020]本申请在一较佳示例中可以进一步配置为：令所述初步检测结果对应的所述检测框聚类特征参与聚类，得到每个类别的聚类结果的步骤包括，
[0021]设置用于分类样本的距离阈值和用于判定任一簇的合法性的最小样本数；
[0022]将所述检测框聚类特征作为样本点，对于每个样本点，计算所述样本点与其他样本点之间的特征距离；
[0023]基于所述特征距离，结合所述距离阈值和所述最小样本数，确定核心样本点；
[0024]选择任一核心样本点，以所述核心样本点在所述距离阈值邻域内的密度相连的样本点进行扩展，得到一簇，并标记该簇包含的所有样本点，直至所有核心样本点均完成扩展；
[0025]对于未被任何簇包含的样本点，标记为噪声点；
[0026]输出聚类结果。
[0027]本申请在一较佳示例中可以进一步配置为：还包括以下步骤，
[0028]所述计算所述样本点与其他样本点之间的特征距离时，采用带权重的闵可夫斯基距离计算方式。
[0029]本申请在一较佳示例中可以进一步配置为：基于所述鸟瞰图视角映射坐标，计算鸟瞰图视角特征图时，包括以下步骤，
[0030]从所述输入特征图提取得到图像特征图；
[0031]基于所述图像特征图和所述深度特征图，计算得到概率加权特征图；
[0032]根据所述概率加权特征图和所述鸟瞰图视角映射坐标，计算鸟瞰图视角特征图。
[0033]本申请在一较佳示例中可以进一步配置为：所述利用所述深度特征图计算鸟瞰图视角映射坐标的步骤包括，
[0034]获取所述深度特征图中每像素对应的深度值；
[0035]将所述深度值与对应的像素坐标结合，得到三维空间坐标；
[0036]基于所述三维空间坐标，进行深度归一化操作，得到逆归一化的三维空间坐标；
[0037]利用相机预标定的内参矩阵，使用矩阵乘法，将逆归一化的所述三维空间坐标映射至相机坐标系下，得到相机坐标系下的三维坐标；
[0038]再利用预标定的外参矩阵，使用矩阵乘法，将相机坐标系下的所述三维坐标映射至车身坐标系下，得到鸟瞰图视角映射坐标。
[0039]本申请在一较佳示例中可以进一步配置为：所述根据所述概率加权特征图和所述鸟瞰图视角映射坐标，计算鸟瞰图视角特征图的步骤包括，
[0040]预处理所述概率加权特征图和所述鸟瞰图视角映射坐标的维度；
[0041]栅格化鸟瞰图视角空间并过滤位于鸟瞰图视角范围外的映射点，得到有效鸟瞰图视角映射点及有效鸟瞰图视角映射点特征；
[0042]根据所述有效鸟瞰图视角映射点和所述有效鸟瞰图视角映射点特征，结合所述鸟瞰图视角映射坐标，进行特征空间转换，包括将获取的每像素对应的特征向量投放至栅格化的鸟瞰图视角空间，其中，若所述有效鸟瞰图视角映射点有多个且均对应同一个栅格，则令对应的所述特征向量相加，若无特征向量投放至栅格，则令对应的所述特征向量为0，得到鸟瞰图视角特征图。
[0043]本申请在一较佳示例中可以进一步配置为：所述第一阈值位于[0.3，0.4]内，所述第二阈值位于[0.1，0.15]内。
[0044]第二方面，本申请提供一种基于深度的多相机鸟瞰图视角目标检测装置。
[0045]本申请是通过以下技术方案得以实现的：
[0046]一种基于深度的多相机鸟瞰图视角目标检测装置，包括，
[0047]采集模块，用于获取自车采集的环视图像，得到输入特征图；
[0048]提取模块，用于从所述输入特征图提取得到深度特征图；
[0049]坐标转换模块，用于利用所述深度特征图计算鸟瞰图视角映射坐标；
[0050]鸟瞰图视角特征图模块，用于基于所述鸟瞰图视角映射坐标，计算鸟瞰图视角特征图；
[0051]识别模块，用于将所本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于深度的多相机鸟瞰图视角目标检测方法，其特征在于，包括以下步骤，获取自车采集的环视图像，得到输入特征图；从所述输入特征图提取得到深度特征图；利用所述深度特征图计算鸟瞰图视角映射坐标；基于所述鸟瞰图视角映射坐标，计算鸟瞰图视角特征图；将所述鸟瞰图视角特征图输入预设的卷积神经网络中，得到输出特征图；对所述输出特征图进行后处理，包括在第一距离内采取第一阈值，在第二距离内采取第二阈值，合并得到初步检测结果，其中，所述第一距离小于所述第二距离，所述第一阈值大于所述第二阈值；采用DBSCAN聚类算法对所述初步检测结果进行聚类去重处理，得到目标检测结果。2.根据权利要求1所述的基于深度的多相机鸟瞰图视角目标检测方法，其特征在于，所述采用DBSCAN聚类算法对所述初步检测结果进行聚类去重处理，得到目标检测结果的步骤包括，计算所述初步检测结果对应的检测框聚类特征，每个检测框聚类特征为二维特征，其中，第一维特征为方向特征，第二维特征为距离特征；令所述初步检测结果对应的所述检测框聚类特征参与聚类，得到每个类别的聚类结果；对每个类别的所述聚类结果的每一簇进行去重，保留置信度最高的检测框，得到目标检测结果。3.根据权利要求2所述的基于深度的多相机鸟瞰图视角目标检测方法，其特征在于，令所述初步检测结果对应的所述检测框聚类特征参与聚类，得到每个类别的聚类结果的步骤包括，设置用于分类样本的距离阈值和用于判定任一簇的合法性的最小样本数；将所述检测框聚类特征作为样本点，对于每个样本点，计算所述样本点与其他样本点之间的特征距离；基于所述特征距离，结合所述距离阈值和所述最小样本数，确定核心样本点；选择任一核心样本点，以所述核心样本点在所述距离阈值邻域内的密度相连的样本点进行扩展，得到一簇，并标记该簇包含的所有样本点，直至所有核心样本点均完成扩展；对于未被任何簇包含的样本点，标记为噪声点；输出聚类结果。4.根据权利要求3所述的基于深度的多相机鸟瞰图视角目标检测方法，其特征在于，还包括以下步骤，所述计算所述样本点与其他样本点之间的特征距离时，采用带权重的闵可夫斯基距离计算方式。5.根据权利要求1
‑
4任意一项所述的基于深度的多相机鸟瞰图视角目标检测方法，其特征在于，基于所述鸟瞰图视角映射坐标，计算鸟瞰图视角特征图时，包括以下步骤，从所述输入特征图提取得到图像特征图；基于所述图像特征图和所述深度特征图，计算得到概率加权特征图；根据所述概率加权特征图和所述鸟瞰图视角映射坐标，计算鸟瞰图视角特征图。
6.根据权利...
【专利技术属性】
技术研发人员：居聪，刘国清，杨广，王启程，
申请(专利权)人：深圳佑驾创新科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。