三维目标检测方法、装置、电子设备和存储介质制造方法及图纸

本发明专利技术涉及计算机视觉领域，提供一种三维目标检测方法、装置、电子设备和存储介质，其中方法包括：获取二维图像中待检测目标的候选三维检测框；将所述候选三维检测框中的网格点投影至所述二维图像的仿射视角，并在所述仿射视角下进行特征采样，得到所述网格点的点采样特征；基于所述网格点的点采样特征，确定所述候选三维检测框的三维框特征，并基于所述三维框特征对所述候选三维检测框进行降重，得到最终三维检测框。本发明专利技术提供的三维目标检测方法、装置、电子设备和存储介质，能够提升最终检测结果精度。结果精度。结果精度。

【技术实现步骤摘要】
三维目标检测方法、装置、电子设备和存储介质


[0001]本专利技术涉及计算机视觉
，尤其涉及一种三维目标检测方法、装置、电子设备和存储介质。

技术介绍

[0002]基于相机的三维目标检测是一个重要且具有挑战性的计算机视觉任务，在自动驾驶、自主导航机器人、具身智能体等领域具有广泛的应用。通常由相机传感器检测到的三维目标由于缺失直接深度信息，在目标定位上具有较大误差，对检测结果可靠性的估计不够准确。
[0003]因此，如何提高相机三维目标检测的精度和可靠性是亟需解决的问题。

技术实现思路

[0004]本专利技术提供一种三维目标检测方法、装置、电子设备和存储介质，用以解决现有技术中相机三维目标检测的精度和可靠性不高的缺陷。
[0005]本专利技术提供一种三维目标检测方法，包括：
[0006]获取二维图像中待检测目标的候选三维检测框；
[0007]将所述候选三维检测框中的网格点投影至所述二维图像的仿射视角，并在所述仿射视角下进行特征采样，得到所述网格点的点采样特征；
[0008]基于所述网格点的点采样特征，确定所述候选三维检测框的三维框特征，并基于所述三维框特征对所述候选三维检测框进行降重，得到最终三维检测框。
[0009]根据本专利技术提供的三维目标检测方法，所述将所述候选三维检测框中的网格点投影至所述二维图像的仿射视角，并在所述仿射视角下进行特征采样，得到所述网格点的点采样特征，包括：
[0010]将所述候选三维检测框中的网格点投影至所述二维图像的仿射视角，得到仿射视角下所述网格点在所述二维图像中的位置；
[0011]在所述二维图像的所述位置处进行特征采样，得到所述网格点的点采样特征。
[0012]根据本专利技术提供的三维目标检测方法，所述在所述二维图像的所述位置处进行特征采样，得到所述网格点的点采样特征，包括：
[0013]提取所述二维图像的图像特征和二维位置特征；
[0014]基于所述图像特征和二维位置特征，在所述二维图像的所述位置处进行特征采样，得到所述网格点的点采样特征。
[0015]根据本专利技术提供的三维目标检测方法，所述基于所述网格点的点采样特征，确定所述候选三维检测框的三维框特征，包括：
[0016]提取所述候选三维检测框的三维位置特征；
[0017]基于所述三维位置特征和所述网格点的点采样特征，确定所述候选三维检测框的三维框特征。
[0018]根据本专利技术提供的三维目标检测方法，所述基于所述三维位置特征和所述网格点的点采样特征，确定所述候选三维检测框的三维框特征，包括：
[0019]基于所述三维位置特征，确定所述网格点至所述候选三维检测框的各个面的距离；
[0020]将所述网格点至所述候选三维检测框的各个面的距离，以及所述网格点的点采样特征进行拼接，得到所述候选三维检测框的三维框特征。
[0021]根据本专利技术提供的三维目标检测方法，所述将所述候选三维检测框中的网格点投影至所述二维图像的仿射视角，包括：
[0022]基于所述二维图像的拍摄相机位姿，将所述候选三维检测框中的网格点投影至所述二维图像的仿射视角。
[0023]根据本专利技术提供的三维目标检测方法，所述基于所述三维框特征对所述候选三维检测框进行降重，得到最终三维检测框，包括：
[0024]基于所述三维框特征，预测所述候选三维检测框的质量信心值；
[0025]基于所述质量信心值和分类信心值，对所述候选三维检测框进行降重，得到最终三维检测框。
[0026]本专利技术还提供一种三维目标检测装置，包括：
[0027]候选框获取单元，用于获取二维图像中待检测目标的候选三维检测框；
[0028]特征采样单元，用于将所述候选三维检测框中的网格点投影至所述二维图像的仿射视角，并在所述仿射视角下进行特征采样，得到所述网格点的点采样特征；
[0029]降重单元，用于基于所述网格点的点采样特征，确定所述候选三维检测框的三维框特征，并基于所述三维框特征对所述候选三维检测框进行降重，得到最终三维检测框。
[0030]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述三维目标检测方法。
[0031]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述三维目标检测方法。
[0032]本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述三维目标检测方法。
[0033]本专利技术提供的三维目标检测方法、装置、电子设备和存储介质，通过将候选三维检测框中的网格点投影至二维图像的仿射视角，并在仿射视角下进行特征采样，得到网格点的点采样特征，基于网格点的点采样特征，确定候选三维检测框的三维框特征，然后基于三维框特征对候选三维检测框进行降重，得到最终三维检测框，能够提升最终检测结果精度。
附图说明
[0034]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0035]图1是本专利技术提供的三维目标检测方法的流程示意图之一；
[0036]图2是本专利技术提供的三维目标检测方法的流程示意图之二；
[0037]图3是本专利技术提供的三维目标检测装置的结构示意图；
[0038]图4是本专利技术提供的电子设备的结构示意图。
具体实施方式
[0039]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术中的附图，对本专利技术中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0040]目前，由相机传感器检测到的三维目标由于缺失直接深度信息，在目标定位上具有较大误差，对检测结果可靠性的估计不够准确。
[0041]基于上述考虑，为了提升相机三维目标检测的精度和可靠性，本专利技术的专利技术构思在于：在获取候选三维检测框之后，提取产生的全部候选三维检测框中间结果，对候选三维框进行特征处理，并基于处理后的特征进行降重，以提升最终检测结果精度。
[0042]基于上述专利技术构思，本专利技术提供一种三维目标检测方法、装置、电子设备和存储介质，应用于人工智能计算机视觉技术中的三维目标检测场景，例如自动驾驶、自主导航机器人等应用场景，以提高三维目标检测的精度和可靠性。
[0043]下面将结合附图详细描述本专利技术的技术方案。图1是本专利技术提供的三维目标检测方法的流程示意图之一，该方法中各步骤的执行主体可以是三维目标检测装置，该装本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维目标检测方法，其特征在于，包括：获取二维图像中待检测目标的候选三维检测框；将所述候选三维检测框中的网格点投影至所述二维图像的仿射视角，并在所述仿射视角下进行特征采样，得到所述网格点的点采样特征；基于所述网格点的点采样特征，确定所述候选三维检测框的三维框特征，并基于所述三维框特征对所述候选三维检测框进行降重，得到最终三维检测框。2.根据权利要求1所述的三维目标检测方法，其特征在于，所述将所述候选三维检测框中的网格点投影至所述二维图像的仿射视角，并在所述仿射视角下进行特征采样，得到所述网格点的点采样特征，包括：将所述候选三维检测框中的网格点投影至所述二维图像的仿射视角，得到仿射视角下所述网格点在所述二维图像中的位置；在所述二维图像的所述位置处进行特征采样，得到所述网格点的点采样特征。3.根据权利要求2所述的三维目标检测方法，其特征在于，所述在所述二维图像的所述位置处进行特征采样，得到所述网格点的点采样特征，包括：提取所述二维图像的图像特征和二维位置特征；基于所述图像特征和二维位置特征，在所述二维图像的所述位置处进行特征采样，得到所述网格点的点采样特征。4.根据权利要求1所述的三维目标检测方法，其特征在于，所述基于所述网格点的点采样特征，确定所述候选三维检测框的三维框特征，包括：提取所述候选三维检测框的三维位置特征；基于所述三维位置特征和所述网格点的点采样特征，确定所述候选三维检测框的三维框特征。5.根据权利要求4所述的三维目标检测方法，其特征在于，所述基于所述三维位置特征和所述网格点的点采样特征，确定所述候选三维检测框的三维框特征，包括：基于所述三维位置特征，确定所述网格点至所述候选三维检测框的各个面的...

【专利技术属性】
技术研发人员：张兆翔，王启泰，陈韫韬，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：