三维目标检测方法、电子设备及存储介质技术

本申请实施例提供了一种三维目标检测方法、电子设备及存储介质，该方法包括：获取待进行三维目标检测的图像数据和点云数据，并获取待查询坐标点；提取图像数据中的图像特征，提取点云数据中的点云特征；生成图像特征中特征点对应的三维图像位置编码，生成点云特征中数据点对应的三维点云位置编码；将图像特征与三维图像位置编码进行融合，得到图像位置编码特征，并将点云特征与三维点云位置编码进行融合，得到点云位置编码特征；对待查询坐标点进行位置编码处理，得到待查询坐标点对应的位置编码；根据图像位置编码特征、点云位置编码特征和位置编码，确定待查询坐标点所对应的目标检测结果。本申请实施例可以提高三维目标检测的准确性和鲁棒性。的准确性和鲁棒性。的准确性和鲁棒性。

【技术实现步骤摘要】
三维目标检测方法、电子设备及存储介质


[0001]本申请实施例涉及计算机视觉
，特别是涉及一种三维目标检测方法、电子设备及存储介质。

技术介绍

[0002]三维目标检测技术可以应用于自动驾驶、智能机器人等领域中，三维目标检可以通过多传感器融合(包括激光雷达LiDAR以及相机)来提高整体的感知精度。
[0003]现有技术中，传感器融合的方法包括直接将RGB图像特征转换到统一的鸟瞰图(Bird's Eye View，BEV)视角，然后与点云的BEV特征叠加起来作为融合的特征结果，再用这个特征来执行后续的检测任务；或者，将RGB图像的语义特征叠加到点云特征的对应位置，辅助点云检测模型提高性能。
[0004]然而，上述方法的特点都是强依赖于点云检测的结果，RGB图像在整个模型中只能起到一定的辅助作用。具体来说，这些方法目前在训练跨模态任务的时候，往往是在基于点云已经训练完成的模型上，加入RGB图像的特征，进行一定的微调训练(finetune)。这种强依赖于激光雷达的架构，在传感器本身发生故障的时候，尤其是激光雷达出问题的时候，模型的性能会有一个断崖式的下降，无法给出检测结果。

技术实现思路

[0005]鉴于上述问题，提出了本申请实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种三维目标检测方法、电子设备及存储介质。
[0006]依据本申请实施例的第一方面，提供了一种三维目标检测方法，包括：
[0007]获取待进行三维目标检测的图像数据和点云数据，并获取待查询坐标点；
[0008]通过图像特征提取网络提取所述图像数据中的图像特征，并通过点云特征提取网络提取所述点云数据中的点云特征；
[0009]通过第一位置编码网络生成所述图像特征中特征点对应的三维图像位置编码，并通过第二位置编码网络生成所述点云特征中数据点对应的三维点云位置编码；
[0010]将所述图像特征与所述三维图像位置编码进行融合，得到图像位置编码特征，并将所述点云特征与所述三维点云位置编码进行融合，得到点云位置编码特征；
[0011]通过查询点编码网络对所述待查询坐标点进行位置编码处理，得到所述待查询坐标点对应的位置编码；
[0012]通过目标检测网络根据所述图像位置编码特征、所述点云位置编码特征和所述位置编码，确定所述待查询坐标点所对应的目标检测结果。
[0013]依据本申请实施例的第二方面，提供了一种三维目标检测装置，包括：
[0014]数据获取模块，用于获取待进行三维目标检测的图像数据和点云数据，并获取待查询坐标点；
[0015]特征提取模块，用于通过图像特征提取网络提取所述图像数据中的图像特征，并
通过点云特征提取网络提取所述点云数据中的点云特征；
[0016]位置编码模块，用于通过第一位置编码网络生成所述图像特征中特征点对应的三维图像位置编码，并通过第二位置编码网络生成所述点云特征中数据点对应的三维点云位置编码；
[0017]特征融合模块，用于将所述图像特征与所述三维图像位置编码进行融合，得到图像位置编码特征，并将所述点云特征与所述三维点云位置编码进行融合，得到点云位置编码特征；
[0018]查询点编码模块，用于通过查询点编码网络对所述待查询坐标点进行位置编码处理，得到所述待查询坐标点对应的位置编码；
[0019]目标检测模块，用于通过目标检测网络根据所述图像位置编码特征、所述点云位置编码特征和所述位置编码，确定所述待查询坐标点所对应的目标检测结果。
[0020]依据本申请实施例的第三方面，提供了一种电子设备，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如第一方面中所述的三维目标检测方法。
[0021]依据本申请实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的三维目标检测方法。
[0022]依据本申请实施例的第五方面，提供了一种计算机程序产品，包括计算机程序或计算机指令，所述计算机程序或计算机指令被处理器执行时实现第一方面所述的三维目标检测方法。
[0023]本申请实施例提供的三维目标检测方法、电子设备及存储介质，通过图像特征提取网络提取图像数据中的图像特征，通过点云特征提取网络提取点云数据中的点云特征，通过第一位置编码网络生成图像特征中特征点对应的三维图像位置编码，并通过第二位置编码网络生成点云特征中数据点对应的三维点云位置编码，将图像特征与三维图像位置编码进行融合，得到图像位置编码特征，并将点云特征与三维点云位置编码进行融合，得到点云位置编码特征，通过查询点编码网络对待查询坐标点进行位置编码处理，得到待查询坐标点对应的位置编码，通过目标检测网络根据图像位置编码特征、点云位置编码特征和位置编码，确定待查询坐标点所对应的目标检测结果，由于图像位置编码特征和点云位置编码特征中包括了三维空间中的位置信息，进而基于待查询坐标点对应的位置编码，可以在图像位置编码特征和点云位置编码特征中搜索待查询坐标点附近的目标，这样在缺少图像数据或点云数据等一个模态的数据时，仍然可以得到目标检测结果，可以提高三维目标检测的准确性和鲁棒性。
[0024]上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
[0025]通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请
的限制。
[0026]图1是本申请实施例提供的一种三维目标检测方法的步骤流程图；
[0027]图2是本申请实施例三维目标检测模型的结构示意图；
[0028]图3是本申请实施例提供的一种三维目标检测装置的结构框图；
[0029]图4是本申请实施例提供的一种电子设备的结构框图。
具体实施方式
[0030]下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。
[0031]近年来，基于人工智能的计算机视觉、深度学习、机器学习、图像处理、图像识别等技术研究取得了重要进展。人工智能(Artificial Intelligence，AI)是研究、开发用于模拟、延伸人的智能的理论、方法、技术及应用系统的新兴科学技术。人工智能学科是一门综合性学科，涉及芯片、大数据、云计算、物联网、分布式存储、深度学习、机器学习、神经网络等诸多技术种类。计算机视觉作为人工智能的一个重要分支，具体是让机器本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维目标检测方法，其特征在于，包括：获取待进行三维目标检测的图像数据和点云数据，并获取待查询坐标点；通过图像特征提取网络提取所述图像数据中的图像特征，并通过点云特征提取网络提取所述点云数据中的点云特征；通过第一位置编码网络生成所述图像特征中特征点对应的三维图像位置编码，并通过第二位置编码网络生成所述点云特征中数据点对应的三维点云位置编码；将所述图像特征与所述三维图像位置编码进行融合，得到图像位置编码特征，并将所述点云特征与所述三维点云位置编码进行融合，得到点云位置编码特征；通过查询点编码网络对所述待查询坐标点进行位置编码处理，得到所述待查询坐标点对应的位置编码；通过目标检测网络根据所述图像位置编码特征、所述点云位置编码特征和所述位置编码，确定所述待查询坐标点所对应的目标检测结果。2.根据权利要求1所述的方法，其特征在于，所述通过第一位置编码网络生成所述图像特征中特征点对应的三维图像位置编码，包括：在所述图像特征中特征点所对应的三维射线中采样第一数量的第一三维坐标点，并通过第一位置编码网络生成所述第一数量的第一三维坐标点所对应的三维图像位置编码，所述三维射线是采集所述图像数据的相机到成像平面的射线；所述通过第二位置编码网络生成所述点云特征中数据点对应的三维点云位置编码，包括：在所述点云特征中数据点垂直于地面的直线中采样第二数量的第二三维坐标点，并通过第二位置编码网络生成所述第二数量的第二维坐标点所对应的三维点云位置编码。3.根据权利要求2所述的方法，其特征在于，所述第一三维坐标点为所述图像数据所对应三维视图坐标系中的坐标点；所述通过第一位置编码网络生成所述第一数量的第一三维坐标点所对应的三维图像位置编码，包括：将所述第一数量的第一三维坐标点中每一三维坐标点分别转换为所述点云数据所对应三维坐标系中的第三三维坐标点；通过第一位置编码网络生成所述第一数量的第三三维坐标点所对应的三维图像位置编码。4.根据权利要求1
‑
3任一项所述的方法，其特征在于，所述通过查询点编码网络对所述待查询坐标点进行位置编码处理，得到所述待查询坐标点对应的位置编码，包括：通过查询点编码网络将所述待查询坐标点投影至所述图像数据中，得到投影位置，对所述投影位置进行位置编码处理，得到第一位置编码；通过查询点编码网络确定所述待查询坐标点对应的鸟瞰图坐标，并对所述鸟瞰图坐标进行位置编码处理，得到第二位置编码；通过查询点编码网络根据所述第一位置编码和所述第二位置编码，确定所述待查询坐标点的位置编码。5.根据权利要求4所述的方法，其特征在于，所述通过查询点编码网络根据所述第一位置编码和所述第二位置编码，确定所述待查询坐标点的位置...

【专利技术属性】
技术研发人员：严俊杰，刘迎飞，汪天才，
申请(专利权)人：北京迈格威科技有限公司，
类型：发明
国别省市：