本公开实施例公开了一种基于多视角融合的3D目标检测方法及装置。在该方法中，对多摄相机系统采集的多摄相机视角的至少一幅图像进行特征提取，并基于多摄相机系统的内部参数和载具参数，将提取到的在多摄相机视角空间下包含目标物体特征的特征数据映射至同一个鸟瞰视角空间，得到至少一幅图像在鸟瞰视角空间下各自对应的特征数据，通过特征融合得到鸟瞰视角融合特征。对鸟瞰视角融合特征中的目标物体进行目标预测，得到目标物体的三维空间信息。通过本公开实施例的方案进行基于多视角融合的3D目标检测时，先进行多视角的特征融合再进行3D目标检测，端到端的完成鸟瞰视角下的场景物体3D检测，提高检测效率。提高检测效率。提高检测效率。
【技术实现步骤摘要】
一种基于多视角融合的3D目标检测方法及装置
[0001]本公开涉及计算机视觉领域，具体涉及一种基于多视角融合的3D目标检测方法及装置。
技术介绍
[0002]随着科技的发展，自动驾驶技术在人们生活中的应用越来越广泛。自动驾驶载体可以对周围一定距离内的目标物体(车辆、行人、骑车人等)进行3D检测，以获得目标物体的三维空间信息。基于目标物体的三维空间信息对目标物体进行测距、测速，以实现更好的驾驶控制。
[0003]目前，自动驾驶载体可以采集视角不同的多幅图像，然后分别对每一幅图像进行3D检测，最后对各幅图像的3D检测结果进行融合，以生成载体周围环境的目标物体的三维空间信息。
技术实现思路
[0004]现有的技术方案需要对自动驾驶载体采集的每一幅图像分别进行3D检测，然后再对各幅图像的3D检测结果进行融合，以获取载体周围360度环境的他车信息，导致检测效率较低。
[0005]为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种基于多视角融合的3D目标检测方法及装置。
[0006]根据本公开的一个方面，提供了一种基于多视角融合的3D目标检测方法，包括：
[0007]获取采集的来自多摄相机视角的至少一幅图像；
[0008]对所述至少一幅图像进行特征提取，得到所述至少一幅图像在多摄相机视角空间下各自对应的包含目标物体特征的特征数据；
[0009]基于多摄相机系统的内部参数和载具参数，将所述至少一幅图像在多摄相机视角空间下各自对应的特征数据映射至同一个鸟瞰视角空间，得到所述至少一幅图像在鸟瞰视角空间下各自对应的特征数据；
[0010]将所述至少一幅图像在鸟瞰视角空间下各自对应的特征数据进行特征融合，得到的鸟瞰视角融合特征；
[0011]对所述鸟瞰视角融合特征中的目标物体进行目标预测，得到所述目标物体的三维空间信息。
[0012]根据本公开的另一个方面，提供了一种基于多视角融合的3D目标检测装置，包括：
[0013]图像接收模块，用于获取采集的来自多摄相机视角的至少一幅图像；
[0014]特征提取模块，用于对所述图像接收模块获取的所述至少一幅图像进行特征提取，得到所述至少一幅图像在多摄相机视角空间下各自对应的包含目标物体特征的特征数据；
[0015]图像特征映射模块，用于基于多摄相机系统的内部参数和载具参数，将所述特征
提取模块获得的所述至少一幅图像在多摄相机视角空间下各自对应的特征数据映射至同一个鸟瞰视角空间，得到所述至少一幅图像在鸟瞰视角空间下各自对应的特征数据；
[0016]图像融合模块，用于将所述图像映射模块得到的所述至少一幅图像在鸟瞰视角空间下各自对应的特征数据进行特征融合，得到鸟瞰视角融合特征；
[0017]3D检测模块，用于对所述图像融合模块得到的所述鸟瞰视角融合特征中的目标物体进行目标预测，得到目标物体的三维空间信息。
[0018]根据本公开的又一个方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于执行上述的基于多视角融合的3D目标检测方法。
[0019]根据本公开的再一个方面，提供了一种电子设备，所述电子设备包括：
[0020]处理器；
[0021]用于存储所述处理器可执行指令的存储器；
[0022]所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述的基于多视角融合的3D目标检测方法。
[0023]基于本公开上述实施例提供的一种基于多视角融合的3D目标检测方法及装置，对多摄相机系统采集的多摄相机视角的至少一幅图像进行特征提取，并基于多摄相机系统的内部参数，将提取到的在多摄相机视角空间下包含目标物体特征的特征数据映射至同一个鸟瞰视角空间，得到至少一幅图像在鸟瞰视角空间下各自对应的特征数据，并将至少一幅图像在鸟瞰视角空间下各自对应的特征数据进行特征融合，得到鸟瞰视角融合特征。再对鸟瞰视角融合特征中的目标物体进行目标预测，得到目标物体的三维空间信息。通过本公开实施例的方案进行基于多视角融合的3D目标检测时，先进行多视角的特征融合再进行3D目标检测，端到端的完成鸟瞰视角下的场景物体3D目标检测，避免在常规多视角3D检测上的后处理阶段，提高检测效率。
附图说明
[0024]通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
[0025]图1是本公开所适用的场景图。
[0026]图2是本公开实施例提供的车载自动驾驶系统的系统框图。
[0027]图3是本公开一示例性实施例提供的基于多视角融合的3D目标检测方法的流程图。
[0028]图4是本公开一示例性实施例提供的多摄相机系统采集图像的示意框图。
[0029]图5是本公开一示例性实施例提供的来自多摄相机视角的图像的示意图。
[0030]图6是本公开一示例性实施例提供的特征提取的示意框图。
[0031]图7是本公开一示例性实施例提供的从多摄相机系统采集的图像生成鸟瞰视角图像的示意图。
[0032]图8是本公开一示例性实施例提供的目标检测的示意框图。
[0033]图9是本公开一示例性实施例提供的确定鸟瞰视角空间下特征数据的流程图。
[0034]图10是本公开一示例性实施例提供的执行步骤S303和步骤S304的示意框图。
[0035]图11是本公开一示例性实施例提供的目标检测的流程图。
[0036]图12是本公开一示例性实施例提供的预测网络的输出结果示意图。
[0037]图13是本公开一示例性实施例提供的目标检测的另一流程图。
[0038]图14是本公开一示例性实施例提供的高斯核的示意图。
[0039]图15是本公开一示例性实施例提供的热力图的示意图。
[0040]图16是本公开一示例性实施例提供的目标检测的又一流程图。
[0041]图17是本公开一示例性实施例提供的基于多视角融合的3D目标检测装置的结构图。
[0042]图18是本公开一示例性实施例提供的基于多视角融合的3D目标检测装置的另一结构图。
[0043]图19是本公开一示例性实施例提供的电子设备的结构框图。
具体实施方式
[0044]下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
[0045]申请概述
[0046]为保证自动驾驶过程中的安全，自动驾驶载体可以对载体周围一定距离内的目标物体(例如：车辆、行人、骑车人等)进行实时检测，以获得3D目标物体的三维空间信息(例如：位本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于多视角融合的3D目标检测方法，包括：获取采集的来自多摄相机视角的至少一幅图像；对所述至少一幅图像进行特征提取，得到所述至少一幅图像在多摄相机视角空间下各自对应的包含目标物体特征的特征数据；基于多摄相机系统的内部参数和载具参数，将所述至少一幅图像在多摄相机视角空间下各自对应的特征数据映射至同一个鸟瞰视角空间，得到所述至少一幅图像在鸟瞰视角空间下各自对应的特征数据；将所述至少一幅图像在鸟瞰视角空间下各自对应的特征数据进行特征融合，得到鸟瞰视角融合特征；对所述鸟瞰视角融合特征中的目标物体进行目标预测，得到所述目标物体的三维空间信息。2.根据权利要求1所述的方法，其中，所述基于多摄相机系统的内部参数和载具参数，将所述至少一幅图像在多摄相机视角空间下各自对应的特征数据映射至同一个鸟瞰视角空间，得到所述至少一幅图像在鸟瞰视角空间下各自对应的特征数据，包括：基于所述多摄相机系统的内部参数和载具参数，确定所述多摄相机系统的多摄相机的相机坐标系到鸟瞰视角坐标系的转换矩阵；基于多摄相机的相机坐标系到鸟瞰视角坐标系的转换矩阵，将所述至少一幅图像在多摄相机视角空间下各自对应的特征数据从多摄相机视角空间转换至鸟瞰视角空间下，得到所述至少一幅图像在鸟瞰视角空间下各自对应的特征数据。3.根据权利要求2所述的方法，其中，所述基于多摄相机系统的内部参数和载具参数，确定所述多摄相机系统的多摄相机的相机坐标系到鸟瞰视角坐标系的转换矩阵，包括：分别获取所述多摄相机系统中多摄相机的相机内参数和相机外参数，以及，获取载具坐标系到鸟瞰视角坐标系的转换矩阵；基于多摄相机的相机外参数、相机内参数与载具坐标系到鸟瞰视角坐标系的转换矩阵，确定多摄相机的相机坐标系到鸟瞰视角坐标系的转换矩阵。4.根据权利要求1所述的方法，其中，所述对所述鸟瞰视角融合特征中的目标物体进行目标预测，得到目标物体的三维空间信息，包括：利用预测网络从所述鸟瞰视角融合特征中获取用于确定目标物体在鸟瞰视角坐标系下的第一预设坐标值对应的热力图，以及，获取用于确定目标物体在鸟瞰视角坐标系下的第二预设坐标值、尺寸和朝向角的其他属性图；根据所述热力图中的峰值信息确定目标物体在鸟瞰视角坐标系下的第一预设坐标值，并且根据目标物体在鸟瞰视角坐标系下的第一预设坐标值从所述其他属性图中确定目标物体的在鸟瞰视角坐标下的第二预设坐标值、尺寸和朝向角；根据目标物体在鸟瞰视角坐标系下的第一预设坐标值、第二预设坐标值、尺寸和朝向角，确定目标物体的三维空间信息。5.根据权利要求4所述的方法，其中，还包括：在预测网络的训练阶段，构建预测网络预测的热力图与真值热力图之间的第一损失函数，以及，构建预测网络预测的...
【专利技术属性】
技术研发人员：李翔宇，朱红梅，张骞，任伟强，
申请(专利权)人：北京地平线机器人技术研发有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。