多视角融合的场景重建方法、感知网络训练方法及装置制造方法及图纸

公开了一种多视角融合的场景重建方法、感知网络训练方法及装置，该多视角融合的场景重建方法包括：获取多张图像，将多张图像融合为环视视角图像，以及将多张图像融合为鸟瞰视角图像。基于环视视角图像和鸟瞰视角图像进行特征提取，分别得到环视图像特征及鸟瞰图像特征。基于环视图像特征及鸟瞰图像特征，分别得到环视视角图像对应的第一场景信息及鸟瞰视角图像对应的第二场景信息。基于第一场景信息及第二场景信息进行三维场景重建。通过本公开实施例的方案可以避免出现多个视角的图像之间重叠区域在场景重建时无法融合的问题。另外本公开可以将多视角融合为环视视角和鸟瞰视角，之后从环视和鸟瞰两个视角进行场景重建，得到的场景信息更为准确。得到的场景信息更为准确。得到的场景信息更为准确。

【技术实现步骤摘要】
多视角融合的场景重建方法、感知网络训练方法及装置


[0001]本公开涉及计算机视觉领域，尤其涉及一种多视角融合的场景重建方法、感知网络训练方法、装置、电子设备及计算机可读存储介质。

技术介绍

[0002]随着科技的发展，自动驾驶技术在人们生活中的应用越来越广泛。环境感知作为自动驾驶技术中至关重要的分支，是自动驾驶载具导航与控制的基础。因此，对于自动驾驶载具来说，需要对载具所处环境进行场景重建，以保证自动驾驶过程中的安全，避免与周围车辆、行人发生碰撞。
[0003]场景重建时，首先利用车载相机获取多张图像，之后提取每张图像所对应视角的三维信息，再将所有视角的三维信息融合在一起，以重建车辆所处环境的场景。
[0004]但是，对于某一视角的部分三维信息，存在难以将其与其他视角的三维信息融合在一起的情况。

技术实现思路

[0005]现有的技术方案单独处理不同相机拍摄的图像，得到多个处理结果，之后将多个处理结果融合为场景信息。但是，不同相机之间存在视角重叠区域，该重叠区域的不同处理结果之间无法融合。
[0006]为了解决上述技术问题，本公开的实施例提供了一种多视角融合的场景重建方法、感知网络训练方法及装置。
[0007]根据本公开的一个方面，提供了一种多视角融合的场景重建方法，包括：
[0008]获取多张图像，多张所述图像为载具的多摄相机系统在同一时刻针对载具周围环境采集的不同视角的多张图像；
[0009]将多张所述图像融合为环视视角图像，以及将多张所述图像融合为鸟瞰视角图像；
[0010]基于所述环视视角图像和所述鸟瞰视角图像进行特征提取，分别得到环视图像特征及鸟瞰图像特征；
[0011]基于所述环视图像特征及所述鸟瞰图像特征，分别得到所述环视视角图像对应的第一场景信息及所述鸟瞰视角图像对应的第二场景信息；
[0012]基于所述第一场景信息及所述第二场景信息进行三维场景重建。
[0013]根据本公开的另一个方面，提供了一种感知网络训练方法，感知网络包括环视感知网络和鸟瞰感知网络，环视感知网络用于对环视图像特征进行语义分割、目标检测和车道线检测，鸟瞰感知网络用于对鸟瞰图像特征进行语义分割、目标检测和车道线检测；方法包括：
[0014]确定环视感知网络的第一损失函数及鸟瞰感知网络的第二损失函数；
[0015]确定环视感知网络与鸟瞰感知网络之间的一致性约束损失函数；
[0016]基于第一损失函数、第二损失函数及一致性约束损失函数，确定感知网络在训练阶段的总损失函数，以监督感知网络的训练过程。
[0017]根据本公开的另一个方面，提供了一种多视角融合的场景重建装置，包括：
[0018]图像获取模块，用于获取多张图像，多张图像为载具的多摄相机系统在同一时刻针对载具周围环境采集的不同视角的多个图像；
[0019]图像融合模块，用于将图像获取模块获取的多张图像融合为环视视角图像，以及将图像获取模块获取的多张图像融合为鸟瞰视角图像；
[0020]特征提取模块，用于基于图像融合模块融合的环视视角图像和鸟瞰视角图像进行特征提取，分别得到环视图像特征及鸟瞰图像特征；
[0021]场景预测模块，用于基于特征提取模块提取的环视图像特征及鸟瞰图像特征，分别得到环视视角图像对应的第一场景信息及鸟瞰视角图像对应的第二场景信息；
[0022]场景重建模块，用于基于场景预测模块预测的第一场景信息及第二场景信息进行三维场景重建。
[0023]根据本公开的另一个方面，提供了一种感知网络训练装置，感知网络包括环视感知网络和鸟瞰感知网络，装置包括：
[0024]第一确定模块，用于确定环视感知网络的第一损失函数及鸟瞰感知网络的第二损失函数；
[0025]第二确定模块，用于确定环视感知网络与鸟瞰感知网络之间的一致性约束损失函数；
[0026]第三确定模块，用于基于第一确定模块确定的第一损失函数、第二损失函数及第二确定模块确定的一致性约束损失函数，确定感知网络在训练阶段的总损失函数，以监督感知网络的训练过程。
[0027]根据本公开的又一个方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于执行上述的多视角融合的场景重建方法，或者，上述的感知网络训练方法。
[0028]根据本公开的再一个方面，提供了一种电子设备，所述电子设备包括：
[0029]处理器；
[0030]用于存储所述处理器可执行指令的存储器；
[0031]所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述的多视角融合的场景重建方法，或者，上述的感知网络训练方法。
[0032]基于本公开上述实施例提供的一种多视角融合的场景重建方法、感知网络训练方法及装置，该多视角融合的场景重建方法包括：获取多张图像，多张图像为载具的多摄相机系统在同一时刻针对载具周围环境采集的不同视角的多张图像。将多张图像融合为环视视角图像，以及将多张图像融合为鸟瞰视角图像。基于环视视角图像和鸟瞰视角图像进行特征提取，分别得到环视图像特征及鸟瞰图像特征。基于环视图像特征及鸟瞰图像特征，分别得到环视视角图像对应的第一场景信息及鸟瞰视角图像对应的第二场景信息。基于第一场景信息及第二场景信息进行三维场景重建。通过本公开实施例的方案进行场景重建，能够将多个视角的图像融合为环视视角图像及鸟瞰视角图像，之后再根据环视视角图像及鸟瞰视角图像进行场景重建，因此可以避免出现多个视角的图像之间重叠区域在场景重建时无
法融合的问题。另外，本公开可以将多视角融合为环视视角和鸟瞰视角，之后从环视和鸟瞰两个视角进行场景重建，得到的场景信息更为准确。
附图说明
[0033]通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
[0034]图1是本公开一示例性实施例提供的自动驾驶系统的结构示意图。
[0035]图2是本公开一示例性实施例提供的载具坐标系示意图。
[0036]图3是本公开一示例性实施例提供的多视角融合的场景重建方法的流程示意图。
[0037]图4是本公开一示例性实施例提供的环视视角图像示意图。
[0038]图5是本公开一示例性实施例提供的鸟瞰视角图像示意图。
[0039]图6是本公开一示例性实施例提供的提取场景信息的流程示意图。
[0040]图7是本公开一示例性实施例提供的三维场景重建的流程示意图。
[0041]图8是本公开一示例性实施例提供的环视视角图像融合的流程示意图。
[0042]图9是本公开一示例性实施例提供的构建基准摄相机系统的流程示意图。
[0043]图10是本公开本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多视角融合的场景重建方法，包括：获取多张图像，多张所述图像为载具的多摄相机系统在同一时刻针对载具周围环境采集的不同视角的多张图像；将多张所述图像融合为环视视角图像，以及将多张所述图像融合为鸟瞰视角图像；基于所述环视视角图像和所述鸟瞰视角图像进行特征提取，分别得到环视图像特征及鸟瞰图像特征；基于所述环视图像特征及所述鸟瞰图像特征，分别得到所述环视视角图像对应的第一场景信息及所述鸟瞰视角图像对应的第二场景信息；基于所述第一场景信息及所述第二场景信息进行三维场景重建。2.根据权利要求1所述的多视角融合的场景重建方法，其中，所述第一场景信息包括环视语义分割结果、环视目标检测结果和环视车道线结果，所述第二场景信息包括鸟瞰语义分割结果、鸟瞰目标检测结果和鸟瞰车道线结果。3.根据权利要求2所述的多视角融合的场景重建方法，其中，所述基于所述环视图像特征及所述鸟瞰图像特征，分别得到所述环视视角图像对应的第一场景信息及所述鸟瞰视角图像对应的第二场景信息，包括：利用感知网络，基于所述环视图像特征及所述鸟瞰图像特征进行语义分割，分别得到多个所述环视语义分割结果和多个所述鸟瞰语义分割结果；利用所述感知网络，基于所述环视图像特征及所述鸟瞰图像特征进行目标检测，分别得到多个所述环视目标检测结果和多个所述鸟瞰目标检测结果；所述目标是预定的对象；利用所述感知网络，基于所述环视图像特征及所述鸟瞰图像特征进行车道线检测，分别得到多个所述环视车道线结果和多个所述鸟瞰车道线结果。4.根据权利要求2或3所述的多视角融合的场景重建方法，其中，所述基于所述第一场景信息及所述第二场景信息进行三维场景重建，包括：将所述环视语义分割结果、所述环视目标检测结果及所述环视车道线结果投影至预设的三维场景中；将所述鸟瞰语义分割结果、所述鸟瞰目标检测结果及所述鸟瞰车道线结果投影至所述三维场景中。5.根据权利要求1所述的多视角融合的场景重建方法，其中，所述将多张所述图像融合为环视视角图像，包括：构建基准摄相机系统；所述基准摄相机系统与所述多摄相机系统之间存在相机的一一对应关系；利用所述基准摄相机系统，将多张所述图像融合为所述环视视角图像。6.根据权利要求5所述的多视角融合的场景重建方法，其中，所述构建基准摄相机系统包括：确定所述多摄相机系统中心位置的一个柱面作为初始基准面；确定所述初始基准面上与所述多摄相机系统中相机等数量的基准相机，各个所述基准相机之间等距离设置，所述基准相机与所述多摄相机系统中的相机存在一一对应关系。7.根据权利要求6所述的多视角融合的场景重建方法，其中，所述利用所述基准摄相机系统，将多张所述图像融合为所述环视视角图像，包括：
利用所述多摄相机系统中相机的内参、径向畸变系数以及切向畸变系数，分别将处于世界坐标系中的多张所述图像，投影到所述多摄相机系统中相机的相机坐标系中；利用所述多摄相机系统中所述相机的外参及所述基准相机与所述多摄相机系统中所述相机的对应关系，分别将处于相机坐标系中的图像移动至所述基准相机的相机坐标系中；分别将处于基准相机的相机坐标系中的图像投影至世界坐标系中；分别将处于世界坐标系中的图像投影至所述初始基准面中；确定所述初始基准面中重叠像素的加权平均数；利用所述加权平...

【专利技术属性】
技术研发人员：陈腾，隋伟，张骞，
申请(专利权)人：北京地平线信息技术有限公司，
类型：发明
国别省市：