用于自动驾驶的三维场景重建方法、电子设备和存储介质技术

本申请公开了一种用于自动驾驶的三维场景重建方法。该方法包括获取自动驾驶的多个图像，其中所述多个图像是时序上连续的时序数据；将所述多个图像用作输入，对神经网络进行训练，得到训练后的神经网络，从而学习自动驾驶中物体的辐射场模型；获取自动驾驶的目标图像，以使用所述训练后的神经网络，对所述目标图像进行三维重建。本申请还公开了电子设备和存储介质。本申请实现了连续的时序数据的三维场景重建。场景重建。场景重建。

【技术实现步骤摘要】
用于自动驾驶的三维场景重建方法、电子设备和存储介质


[0001]本申请的所公开实施例涉及自动驾驶
，且更具体而言，涉及一种用于自动驾驶的三维场景重建方法、电子设备和存储介质。

技术介绍

[0002]使用神经辐射场对三维场景进行重建和渲染是近几年计算机视觉的一个重要研究方向，它使用神经网络描述三维场景，并通过体渲染方法从重建的三维场景中合成图像数据。当前的主要方案：主流的方案以Nerf（Neural Radiance Fields，三维重建技术）为代表，其原理是利用神经网络来对物体进行建模，从而实现高质量的三维重建，即可以将物体看作是一个辐射场，通过对辐射场的建模实现三维重建。目前，通过体渲染方法重建的三维场景所使用的数据多数是以待重建的物体为中心进行360度拍摄的图像，进行了一些多尺度数据的场景重建，但仍然未考虑到关于连续的时序数据的场景重建。

技术实现思路

[0003]根据本申请的实施例，本申请提出一种用于自动驾驶的三维场景重建方法、电子设备和存储介质，以实现连续的时序数据的三维场景重建。
[0004]本申请的第一方面公开了用于自动驾驶的三维场景重建方法，包括：获取自动驾驶的多个图像，其中所述多个图像是时序上连续的时序数据；将所述多个图像用作输入，对神经网络进行训练，得到训练后的神经网络，从而学习自动驾驶中物体的辐射场模型；获取自动驾驶的目标图像，以使用所述训练后的神经网络，对所述目标图像进行三维重建。
[0005]在一些实施例中，所述将所述多个图像用作输入，包括：基于所述多个图像时序上连续，确定在所述多个图像中每个图像中，将所述物体在相应的三维场景中的点与所述物体对应的射线原点之间的距离用作输入，以使得所述物体的辐射场模型表示为与所述距离相关的体密度函数。
[0006]在一些实施例中，所述将所述多个图像用作输入，进一步包括：对于所述多个图像中每个图像，将所述物体的位置用作输入，以使得所述物体的辐射场模型所表示的所述体密度函数还与所述位置相关。在一些实施例中，在一些实施例中，所述体密度函数的变量包括以所述距离为变量的距离网络函数，从而所述体密度函数表示与所述距离相关；其中，所述距离网络函数用于描述从不同的所述距离观察所述三维场景时的预设效应。
[0007]在一些实施例中，所述体密度函数的变量还包括仅与所述物体的位置相关的中间网络函数，其中所述中间网络函数以位置网络函数为变量，所述位置网络函数以所述距离为变量，从而所述体密度函数还表示与所述位置相关。
[0008]在一些实施例中，所述使用所述训练后的神经网络，对所述目标图像进行三维重建，包括：使用体渲染方式，对所述目标图像进行三维渲染，从而实现三维重建，其中所述体渲染方式与所述体密度函数的积分与所述距离网络函数相关。
[0009]在一些实施例中，所述物体的辐射场模型还表示为与所述物体的位置和所述物体在三维空间中的点的方向相关的色彩函数。
[0010]在一些实施例中，所述使用所述训练后的神经网络，对所述目标图像进行三维重建，包括：将所述目标图像用作输入，通过所述训练后的神经网络，计算所述物体在所述目标图像中每个点的辐射强度；利用所述物体在所述目标图像中每个点的辐射强度，重建所述物体的三维模型。
[0011]本申请第三方面公开了一种电子设备，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现第一方面中所述的用于自动驾驶的三维场景重建方法。
[0012]本申请第四方面公开了一种非易失性计算机可读存储介质，其上存储有程序指令，所述程序指令被处理器执行时实现第一方面中所述的用于自动驾驶的三维场景重建方法本申请的有益效果有：通过获取自动驾驶的多个图像，其中多个图像是时序上连续的时序数据，将多个图像用作输入，对神经网络进行训练，得到训练后的神经网络，并学习自动驾驶中物体的辐射场模型，得到训练后的神经网络，进一步地利用训练后的神经网络对目标图像进行三维重建，实现了连续的时序数据的三维场景重建。
附图说明
[0013]下面将结合附图及实施方式对本申请作进一步说明，附图中：图1是本申请实施例的用于自动驾驶的三维场景重建方法的流程示意图；图2是本申请实施例的电子设备的结构示意图；图3是本申请实施例的非易失性计算机可读存储介质的结构示意图。
具体实施方式
[0014]在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
[0015]本申请中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。另外，本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。
[0016]为使本领域的技术人员更好地理解本申请的技术方案，下面结合附图和具体实施方式对本申请的技术方案做进一步详细描述。
[0017]请参阅图1，图1是本申请实施例的用于自动驾驶的三维场景重建方法的流程示意图。该方法的执行主体可以是有计算功能的电子设备，例如，微型计算机、服务器，以及笔记
本电脑、平板电脑等移动设备等。
[0018]需注意的是，若有实质上相同的结果，本申请的方法并不以图1所示的流程顺序为限。
[0019]在一些可能的实现方式中，该方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现，如图1所示，该方法可以包括如下步骤：S11：获取自动驾驶的多个图像，其中多个图像是时序上连续的时序数据。
[0020]图像即图像数据，可以是自动驾驶车辆在行驶过程中采集到的数据，例如是自动驾驶车辆是沿着道路行驶时拍摄的多个视角的图像，均包括行驶场景中的任一物体，其中行驶场景由远及近，再到远，例如，可以通过传统的SFM（structure from motion，运动结构法则）方法从图像中估计相机的位姿和内参，并获取稀疏点云特征用于场景重建的深度指导。多个图像是时序上连续的时序数据，即可以自动驾驶车辆是沿着道路行驶时拍摄的多个连续时序对应的多个视角的图像。
[0021]S12：将多个图像用作输入，对神经网络进行训练，得到训练后的神经网络，从而学习自动驾驶中物体的辐射场模型。
[0022]将多个图像用作输入，即将时序上连续的时序数据输入网络，对神经网络进行训练，即输入层神经元本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于自动驾驶的三维场景重建方法，其特征在于，包括：获取自动驾驶的多个图像，其中所述多个图像是时序上连续的时序数据；将所述多个图像用作输入，对神经网络进行训练，得到训练后的神经网络，从而学习自动驾驶中物体的辐射场模型；获取自动驾驶的目标图像，以使用所述训练后的神经网络，对所述目标图像进行三维重建。2.根据权利要求1所述的方法，其特征在于，所述将所述多个图像用作输入，包括：基于所述多个图像时序上连续，确定在所述多个图像中每个图像中，将所述物体在相应的三维场景中的点与所述物体对应的射线原点之间的距离用作输入，以使得所述物体的辐射场模型表示为与所述距离相关的体密度函数。3.根据权利要求2所述的方法，其特征在于，所述将所述多个图像用作输入，进一步包括：对于所述多个图像中每个图像，将所述物体的位置用作输入，以使得所述物体的辐射场模型所表示的所述体密度函数还与所述位置相关。4.根据权利要求2或3所述的方法，其特征在于，所述体密度函数的变量包括以所述距离为变量的距离网络函数，从而所述体密度函数表示与所述距离相关；其中，所述距离网络函数用于描述从不同的所述距离观察所述三维场景时的预设效应。5.根据权利要求4所述的方法，其特征在于，所述体密度函数的变量还包括仅与所述物体的位置相关的中间网络函数，其中所述中间网络...

【专利技术属性】
技术研发人员：徐勋农，莘祯睿，周光，刘轩，
申请(专利权)人：深圳元戎启行科技有限公司，
类型：发明
国别省市：