基于隐式神经表达的路面重建方法、车辆及存储介质技术

本发明专利技术涉及自动驾驶技术领域，具体提供一种基于隐式神经表达的路面重建方法、车辆及存储介质，旨在解决现有的路面重建方法的路面重建精度较低的技术问题。为此目的，本发明专利技术的路面重建方法包括：获取路面上至少一个二维坐标点；利用第一隐式神经网络获取二维坐标点对应的高度值；基于二维坐标点和二维坐标点对应的高度值分别确定二维坐标点对应的语义信息和颜色信息；基于高度值、语义信息和颜色信息对路面进行三维场景重建。如此，提高了路面重建的精度和完整度。的精度和完整度。的精度和完整度。

【技术实现步骤摘要】
基于隐式神经表达的路面重建方法、车辆及存储介质


[0001]本专利技术涉及自动驾驶
，具体提供一种基于隐式神经表达的路面重建方法、车辆及存储介质。

技术介绍

[0002]目前，如何准确地重建一个路面，并且自动识别路面上的元素，在自动驾驶中是一个重要且有意义的问题。重建完的路面可以用于辅助标注。如果是带有语义的重建，那么就可以应用到自动标注应用中。
[0003]现有的重建方法主要分为点云重建和NeRF重建两种方式。点云重建包括激光点云重建或者视觉MVS重建，这一类方法输出格式是点云。点云的稠密度无法达到100％，存在不同程度的孔洞、缝隙的问题。同时，点云上是一群3D点的集合，点和点之间都是彼此独立的，缺乏全局约束，对于噪点无法很好消除。NeRF是近几年兴起的方法，但是NeRF方法依然存在很大问题。首先NeRF是基于体素渲染的方式来生成图像，它的几何很差甚至基本不可用，使得3D空间的标注不完整。同时现在的NeRF方案对于大场景来说都要训练几十个小时以上，方法并不实用。
[0004]相应地，本领域需要一种新的基于隐式神经表达的路面重建方案来解决上述问题。

技术实现思路

[0005]为了克服上述缺陷，提出了本专利技术，以提供解决或至少部分地解决上述技术问题。本专利技术提供了一种基于隐式神经表达的路面重建方法、车辆及存储介质。
[0006]在第一方面，本专利技术提供一种基于隐式神经表达的路面重建方法，所述方法包括：获取路面上至少一个二维坐标点；利用第一隐式神经网络获取所述二维坐标点对应的高度值；基于所述二维坐标点和所述二维坐标点对应的高度值分别确定所述二维坐标点对应的语义信息和颜色信息；基于所述高度值、所述语义信息和所述颜色信息对所述路面进行三维场景重建。
[0007]在一个实施方式中，基于所述二维坐标点和所述二维坐标点对应的高度值分别确定所述二维坐标点对应的语义信息和颜色信息，包括：基于所述二维坐标点和所述二维坐标点对应的高度值分别确定所述二维坐标点对应的语义概率向量和颜色特征向量；基于所述语义概率向量确定所述二维坐标点对应的语义信息；基于所述颜色特征向量确定所述二维坐标点对应的颜色信息。
[0008]在一个实施方式中，基于所述二维坐标点和所述二维坐标点对应的高度值确定所述二维坐标点对应的语义概率向量，包括：基于每一帧的相机位姿获取所述二维坐标点对应的2D图像；将所述坐标点结合所述高度值得到的三维坐标点投影到所述2D图像，得到初始语义概率向量；基于所述2D图像的语义标签值和所述初始语义概率向量确定所述二维坐标点对应的语义概率向量。
[0009]在一个实施方式中，基于所述二维坐标点和所述二维坐标点对应的高度值确定所述二维坐标点对应的颜色特征向量，包括：于每一帧的相机位姿获取所述二维坐标点对应的2D图像；将所述坐标点结合所述高度值得到的三维坐标点投影到所述2D图像，得到初始颜色特征向量；基于所述2D图像的颜色标签值和所述初始颜色特征向量确定所述二维坐标点对应的颜色特征向量。
[0010]在一个实施方式中，基于所述语义概率向量确定所述二维坐标点对应的语义信息，包括：将所述语义概率向量中最大元素对应的类别作为所述语义信息。
[0011]在一个实施方式中，基于所述颜色特征向量确定所述二维坐标点对应的颜色信息，包括：将所述颜色特征向量和相机ID的编码进行合并，并将合并后得到的特征向量输入第二隐式神经网络，得到所述二维坐标点对应的颜色信息。
[0012]在一个实施方式中，所述第一隐式神经网络或所述第二隐式神经网络为全连接神经网络。
[0013]在一个实施方式中，将所述二维坐标点对应的语义信息投影到相机拍摄的图像上，得到路面的语义标注结果。
[0014]在第二方面，提供一种车辆，该车辆包括处理器和存储装置，所述存储装置适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行前述任一项所述的基于隐式神经表达的路面重建方法。
[0015]在第三方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行前述任一项所述的基于隐式神经表达的路面重建方法。
[0016]本专利技术上述一个或多个技术方案，至少具有如下一种或多种有益效果：
[0017]本专利技术中的基于隐式神经表达的路面重建方法，首先获取路面上至少一个二维坐标点，并利用第一隐式神经网络获取所述二维坐标点对应的高度值；之后基于二维坐标点和二维坐标点的高度值分别确定二维坐标点对应的语义信息和颜色信息；最后基于所述高度值、语义信息和颜色信息对路面进行三维场景重建。如此，获得了精确地语义信息和颜色信息，提高了路面重建的精度，实现了高完整度和高精度的路面重建。
附图说明
[0018]参照附图，本专利技术的公开内容将变得更易理解。本领域技术人员容易理解的是：这些附图仅仅用于说明的目的，而并非意在对本专利技术的保护范围组成限制。此外，图中类似的数字用以表示类似的部件，其中：
[0019]图1是根据本专利技术的一个实施例的基于隐式神经表达的路面重建方法的主要步骤流程示意图；
[0020]图2(a)是一个实施例中采用MPL网络获取路面元素的示意图；
[0021]图2(b)是一个实施例中基于隐式神经表达的路面重建方法获取路面元素的示意图；
[0022]图3是一个实施例中基于隐式神经表达的路面重建方法的完整流程示意图；
[0023]图4是一个实施例中路面标注后的示意图；
[0024]图5是一个实施例中车辆的结构示意图。
具体实施方式
[0025]下面参照附图来描述本专利技术的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本专利技术的技术原理，并非旨在限制本专利技术的保护范围。
[0026]在本专利技术的描述中，“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路，各种合适的感应器，通信端口，存储器，也可以包括软件部分，比如程序代码，也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合，比如只是A、只是B或者A和B。术语“至少一个A或B”或者“A和B中的至少一个”含义与“A和/或B”类似，可以包括只是A、只是B或者A和B。单数形式的术语“一个”、“这个”也可以包含复数形式。
[0027]目前，现有的重建方法主要分为点云重建和NeRF重建两种方式。点云重建包括激光点云重建或者视觉MVS重建，这一类方法输出格式是点云。点云的稠密度无法达到100％，存在不同程度的孔洞、缝隙的问题。同时，点云上是一群3D点的集合，点和点之间都是彼此独立的，缺乏全局本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于隐式神经表达的路面重建方法，其特征在于，所述方法包括：获取路面上至少一个二维坐标点；利用第一隐式神经网络获取所述二维坐标点对应的高度值；基于所述二维坐标点和所述二维坐标点对应的高度值分别确定所述二维坐标点对应的语义信息和颜色信息；基于所述高度值、所述语义信息和所述颜色信息对所述路面进行三维场景重建。2.根据权利要求1所述的基于隐式神经表达的路面重建方法，其特征在于，基于所述二维坐标点和所述二维坐标点对应的高度值分别确定所述二维坐标点对应的语义信息和颜色信息，包括：基于所述二维坐标点和所述二维坐标点对应的高度值分别确定所述二维坐标点对应的语义概率向量和颜色特征向量；基于所述语义概率向量确定所述二维坐标点对应的语义信息；基于所述颜色特征向量确定所述二维坐标点对应的颜色信息。3.根据权利要求2所述的基于隐式神经表达的路面重建方法，其特征在于，基于所述二维坐标点和所述二维坐标点对应的高度值确定所述二维坐标点对应的语义概率向量，包括：基于每一帧的相机位姿获取所述二维坐标点对应的2D图像；将所述坐标点结合所述高度值得到的三维坐标点投影到所述2D图像，得到初始语义概率向量；基于所述2D图像的语义标签值和所述初始语义概率向量确定所述二维坐标点对应的语义概率向量。4.根据权利要求2所述的基于隐式神经表达的路面重建方法，其特征在于，基于所述二维坐标点和所述二维坐标点对应的高度值确定所述二维坐标点对应的颜色特征向量，包括：基于每一帧的相机位姿获取所述二维坐标点对应的2D图...

【专利技术属性】
技术研发人员：罗鸿城，刘国翌，任少卿，
申请(专利权)人：安徽蔚来智驾科技有限公司，
类型：发明
国别省市：