大范围光场语义驱动智能表征与实时重建方法技术

本发明专利技术公开了大范围光场语义驱动智能表征与实时重建方法，本发明专利技术属于三维重建与智能理解、人工智能技术领域；该方法包括构建语义驱动智能表征；基于当前RGB

【技术实现步骤摘要】
大范围光场语义驱动智能表征与实时重建方法


[0001]本专利技术属于三维重建与智能理解/人工智能
，特别是涉及大范围光场语义驱动智能表征与实时重建方法与系统。

技术介绍

[0002]大范围光场实时重建是人工智能、机器视觉、虚拟现实等领域的核心技术难题之一，对于实现光场的高效重建和场景渲染等方面具有重要意义。大范围光场语义驱动智能表征与实时重建指的是：利用RGB、深度传感器等设备从多个视角采集场景的色彩图像和深度图像等信息，检测和提取色彩图像和深度图像中的语义信息，利用语义信息维护和更新场景的智能表征，并以增量的形式快速地将多视角图像的信息融合进大场景的光场表征中，达到实时且高质量的大范围光场重建的目的。
[0003]现有的大范围光场重建算法无法实时地重建光场的几何和纹理信息。一方面，传统同时定位和建图（SLAM）算法只关注几何重建，利用输入的RGB或者RGB
‑
D图像重建出场景的几何模型，并不支持高质量的新视角渲染。另一方面，近两年流行的基于神经辐射场（NeRF）的体渲染算法，将场景表示为隐式的连续场，并利用多视角图像进行联合优化，在内插视角上得到了出色的渲染效果，但缺点是稠密的空间采样导致渲染速度很慢；另外由于缺少显式的几何约束，光场重建速度慢，且外插视角的渲染效果很差。一些算法（如NeurMips）将场景表示为平面的集合，并通过类似体渲染的方式对每个平面的几何参数和色彩进行优化，由于采样点数量大大减少，在提升渲染速度的同时仍然可以保证理想的渲染效果。但是这种算法无法表示和优化复杂的场景几何，导致在外插视角上渲染质量仍然很差。
[0004]大范围离线光场重建是计算机视觉中的重要问题。光场重建主要包括两方面目标，分别为几何和渲染，传统的重建过程重点关注几何的重建，获取几何后再通过贴图等操作赋予其渲染效果，该方法对于材质简单的小范围场景有较好效果，但对于大范围的光场重建仍然比较困难。基于神经辐射场的方法（以NeRF为代表）将几何和渲染耦合在一起进行重建，通过多视角图像的监督，隐式地优化场景的几何和色彩信息，由于这种方法需要大量的采样和迭代，训练和渲染速度都较慢，但在稠密的观测下可以取得很好的渲染效果。基于多视角特征聚合的方法（以SVS、NPBG算法为代表）以显式的几何作为表征支撑，通过聚合多视角的图像特征，在新的目标视角上渲染出图像，这类算法在较为稀疏的视角下也可以取得较好的渲染效果，缺点是速度仍然很慢。
[0005]对于大范围场景而言，实时光场重建有着广泛的应用需求，而增量式重建是实现实时重建的一个重要途径，即通过有序的场景观测，每次重建一个局部区域，通过将局部区域融合，逐步重建出整个场景。这类方法在SLAM领域得到了深入的挖掘，以TSDF Fusion算法为代表，已经在实时的几何重建方面取得了较好的效果，近年来也有工作通过引入隐式表征（以NeuralRecon、NICE
‑
SLAM为代表），提升几何重建的完整度。也有方法考虑增量式地重建大范围场景的渲染场（以NeRFusion为代表），通过计算每个局部区域的渲染场，并利用
一个GRU结构将局部的渲染场融合到全局的渲染场中，实现实时的增量式的渲染场重建。但此类方法的缺点是只关注几何重建质量，光场渲染效果很差。
[0006]基于语义的三维重建是三维领域的重要研究方向之一。受限于NeRF的表征需要稠密的采样，已有的大范围场景光场重建方法的效率仍然低下。一些方法（如NeurMips）假设场景可以被解耦为3D平面的集合，并通过类似体渲染的方式对每个平面的几何参数和色彩进行优化，由于这种方案中只需要计算射线与各个平面的交点而不需要稠密采样，采样点的数量大大减少，在提升渲染速度的同时仍然可以保证理想的渲染效果。另一些方法，如Manhattan
‑
SDF提出了类似的场景平面假设，在场景的优化过程中添加平面的光滑性正则项，以获得更好的几何重建结果，但此类方法仍然没有得到很好的光场重建效果，尤其是外插视角的光场渲染质量很差。
[0007]现有技术难以平衡快速光场重建和高质量光场渲染这两个目标。NeRF提供了高质量的内插视角渲染效果，但效率很低且外插视角渲染质量差，InstantNGP虽然在NeRF的基础上提升了优化和渲染的速度，但是仍然无法得到很好的外插效果，光场重建质量差；NeurMips等基于语义的方法虽然可以实现高速的渲染，但优化速度慢，且难以表示和优化几何复杂的区域。

技术实现思路

[0008]本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。
[0009]为此，本专利技术的目的是提出一种大范围光场语义驱动智能表征与实时重建方法，提出大范围光场语义驱动智能表征，这种表征通过在渲染过程中对语义采样和体积采样这两种方式进行整合，可以同时提升渲染效率和渲染质量。
[0010]本专利技术的另一个目的在于提出一种大范围光场语义驱动智能表征与实时重建系统。
[0011]为达上述目的，本专利技术一方面提出一种大范围光场语义驱动智能表征与实时重建方法，所述方法包括以下步骤：构建语义驱动智能表征；其中，所述语义驱动智能表征，包括基于3D空间中的场景语义信息构建语义体和语义列表；基于当前RGB
‑
D图像检测得到当前语义基元，并根据检测得到的当前语义基元和语义列表中的所有语义基元的相似度比较结果更新所述语义列表；基于更新后的语义列表对所述语义体中的体素进行更新得到更新后的语义体；基于更新后的语义体得到基于射线采样的3D空间采样点的坐标，并基于所述3D空间采样点的坐标得到射线RGB色彩值，以根据所述RGB色彩值进行基于所有RGB
‑
D图像的大范围光场的实时重建得到大范围光场的实时重建结果。
[0012]另外，根据本专利技术上述实施例的大范围光场语义驱动智能表征与实时重建方法还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述语义体中的体素的状态包括空状态、稠密填充状态和语义填充状态；所述语义填充状态表示为语义基元序号。
[0013]进一步地，在本专利技术的一个实施例中，所述基于当前RGB
‑
D图像检测得到当前语义基元，并根据检测得到的当前语义基元和语义列表中的所有语义基元的相似度比较结果更
新所述语义列表，包括：利用语义基元检测算法计算当前RGB
‑
D图像的当前语义基元；基于当前语义基元的几何参数和所占像素坐标对当前语义基元与语义列表中所有语义基元进行相似度比较；如果语义列表中存在与当前语义基元的相似度高于第一预设阈值的语义基元，则将当前语义基元与高于第一预设阈值的语义基元合并，并更新合并后的语义基元的几何参数；如果不存在，则将当前语义基元作为新的语义基元添加至语义列表以得到更新后的语义列表。
[0014]进一步地，在本专利技术的一个实施例中，所述基于更新后的语义列表对所述语义体中的体素进行更新得到更新后的语义体，包括：基于当前RGB
‑
D图像和相机位姿得到当前语义基元在3本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大范围光场语义驱动智能表征与实时重建方法，其特征在于，所述方法包括以下步骤：构建语义驱动智能表征；其中，所述语义驱动智能表征，包括基于3D空间中的场景语义信息构建语义体和语义列表；基于当前RGB
‑
D图像检测得到当前语义基元，并根据检测得到的当前语义基元和语义列表中的所有语义基元的相似度比较结果更新所述语义列表；基于更新后的语义列表对所述语义体中的体素进行更新得到更新后的语义体；基于更新后的语义体得到基于射线采样的3D空间采样点的坐标，并基于所述3D空间采样点的坐标得到射线RGB色彩值，以根据所述RGB色彩值进行基于所有RGB
‑
D图像的大范围光场的实时重建得到大范围光场的实时重建结果。2.根据权利要求1所述的方法，其特征在于，所述语义体中的体素的状态包括空状态、稠密填充状态和语义填充状态；所述语义填充状态表示为语义基元序号。3.根据权利要求1所述的方法，其特征在于，所述基于当前RGB
‑
D图像检测得到当前语义基元，并根据检测得到的当前语义基元和语义列表中的所有语义基元的相似度比较结果更新所述语义列表，包括：利用语义基元检测算法计算当前RGB
‑
D图像的当前语义基元；基于当前语义基元的几何参数和所占像素坐标对当前语义基元与语义列表中所有语义基元进行相似度比较；如果语义列表中存在与当前语义基元的相似度高于第一预设阈值的语义基元，则将当前语义基元与高于第一预设阈值的语义基元合并，并更新合并后的语义基元的几何参数；如果不存在，则将当前语义基元作为新的语义基元添加至语义列表以得到更新后的语义列表。4.根据权利要求2所述的方法，其特征在于，所述基于更新后的语义列表对所述语义体中的体素进行更新得到更新后的语义体，包括：基于当前RGB
‑
D图像和相机位姿得到当前语义基元在3D空间中的反投影结果，并根据所述反投影结果对语义体中需要被更新的体素集合进行状态判断；如果体素集合的当前状态是空状态或稠密填充状态，则将当前状态更新为语义填充状态，并在体素集合内填充当前语义基元在更新后的语义列表中的序号；如果体素集合的当前状态是语义填充状态，且已存储的语义基元序号与将要更新的语义基元序号不同，则将当前状态更新为稠密填充状态，以得到更新后的体素；基于更新后的体素得到更新后的语义体。5.根据权利要求4所述的方法，其特征在于，所述基于更新后的语义体得到基于射线...

【专利技术属性】
技术研发人员：方璐，营海洋，于涛，
申请(专利权)人：清华大学，
类型：发明
国别省市：