本申请公开了一种基于NeRf重建三维底座场景渲染的VR编辑应用方法，能够实现实景三维漫游功能和三维场景打标签功能。采用本方法实现的实景三维漫游功能，能够在场景中进行自由移动不受预置点位限制，此外，本方法本质上是在渲染每一帧场景图片，能够减少项目内存大小提高加载速度。此外，本方法通过在场景中进行打标签，并将标签融合进训练模型中进行训练，可以实现多视角下标签的全局位置一致性。这意味着标签在不同视角下的位置和姿态都能够被准确地捕捉和渲染，从而提高了标签的准确性和一致性。一致性。一致性。
【技术实现步骤摘要】
一种基于NeRf重建三维底座场景渲染的VR编辑应用
[0001]本申请涉及虚拟现实
，特别涉及一种基于NeRf重建三维底座场景渲染的VR编辑应用。
技术介绍
[0002]虚拟现实(Virtual Reality，VR)技术中的编辑应用中包括实景三维漫游与三维场景打标签两项功能。目前的实景三维漫游功能是对提前用全景相机录制好的场景在网页端进行移动查看完成移动漫游的功能；三维场景打标签功能是在三维实景查看过程中，对查看到的环境的某一点进行打标签的功能。当前上述两项功能均存在待改进的缺陷点。
[0003]当前实景三维漫游功能存在以下缺点：
[0004]1、仅能在提前预置的固定点位进行查看，无法在场景中进行自由移动查看，漫游自由度低，查看受限制，存在该问题主要原因是通过该方式进行实景漫游的本质是通过全景图片进行查看，而全景图片是由提前拍摄录制的数据获得，由于提前拍摄的位置无法改变，也因此限制了实景漫游的自由度。
[0005]2、查看场景存在畸变，该问题主要原因是全景相机是一个鱼眼类的相机，该类相机视野场大，但是输出的图像存在较大畸变，由于需要通过全景图片进行查看，因此该畸变无法消除。
[0006]3、耗时长，由于点位设置和查看都需要重建场景模型，而重建场景模型是要较长的时间。
[0007]当前三维场景打标签功能的实现流程为：在实景查看中，使用鼠标对着场景中的某一点进行点击获取坐标并设立标签时，会从当前图像的像素点发射一条射线，直至该射线碰撞到最近的场景模型实体，以该点作为该标签的三维坐标点，进而把标签在场景模型中进行实体化。由于该过程同样依赖于重建场景模型，因此也存在建模消耗时间长的问题。
技术实现思路
[0008]本申请的目的在于提供一种基于NeRf重建三维底座场景渲染的VR编辑应用，其能够改善上述问题。
[0009]本申请的实施例是这样实现的：
[0010]第一方面，本申请提供一种基于NeRf重建三维底座场景渲染的VR编辑应用方法，其包括：
[0011]S1:获取关于目标场景的多维度现场数据；
[0012]S2:构建一个多层感知器神经网络模型，通过所述多维度现场数据对所述多层感知器神经网络模型进行多轮训练，得到所述目标场景的场景生成模型；
[0013]S3:获取用户输入的查看位置，将所述查看位置输入所述场景生成模型，得到所述查看位置对应的所述目标场景中各发光点的颜色值和整体密度值；
[0014]S4:根据所述颜色值和所述整体密度值，渲染出所述查看位置能够查看到的所述
目标场景的三维实景。
[0015]其中,S1、S2等仅为步骤标识，方法的执行顺序并不一定按照数字由小到大的顺序进行，比如可以是先执行步骤S2再执行步骤S1，本申请不做限制。
[0016]可以理解，本申请公开了一种基于神经辐射场(Neural Radiance Fields，NeRf)重建三维底座场景渲染的VR编辑应用方法，通过目标场景的多维现场数据对一个多层感知器神经网络模型进行多轮训练，得到该目标场景的场景生成模型；再由用户输入任一查看位置，即可根据该场景生成模型的输出数据渲染出三维实景。采用本方法实现实景三维漫游，能够在场景中进行自由移动不受预置点位限制，此外，本方法本质上是在渲染每一帧场景图片，并不依赖于计算量较大的网格(Mesh)三维模型，因此能够减少项目内存大小提高加载速度。
[0017]在本申请可选的实施例中，所述步骤S1包括：
[0018]S11：通过相机对目标场景进行多方位录制，得到录制视频；
[0019]S12：对所述录制视频按时间顺序进行抽帧，并按照统一尺寸裁剪抽取的各帧画面，得到所述目标场景的图片序列；
[0020]S13：对所述图片序列中的每张图片进行相机位姿计算，得到包括每张图片对应的相对位姿的位姿文件；
[0021]S14：根据所述图片序列和所述位姿文件，得到所述所述图片序列中每张图片对应的深度图和法线图；
[0022]S15：采用物体检测分割算法(InSPyReNet)根据所述图片序列，得到所述图片序列的掩码图。
[0023]在本申请可选的实施例中，所述多维度现场数据包括以下至少一项：所述目标场景的图片序列；所述位姿文件；所述图片序列中每张图片对应的所述深度图和所述法线图；所述图片序列的所述掩码图。
[0024]在本申请可选的实施例中，所述多层感知器神经网络模型包括输入层、隐藏层和输出层；所述多层感知器神经网络模型的输出数据包括以下五维向量：第一方向光辐射度；第二方向光辐射度；第三方向光辐射度；前景密度值；后景密度值。
[0025]在本申请可选的实施例中，所述步骤S2包括：
[0026]S21：构建所述多层感知器(MLP)神经网络模型；
[0027]S22：将所述多维度现场数据输入所述多层感知器神经网络模型，得到所述第一方向光辐射度、所述第二方向光辐射度、所述第三方向光辐射度、所述前景密度值和所述后景密度值；
[0028]S23：使用射线步进(Ray Marching)算法根据所述第一方向光辐射度(radiance)、所述第二方向光辐射度、所述第三方向光辐射度、所述前景密度值和所述后景密度值估算对应的颜色值，得到估算颜色值；
[0029]S24：根据所述估算颜色值和真实颜色值计算损失值，根据所述损失值进行反向传播，更新所述多层感知器神经网络模型中每个神经元之间的连接权重，得到所述目标场景的场景生成模型。
[0030]在本申请可选的实施例中，所述步骤S3包括：
[0031]S31：获取用户输入的查看点三维坐标和查看角度；
[0032]S32：将所述查看点三维坐标和所述查看角度输入所述场景生成模型，得到所述查看位置对应的所述目标场景中各发光点的所述第一方向光辐射度、所述第二方向光辐射度、所述第三方向光辐射度、所述前景密度值和所述后景密度值；
[0033]S33：使用Ray Marching算法根据所述第一方向光辐射度、所述第二方向光辐射度、所述第三方向光辐射度、所述前景密度值和所述后景密度值计算所述目标场景中各发光点的颜色值；
[0034]S34：结合所述前景密度值和所述后景密度值，得到所述目标场景中各发光点的整体密度值。
[0035]在本申请可选的实施例中，上述VR编辑应用方法还包括
[0036]S5：获取用户针对所述目标场景的三维实景标注的标签信息；
[0037]S6：将所述标签信息输入所述多层感知器神经网络模型进行训练，更新所述场景生成模型。
[0038]其中，所述标签信息包括标签图像和标签位置。
[0039]可以理解，本申请提供的打标签功能具有以下优势：
[0040]1、减少项目内存大小和提高加载速度：传统的三维模型(如mesh模型)需要占用大量内存空间，特别是建筑级的mesh模型，可能占用几个GB的内存。而采用NeRF进行实景漫游时，本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于NeRf重建三维底座场景渲染的VR编辑应用，其特征在于，包括：S1:获取关于目标场景的多维度现场数据；S2:构建一个多层感知器神经网络模型，通过所述多维度现场数据对所述多层感知器神经网络模型进行多轮训练，得到所述目标场景的场景生成模型；S3:获取用户输入的查看位置，将所述查看位置输入所述场景生成模型，得到所述查看位置对应的所述目标场景中各发光点的颜色值和整体密度值；S4:根据所述颜色值和所述整体密度值，渲染出所述查看位置能够查看到的所述目标场景的三维实景。2.根据权利要求1所述的基于NeRf重建三维底座场景渲染的VR编辑应用，其特征在于，所述步骤S1包括：S11：通过相机对目标场景进行多方位录制，得到录制视频；S12：对所述录制视频按时间顺序进行抽帧，并按照统一尺寸裁剪抽取的各帧画面，得到所述目标场景的图片序列；S13：对所述图片序列中的每张图片进行相机位姿计算，得到包括每张图片对应的相对位姿的位姿文件；S14：采用Omnidata Model根据所述图片序列和所述位姿文件，得到所述所述图片序列中每张图片对应的深度图和法线图；S15：采用InSPyReNet根据所述图片序列，得到所述图片序列的掩码图。3.根据权利要求2所述的基于NeRf重建三维底座场景渲染的VR编辑应用，其特征在于，所述多维度现场数据包括以下至少一项：所述目标场景的图片序列；所述位姿文件；所述图片序列中每张图片对应的所述深度图和所述法线图；所述图片序列的所述掩码图。4.根据权利要求1所述的基于NeRf重建三维底座场景渲染的VR编辑应用，其特征在于，所述多层感知器神经网络模型包括输入层、隐藏层和输出层；所述多层感知器神经网络模型的输出数据包括以下五维向量：第一方向光辐射度；第二方向光辐射度；第三方向光辐射度；前景密度值；后景密度值。5.根据权利要求4所述的基于NeRf重建三维底座场景渲染的VR编辑应用，其特征在于，所述步骤S2包括：S21：构建所述多层感知器神经网络模型；S22：将所述多维度现场数据输入所述多层感知器神经网络模型，得到所述第一方向光辐射度、所述第二方向光辐射度、所述第三方向光辐射度、所述前景密度...
【专利技术属性】
技术研发人员：石立阳，张誉升，杨建，黄星淮，祝昌宝，
申请(专利权)人：数元科技广州有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。