本发明专利技术涉及一种室外场景三维重建方法、装置、电子设备及存储介质。本发明专利技术所述的室外场景三维重建方法包括：获取室外场景图像，并计算所述室外场景图像对应的相机位姿；将所述室外场景图像中的每一个像素点分别生成一条视线光线，作为神经辐射场的输入；对每一条所述视线光线进行编码后，加入外观嵌入向量和瞬态嵌入向量，输入到训练好的神经辐射场进行神经渲染；基于所述神经辐射场的输出结果，对于每一条所述视线光线，使用体渲染的方式进行建模，得到所述室外场景图像在新的观察方向上的图像。本发明专利技术所述的室外场景三维重建方法，使用环绕地标性建筑拍摄的多张图片，快速、高质量地对室外地标性建筑进行三维重建。量地对室外地标性建筑进行三维重建。量地对室外地标性建筑进行三维重建。
【技术实现步骤摘要】
一种室外场景三维重建方法、装置、电子设备及存储介质
[0001]本专利技术涉及三维重建
，特别是涉及一种室外场景三维重建方法、装置、电子设备及存储介质。
技术介绍
[0002]近几年越来越多的旅游产业开始寻求线上的发展，“云游故宫”就是其中比较成功的典范。但现阶段较为普及的线上旅游多采用网页的形式，交互性不强。
[0003]随着虚拟现实技术的快速发展，将虚拟现实和旅游结合的产品也逐渐进入大众的视野。首先，VR线上旅游足不出户就可以给人身临其境的沉浸感体验，其次，VR线上旅游可以在一定程度下缓解人流，避免诸如黄金周的人流拥挤，最后，在游览体验上，VR线上旅游可以模拟出线下旅游没有的场景，不受时空的限制，比如可以随意选择不同季节的场景甚至是古代的场景。
[0004]VR线上旅游的关键技术是三维重建和三维渲染，如何重建出一个和真实场景别无二致的场景是VR线上旅游的关键性问题。从技术的分类上说，这是一个场景新视角生成的问题，通过围绕场景的一系列图片，构建场景模型，并通过这个场景模型预测拍摄图片中不存在的视角的问题，现阶段主流的方式是通过显式三维重建进行建模，即先通过点云和体素对场景建模，再通过渲染技术重建场景，现在商用的产品以及开源的软件多采用这种技术，例如COLMAP。但是，该方法存在诸多尚未解决的问题，比如，需要使用大量存储空间用于存储点云信息、不能很好地处理反射、透射的平面，虽然使用光线追踪技术可以较好地解决，但是对硬件的开销很大。
技术实现思路
[0005]基于此，本专利技术的目的在于，提供一种室外场景三维重建方法、装置、电子设备及存储介质，使用环绕地标性建筑拍摄的多张图片，快速、高质量地对室外地标性建筑进行三维重建。
[0006]第一方面，本专利技术提供一种室外场景三维重建方法，包括以下步骤：
[0007]获取室外场景图像，并计算所述室外场景图像对应的相机位姿；
[0008]将所述室外场景图像中的每一个像素点分别生成一条视线光线，作为神经辐射场的输入；
[0009]对每一条所述视线光线进行编码后，加入外观嵌入向量和瞬态嵌入向量，输入到训练好的神经辐射场进行神经渲染，得到所述视线光线上每一个坐标点的颜色、体密度和不确定度；
[0010]基于所述神经辐射场的输出结果，对于每一条所述视线光线，使用体渲染的方式进行建模，得到每一条所述视线光线对应的颜色；
[0011]根据每一条所述视线光线对应的颜色，得到所述室外场景图像在新的观察方向上的图像。
[0012]进一步地，所述神经辐射场的输入为场景体素坐标、光源方向和观察方向；
[0013]其中所述场景体素坐标和所述观察方向由感知光线表示，所述光源方向由光照光线表示；
[0014]所述感知光线和所述光照光线由所述视线光线通过所述相机位姿计算得到。
[0015]进一步地，对每一条所述视线光线进行编码后，加入外观嵌入向量和瞬态嵌入向量，输入到训练好的神经辐射场进行神经渲染，包括以下步骤：
[0016]将所述外观嵌入向量与编码后的所述视线光线拼接后，输入静态神经辐射场中进行神经渲染，得到所述视线光线对应的静态体密度和静态颜色；
[0017]将所述瞬态嵌入向量与编码后的所述视线光线拼接后，输入瞬态神经辐射场中进行神经旋绕，得到所述视线光线对应的瞬态体密度、瞬态颜色和不确定度。
[0018]进一步地，对每一条所述视线光线进行编码，包括以下步骤：
[0019]采用多分辨率哈希编码，将输入的所述视线光线按不同采样率进行采样，其中，采样率N由Nmin、Nmax和L这三个超参数控制，Nmax为N取值的最大值，Nmin为N取值的最小值，N为Nmin和Nmax之间取的L个值；
[0020]训练前，在不同采样率下设置随机的特征值；
[0021]训练过程中，使用哈希表存储特征值，将不同采样率下的特征值串联起来，得到多分辨率哈希编码的结果。
[0022]进一步地，使用以下公式，基于所述神经辐射场的输出结果，对于每一条所述视线光线，使用体渲染的方式进行建模，得到每一条所述视线光线对应的颜色：
[0023][0024][0025]其中，对于每条视线光线r(t)，最终渲染出的颜色可以表示为C(r)，T(t)表示光线从tn到t所累积的透明度，σ为神经渲染计算得出的静态体密度，c为神经渲染计算得出的静态颜色，σ(τ)为神经渲染计算得出的瞬态体密度，c(τ)为神经渲染计算得出的瞬态颜色。
[0026]进一步地，所述神经辐射场的损失函数为：
[0027][0028]其中，是加入不确定度的均方误差，是排除不确定度在无穷远处达到极小值，是为了防止模型使用瞬态密度来解释静态现象；β为神经渲染计算得出的不确定度，为瞬态颜色和静态颜色之和，C为输入图像的颜色，σ(τ)为神经渲染计算得出的瞬态体密度，λ为超参数。
[0029]第二方面，本专利技术还提供一种室外场景三维重建装置，包括：
[0030]室外场景图像获取模块，用于获取室外场景图像，并计算所述室外场景图像对应的相机位姿；
[0031]光线生成模块，用于将所述室外场景图像中的每一个像素点分别生成一条视线光线，作为神经辐射场的输入；
[0032]神经渲染模块，用于对每一条所述视线光线进行编码后，加入外观嵌入向量和瞬态嵌入向量，输入到训练好的神经辐射场进行神经渲染，得到所述视线光线上每一个坐标点的颜色、体密度和不确定度；
[0033]体渲染模块，用于基于所述神经辐射场的输出结果，对于每一条所述视线光线，使用体渲染的方式进行建模，得到每一条所述视线光线对应的颜色；
[0034]结果生成模块，用于根据每一条所述视线光线对应的颜色，得到所述室外场景图像在新的观察方向上的图像。
[0035]第三方面，本专利技术还提供一种电子设备，包括：
[0036]至少一个存储器以及至少一个处理器；
[0037]所述存储器，用于存储一个或多个程序；
[0038]当所述一个或多个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如本专利技术第一方面任一所述的一种室外场景三维重建方法的步骤。
[0039]第四方面，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本专利技术第一方面任一所述的一种室外场景三维重建方法的步骤。
[0040]本专利技术提供的一种室外场景三维重建方法、装置、电子设备及存储介质，通过采用多分辨率哈希编码这一高效的编码方式进行编码，从而达到快速建模的目的。针对室外环境中的不可控因素主要体现在两点，一是光照色差这一不可控因素，解决的方案是采用外观嵌入，二是行人车辆等暂时性遮挡这一问题，解决的方案是采取瞬态嵌入。总的训练思路是将生成的光线通过多分辨率哈希编码输入到神经辐射场中，将输出通过体渲染，得到生成的图片，继而将生成的图片与原始图片计算损失函数，通过不断训练，使损失函数最小化。实验证明，在存在遮本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种室外场景三维重建方法，其特征在于，包括以下步骤：获取室外场景图像，并计算所述室外场景图像对应的相机位姿；将所述室外场景图像中的每一个像素点分别生成一条视线光线，作为神经辐射场的输入；对每一条所述视线光线进行编码后，加入外观嵌入向量和瞬态嵌入向量，输入到训练好的神经辐射场进行神经渲染，得到所述视线光线上每一个坐标点的颜色、体密度和不确定度；基于所述神经辐射场的输出结果，对于每一条所述视线光线，使用体渲染的方式进行建模，得到每一条所述视线光线对应的颜色；根据每一条所述视线光线对应的颜色，得到所述室外场景图像在新的观察方向上的图像。2.根据权利要求1所述的一种室外场景三维重建方法，其特征在于：所述神经辐射场的输入为场景体素坐标、光源方向和观察方向；其中所述场景体素坐标和所述观察方向由感知光线表示，所述光源方向由光照光线表示；所述感知光线和所述光照光线由所述视线光线通过所述相机位姿计算得到。3.根据权利要求1所述的一种室外场景三维重建方法，其特征在于，对每一条所述视线光线进行编码后，加入外观嵌入向量和瞬态嵌入向量，输入到训练好的神经辐射场进行神经渲染，包括以下步骤：将所述外观嵌入向量与编码后的所述视线光线拼接后，输入静态神经辐射场中进行神经渲染，得到所述视线光线对应的静态体密度和静态颜色；将所述瞬态嵌入向量与编码后的所述视线光线拼接后，输入瞬态神经辐射场中进行神经旋绕，得到所述视线光线对应的瞬态体密度、瞬态颜色和不确定度。4.根据权利要求1所述的一种室外场景三维重建方法，其特征在于，对每一条所述视线光线进行编码，包括以下步骤：采用多分辨率哈希编码，将输入的所述视线光线按不同采样率进行采样，其中，采样率N由Nmin、Nmax和L这三个超参数控制，Nmax为N取值的最大值，Nmin为N取值的最小值，N为Nmin和Nmax之间取的L个值；训练前，在不同采样率下设置随机的特征值；训练过程中，使用哈希表存储特征值，将不同采样率下的特征值串联起来，得到多分辨率哈希编码的结果。5.根据权利要求3所述的一种室外场景三维重建方法，其特征在于，使用以下公式，基于所述神经辐射场的输出结...
【专利技术属性】
技术研发人员：陈壹华，侯立培，梁英其，
申请(专利权)人：华南师范大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。