一种基于神经辐射场的场景物体融合方法及装置制造方法及图纸

本发明专利技术提供了一种基于神经辐射场的场景物体融合方法及装置，所述方法包括如下步骤：S1，获取一组在固定未知环境光下捕获的场景图片和一组在固定未知环境光下捕获的单个物体图片；S2，使用基于神经辐射场获取所述场景图片和所述物体图片的反射信息和光照信息；S3，获取指定物体插入场景的位置，沿场景光线采样后，根据人为指定的场景和物体坐标系的变换关系，将场景点转换得到对应的物体点坐标，将对应点的密度和颜色对应融合；本发明专利技术通过结合本征图像分解算法，从神经辐射场中分解出光照图和反射图，表示为场景的材质和光照信息，基于本征图像分解的先验知识，实现在单一静态未知光源下获取的图片的逆渲染分解。光源下获取的图片的逆渲染分解。光源下获取的图片的逆渲染分解。

【技术实现步骤摘要】
一种基于神经辐射场的场景物体融合方法及装置


[0001]本专利技术涉及图像处理
，具体来说，涉及一种基于神经辐射场的场景物体融合方法及装置。

技术介绍

[0002]物体和场景的融合编辑和渲染是计算机图形学中的经典研究问题，并在影视娱乐产业、虚拟现实、增强现实等领域中得到广泛应用。其目标是将物体融合到场景中生成用户所需要的视觉场景并提供身临其境的视觉体验。
[0003]传统计算机图形学的算法通常依赖于对物理世界的费力捕捉和重建，包括几何、纹理等属性，利用场景和物体的几何模型进行组合，然后采用光栅化、光线追踪等传统渲染方法进行视图合成，以提供用户所自定义的视觉体验。随着深度学习和神经网络的发展，越来越多传统图形学中的渲染方法通过结合神经网络产生不错的效果。其中参考文献1通过用多层感知机隐式的表示三维场景，并采用直接体渲染的方法实现了高质量逼真效果的新视角合成。NeRF首次利用五维输入的隐式神经辐射场来表示复杂场景，并结合了可微分的体渲染方法。该方法思路新颖且形式简洁，同时能效果达到惊艳的新视角合成效果。Blender等三维图形图像软件本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经辐射场的场景物体融合方法，其特征在于：包括如下步骤：S1，获取一组在固定未知环境光下捕获的场景图片和一组在固定未知环境光下捕获的单个物体图片；S2，使用基于神经辐射场获取所述场景图片和所述物体图片的反射信息和光照信息；S3，获取指定物体插入场景的位置，沿场景光线采样后，根据人为指定的场景和物体坐标系的变换关系，将场景点转换得到对应的物体点坐标，将对应点的密度和颜色对应融合。2.根据权利要求1所述的方法，其特征在于：所述步骤S3具体为：S31，采样空间点，场景在此包围盒外的采样点不变，在此包围盒内的光线部分改为采样128个点；S32，计算场景和物体的光照值、反射率、法向，将场景采样点输入到训练好的场景的网络，得到对应的体素密度、光照值、反射率；将物体采样点输入到训练好的物体的网络，得到对应的体素密度、反射率、法向；S33，融合场景和物体的对应点渲染得到图片，对应点融合需要分别融合光照值、反射率和密度，融合后的密度为相加后归一化的结果，保证密度始终在0
‑
1之间；融合后的光照值和反射率为加权和，权重为体素粒子的密度；然后通过累计公式得到的光照图和反射图，并合成最终的图片。3.根据权利要求2所述的方法，其特征在于：所述步骤S33还包括：获取人为指定光源视角下生成深度图，空间中任意三维体素粒子的光源可见性可通过比较该粒子在光源视角下的深度是否比光源视角深度更大，如果更大说明该体素粒子前面有遮挡，因此该体素粒子光源可见性为0，需要添加阴影，反之，光源可见性为1，并将光源可见性乘该粒子的光照值得到包含阴影效果的粒子光照值。4.根据权利要求1所述的方法，其特征在于：所述步骤S2具体为：使用基于神经辐射场通过图片自监督训练MLP网络获取所述场景图片和所述物体图片的反射信息和光照信息。5.根据权利要求4所述的方法，其特征在于：所述步骤S2中，约束物体和场景的反射率图的三通道颜色值的最大值的均值为0.6；并采用两种正则化约束，一为限制反射率图和输入图片的色度一致；二为平滑光照图，使得光照图的亮度差异尽可能小。6.一种基于神经辐射场的场景物体融合装置，其特征在于：包括...

【专利技术属性】
技术研发人员：邓正秋，吕绍和，
申请(专利权)人：湖南马栏山视频先进技术研究院有限公司，
类型：发明
国别省市：