基于GIRAFFE的教室场景三维重建方法技术

本发明专利技术涉及一种基于GIRAFFE的教室场景三维重建方法，包括以下步骤：步骤S1:基于可控的图像合成模型GIRAFFE，将场景表示为合成生成神经特征场，将单个对象从背景及其形状和外观中分离出来；步骤S2:对由多个单独对象的场景，利用特征字段的附加属性来合成;步骤S3:结合体渲染和神经渲染技术,对场景进行渲染；步骤S4:基于原始图像集中训练可控的图像合成模型，得到最终的三维场景模型。本发明专利技术通过特征场组合的方法有效的解决处理多物体重建时无法自由编辑每个单一物体的情况。法自由编辑每个单一物体的情况。法自由编辑每个单一物体的情况。

【技术实现步骤摘要】
基于GIRAFFE的教室场景三维重建方法


[0001]本专利技术涉及三维重建
，具体涉及一种基于GIRAFFE的教室场景三维重建方法。

技术介绍

[0002]三维重建技术已经被广泛运用到游戏、影像娱乐、自动化驾驶、数字表演等众多领域，它的飞速发展加快了现实世界向虚拟现实世界映射的进程，链接了元宇宙数字空间。元宇宙是3D图像重建、VR、人工智能、可穿戴设备、Web3.0等前沿技术成熟之后相互融合的必然结果。随着“元宇宙”关键技术的发展，构建虚拟的、可参与的、实时交互的3D环境的任务也接踵而至。元宇宙作为沉浸式体验、跨空间融合的数字世界新入口，是实现高维度仿真、解决现实社会超复杂问题的全新方法论。三维重建与网络教育的结合将会是现代化教育的发展方向。元宇宙被认为是互联网从2D到3D的转变，在元宇宙中的生活、学习、工作等活动均将在3D场景中进行。在教育领域，元宇宙将为教师、学生、管理者等人员利用实景三维建模技术创建虚拟数字身份，突破空间的局限，营造了一个新的虚拟教育世界，将教学手段升级，更具备体验感。要实现这一转变，需要出色、具有与真实相似的三维本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于GIRAFFE的教室场景三维重建方法，其特征在于，包括以下步骤：步骤S1:基于可控的图像合成模型GIRAFFE，将场景表示为合成生成神经特征场，将单个对象从背景及其形状和外观中分离出来；步骤S2:对由多个单独对象的场景，利用特征字段的附加属性来合成；步骤S3:结合体渲染和神经渲染技术,对场景进行渲染；步骤S4:基于原始图像集中训练可控的图像合成模型，得到最终的三维场景模型。2.根据权利要求1所述基于GIRAFFE的教室场景三维重建方法，其特征在于，所述步骤S1具体为：设辐射场是一个连续函数F，描述了场景中每个点和每个观看方向的颜色和体素密度:其中F为5D向量值函数，x＝(x，y，z)是场景内坐标，其中F为5D向量值函数，x＝(x，y，z)是场景内坐标，表示方位角和极视角，c＝(r，g，b)表示颜色，σ表示体积密度；将3D点和观察方向映射到体素密度映射到体素密度和RGB颜色值将观察方向映射到体素密度和RGB颜色值其中是三维空间，是线性RGB空间，是球坐标下的视角。将预定义的位置编码逐元素应用于x和d的每个分量:γ(t,L)＝(sin(20tπ),cos(20tπ),...,sin(2
L
tπ),cos(2
L
tπ))
ꢀꢀꢀꢀ
(2)其中γ是空间的函数，t是标量输入，L是频率的倍频数；通过多层感知器(MLP)参数化f来学习神经辐射场:通过多层感知器(MLP)参数化f来学习神经辐射场:其中θ表示网络参数，L
x
、L
d
表示位置编码的输出维度；使用单独的特征场结合仿射变换来表示每个对象：T＝{s,t,R}
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)其中T是平移，缩放和旋转的变化的集合，表示尺度和平移参数，R∈SO(3)表示旋转矩阵，将点从对象空间转换为场景空间，如下所示：其中k(x)是变换函数，s1,s2,s3是目标所在的坐标系；在场景空间中进行体素渲染并在其规范对象空间中评估特征场：(σ,f)＝h
θ
(γ(k
‑1(x)),γ(k
‑1(d)),Z
s
,Z
a
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)。将生成的场景坐标系变回目标所在的坐标系，因此需要逆变换k
‑...

【专利技术属性】
技术研发人员：张福泉，傅天麟，邓人宇，
申请(专利权)人：闽江学院，
类型：发明
国别省市：