【技术实现步骤摘要】
本专利技术涉及三维重建，尤其是一种基于神经渲染的三维家居漫游场景重建方法、系统及介质。
技术介绍
1、目前常用的漫游场景重建方案主要有基于真实物理场景的漫游场景重建和基于三维家居场景模型的漫游场景重建。但目前基于真实物理场景的漫游场景方案主要是通过专业设备采集真实场景图像并结合图像后处理的方式，其有着设备的专业性、取景技术或经验，以及后期图像处理几方面需求，这带来了繁琐性、高门槛以及高耗时等问题，实际中常用的全景图拼接的方式也带来了空间扭曲变形和漫游自由度受限等不足；而基于三维家居场景模型的漫游场景方案通常是需要在专业的三维软件中进行浏览，这为后续持续浏览带来了3d软件依赖，目前仍较难在移动端实现广泛应用，且如若要给客户呈现具备真实性的室内渲染效果，还需要复杂的渲染引擎渲染图片，这带来了严重的时间开销且难以实现自由漫游。
技术实现思路
1、为解决上述技术问题，本专利技术的目的在于：提供一种基于神经渲染的三维家居漫游场景重建方法、系统及介质，能够提供高实时渲染效果以实现自由漫游，并有效节约时间成本。
2、本专利技术一方面所采取的技术方案是：
3、一种基于神经渲染的三维家居漫游场景重建方法，包括以下步骤：
4、获取三维家居户型数据，进而根据所述三维家居户型数据构建三维户型模型；
5、初始化相机参数，根据空间布局和所述三维户型模型得到第一相机位姿信息，并根据预设的大类家具和所述三维户型模型得到第二相机位姿信息，进而根据所述第一相机位姿信息和
6、将所述三维家具户型数据和所述相机位姿数据输入渲染引擎，根据所述相机参数得到与所述相机位姿数据对应的渲染图像，进而根据所述相机位姿数据和所述渲染图像构建数据集，并根据所述数据集训练全连接神经网络，得到漫游场景重建模型；
7、获取待重建漫游场景的目标相机位姿，将所述目标相机位姿输入所述漫游场景重建模型，得到场景漫游图像。
8、进一步，所述三维家居户型数据包括多个主体，所述主体包括门、窗、家具、墙体以及地面结构，所述根据所述三维家居户型数据构建三维户型模型这一步骤，其具体包括：
9、将各所述主体分别创建为独立对象，并保存各所述主体的特征信息和关联信息；
10、根据所述特征信息和所述关联信息，将所述门、所述窗以及所述墙体构建为矩形，将所述家具创建为三维包围盒，将所述地面结构创建为不规则多棱柱，得到所述三维户型模型。
11、进一步，所述根据空间布局和所述三维户型模型得到第一相机位姿信息，并根据预设的大类家具和所述三维户型模型得到第二相机位姿信息，进而根据所述第一相机位姿信息和所述第二相机位姿信息得到相机位姿数据这一步骤，其具体包括：
12、通过轻量型三维可视化程序预览所述三维户型模型，并在所述轻量型三维可视化程序的平面预览界面绘制多个点，根据各所述点构成多个线段；
13、对各所述线段进行插值，得到多个第一相机摆放位置，并根据各所述线段的法向确定相机初始方向，根据所述相机初始方向在所述第一相机摆放位置进行随机扰动，得到围绕所述空间布局的所述第一相机位姿信息；
14、根据所述大类家具确定类别中体积最大的所述三维包围盒，根据体积最大的所述三维包围盒的最小外接圆确定第二相机摆放位置，进而在所述第二相机摆放位置进行随机扰动，得到围绕所述大类家具的所述第二相机位姿信息；
15、对所述第一相机位姿信息和所述第二相机位姿信息进行迭代递减，得到所述相机位姿数据。
16、进一步，所述将所述三维家具户型数据和所述相机位姿数据输入渲染引擎，根据所述相机参数得到与所述相机位姿数据对应的渲染图像这一步骤，其具体包括：
17、设定所述渲染图像的尺寸，进而根据所述相机参数计算得到相机焦距；
18、根据所述渲染图像的尺寸和所述相机焦距构建相机内参矩阵；
19、将所述三维家具户型数据和所述相机位姿数据输入所述渲染引擎，根据所述相机内参矩阵和所述相机参数得到与所述相机位姿数据对应的所述渲染图像得到与所述相机位姿数据对应的所述渲染图像。
20、进一步，所述全连接神经网络包括密度神经网络和颜色神经网络，所述根据所述数据集训练全连接神经网络，得到漫游场景重建模型这一步骤，其具体包括：
21、根据所述数据集的图像尺寸构建像素平面坐标网格，并将所述像素平面坐标网格中的像素平面坐标转为齐次坐标，进而将所述齐次坐标由相机坐标系转换为世界坐标系；
22、将所述世界坐标系下像素点的坐标与相机光心坐标进行相减，得到所述像素点的第一方向向量，将所述第一方向向量进行归一化处理，得到第二方向向量，进而根据所述第二方向向量确定所述像素点的射线起点和射线方向；
23、根据所述射线起点和所述射线方向通过粗采样方式和细采样方式得到多个采样点；
24、构建多个不同分辨率的哈希网格，进而根据所述哈希网格、所述密度神经网络以及所述颜色神经网络得到各所述采样点的密度值和颜色值；
25、将所述密度值和所述颜色值进行叠加，得到目标像素点的预测颜色值；
26、根据所述预测颜色值和实际像素颜色值计算损失值，根据所述损失值对所述全连接神经网络进行更新训练，得到所述漫游场景重建模型。
27、进一步，所述世界坐标系下所述像素点的坐标通过下式确定：
28、
29、其中，pw表示所述世界坐标系下所述像素点的坐标，px表示相机坐标系下所述像素点的坐标，mc2w表示相机外参矩阵，me表示所述相机内参矩阵。
30、进一步，所述构建多个不同分辨率的哈希网格，进而根据所述哈希网格、所述密度神经网络以及所述颜色神经网络得到各所述采样点的密度值和颜色值这一步骤，其具体包括：
31、根据预设的分辨率个数、哈希表长度、哈希编码特征维度以及初始分辨率大小构建多个不同分辨率的哈希网格，根据空间哈希函数和各所述哈希网格进行特征映射，得到不同分辨率下的哈希编码特征值；
32、构建所述密度神经网络和所述颜色神经网络，将各所述哈希编码特征值输入所述密度神经网络，得到各所述密度值，进而将所述第二方向向量的特征编码和各所述密度值输入所述颜色神经网络，得到各所述颜色值。
33、本专利技术另一方面所采取的技术方案是：
34、一种基于神经渲染的三维家居漫游场景重建系统，包括：
35、户型模型构建模块，用于获取三维家居户型数据，进而根据所述三维家居户型数据构建三维户型模型；
36、相机位姿数据获取模块，用于初始化相机参数，根据空间布局和所述三维户型模型得到第一相机位姿信息，并根据预设的大类家具和所述三维户型模型得到第二相机位姿信息，进而根据所述第一相机位姿信息和所述第二相机位姿信息得到相机位姿数据；
37、场景重建模型构建模块，用于将所述三维家具户型数据和所述相机位姿数据输入本文档来自技高网...
【技术保护点】
1.一种基于神经渲染的三维家居漫游场景重建方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于神经渲染的三维家居漫游场景重建方法，其特征在于，所述三维家居户型数据包括多个主体，所述主体包括门、窗、家具、墙体以及地面结构，所述根据所述三维家居户型数据构建三维户型模型这一步骤，其具体包括：
3.根据权利要求2所述的一种基于神经渲染的三维家居漫游场景重建方法，其特征在于，所述根据空间布局和所述三维户型模型得到第一相机位姿信息，并根据预设的大类家具和所述三维户型模型得到第二相机位姿信息，进而根据所述第一相机位姿信息和所述第二相机位姿信息得到相机位姿数据这一步骤，其具体包括：
4.根据权利要求1所述的一种基于神经渲染的三维家居漫游场景重建方法，其特征在于，所述将所述三维家具户型数据和所述相机位姿数据输入渲染引擎，根据所述相机参数得到与所述相机位姿数据对应的渲染图像这一步骤，其具体包括：
5.根据权利要求4所述的一种基于神经渲染的三维家居漫游场景重建方法，其特征在于，所述全连接神经网络包括密度神经网络和颜色神经网络，所述根据所述数
6.根据权利要求5所述的一种基于神经渲染的三维家居漫游场景重建方法，其特征在于，所述世界坐标系下所述像素点的坐标通过下式确定：
7.根据权利要求5所述的一种基于神经渲染的三维家居漫游场景重建方法，其特征在于，所述构建多个不同分辨率的哈希网格，进而根据所述哈希网格、所述密度神经网络以及所述颜色神经网络得到各所述采样点的密度值和颜色值这一步骤，其具体包括：
8.一种基于神经渲染的三维家居漫游场景重建系统，其特征在于：包括：
9.一种计算机设备，其特征在于，包括：
10.一种计算机可读存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由所述处理器执行时用于实现权利要求1-7中任一项所述的方法。
...【技术特征摘要】
1.一种基于神经渲染的三维家居漫游场景重建方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于神经渲染的三维家居漫游场景重建方法，其特征在于，所述三维家居户型数据包括多个主体，所述主体包括门、窗、家具、墙体以及地面结构，所述根据所述三维家居户型数据构建三维户型模型这一步骤，其具体包括：
3.根据权利要求2所述的一种基于神经渲染的三维家居漫游场景重建方法，其特征在于，所述根据空间布局和所述三维户型模型得到第一相机位姿信息，并根据预设的大类家具和所述三维户型模型得到第二相机位姿信息，进而根据所述第一相机位姿信息和所述第二相机位姿信息得到相机位姿数据这一步骤，其具体包括：
4.根据权利要求1所述的一种基于神经渲染的三维家居漫游场景重建方法，其特征在于，所述将所述三维家具户型数据和所述相机位姿数据输入渲染引擎，根据所述相机参数得到与所述相机位姿数据对应的渲染图像这一步骤，其具体包括：
5.根据权利要求4所述...
【专利技术属性】
技术研发人员：柯建生，戴振军，
申请(专利权)人：广州极点三维信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。