用于呈现虚拟表示的方法和装置、计算机设备和存储介质制造方法及图纸

一种用于呈现真实空间的虚拟表示的方法和装置、计算机设备、存储介质和计算机程序产品。该方法包括：获取多个彩色图像和与多个彩色图像分别对应的多个深度图像；针对多个观测点中的每一个观测点，将对应于该观测点的彩色图像和对应于该彩色图像的深度图像进行叠加以得到叠加图像；将多个观测点对应的各相应叠加图像分别映射到虚拟空间中的多个球体上；对多个球体的各顶点在虚拟空间中进行空间变换；针对每一个球体的每个顶点，进行空间编辑和着色处理，从而得到真实空间的相应局部场景在虚拟空间中的相应虚拟表示以供呈现。

【技术实现步骤摘要】
用于呈现虚拟表示的方法和装置、计算机设备和存储介质
本公开涉及虚拟现实(VR)技术，特别是涉及一种用于呈现真实空间的虚拟表示的方法和装置、计算机设备、存储介质和计算机程序产品。
技术介绍
虚拟现实技术已经应用到了多个领域。例如，该技术已经用于展示真实空间(例如，待出售/待租赁的房屋)的内部场景，使得用户能够直观了解真实空间内的各种信息。目前市面上存在的用于呈现真实空间的技术需要对真实空间进行三维建模来生成虚拟现实图像。由于三维建模过程复杂，需要大量的运算能力和处理时间。并且，在三维模型生成之前无法观看该虚拟现实图像。这可以导致以下问题：1、在在线观看虚拟现实图像的情况下，用户可能需要等待过长的时间，用户体验较差；2、一旦无法正确生成三维模型，就无法产生虚拟现实图像，实用性较差。
技术实现思路
提供一种缓解、减轻或甚至消除上述问题中的一个或多个的机制将是有利的。根据本公开的一方面，提供了一种用于呈现真实空间的虚拟表示的方法，包括：获取多个彩色图像和与多个彩色图像分别对应的多个深度图像，多个彩色图像对应于真实空间内多个观测点处观测到的真实空间的相应局部场景，多个深度图像分别包含相应局部场景的深度信息；针对每一个观测点，将多个彩色图像中对应于该观测点的彩色图像和多个深度图像中对应于该彩色图像的深度图像进行叠加，以得到叠加图像；将多个观测点对应的相应叠加图像分别映射到虚拟空间中的多个球体上，以使得每个球体对应于多个观测点中的一个相应观测点并包括多个顶点，每个顶点具有相应的颜色信息和相应的深度信息；基于真实空间内多个观测点之间的相对空间关系，对多个球体的各顶点在虚拟空间中进行空间变换；针对每一个球体的每个顶点，基于该顶点的深度信息对该顶点进行空间编辑；以及针对每一个球体的每个顶点，基于该顶点的颜色信息对该顶点进行着色处理，从而得到真实空间的相应局部场景在虚拟空间中的相应虚拟表示以供呈现。在一些实施例中，基于该顶点的深度信息对该顶点进行空间编辑包括：使该顶点的坐标沿着该顶点的法向移动一偏移距离，偏移距离对应于该顶点的深度信息。在一些实施例中，基于该顶点的深度信息对该顶点进行空间编辑还包括：在使该顶点的坐标移动之前：获取该顶点的深度信息；对深度信息表示的深度值进行归一化；以及将归一化后的深度值乘以该顶点所在球体的半径，以得到偏移距离。在一些实施例中，基于真实空间内多个观测点之间的相对空间关系，对多个球体的各顶点在虚拟空间中进行空间变换，包括：对于每个球体的每个顶点：使用空间变换矩阵对该顶点的坐标进行空间变换，空间变换包括从以下各项所组成的组中选择的至少一项：缩放、旋转和平移。在一些实施例中，空间变换包括旋转，并且旋转的角度基于该顶点所在球体对应的观测点处观测到的局部场景与多个观测点中的其他观测点处观测到的局部场景的重合程度。在一些实施例中，空间变换包括平移，并且平移的距离基于该顶点所在球体对应的观测点与多个观测点中的其他观测点之间的相对空间位置。在一些实施例中，基于该顶点的颜色信息对该顶点进行着色处理包括：将该顶点的颜色信息和该顶点的坐标输入片元着色器，以进行着色处理。在一些实施例中，上述方法还包括：在视图中呈现相应虚拟表示中的第一虚拟表示，第一虚拟表示对应于多个观测点中的当前观测点。在一些实施例中，上述方法还包括：响应于检测到指示从当前观测点移动到多个观测点中的另一观测点的用户操作，刷新视图以呈现相应虚拟表示中的第二虚拟表示，第二虚拟表示对应于另一观测点。在一些实施例中，基于该顶点的深度信息对该顶点进行空间编辑在对多个球体的各顶点在虚拟空间中进行空间变换之前执行。在一些实施例中，多个球体具有相同的半径。在一些实施例中，获取多个彩色图像和与多个彩色图像分别对应的多个深度图像包括：从服务器接收多个彩色图像和多个深度图像。在一些实施例中，上述方法还包括：在获取多个彩色图像和与多个彩色图像分别对应的多个深度图像之前，获取多组原始彩色图像，每组原始彩色图像为在多个观测点中的一个相应观测点处从不同方向采集的彩色图像；以及将每组原始彩色图像合成为相应的单张合成彩色图像，作为对应于相应观测点处观测到的真实空间的局部场景的彩色图像。在一些实施例中，每组原始彩色图像包括在相应观测点处从上、下、左、右、前、后六个方向分别采集到的真实空间的六张彩色图像。在一些实施例中，将每组原始彩色图像合成为相应的单张合成彩色图像包括：通过高斯-克吕格投影将该组原始彩色图像合成为合成彩色图像。在一些实施例中，上述方法还包括：在获取多个彩色图像和与多个彩色图像分别对应的多个深度图像之前：获取多组原始深度图像，每组原始深度图像为在多个观测点中的一个相应观测点处从不同方向采集的深度图像；以及将每组原始深度图像合成为相应的单张合成深度图像，作为包含相应观测点处观测到的真实空间的局部场景的深度信息的深度图像。根据本公开的另一方面，提供了一种用于呈现真实空间的虚拟表示的装置，包括：图像获取单元，配置成获取多个彩色图像和与多个彩色图像分别对应的多个深度图像，多个彩色图像对应于真实空间内多个观测点处观测到的真实空间的相应局部场景，多个深度图像分别包含相应局部场景的深度信息；图像叠加单元，配置成针对每一个观测点，将多个彩色图像中对应于该观测点的彩色图像和多个深度图像中对应于该彩色图像的深度图像进行叠加，以得到叠加图像；映射单元，配置成将多个观测点对应的相应叠加图像分别映射到虚拟空间中的多个球体上，以使得每个球体对应于多个观测点中的一个相应观测点并包括多个顶点，每个顶点具有相应的颜色信息和相应的深度信息；空间变换单元，配置成基于真实空间内多个观测点之间的相对空间关系，对多个球体的各顶点在虚拟空间中进行空间变换；顶点编辑单元，配置成针对每一个球体的每个顶点，基于该顶点的深度信息对该顶点进行空间编辑；以及着色单元，配置成针对每一个球体的每个顶点，基于该顶点的颜色信息对该顶点进行着色处理，从而得到真实空间的相应局部场景在虚拟空间中的相应虚拟表示以供呈现。在一些实施例中，顶点编辑单元还配置成：使待编辑顶点的坐标沿着该顶点的法向移动一偏移距离，偏移距离对应于该顶点的深度信息。在一些实施例中，顶点编辑单元还配置成：获取待编辑顶点的深度信息；对深度信息表示的深度值进行归一化；以及将归一化后的深度值乘以该顶点所在球体的半径，以得到偏移距离。在一些实施例中，空间变换单元还配置成：对于每个球体的每个顶点，使用空间变换矩阵对该顶点的坐标进行空间变换，空间变换包括从以下各项所组成的组中选择的至少一项：缩放、旋转和平移。在一些实施例中，空间变换单元包括：旋转单元，旋转单元配置成使用旋转矩阵对顶点的坐标进行旋转，并且旋转的角度基于该顶点所在球体对应的观测点处观测到的局部场景与多个观测点中的其他观测点处观测到的局部场景的重合程度。在一些实施例中，空间变换单元包括：平移单元，平移单元配置成使用平移矩阵对顶点的坐标进行平移，并且平移的距离基于该顶点所在本文档来自技高网...

【技术保护点】
1.一种用于呈现真实空间的虚拟表示的方法，包括：/n获取多个彩色图像和与所述多个彩色图像分别对应的多个深度图像，所述多个彩色图像对应于所述真实空间内多个观测点处观测到的所述真实空间的相应局部场景，所述多个深度图像分别包含所述相应局部场景的深度信息；/n针对每一个所述观测点，将所述多个彩色图像中对应于该观测点的彩色图像和所述多个深度图像中对应于该彩色图像的深度图像进行叠加，以得到叠加图像；/n将所述多个观测点对应的相应叠加图像分别映射到虚拟空间中的多个球体上，以使得每个球体对应于所述多个观测点中的一个相应观测点并包括多个顶点，每个顶点具有相应的颜色信息和相应的深度信息；/n基于所述真实空间内所述多个观测点之间的相对空间关系，对所述多个球体的各顶点在所述虚拟空间中进行空间变换；/n针对每一个所述球体的每个顶点，基于该顶点的深度信息对该顶点进行空间编辑；以及/n针对每一个所述球体的每个顶点，基于该顶点的颜色信息对该顶点进行着色处理，从而得到所述真实空间的相应局部场景在所述虚拟空间中的相应虚拟表示以供呈现。/n

【技术特征摘要】
1.一种用于呈现真实空间的虚拟表示的方法，包括：
获取多个彩色图像和与所述多个彩色图像分别对应的多个深度图像，所述多个彩色图像对应于所述真实空间内多个观测点处观测到的所述真实空间的相应局部场景，所述多个深度图像分别包含所述相应局部场景的深度信息；
针对每一个所述观测点，将所述多个彩色图像中对应于该观测点的彩色图像和所述多个深度图像中对应于该彩色图像的深度图像进行叠加，以得到叠加图像；
将所述多个观测点对应的相应叠加图像分别映射到虚拟空间中的多个球体上，以使得每个球体对应于所述多个观测点中的一个相应观测点并包括多个顶点，每个顶点具有相应的颜色信息和相应的深度信息；
基于所述真实空间内所述多个观测点之间的相对空间关系，对所述多个球体的各顶点在所述虚拟空间中进行空间变换；
针对每一个所述球体的每个顶点，基于该顶点的深度信息对该顶点进行空间编辑；以及
针对每一个所述球体的每个顶点，基于该顶点的颜色信息对该顶点进行着色处理，从而得到所述真实空间的相应局部场景在所述虚拟空间中的相应虚拟表示以供呈现。


2.如权利要求1所述的方法，其中，所述基于该顶点的深度信息对该顶点进行空间编辑包括：
使该顶点的坐标沿着该顶点的法向移动一偏移距离，所述偏移距离对应于该顶点的深度信息。


3.如权利要求2所述的方法，其中，所述基于该顶点的深度信息对该顶点进行空间编辑还包括：
在使该顶点的坐标移动之前：
获取该顶点的深度信息；
对所述深度信息表示的深度值进行归一化；以及
将归一化后的深度值乘以该顶点所在球体的半径，以得到所述偏移距离。


4.如权利要求1所述的方法，其中，所述基于所述真实空间内所述多个观测点之间的相对空间关系，对所述多个球体的各顶点在所述虚拟空间中进行空间变换，包括：
对于每个球体的每个顶点：
使用空间变换矩阵对该顶点的坐标进行空间变换，所述空间变换包括从以下各项所组成的组中选择的至少一项：缩放、旋转和平移。


5.如权利要求4所述的方法，其中，所述空间变换包括旋转，并且所述旋转的角度基于该顶点所在...

【专利技术属性】
技术研发人员：白杰，朱毅，陶宁，郭峰，
申请(专利权)人：北京房江湖科技有限公司，
类型：发明
国别省市：北京;11