一种虚拟沙盘展示方法及装置制造方法及图纸

本公开提供了一种虚拟沙盘展示方法及装置，包括：基于AR设备实时获取的实景图像，确定所述AR设备在所述实景图像对应的场景中建立的场景坐标系下的第一位姿信息；基于预先确定的城市虚拟沙盘在所述场景坐标系中的第二位姿信息，以及所述AR设备的第一位姿信息，确定所述城市虚拟沙盘与所述AR设备之间的相对位姿关系；基于所述城市虚拟沙盘与所述AR设备之间的相对位姿关系、以及从云端服务器下载的城市虚拟沙盘，生成所述城市虚拟沙盘在所述实景图像中的投影图像；将所述投影图像和所述实景图像进行融合展示。

【技术实现步骤摘要】
一种虚拟沙盘展示方法及装置
本公开涉及计算机
，具体而言，涉及一种虚拟沙盘展示方法及装置。
技术介绍
沙盘，是指根据地形图、航空相片或实地地形，按照一定比例关系，用泥沙等材料堆制的模型，目前，一般通过沙盘的形式来帮助用户了解建筑物所在区域的环境，例如售楼处会通过沙盘来展示各个楼盘的环境信息。然而在进行沙盘展示时，一般会占用部分的场地，当需要展示的沙盘的尺寸较大时，可能会受到展示空间的限制而无法展示。
技术实现思路
本公开实施例至少提供一种虚拟沙盘展示方法及装置。第一方面，本公开实施例提供了一种虚拟沙盘展示方法，包括：基于AR设备实时获取的实景图像，确定所述AR设备在所述实景图像对应的场景中建立的场景坐标系下的第一位姿信息；基于预先确定的城市虚拟沙盘在所述场景坐标系中的第二位姿信息，以及所述AR设备的第一位姿信息，确定所述城市虚拟沙盘与所述AR设备之间的相对位姿关系；基于所述城市虚拟沙盘与所述AR设备之间的相对位姿关系、以及从云端服务器下载的城市虚拟沙盘，生成所述城市虚拟沙盘在所述实景图像中的投影图像；将所述投影图像和所述实景图像进行融合展示。上述方法中，可以基于AR设备获取实景图像，并且根据AR设备和城市虚拟沙盘之间的相对位姿关系，对城市虚拟沙盘进行展示，通过这种方法，由于展示的城市虚拟沙盘，因此可以避免展示空间对于沙盘展示的影响，另外由于城市虚拟沙盘在展示时，是根据与AR设备之间的相对位姿关系进行展示的，因此用户在通过AR设备观看城市虚拟沙盘时，可以在不同的角度观看到不同角度下的城市虚拟沙盘，展示效果更加直观。一种可能的实施方式中，所述第一位姿信息，包括：部署在所述AR设备上的图像获取设备的光心在所述场景坐标系中的第一三维坐标值、以及所述图像获取设备的光轴朝向信息。一种可能的实施方式中，所述第二位姿信息包括：构成所述城市虚拟沙盘的多个面片中每个面片的面片索引、以及所述每个面片中多个顶点分别在所述场景坐标系中的第二三维坐标值。一种可能的实施方式中，所述基于预先确定的所述城市虚拟沙盘在所述场景坐标系中的第二位姿信息，以及所述AR设备的第一位姿信息，确定所述城市虚拟沙盘与所述AR设备之间的相对位姿关系，包括：基于所述AR设备在相机坐标系中的第三位姿信息、以及所述AR设备的第一位姿信息，确定所述相机坐标系和所述场景坐标系之间的转换关系信息；基于所述转换关系信息，以及所述第二位姿信息，确定所述城市虚拟沙盘在所述相机坐标系中的第四位姿信息；所述第四位姿信息用于表征所述城市虚拟沙盘与所述AR设备之间的相对位姿关系。一种可能的实施方式中，所述第四位姿信息，包括：构成所述城市虚拟沙盘的多个面片中每个面片多个顶点分别在所述相机坐标系中的第四三维坐标值；基于所述城市虚拟沙盘与所述AR设备之间的相对位姿关系、以及从云端服务器下载的城市虚拟沙盘，生成所述城市虚拟沙盘的在所述实景图像中的投影图像，包括：获取所述AR设备中图像获取设备的投影矩阵；基于所述多个面片中每个面片多个顶点分别在所述相机坐标系中的第四三维坐标值以及所述投影矩阵，确定每个面片的投影信息；基于各个面片的投影信息，生成所述投影图像。一种可能的实施方式中，所述基于AR设备实时获取的实景图像，确定所述AR设备在所述实景图像对应的场景中建立的场景坐标系下的第一位姿信息，包括：对所述实景图像进行场景关键点识别，确定至少一个场景关键点在所述实景图像中对应的目标像素点；以及，对所述实景图像进行深度值预测，确定所述实景图像中各个像素点分别对应的深度值；基于所述目标像素点对应的深度值，确定所述AR设备的第一位姿信息。第二方面，本公开实施例还提供一种虚拟沙盘展示装置，包括：第一确定模块，用于基于AR设备实时获取的实景图像，确定所述AR设备在所述实景图像对应的场景中建立的场景坐标系下的第一位姿信息；第二确定模块，用于基于预先确定的城市虚拟沙盘在所述场景坐标系中的第二位姿信息，以及所述AR设备的第一位姿信息，确定所述城市虚拟沙盘与所述AR设备之间的相对位姿关系；生成模块，用于基于所述城市虚拟沙盘与所述AR设备之间的相对位姿关系、以及从云端服务器下载的城市虚拟沙盘，生成所述城市虚拟沙盘在所述实景图像中的投影图像；展示模块，用于将所述投影图像和所述实景图像进行融合展示。一种可能的实施方式中，所述第一位姿信息，包括：部署在所述AR设备上的图像获取设备的光心在所述场景坐标系中的第一三维坐标值、以及所述图像获取设备的光轴朝向信息。一种可能的实施方式中，所述第二位姿信息包括：构成所述城市虚拟沙盘的多个面片中每个面片的面片索引、以及所述每个面片中多个顶点分别在所述场景坐标系中的第二三维坐标值。一种可能的实施方式中，所述第二确定模块，在基于预先确定的所述城市虚拟沙盘在所述场景坐标系中的第二位姿信息，以及所述AR设备的第一位姿信息，确定所述城市虚拟沙盘与所述AR设备之间的相对位姿关系时，用于：基于所述AR设备在相机坐标系中的第三位姿信息、以及所述AR设备的第一位姿信息，确定所述相机坐标系和所述场景坐标系之间的转换关系信息；基于所述转换关系信息，以及所述第二位姿信息，确定所述城市虚拟沙盘在所述相机坐标系中的第四位姿信息；所述第四位姿信息用于表征所述城市虚拟沙盘与所述AR设备之间的相对位姿关系。一种可能的实施方式中，所述第四位姿信息，包括：构成所述城市虚拟沙盘的多个面片中每个面片多个顶点分别在所述相机坐标系中的第四三维坐标值；所述生成模块，在基于所述城市虚拟沙盘与所述AR设备之间的相对位姿关系、以及从云端服务器下载的城市虚拟沙盘，生成所述城市虚拟沙盘的在所述实景图像中的投影图像时，用于：获取所述AR设备中图像获取设备的投影矩阵；基于所述多个面片中每个面片多个顶点分别在所述相机坐标系中的第四三维坐标值以及所述投影矩阵，确定每个面片的投影信息；基于各个面片的投影信息，生成所述投影图像。一种可能的实施方式中，所述第一确定模块，在基于AR设备实时获取的实景图像，确定所述AR设备在所述实景图像对应的场景中建立的场景坐标系下的第一位姿信息时，用于：对所述实景图像进行场景关键点识别，确定至少一个场景关键点在所述实景图像中对应的目标像素点；以及，对所述实景图像进行深度值预测，确定所述实景图像中各个像素点分别对应的深度值；基于所述目标像素点对应的深度值，确定所述AR设备的第一位姿信息。第三方面，本公开实施例还提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。第四方面，本公开实施例本文档来自技高网...

【技术保护点】
1.一种虚拟沙盘展示方法，其特征在于，包括：/n基于AR设备实时获取的实景图像，确定所述AR设备在所述实景图像对应的场景中建立的场景坐标系下的第一位姿信息；/n基于预先确定的城市虚拟沙盘在所述场景坐标系中的第二位姿信息，以及所述AR设备的第一位姿信息，确定所述城市虚拟沙盘与所述AR设备之间的相对位姿关系；/n基于所述城市虚拟沙盘与所述AR设备之间的相对位姿关系、以及从云端服务器下载的城市虚拟沙盘，生成所述城市虚拟沙盘在所述实景图像中的投影图像；/n将所述投影图像和所述实景图像进行融合展示。/n

【技术特征摘要】
1.一种虚拟沙盘展示方法，其特征在于，包括：
基于AR设备实时获取的实景图像，确定所述AR设备在所述实景图像对应的场景中建立的场景坐标系下的第一位姿信息；
基于预先确定的城市虚拟沙盘在所述场景坐标系中的第二位姿信息，以及所述AR设备的第一位姿信息，确定所述城市虚拟沙盘与所述AR设备之间的相对位姿关系；
基于所述城市虚拟沙盘与所述AR设备之间的相对位姿关系、以及从云端服务器下载的城市虚拟沙盘，生成所述城市虚拟沙盘在所述实景图像中的投影图像；
将所述投影图像和所述实景图像进行融合展示。


2.根据权利要求1所述的虚拟沙盘展示方法，其特征在于，所述第一位姿信息，包括：
部署在所述AR设备上的图像获取设备的光心在所述场景坐标系中的第一三维坐标值、以及所述图像获取设备的光轴朝向信息。


3.根据权利要求1或2所述的虚拟沙盘展示方法，其特征在于，所述第二位姿信息包括：
构成所述城市虚拟沙盘的多个面片中每个面片的面片索引、以及所述每个面片中多个顶点分别在所述场景坐标系中的第二三维坐标值。


4.根据权利要求1-3中任一项所述的虚拟沙盘展示方法，其特征在于，所述基于预先确定的所述城市虚拟沙盘在所述场景坐标系中的第二位姿信息，以及所述AR设备的第一位姿信息，确定所述城市虚拟沙盘与所述AR设备之间的相对位姿关系，包括：
基于所述AR设备在相机坐标系中的第三位姿信息、以及所述AR设备的第一位姿信息，确定所述相机坐标系和所述场景坐标系之间的转换关系信息；
基于所述转换关系信息，以及所述第二位姿信息，确定所述城市虚拟沙盘在所述相机坐标系中的第四位姿信息；所述第四位姿信息用于表征所述城市虚拟沙盘与所述AR设备之间的相对位姿关系。


5.根据权利要求4所述的虚拟沙盘展示方法，其特征在于，所述第四位姿信息，包括：构成所述城市虚拟沙盘的多个面片中每个面片多个顶点分别在所述相机坐标系中的第四三维坐标值；
基于所述城市虚拟沙盘与所述AR设备之间的相对位姿关系、以及从云端服务器下载的城市虚拟沙盘，生成所述城市虚拟沙盘的在所述实景图像中的投影图像，包括：
获取所述AR设备中图像获取设备的投影矩阵；
基于所述多个面片中每个面片多个顶点分别在所述相机坐标系中的第四三维坐标值以及所述投影矩阵，确定每个面片的投影信息；
基于各个面片的投影信息，生成所述投影图像。...

【专利技术属性】
技术研发人员：王子彬，孙红亮，武明飞，符修源，陈凯彬，
申请(专利权)人：浙江商汤科技开发有限公司，
类型：发明
国别省市：浙江;33