在AR设备中实现传送门效果并呈现VR全景视频画面的方法技术

本发明专利技术涉及虚拟显示与增强显示开发技术领域，其目的在于提供一种在AR设备中实现传送门效果并呈现VR全景视频画面的方法。本发明专利技术首先根据载入指令载入预存储的虚拟物体模型；并根据场景构建指令对虚拟物体模型进行构建操作；再根据构建完成后的虚拟场景生成初始工程文件，并将初始工程文件适配为AR工程文件；接着根据场景构建指令配置场景运行前状态；随后编写一个不绘制颜色通道的着色器，然后将该着色器赋予外墙模型，只保留虚拟门的模型画面和外部摄影机回传的实体场景画面；最后运行场景并将最终工程文件封装打包并输出。本发明专利技术可融合现实场景、AR场景与VR全景视频画面，令用户产生时空穿越、身临其境的观感，极大的提高了用户体验度。

A Method of Implementing Portal Effect and Presenting VR Panoramic Video Screen in AR Device

【技术实现步骤摘要】
在AR设备中实现传送门效果并呈现VR全景视频画面的方法
本专利技术涉及虚拟显示与增强显示开发
，具体涉及一种在AR设备中实现传送门效果并呈现VR全景视频画面的方法。
技术介绍
VR是一种用于实现虚拟世界的计算机仿真系统，侧重的是使用户完全沉浸到虚拟中环境中；AR是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术，侧重的是现实世界与虚拟事物之间的交互。全景视频是一种用3D摄像机进行全方位360度进行拍摄的视频，VR全景视频作为一种新型的视频方式，是指用专业的VR摄影功能将现场环境真实地记录下来，再通过计算机进行后期处理，所形成的可以实现三维的空间展示功能的视频。目前，VR和AR两者在各自的生态系统里独立发展，是两种不同的虚拟技术，尚未有将两者结合，让VR全景视频在AR设备中呈现，并实现AR技术中虚拟事物与现实环境的交互；同时，当前VR全景视频技术并不具备捕捉现实世界以及使虚拟事物与现实世界交互的技术能力。综上所述，现有技术缺少成熟的将VR全景视频、AR虚拟事物及现实世界的交互进行紧密结合的技术方案。
技术实现思路
为了解决现有技术存在的上述问题，本专利技术提供了一种在AR设备中实现传送门效果并呈现VR全景视频画面的方法。本专利技术采用的技术方案是：一种在AR设备中实现传送门效果并呈现VR全景视频画面的方法，包括以下步骤：S1.接收来自人机界面的载入指令，根据载入指令载入预存储的虚拟物体模型；S2.接收来自人机界面的场景构建指令，根据场景构建指令对虚拟物体模型进行构建操作，构建场景中的门、窗户、外墙和天空盒子的模型结构；S3.根据构建完成后的虚拟场景生成初始工程文件，并将初始工程文件适配为AR工程文件；S4.根据场景构建指令配置场景运行前状态，将VR全景视频附着到天空盒子上，关闭对除了门、窗和外墙之外所有物体的渲染；S5.编写一个不绘制颜色通道的着色器，然后将该着色器赋予外墙模型，只保留虚拟门的模型画面和外部摄影机回传的实体场景画面；S6.接收来自人机界面的场景运行指令，运行场景，场景中出现虚拟门及实体场景画面；S7.接收来自人机界面的虚拟门打开指令，虚拟门内物体开启渲染，场景中出现打开的虚拟门、虚拟门内的VR全景视频画面和虚拟门外的实体场景画面；S8.将最终工程文件封装打包并输出。作为优选，所述的步骤S1-S8均在Unity3D游戏引擎中完成。作为优选，所述的步骤S2中，构建操作用于创建虚拟物体；所述的虚拟物体包括模型、灯光、贴图及材质。作为优选，所述的步骤S3中，将初始工程文件适配为AR工程文件之前，首先载入AR技术框架；所述的AR技术框架为ARKit框架和/或ARcore框架。作为优选，所述的步骤2中，构建场景中的门为虚拟场景与现实场景的交换入口；构建场景中的窗户为AR场景与VR场景的交换窗口；构建场景中的外墙为隔离虚拟场景与现实场景的介质；构建场景中的天空盒子为一个具有球形UV映射的、方形的多边形模型。作为优选，在步骤S4中，将VR全景视频附着到天空盒子上时，具体步骤如下：S41.接收来自人机界面的载入指令，载入预存储的具有球形UV映射的、方形的多边形模型；S42.接收来自人机界面的赋予指令，将使用自身照明并且能够接受UV贴图映射的材质赋予S41中载入的多边形模型；S43.将VR全景图像映射到多边形模型之上，呈现出最终的全景画面。作为优选，所述的步骤S5的具体步骤如下：S51.使用GPU编程语言，编写一个不绘制颜色通道的着色器；S52.接收人机界面的属性指令，将着色器赋予外墙模型，使外墙模型成为一个透明遮罩，且从外墙正法向观看外墙内部模型时，内部模型将被隐藏，从外墙负法向观看外墙内部模型时，内部模型正常显示；S53.外墙遮罩区域不覆盖虚拟门，虚拟门在场景中正常渲染并显示。作为优选，所述的步骤S8中，将最终AR工程文件封装打包后，输出至人机界面及VR显示设备。本专利技术的有益效果是：本实施例在外部摄影机拍摄的现实场景中，构建出一个虚拟的传送门，作为现实与虚拟的枢纽，由此可将众多科幻影视、科幻文学等艺术作品中的传送门以AR的形式展现出来，使用户能够切身体会到此种不可思议的空间变换。与此同时，本实施同时结合VR全景视频技术，在AR虚拟的三维场景外部加入拍摄好的真实场景的VR全景视频，高度融合了虚拟场景与现实场景、AR场景与VR全景，令用户产生时空穿越、身临其境的观感，且避免了VR全景不具备捕捉现实世界的能力以及使虚拟事物与现实世界交互造成的不便，实用性更高，极大的提高了用户体验度，适于推广使用。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是实施例的流程框图。具体实施方式下面结合附图及具体实施例对本专利技术做进一步阐释。在进行具体实施例陈述之前，需要解释一些专用名词：Unity3D：Unity是由UnityTechnologies开发的一个让玩家轻松创建诸如三维视频游戏、建筑可视化、实时三维动画等类型互动内容的多平台的综合型游戏开发工具，是一个全面整合的专业游戏引擎。VR：全称VirtualReality，中文为虚拟现实，是一种可以创建和体验虚拟世界的计算机仿真系统，其利用计算机生成一种模拟环境，是一种多源信息融合的、交互式的三维动态视景及一种实体行为的系统仿真，使用户沉浸到上述模拟环境中。AR：全称AugmentedReality，中文为增强现实，是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频及3D模型的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。全景视频：是一种用3D摄像机进行全方位360度进行拍摄的视频。VR全景视频：是指用专业的VR摄影功能将现场环境真实地记录下来，再通过计算机进行后期处理，所形成的可以实现三维的空间展示功能的视频。实施例1：一种在AR设备中实现传送门效果并呈现VR全景视频画面的方法，包括以下步骤：S1.接收来自人机界面的载入指令，根据载入指令载入预存储的虚拟物体模型。S2.接收来自人机界面的场景构建指令，根据场景构建指令对虚拟物体模型进行构建操作，构建场景中的门、窗户、外墙和天空盒子的模型结构；本实施例中，构建场景中的门、窗户、外墙和天空盒子的模型结构，可呈现出多层次的互相关联的模型结构，且场景根据真实世界尺寸构建，形成具有足够受众漫游活动的虚拟空间。S3.根据构建完成后的虚拟场景生成初始工程文件，并将初始工程文件适配为AR工程文件；采用AR工程文件可实现增强现实技术相关的各项功能和体验。本实施例中，步骤S3中，将初始工程文件适配为AR工程文件之前，首先载入AR技术框架；所述的AR技术框架为ARKit框架和/或ARcore框架。S4.根据场景构建指令配置场景运行前状态，将VR全景视频附着到方形的天空盒子上，关闭对除了门、窗和外墙之外所有物体的渲染。本实施例中，步骤S2中，构建操作用于创建虚拟物体；所述的虚拟物体包括模型、灯光、贴图及材质。本实施例中，在步骤S4中，在场景运行前，通过调用CPU的控制指令，关闭对本文档来自技高网...

【技术保护点】
1.一种在AR设备中实现传送门效果并呈现VR全景视频画面的方法，其特征在于：包括以下步骤：S1.接收来自人机界面的载入指令，根据载入指令载入预存储的虚拟物体模型；S2.接收来自人机界面的场景构建指令，根据场景构建指令对虚拟物体模型进行构建操作，构建场景中的门、窗户、外墙和天空盒子的模型结构；S3.根据构建完成后的虚拟场景生成初始工程文件，并将初始工程文件适配为AR工程文件；S4.根据场景构建指令配置场景运行前状态，将VR全景视频附着到天空盒子上，关闭对除了门、窗和外墙之外所有物体的渲染；S5.编写一个不绘制颜色通道的着色器，然后将该着色器赋予外墙模型，只保留虚拟门的模型画面和外部摄影机回传的实体场景画面；S6.接收来自人机界面的场景运行指令，运行场景，场景中出现虚拟门及实体场景画面；S7.接收来自人机界面的虚拟门打开指令，虚拟门内物体开启渲染，场景中出现打开的虚拟门、虚拟门内的VR全景视频画面和虚拟门外的实体场景画面；S8.将最终工程文件封装打包并输出。

【技术特征摘要】
1.一种在AR设备中实现传送门效果并呈现VR全景视频画面的方法，其特征在于：包括以下步骤：S1.接收来自人机界面的载入指令，根据载入指令载入预存储的虚拟物体模型；S2.接收来自人机界面的场景构建指令，根据场景构建指令对虚拟物体模型进行构建操作，构建场景中的门、窗户、外墙和天空盒子的模型结构；S3.根据构建完成后的虚拟场景生成初始工程文件，并将初始工程文件适配为AR工程文件；S4.根据场景构建指令配置场景运行前状态，将VR全景视频附着到天空盒子上，关闭对除了门、窗和外墙之外所有物体的渲染；S5.编写一个不绘制颜色通道的着色器，然后将该着色器赋予外墙模型，只保留虚拟门的模型画面和外部摄影机回传的实体场景画面；S6.接收来自人机界面的场景运行指令，运行场景，场景中出现虚拟门及实体场景画面；S7.接收来自人机界面的虚拟门打开指令，虚拟门内物体开启渲染，场景中出现打开的虚拟门、虚拟门内的VR全景视频画面和虚拟门外的实体场景画面；S8.将最终工程文件封装打包并输出。2.根据权利要求1所述的在AR设备中实现传送门效果并呈现VR全景视频画面的方法，其特征在于：所述的步骤S1-S8均在Unity3D游戏引擎中完成。3.根据权利要求1或2所述的在AR设备中实现传送门效果并呈现VR全景视频画面的方法，其特征在于：所述的步骤S2中，构建操作用于创建虚拟物体；所述的虚拟物体包括模型、灯光、贴图及材质。4.根据权利要求1或2所述的在AR设备中实现传送门效果并呈现VR全景视频画面的方法，其特征在于：所述的步骤S3中，将初始工程文件适配为AR工程文件之前，首先载入AR技术框架；所述的AR...

【专利技术属性】
技术研发人员：吴锦坚，
申请(专利权)人：广州视革科技有限公司，
类型：发明
国别省市：广东,44