虚拟与现实融合方法、系统和虚拟现实设备技术方案

本申请公开了一种虚拟与现实融合方法、系统和虚拟现实设备，该方法包括：获取用户周围现实环境的现实三维全景图像；根据用户选择的渲染虚拟程度，对所述现实三维全景图像进行渲染；将渲染得到的结果输出到虚拟现实显示模组中。本申请的方法、系统和虚拟现实设备实现了在虚拟内容上可调节虚拟程度地叠加融合了用户周围环境的现实元素，使得用户戴上头盔的同时也能行走活动和完成一定的动作，为用户提供全新的VR体验。

【技术实现步骤摘要】
【国外来华专利技术】虚拟与现实融合方法、系统和虚拟现实设备
本申请实施方式涉及虚拟现实(VR)领域，特别是涉及一种在虚拟现实显示环境中叠加与现实元素相关的渲染内容的融合方法和系统。
技术介绍
当前前沿技术研究中，虚拟现实(VR)和增强现实(AR)是关注度很高的技术研究方向。VR是为用户呈现的是完全虚拟的内容，用户带上一个头戴式VR设备，沉浸在完全虚拟的世界中，可以看和听，却无法用嗅觉，味觉，触觉感受到，和现实完全隔离。而增强现实(AR)则采用半透镜的方式，让用户能够看到真实的世界，同时在半透镜上显示虚拟内容的虚拟人物或物体，使虚拟融合到现实环境中，用户看到的是真实世界中出现少量虚拟内容。针对虚拟现实设备，现有头戴式VR设备一般包括头戴式显示器和VR内容生成设备。头戴式显示器可以穿戴在用户头部并向用户提供虚拟场景的沉浸式视场。除此之外，头戴式显示器还包含用于头部定位的传感器。VR内容生成设备包含计算模块、存储模块、和头部定位模块。头部定位模块实时从头戴式显示器中的头部定位传感器获得数据，经过传感器融合相关算法处理，头部定位模块能够得出当前用户的头部姿态。VR内容生成设备从头部定位模块中获得当前头部姿态，从存储模块中获得渲染虚拟场景所需的素材，经过计算模块的处理，最终渲染出以当前用户头部姿态为视角的虚拟场景，并通过头戴式显示器显示到用户眼前。头戴式显示器与VR内容生成设备可以是嵌入式集成在一起(如VR移动一体机)，也可以是通过显示数据线(如HDMI)连接在一起(如HTCVive)。然而，本申请的申请人发现：现有的头戴式VR设备仅能特定的模式为用户呈现虚拟的场景。而不能根据用户的意愿调整渲染的程度。因此，现有技术还有待于改进和发展。
技术实现思路
本申请实施方式主要解决的技术问题是提供一种全新的虚拟现实体验方法和系统，用以根据用户的意愿调整渲染的程度。该方法和系统实现了在虚拟现实系统的虚拟内容上可调节虚拟程度地叠加融合了用户周围环境的现实元素，带给用户全新的VR体验。为解决上述技术问题，本申请实施方式采用的一个技术方案是：提供一种虚拟与现实融合方法，包括：获取用户周围现实环境的现实三维全景图像；根据用户选择的渲染虚拟程度，对该现实三维全景图像进行渲染；将渲染得到的结果输出到虚拟现实显示模组中。为解决上述技术问题，本申请实施方式采用的另一个技术方案是：提供一种虚拟与现实融合系统，包括虚拟现实系统，用于为用户展现虚拟三维场景，还包括现实融合模组，其中，该现实融合模组用于获取用户周围现实环境的现实三维全景图像；该虚拟现实系统用于根据用户选择的渲染虚拟程度，对该现实三维全景图像进行渲染；该虚拟现实系统还用于将渲染得到的结果输出到虚拟现实显示模组中。为解决上述技术问题，本申请实施例采用的再一个技术方案是：提供一种电子设备，包括：处理器模组，处理器模组连接的交互模块和虚拟现实显示模组；处理器模组用于根据用户周围环境的图像获取现实三维全景图像，并根据用户在交互模块选择的渲染虚拟程度，对所述现实三维全景图像进行渲染；其中，所述处理器模组还用于将渲染得到的结果输出到虚拟现实显示模组中。优选的，电子设备为虚拟现实头戴设备，还包括头盔和现实捕获模组，所述现实捕获模组用于从多个角度捕获用户周围环境的图像。这样当用户带上该虚拟现实头戴设备后，能够很好的沉浸到所营造的虚拟显示环境中，提高用户体现。优选的，该交互模块包括数量调节交互装置，其中，该处理器模组还用于识别和提取该现实三维全景图像中的现实元素；并从数量调节交互装置获取用户选择的第一渲染虚拟程度，该第一渲染虚拟程度用于指示用户希望保留的现实元素的比例；以及用于根据获取到的第一渲染虚拟程度对该现实三维全景图像中的现实元素进行处理。为了保证用户使用安全，该现实元素包括安全性现实元素，其中，该处理器模组还用于在该第一渲染虚拟程度指示用户希望保留的现实元素的比例为非0时，保留该现实三维全景图像中的至少一部分安全性现实元素。优选的，该交互模块还包括渲染虚拟度交互装置数量调节交互装置，其中，该处理器模组还用于识别和提取该现实三维全景图像中的现实元素；从渲染虚拟度交互装置获取用户选择的第二渲染虚拟程度，该第二渲染虚拟程度用于指示对各个现实元素的渲染程度，并根据获取到的第二渲染虚拟程度对该现实三维全景图像中的各个现实元素进行渲染。为了提供沉浸式VR体验，该处理器模组用于根据该安全性现实元素和该其它现实元素，确定虚拟三维场景对应的声音渲染。该现实捕获模组包括多个摄像头，该多个摄像头设置在该头盔的不同方位上。作为一种实施方式，该交互模块包括旋钮和模数转换装置；该模数转换装置与该旋钮和该处理器模组连接，用于根据旋钮的旋转角度生成对应的数字信号并输出到处理器模组。本申请实施方式的有益效果是：能够根据用户选择的渲染虚拟程度对周围现实环境中的图像进行渲染。使得用户能够对渲染虚拟程度进行选择，有助于提升用户体验。附图说明图1是本申请实施方式的虚拟与现实融合系统的模块图；图2是本申请实施方式的虚拟与现实融合系统的立体图；图3是本申请实施方式的虚拟与现实融合系统的立体后视图；图4是本申请实施方式的虚拟与现实融合方法的其中一实施例的流程图；图5是本申请实施例提供的虚拟与现实融合系统的硬件结构示意图；以及图6是本申请实施例提供的虚拟与现实融合方法的电子设备的硬件结构示意图。具体实施方式为使本申请实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本申请实施例做进一步详细说明。在此，本申请的示意性实施例及其说明用于解释本申请，但并不作为对本申请的限定。图1为所应用的一种实施环境的示意图，可以应用于包含了处理器模组100、虚拟现实显示模组200、能够采集周围现实环境的现实捕获模组以及能够实现与用户交互从而确定用户选择的虚拟程度的交互模块300的电子设备中，电子设备所包含的各个组件之间可以通过通信接口(比I/O接口相连)。该现实捕获模组可以是一个面向正方向或多个面向不同方向的可进行实时建模的三维图像识别传感器(市面上已经有类似的设备)。如只采用一个面向正方向的三维图像识别传感器，则对实时性要求极高，头部转动时需要基本无延时的建模和渲染，且对视角的要求极大；而如果是多个三维图像识别传感器拼接现实三维全景图像，则相当于构建了一个空间模型，头部转动时也只是显示空间中的另一部分而已。请一并参考图5，本实施例中的处理器模组可以包括中央处理器模块(包括中央处理器CPU520以及与中央处理器相连的存储介质530)，也可以还包括图像处理模组(图像处理模组可以包括图形处理器GPU510以及与GPU510相连的存储介质530)。图1中示出的是后一种情况。本实施例的虚拟和现实融合系统可以为存储于上述的处理器模组的存储介质中的软件系统。参见图，该系统可以包括现实融合模组和虚拟现实系统。其中，该现实融合模组获取用户周围现实环境的现实三维全景图像。比如在一些实施例中，现实融合模组可以预先的获取由多个摄像机拍摄的用户周围现实环境的图像。该多个摄像头之间基于同一立体坐标系拍摄以拼接出三维全景图像。该现实融合模组获取用户周围现实环境的现实三维全景图像；该虚拟现实系统根据用户选择的渲染虚拟程度，对该现实三维全景图像进行渲染；该虚拟现实系统将渲染得到的结果输出到虚拟本文档来自技高网...

【技术保护点】
一种虚拟与现实融合方法，其特征在于，包括：获取用户周围现实环境的现实三维全景图像；根据用户选择的渲染虚拟程度，对所述现实三维全景图像进行渲染；将渲染得到的结果输出到虚拟现实显示模组中。

【技术特征摘要】
【国外来华专利技术】1.一种虚拟与现实融合方法，其特征在于，包括：获取用户周围现实环境的现实三维全景图像；根据用户选择的渲染虚拟程度，对所述现实三维全景图像进行渲染；将渲染得到的结果输出到虚拟现实显示模组中。2.根据权利要求1所述的方法，其特征在于，所述根据用户选择的渲染虚拟程度，对所述现实三维全景图像进行渲染，包括：识别和提取所述现实三维全景图像中的现实元素；获取用户选择的第一渲染虚拟程度；所述第一渲染虚拟程度用于指示用户希望保留的现实元素的比例；根据获取到的第一渲染虚拟程度对所述现实三维全景图像中的现实元素进行处理。3.根据权利要求2所述的方法，其特征在于，所述现实元素包括安全性现实元素；所述根据获取到的第一渲染虚拟程度对所述现实三维全景图像中的现实元素进行处理，包括：在所述第一渲染虚拟程度指示用户希望保留的现实元素的比例为非0时，保留所述现实三维全景图像中的至少一部分安全性现实元素。4.根据权利要求1所述的方法，其特征在于，所述根据用户选择的渲染虚拟程度，对所述现实三维全景图像进行渲染，包括：识别和提取所述现实三维全景图像中的现实元素；获取用户选择的第二渲染虚拟程度；所述第二渲染虚拟程度用于指示对各个现实元素的渲染程度；根据获取到的第二渲染虚拟程度对所述现实三维全景图像中的各个现实元素进行渲染。5.根据权利要求2-4任意一项所述的方法，其特征在于，根据所述安全性现实元素和所述其它现实元素，确定虚拟三维场景对应的声音渲染。6.根据权利要求5所述的方法，其特征在于，所述获取用户周围现实环境的现实三维全景图像，包括：获取多个图像采集装置从不同角度拍摄的图像，并利用三维建模模块对获取到的图像进行三维建模。7.根据权利要求6所述的方法，其特征在于，所述第一渲染虚拟程度或者所述第二渲染虚拟程度由用户在交互界面上选择的比例确定。8.一种虚拟与现实融合系统，包括虚拟现实系统，用于为用户展现虚拟三维场景，其特征在于，还包括现实融合模组，其中，所述现实融合模组用于获取用户周围现实环境的现实三维全景图像；所述虚拟现实系统用于根据用户选择的渲染虚拟程度，对所述现实三维全景图像进行渲染；所述虚拟现实系统还用于将渲染得到的结果输出到虚拟现实显示模组中。9.根据权利要求8所述的系统，其特征在于，所述虚拟现实系统还用于识别和提取所述现实三维全景图像中的现实元素；在根据用户选择的渲染虚拟程度，对所述现实三维全景图像进行渲染时，用于获取用户选择的第一渲染虚拟程度，所述第一渲染虚拟程度用于指示用户希望保留的现实元素的比例；以及用于根据获取到的第一渲染虚拟程度对所述现实三维全景图像中的现实元素进行处理。10.根据权利要求9所述的系统，其特征在于，所述现实元素包括安全性现实元素；所述虚拟现实系统用于在所述第一渲染虚拟程度指示用户希望保留的现实元素的比例为非0时，保留所述现实三维全景图像中的至少一部分安全性现实元素。11.根据权利要求8所述的系统，其特征在于，所述虚拟现实系统还用于识别和提取所述现实三维全景图像中的现实元素；在根据用户选择的渲染虚拟程度，对所述现实三维全景图像进行渲染时，获取用户选择的第二渲染虚拟程度，...

【专利技术属性】
技术研发人员：骆磊，
申请(专利权)人：深圳达闼科技控股有限公司，
类型：发明
国别省市：广东,44