二维元素与虚拟现实环境中三维元素的交互方法及系统技术方案

本发明专利技术涉及一种二维元素与虚拟现实环境中三维元素的交互方法及系统，其中方法包括：定义二维元素，并对二维元素进行编号、分类，将二维元素与虚拟现实环境中的三维元素进行绑定；利用reacTIVision获取二维操作平台上二维元素的属性数据及状态数据，并利用TUIO程序对所述属性数据及状态数据进行解析，将解析后的属性数据及状态数据发送给UE4编辑器；UE4编辑器根据二维元素的属性数据调取对应的虚拟现实环境中的三维元素，根据状态数据对三维元素进行状态调整并进行三维展示。本发明专利技术中，结合虚拟现实和增强现实的技术，将2D元素与VR场景完全匹配，实现通过2D元素可直接定位至VR场景，并实时的控制VR场景的位置、朝向、方案变化等信息。

Method and system for interaction between 2D elements and 3D elements in virtual reality environment

The present invention relates to an interactive method and system for two-dimensional elements and three-dimensional elements in virtual reality environment. The method includes: defining two-dimensional elements, numbering and classifying two-dimensional elements, binding two-dimensional elements to three-dimensional elements in virtual reality environment, and acquiring two-dimensional operation platforms by reacTIVision. The attribute data and state data of dimension elements are analyzed by TUIO program, and the analyzed attribute data and state data are sent to UE4 editor; UE4 editor calls the corresponding three-dimensional elements in the virtual reality environment according to the attribute data of the two-dimensional elements and pairs them according to the state data. Three dimensional elements are adjusted and displayed in three dimensions. In the invention, combining the technology of virtual reality and augmented reality, the 2D element is completely matched with the VR scene, and the VR scene can be directly located through the 2D element, and the position, orientation and scheme change of the VR scene can be controlled in real time.

【技术实现步骤摘要】
二维元素与虚拟现实环境中三维元素的交互方法及系统
本专利技术涉及计算机应用技术、虚拟现实和增强现实
，具体涉及一种二维元素与虚拟现实环境中三维元素的交互方法。
技术介绍
VR为VirtualReality，即虚拟现实，具体内涵是:综合利用计算机图形系统和各种现实及控制等接口设备，在计算机上生成的、可交互的三维环境中提供沉浸感觉的技术。其中，计算机生成的、可交互的三维环境成为虚拟环境(即VirtualEnvironment，简称VE)。虚拟现实技术实现的载体是虚拟现实仿真平台。UE4是由游戏开发者制作并供游戏开发者使用的一整套游戏开发工具，可用于计算机和移动设备的展示，还具有高端视觉效果。增强现实(AugmentedReality，简称AR)，它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息,通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。近几年，在虚拟现实和增强现实展示的应用中，2D元素与VR环境相结合的案例越来越多，通过二维操作平台实现对三维环境素材的控制，其中2D元素大多用于二维平台系统的界面中，通过点击滑动2D元素的操作，在VR环境中得到反馈，2D元素与VR场景相对独立处理各自的信息，在使用上的结合度并不高。
技术实现思路
本专利技术针对现有技术中存在的技术问题，提供一种结合度高的二维元素与虚拟现实环境中三维元素的交互方法及系统。本专利技术解决上述技术问题的技术方案如下：一种二维元素与虚拟现实环境中三维元素的交互方法，包括以下步骤：步骤1，定义二维元素，并对所述二维元素进行编号、分类，将所述二维元素与虚拟现实环境中的三维元素进行绑定；步骤2，利用reacTIVision获取二维操作平台上二维元素的属性数据及状态数据，并利用TUIO程序对所述属性数据及状态数据进行解析，将解析后的属性数据及状态数据发送给UE4编辑器；步骤3，所述UE4编辑器根据所述二维元素的属性数据调取对应的虚拟现实环境中的三维元素，根据所述状态数据对所述虚拟现实环境中的三维元素进行状态调整并进行三维展示。进一步，所述步骤1包括：所述二维元素包括至少3个具有方向性的图像识别卡，对每个所述图像识别卡赋予唯一对应的编号，并对所述多个图像识别卡进行分类；所述多个图像识别卡根据虚拟现实环境中的三维元素类别分为三类，其中：一个图像识别卡对应虚拟现实环境中的第一人称视角相机，一个图像识别卡对应三维虚拟现实环境中的至少一个场景元素，其余图像识别卡分别与虚拟现实环境的模型素材库中的一个或多个模型素材相对应；将所述图像识别卡与与其相应的虚拟现实中的三维元素进行绑定。进一步，步骤2中所述的二维元素的属性数据包括图像识别卡的编号以及类别，所述的二维元素的状态数据包括图像识别卡的坐标数据，方向数据，位移偏移数据以及旋转角度数据。进一步，所述步骤3包括：步骤301，所述UE4编辑器根据场景元素对应的图像识别卡信息，在三维环境中加载场景元素；步骤302，所述UE4编辑器根据第一人称视角相机对应的图像识别卡信息，在场景中加载第一人称视角相机，所述第一人称视角相机的位置与所述图像识别卡的坐标数据和位移偏移数据相匹配，所述第一人称视角相机的视角方向与所述图像识别卡的初始方向数据和旋转角度数据相匹配；步骤303，所述UE4编辑器根据所述模型素材库对应的图像识别卡信息，在三维环境中加载模型素材元素。进一步，所述步骤301还包括：若三维环境场景库中包含多个场景元素，则选取其中一个作为初始场景进行加载，并根据所述图像识别卡的旋转角度信息依次更换场景元素并展示，若所述图像识别卡在某一角度静止时长超过预设时间，则将所述图像识别卡在该角度对应的场景元素加载到三维环境中。进一步，所述步骤302还包括，在场景中加载所述第一人称视角相机后，所述UE4编辑器根据所述第一视角相机的视角方向展示场景中位于所述第一视角相机视野方位内的场景信息。进一步，所述步骤303还包括，若所述模型素材库对应的图像识别卡与多个模型素材相匹配，则首先选取其中一个相匹配的模型素材进行加载，并根据所述图像识别卡的旋转角度信息依次更换模型素材并加载。本专利技术另一方面提供一种二维元素与虚拟现实环境中三维元素的交互系统，包括：二维元素操作平台，用于定义二维元素，并对所述二维元素进行编号、分类，将所述二维元素与虚拟现实环境中的三维元素进行绑定；数据处理后台，用于利用reacTIVision获取二维操作平台上二维元素的属性数据及状态数据，并利用TUIO程序对所述属性数据及状态数据进行解析，将解析后的属性数据及状态数据发送给UE4编辑器；三维展示平台，用于根据所述二维元素的属性数据调取对应的虚拟现实环境中的三维元素，根据所述状态数据对所述虚拟现实环境中的三维元素进行状态调整并进行三维展示。进一步，所述二维元素包括至少3个具有方向性的图像识别卡，对每个所述图像识别卡赋予唯一对应的编号，并对所述多个图像识别卡进行分类；所述多个图像识别卡根据虚拟现实环境中的三维元素类别分为三类，其中：一个图像识别卡对应虚拟现实环境中的第一人称视角相机，一个图像识别卡对应三维虚拟现实环境中的至少一个场景元素，其余图像识别卡分别与虚拟现实环境的模型素材库中的一个或多个模型素材相对应；将所述图像识别卡与与其相应的虚拟现实中的三维元素进行绑定。进一步，所述二维元素操作平台包括有用于二维元素进行移动的数据采集区域，所述数据采集区域的范围与所述场景元素的大小相匹配。。本专利技术的有益效果是：本专利技术中，结合虚拟现实和增强现实的技术，将2D元素与VR场景完全匹配，实现通过2D元素可直接定位至VR场景，并实时的控制VR场景的位置、朝向、方案变化等信息。使2D元素的操作直接反馈到VR场景中，2D元素的动态主导了VR场景的动态。附图说明图1为本专利技术实施例提供的一种二维元素与虚拟现实环境中三维元素的交互方法流程图；图2为本专利技术实施例提供的一种二维元素与虚拟现实环境中三维元素的交互系统结构图。具体实施方式以下结合实例对本专利技术的原理和特征进行描述，所举实例只用于解释本专利技术，并非用于限定本专利技术的范围。如图1所示，一种二维元素与虚拟现实环境中三维元素的交互方法包括以下步骤：步骤1，定义二维元素，并对所述二维元素进行编号、分类，将所述二维元素与虚拟现实环境中的三维元素进行绑定；步骤2，利用reacTIVision获取二维操作平台上二维元素的属性数据及状态数据，并利用TUIO程序对所述属性数据及状态数据进行解析，将解析后的属性数据及状态数据发送给UE4编辑器；步骤3，所述UE4编辑器根据所述二维元素的属性数据调取对应的虚拟现实环境中的三维元素，根据所述状态数据对所述虚拟现实环境中的三维元素进行状态调整并进行三维展示。进一步，所述步骤1包括：所述二维元素包括至少3个具有方向性的图像识别卡，对每个所述图像识别卡赋予唯一对应的编号，并对所述多个图像识别卡进行分类；所述多个图像识别卡根据虚拟现实环境中的三维元素类别分为三类，其中：一个图像识别卡对应虚拟现实环境中的第一人称视角相机，一个图像识别卡对应三本文档来自技高网...

【技术保护点】
1.一种二维元素与虚拟现实环境中三维元素的交互方法，其特征在于，包括以下步骤：步骤1，定义二维元素，并对所述二维元素进行编号、分类，将所述二维元素与虚拟现实环境中的三维元素进行绑定；步骤2，利用reacTIVision获取二维操作平台上二维元素的属性数据及状态数据，并利用TUIO程序对所述属性数据及状态数据进行解析，将解析后的属性数据及状态数据发送给UE4编辑器；步骤3，所述UE4编辑器根据所述二维元素的属性数据调取对应的虚拟现实环境中的三维元素，根据所述状态数据对所述虚拟现实环境中的三维元素进行状态调整并进行三维展示。

【技术特征摘要】
1.一种二维元素与虚拟现实环境中三维元素的交互方法，其特征在于，包括以下步骤：步骤1，定义二维元素，并对所述二维元素进行编号、分类，将所述二维元素与虚拟现实环境中的三维元素进行绑定；步骤2，利用reacTIVision获取二维操作平台上二维元素的属性数据及状态数据，并利用TUIO程序对所述属性数据及状态数据进行解析，将解析后的属性数据及状态数据发送给UE4编辑器；步骤3，所述UE4编辑器根据所述二维元素的属性数据调取对应的虚拟现实环境中的三维元素，根据所述状态数据对所述虚拟现实环境中的三维元素进行状态调整并进行三维展示。2.根据权利要求1所述一种二维元素与虚拟现实环境中三维元素的交互方法，其特征在于，所述步骤1包括：所述二维元素包括至少3个具有方向性的图像识别卡，对每个所述图像识别卡赋予唯一对应的编号，并对所述多个图像识别卡进行分类；所述多个图像识别卡根据虚拟现实环境中的三维元素类别分为三类，其中：一个图像识别卡对应虚拟现实环境中的第一人称视角相机，一个图像识别卡对应三维虚拟现实环境中的至少一个场景元素，其余图像识别卡分别与虚拟现实环境的模型素材库中的一个或多个模型素材相对应；将所述图像识别卡与与其相应的虚拟现实中的三维元素进行绑定。3.根据权利要求2所述一种二维元素与虚拟现实环境中三维元素的交互方法，其特征在于，步骤2中所述的二维元素的属性数据包括图像识别卡的编号以及类别，所述的二维元素的状态数据包括图像识别卡的坐标数据，方向数据，位移偏移数据以及旋转角度数据。4.根据权利要求3所述一种二维元素与虚拟现实环境中三维元素的交互方法，其特征在于，所述步骤3包括：步骤301，所述UE4编辑器根据场景元素对应的图像识别卡信息，在三维环境中加载场景元素；步骤302，所述UE4编辑器根据第一人称视角相机对应的图像识别卡信息，在场景中加载第一人称视角相机，所述第一人称视角相机的位置与所述图像识别卡的坐标数据和位移偏移数据相匹配，所述第一人称视角相机的视角方向与所述图像识别卡的初始方向数据和旋转角度数据相匹配；步骤303，所述UE4编辑器根据所述模型素材库对应的图像识别卡信息，在三维环境中加载模型素材元素。5.根据权利要求4所述一种二维元素与虚拟现实环境中三维元素的交互方法，其特征在于，所述步骤301还包括：若三维环境场景库中包含多个...

【专利技术属性】
技术研发人员：张帆，杨春平，
申请(专利权)人：灵图互动武汉科技有限公司，
类型：发明
国别省市：湖北,42