基于手机进行虚实交互的方法及系统技术方案

本发明专利技术提供了一种基于手机进行虚实交互的方法及系统，包括：步骤S1：在虚拟设备中运行3D系统；步骤S2：将手机与虚拟设备建立连接；步骤S3：基于手机与虚拟设备建立的连接，手机向虚拟设备中3D系统发送操作指令；步骤S4：虚拟设备通过RGB相机捕捉手机的姿态结合操作指令实现交互。本发明专利技术通过采用动态设置APP分辨率的技术，解决了不同手机的操作兼容性问题。解决了不同手机的操作兼容性问题。解决了不同手机的操作兼容性问题。

【技术实现步骤摘要】
基于手机进行虚实交互的方法及系统


[0001]本专利技术涉及虚拟现实
，具体地，涉及基于手机进行虚实交互的方法及系统。

技术介绍

[0002]目前MR/VR的交互一般采用手柄或者手势。这两种方式都无法真正体验到虚实结合的操作体验，我们这种新型使用手机进行虚实交互方式可以让用户享受在虚拟世界操作手机一样的体感。
[0003]专利文献CN106790996A(申请号：201611047520.3)公开了一种手机虚拟现实交互系统和方法，该系统包括：包括头戴设备和手机，手机的显示屏用于播放VR视频；手机具有：图像录制模块，用于实时录制视频；图像叠加模块，用于将录制的视频与VR视频进行叠加，使录制视频和播放的VR视频同时在手机的显示屏上进行播放；动作捕捉模块，动作捕捉模块用于捕捉录制视频画面中的出现的手势操作，并对手势操作进行识别后转换为操作指令；图像控制模块，用于根据动作捕捉模块识别出的操作指令对显示屏上播放的视频执行相应操作。

技术实现思路

[0004]针对现有技术中的缺陷，本专利技术的目的是提供一种基于手机进行虚实交互本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于手机进行虚实交互的方法，其特征在于，包括：步骤S1：在虚拟设备中运行3D系统；步骤S2：将手机与虚拟设备建立连接；步骤S3：基于手机与虚拟设备建立的连接，手机向虚拟设备中3D系统发送操作指令；步骤S4：虚拟设备通过RGB相机捕捉手机的姿态结合操作指令实现交互。2.根据权利要求1所述的基于手机进行虚实交互的方法，其特征在于，所述步骤S2采用：将手机与虚拟设备建立Socket连接。3.根据权利要求1所述的基于手机进行虚实交互的方法，其特征在于，基于手机与虚拟设备建立的Socket连接，将手机的设备信息发送至虚拟设备；所述手机的设备信息包括分辨率。4.根据权利要求1所述的基于手机进行虚实交互的方法，其特征在于，所述步骤S4采用：步骤S4.1：通过RGB相机捕捉手机的姿态，包括手机在空间中的位置和旋转；基于手机的姿态在3D系统中控制操作射线的方向；步骤S4.2：通过射线选定待打开手机APP图标，基于手机与虚拟设备建立的连接，将现实中对手机屏幕的操作同步作用到虚拟世界的2DAPP中，实现虚拟交互。5.根据权利要求4所述的基于手机进行虚实交互的方法，其特征在于，当应用打开后，自动设置成手机相同分辨率，并且使用捕捉到的手机姿态，从而实现在虚拟世界中应用的显示贴合在显示的手机屏幕中。6.根据权利要求1所述的基于手机进行...

【专利技术属性】
技术研发人员：陈伟桦，
申请(专利权)人：上海影创信息科技有限公司，
类型：发明
国别省市：