虚拟现实和增强现实移动端平面应用的交互方法和装置制造方法及图纸

本发明专利技术提出一种虚拟现实和增强现实移动端平面应用的交互方法和装置，采用依次连接的数据采集模块、数据处理模块和平面应用，数据采集模块包括物理按键、蓝牙手柄、触摸板和传感器模块，数据处理模块包括传感器处理模块、按键处理模块、虚拟鼠标模块和虚拟触屏模块，平面应用包括鼠标应用、触屏应用和按键应用，实现虚拟现实移动端与平面应用的交互，使各种平面应用能在虚拟现实系统中更加容易和自然的被使用，同时支持多种交互设备。

【技术实现步骤摘要】
虚拟现实和增强现实移动端平面应用的交互方法和装置
本专利技术属于虚拟现实
，尤其是一种虚拟现实和增强现实移动端平面应用的交互方法。
技术介绍
虚拟现实技术综合利用计算机图形学、光电成像技术、传感技术、计算机仿真、人工智能等多种技术，并借助各种交互设备，旨在为用户提供一个逼真的、具有多重感知的虚拟世界。近年来，虚拟现实技术迅速发展，主机端虚拟现实利用高性能PC或者游戏主机作为计算核心提供虚拟现实体验。凭借其强悍的硬件，已经能够给用户带来很好的沉浸式体验，但因其成本高，配套设备繁琐，未能有很好的普及。随着近年来移动虚拟现实设备硬件性能的持续提升，移动平台与PC或者游戏主机的性能差距正在逐渐减少，一些PC及主机VR平台上的优质内容正在陆续移植到移动VR平台，但很多虚拟现实用户都觉得虚拟现实应用不够丰富，用户对2D内容VR化的需求特别大，特别是视频类的应用非常适合用户在床上观看，同时也可以避免一些用户的眩晕感。比如三星的PhoneCast应用可以让用户的平面应用可以在GearVR上运行，PhoneCast应用能让用户在VR中运行手机游戏和其他应用，包括可以将视频流到VR中的巨型虚拟屏幕，变为动态的应用程序。它能在VR环境中创建一个平面窗口，在该窗口中，你可以运行安卓应用程序，用户就像看电影一样玩安卓游戏。但是该技术依然具有局限性，不能适配所有的应用，平面应用的很多操作无法完成。目前的虚拟现实(英文名称：VirtualReality，缩写为VR)系统主要针对三维立体应用的运行和显示，对一般手机或者平板的平面应用虽然能安装,但用户无法使用其功能，主要原因是应用画面需要按照左右屏显示，并且用户无法像手机一样进行触屏操作。随着近年来移动虚拟现实设备硬件性能的持续提升，尽管很多优质内容移植到VR平台，但很多用户都觉得应用内容不够丰富，一些常用的平面应用移植成为VR应用代价很高，因此如何使虚拟现实设备能够与传统平面应用交互，并支持多种交互设备成为一个关键的技术问题。虚拟现实系统中需要预装大概10个系统级的基础应用来保证系统功能完整。目前系统级别的应用大部分都是采用Unity开发的VR应用，这类应用体积大，并且占内存，这就导致固件会非常大，相同功能的平面应用能替代部分VR应用，入门级的VR观影设备甚至可以全部使用平面应用。另一方面VR应用对开发者的要求比较高，开发一个稳定的VR应用需要花费很长的时间，平面应用的开发则相对成熟，可以节约客户的很多开发时间，最快的定制出一个VR系统。
技术实现思路
本专利技术所解决的技术问题在于提供一种虚拟现实和增强现实移动端平面应用的交互方法和装置，实现各种平面应用能在虚拟现实系统中更加容易和自然的被使用。实现本专利技术目的的技术解决方案为：一种虚拟现实和增强现实移动端平面应用的交互方法，包括以下步骤：步骤1：启动平面应用：对鼠标应用启动虚拟鼠标模块；对触屏应用启动虚拟触屏模块；对按键应用启动按键处理模块；步骤2：接收数据，判断数据类型：若为按键数据则转步骤3；若为传感器数据则传入传感器模块计算传感器姿态数据，并转步骤4；若为蓝牙手柄数据则转步骤5；若为触摸板数据则转步骤6；步骤3：判断当前应用类型：若当前应用为鼠标应用，则将按键数据传入虚拟鼠标模块，转步骤7；若当前应用为触屏应用，则将按键数据传入虚拟触屏模块，转步骤8；若当前应用为按键应用，则将按键数据传入键值处理模块，转步骤9；步骤4：判断当前应用类型：若当前应用为鼠标应用，则将传感器姿态数据传入虚拟鼠标模块，转步骤7；若当前应用为触屏应用，则将传感器姿态数据传入虚拟触屏模块，转步骤8；步骤5：判断蓝牙手柄数据为手柄按键数据或手柄姿态数据，若为手柄按键数据，则转步骤3，若为手柄姿态数据，则转步骤4；步骤6：判断当前应用类型：若当前应用为鼠标应用，则将触摸板数据传入虚拟鼠标模块，转步骤7；若当前应用为触屏应用或按键应用，则将触摸手势转换为按键数据，传入键值处理模块；步骤7：创建虚拟鼠标，设置鼠标移动边界和初始位置；对传感器姿态数据或手柄姿态数据计算虚拟鼠标坐标后发送鼠标事件；对触摸板数据、按键数据和手柄按键数据直接发送鼠标事件；鼠标应用响应上述鼠标事件；步骤8：创建虚拟触屏，设置触屏边界；对手柄姿态数据计算手柄射线与应用的交点坐标、对传感器姿态数据计算凝视点射线与应用的交点坐标，再计算触屏坐标，转化为触屏事件并发送；对按键数据、手柄按键数据和键值处理模块的数据转化为触屏事件并发送；触屏应用响应上述触屏事件；步骤9：按键应用根据键值处理模块响应。进一步的，本专利技术的虚拟现实和增强现实移动端平面应用的交互方法，步骤2中传感器数据包括：获取陀螺仪数据和/或加速计数据，通过滤波算法进行滤波处理。一种虚拟现实和增强现实移动端平面应用的交互装置，包括依次连接的数据采集模块和数据处理模块，数据处理模块的输出端连接平面应用；数据采集模块包括物理按键、蓝牙手柄、触摸板和传感器模块，数据处理模块包括传感器处理模块、按键处理模块、虚拟鼠标模块和虚拟触屏模块，平面应用包括鼠标应用、触屏应用和按键应用；传感器处理模块的输入端与传感器模块连接；按键处理模块的输入端与物理按键、蓝牙手柄、触摸板均连接，其输出端对应按键应用和触屏应用；虚拟鼠标模块的输入端与物理按键、蓝牙手柄、触摸板、传感器处理模块的输出端均连接，其输出端对应鼠标应用；虚拟触屏模块与连接物理按键、蓝牙手柄、传感器处理模块的输出端均连接，其输出端对应触屏应用。进一步的，本专利技术的虚拟现实和增强现实移动端平面应用的交互装置，物理按键包括向上按键、向下按键、向左按键、向右按键、确认按键和返回按键。进一步的，本专利技术的虚拟现实和增强现实移动端平面应用的交互装置，蓝牙手柄采集的数据包括手柄按键数据和手柄姿态数据。进一步的，本专利技术的虚拟现实和增强现实移动端平面应用的交互装置，传感器模块包括滤波模块、陀螺仪和/或加速计，陀螺仪、加速计分别与滤波模块连接。进一步的，本专利技术的虚拟现实和增强现实移动端平面应用的交互装置，所述虚拟鼠标模块采用外接鼠标。本专利技术采用以上技术方案与现有技术相比，具有以下技术效果：本专利技术的虚拟现实和增强现实移动端平面应用的交互方法和装置能够实现虚拟现实移动端与平面应用的交互，使各种平面应用都能在虚拟现实系统中更加容易、自然的被使用，同时支持多种交互设备。附图说明图1是本专利技术的虚拟现实和增强现实移动端平面应用的交互方法步骤1的流程图。图2是本专利技术的虚拟现实和增强现实移动端平面应用的交互方法步骤3的流程图。图3是本专利技术的虚拟现实和增强现实移动端平面应用的交互方法步骤4的流程图。图4是本专利技术的虚拟现实和增强现实移动端平面应用的交互方法步骤5的流程本文档来自技高网...

【技术保护点】
1.一种虚拟现实和增强现实移动端平面应用的交互方法，其特征在于，包括以下步骤：/n步骤1：启动平面应用：/n对鼠标应用启动虚拟鼠标模块；/n对触屏应用启动虚拟触屏模块；/n对按键应用启动按键处理模块；/n步骤2：接收数据，判断数据类型：/n若为按键数据则转步骤3；/n若为传感器数据则传入传感器模块计算传感器姿态数据，并转步骤4；/n若为蓝牙手柄数据则转步骤5；/n若为触摸板数据则转步骤6；/n步骤3：判断当前应用类型：/n若当前应用为鼠标应用，则将按键数据传入虚拟鼠标模块，转步骤7；/n若当前应用为触屏应用，则将按键数据传入虚拟触屏模块，转步骤8；/n若当前应用为按键应用，则将按键数据传入键值处理模块，转步骤9；/n步骤4：判断当前应用类型：/n若当前应用为鼠标应用，则将传感器姿态数据传入虚拟鼠标模块，转步骤7；/n若当前应用为触屏应用，则将传感器姿态数据传入虚拟触屏模块，转步骤8；/n步骤5：判断蓝牙手柄数据为手柄按键数据或手柄姿态数据，若为手柄按键数据，则转步骤3，若为手柄姿态数据，则转步骤4；/n步骤6：判断当前应用类型：/n若当前应用为鼠标应用，则将触摸板数据传入虚拟鼠标模块，转步骤7；/n若当前应用为触屏应用或按键应用，则将触摸手势转换为按键数据，传入键值处理模块；/n步骤7：创建虚拟鼠标，设置鼠标移动边界和初始位置；/n对传感器姿态数据或手柄姿态数据计算虚拟鼠标坐标后发送鼠标事件；/n对触摸板数据、按键数据和手柄按键数据直接发送鼠标事件；/n鼠标应用响应上述鼠标事件；/n步骤8：创建虚拟触屏，设置触屏边界；/n对手柄姿态数据计算手柄射线与应用的交点坐标、对传感器姿态数据计算凝视点射线与应用的交点坐标，再计算触屏坐标，转化为触屏事件并发送；/n对按键数据、手柄按键数据和键值处理模块的数据转化为触屏事件并发送；/n触屏应用响应上述触屏事件；/n步骤9：按键应用根据键值处理模块响应。/n...

【技术特征摘要】
1.一种虚拟现实和增强现实移动端平面应用的交互方法，其特征在于，包括以下步骤：
步骤1：启动平面应用：
对鼠标应用启动虚拟鼠标模块；
对触屏应用启动虚拟触屏模块；
对按键应用启动按键处理模块；
步骤2：接收数据，判断数据类型：
若为按键数据则转步骤3；
若为传感器数据则传入传感器模块计算传感器姿态数据，并转步骤4；
若为蓝牙手柄数据则转步骤5；
若为触摸板数据则转步骤6；
步骤3：判断当前应用类型：
若当前应用为鼠标应用，则将按键数据传入虚拟鼠标模块，转步骤7；
若当前应用为触屏应用，则将按键数据传入虚拟触屏模块，转步骤8；
若当前应用为按键应用，则将按键数据传入键值处理模块，转步骤9；
步骤4：判断当前应用类型：
若当前应用为鼠标应用，则将传感器姿态数据传入虚拟鼠标模块，转步骤7；
若当前应用为触屏应用，则将传感器姿态数据传入虚拟触屏模块，转步骤8；
步骤5：判断蓝牙手柄数据为手柄按键数据或手柄姿态数据，若为手柄按键数据，则转步骤3，若为手柄姿态数据，则转步骤4；
步骤6：判断当前应用类型：
若当前应用为鼠标应用，则将触摸板数据传入虚拟鼠标模块，转步骤7；
若当前应用为触屏应用或按键应用，则将触摸手势转换为按键数据，传入键值处理模块；
步骤7：创建虚拟鼠标，设置鼠标移动边界和初始位置；
对传感器姿态数据或手柄姿态数据计算虚拟鼠标坐标后发送鼠标事件；
对触摸板数据、按键数据和手柄按键数据直接发送鼠标事件；
鼠标应用响应上述鼠标事件；
步骤8：创建虚拟触屏，设置触屏边界；
对手柄姿态数据计算手柄射线与应用的交点坐标、对传感器姿态数据计算凝视点射线与应用的交点坐标，再计算触屏坐标，转化为触屏事件并发送；
对按键数据、手柄按键数据和键值处...

【专利技术属性】
技术研发人员：蔡小飞，张琦，曹俊，赖小松，
申请(专利权)人：南京睿悦信息技术有限公司，
类型：发明
国别省市：江苏;32