人机交互方法、装置、头戴显示设备及存储介质制造方法及图纸

本申请公开了人机交互方法、装置、头戴显示设备及存储介质，人机交互方法包括：在头戴显示设备中增设虚拟的USB HID设备；通过USB HID设备接收移动终端中Android应用发送的UI交互操作所作用的坐标数据；将UI交互操作所作用的坐标数据上报给所述移动终端，模拟触发交互事件，以使得所述移动终端响应于所述交互事件，执行相应的交互操作。本申请实施例避开了Android系统的权限限制，在没有获取Android系统权限的情况下，实现通过头戴显示设备与Android终端用户界面的交互功能。

【技术实现步骤摘要】
人机交互方法、装置、头戴显示设备及存储介质
本申请涉及头戴显示设备
，尤其涉及人机交互方法、装置、头戴显示设备及存储介质。
技术介绍
随着手机硬件能力的不断增强，越来越多的手机开始支持输出视频信号，使得轻量化的VR(VirtualReality，虚拟现实)/AR(AugmentedReality，增强现实)头戴显示设备成为可能。但是安卓Android系统在权限管理方面日趋严格，这导致VR/AR等头戴显示设备在连接手机使用的场景下，未取得Android系统的INJECT_EVENT权限，不能进行按键注入等进而无法实现点击，确认等常规操作，严重影响了用户体验。
技术实现思路
本申请实施例提供了人机交互方法、装置、头戴显示设备及存储介质，以避开Android系统的权限限制，在不获取Android系统权限的情况下，实现了头戴显示设备与移动终端用户界面交互的功能。本申请实施例采用下述技术方案：第一方面，本申请实施例提供一种人机交互方法，所述人机交互方法包括：在头戴显示设备中增设虚拟的USBHID设备；通过USBHID设备接收移动终端中Android应用发送的UI交互操作所作用的坐标数据；将UI交互操作所作用的坐标数据上报给所述移动终端，模拟触发交互事件，以使得所述移动终端响应于所述交互事件，执行相应的交互操作。第二方面，本申请实施例还提供一种人机交互装置，所述人机交互装置包括：虚拟模块，用于在头戴显示设备中增设虚拟的USBHID设备；交互模块，用于通过USBHID设备接收移动终端中Android应用发送的UI交互操作所作用的坐标数据，将UI交互操作所作用的坐标数据上报给所述移动终端，模拟触发交互事件，以使得所述移动终端响应于所述交互事件，执行相应的交互操作。第三方面，本申请实施例还提供一种头戴显示设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行本申请实施例第一方面所述方法。第四方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的头戴显示设备执行时，使得所述头戴显示设备执行本申请实施例第一方面所述方法。本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：对于Android移动终端不开放系统权限的场景，本申请实施例通过在头戴显示设备中增设虚拟的USBHID设备，利用USBHID设备模拟交互事件上报，从而实现点击，选择等交互事件的触发。由此，避开了Android移动终端的权限限制，在没有获取到系统权限的情况下，仍然能够完成头戴显示设备的用户交互功能，具有通用性，并且减轻了头戴显示设备对Android系统的权限依赖，改善了头戴显示设备的用户体验。附图说明此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1为本申请实施例的人机交互方法的流程图；图2为本申请实施例的人机交互方法的原理架构图；图3为本申请实施例的人机交互装置的框图；图4为本申请实施例中一种头戴显示设备的结构示意图。具体实施方式为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。目前安卓Android系统对于外部设备的权限管理日趋严格，在VR或AR等头戴显示设备与Android手机等移动终端连接使用的场景中，头戴显示设备需要获取Android手机的系统权限(如INJECT_EVENT权限)进行系统签名，才能完成通过VR或AR设备操作手机用户界面UI(UserInterface)的功能。INJECT_EVENT权限是Android系统中级别比较高的一个权限，其允许一个程序截获用户事件如按键、触摸、轨迹球，从而实现通过鼠标、键盘等控制Android系统。有一种获取INJECT_EVENT权限完成人机交互功能的方案是：VR/AR厂商与手机厂商进行合作，让手机厂商开放部分安卓系统权限给VR/AR设备使用。但是这对于VR/AR厂商来说，严重依赖手机厂商，很容易受到来自手机系统的限制，而且手机品牌厂商众多，逐个品牌适配工作量巨大。基于此，本申请实施例提出一种人机交互方法，通过模拟USB输入设备的方式，来达到间接获取按键注入权限的目的，从而实现VR/AR头戴显示器在连接Android系统时的UI交互，通用性强，用户体验好。以下结合附图，详细说明本申请各实施例提供的技术方案。图1为本申请实施例的人机交互方法的流程图，参见图1，本申请实施例的人机交互方法包括下列步骤：步骤S110，在头戴显示设备中增设虚拟的USBHID设备。这里的头戴显示设备(Head-MountedDisplay，简称HMD)，即头显。通过各种头显，向眼睛发送光学信号，可以实现虚拟现实(VirtualReality，简称VR)、增强现实(AugmentedReality，简称AR)、混合现实(MixedReality，简称MR)等不同效果。HID(HumanInterfaceDevice，人机接口设备)是一种符合USB(UniversalSerialBus，通用串行总线)通信协议，用于进行人机交互通信的接口设备，典型的HID设备有鼠标、键盘和触摸屏等，只要符合HID类别设备规范的设备都可以认为是HID设备。HID设备是USB协议中最早提出并支持的一种设备类，并为之专门提供了接口描述。使用HID设备的一个优点是操作系统自带了HID类的驱动程序，用户无需开发驱动程序，直接使用API(ApplicationProgrammingInterface，应用程序接口)调用即可完成通信。步骤S120，通过USBHID设备接收移动终端中Android应用发送的UI交互操作所作用的坐标数据。本申请实施例中的移动终端比如是手机，手机中使用的是Android操作系统，本申请实施例的头戴显示设备比如是VR设备，VR设备与手机连接，手机中安装有VR设备的软件开发工具包SDK(SoftwareDevelopmentKit)，通过VR设备可以输出手机中的视频数据。在VR设备与手机连接的使用场景中，VR设备中的USBHID设备对VR设备的人机交互事件进行监听，如果接收到手机中Android应用发送的UI交互操作所作用的坐标数据则确定发生了交互事件。注：UI交互操作是用户操作UI元素时，被操作的UI元素对应的的坐标数据，比如，当用户点击手机上的应用图标以打开应用时，应用图标所在的像素坐标即为UI交互操作所作用的坐标数据。步骤S13本文档来自技高网...

【技术保护点】
1.一种人机交互方法，其特征在于，所述人机交互方法包括：/n在头戴显示设备中增设虚拟的USB HID设备；/n通过USB HID设备接收移动终端中Android应用发送的UI交互操作所作用的坐标数据；/n将UI交互操作所作用的坐标数据上报给所述移动终端，模拟触发交互事件，以使得所述移动终端响应于所述交互事件，执行相应的交互操作。/n

【技术特征摘要】
1.一种人机交互方法，其特征在于，所述人机交互方法包括：
在头戴显示设备中增设虚拟的USBHID设备；
通过USBHID设备接收移动终端中Android应用发送的UI交互操作所作用的坐标数据；
将UI交互操作所作用的坐标数据上报给所述移动终端，模拟触发交互事件，以使得所述移动终端响应于所述交互事件，执行相应的交互操作。


2.如权利要求1所述的方法，其特征在于，
所述在头戴显示设备中增设虚拟的USBHID设备包括：在头戴显示设备中增设虚拟触摸屏；
所述通过USBHID设备接收移动终端中Android应用发送的UI交互操作所作用的坐标数据包括：
通过虚拟触摸屏接收移动终端中屏幕镜像应用发送的触摸操作所作用的坐标数据；
所述将UI交互操作所作用的坐标数据上报给所述移动终端，模拟触发交互事件包括：
虚拟触摸屏基于所述坐标数据，生成触摸屏操作数据，将生成的触摸屏操作数据上报给Android系统驱动层，以使得所述Android系统驱动层将触摸屏操作数据转发至Android系统框架层的触摸屏HID设备节点，模拟触发触摸事件。


3.如权利要求2所述的方法，其特征在于，所述在头戴显示设备中增设虚拟触摸屏包括：
在标准的自定义HID设备所在的USB接口上配置虚拟触摸屏对应的目标接口；
所述目标接口的接口描述符不同于所述自定义HID设备的接口描述符。


4.如权利要求3所述的方法，其特征在于，所述通过虚拟触摸屏接收移动终端中屏幕镜像应用发送的触摸操作所作用的坐标数据包括：
通过所述虚拟触摸屏接收所述屏幕镜像应用通过所述自定义HID设备发送的触摸操作所作用的坐标数据。


5.一种人机交互装置，其特征在于，所述人机交互装置...

【专利技术属性】
技术研发人员：刘树林，
申请(专利权)人：青岛小鸟看看科技有限公司，
类型：发明
国别省市：山东;37