一种在增强现实设备进行人机交互的方法与设备技术

本申请的目的是提供一种在增强现实设备端进行人机交互的方法，其中，具体包括：根据关于所述增强现实头戴设备对应的触摸设备的图像信息确定所述触摸设备的触摸区域信息，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信；根据所述触摸区域信息呈现交互界面信息，其中，所述交互界面信息叠加于所述触摸设备的触摸区域；接收所述触摸设备上传的用户在所述触摸区域的触摸操作信息；根据所述触摸操作信息及所述交互界面信息，执行对应的人机交互操作。本申请中增强现实头戴设备将虚拟内容呈现于所述触摸设备，基于触摸设备和虚拟内容的映射关系获取用户的操作指令，从而比较方便、快捷和精确地获取用户输入指令，提升了用户的使用体验。

A method and device for human-machine interaction in augmented reality devices

The purpose of the present application is to provide a method of human-computer interaction at an augmented reality device end, in which the touch area information of the touch device is determined according to the image information about the touch device corresponding to the enhanced reality head wear device, in which the touch touch device and the augmented reality head wear device are used. The interface information is presented according to the touch area information, in which the interface information is superimposed on the touch area of the touch device, receiving the touch operation information of the user uploaded by the touch device in the touch area, and according to the touch operation information and the interactive interface according to the touch device. Information, the execution of the corresponding man-machine interaction. In this application, the virtual content is presented to the touch device, and the user's operation instructions are obtained based on the mapping relationship between the touch device and the virtual content. Thus, the user's input instructions are easily, quickly and accurately obtained, and the user's experience is improved.

【技术实现步骤摘要】
一种在增强现实设备进行人机交互的方法与设备
本申请涉及通信领域，尤其涉及一种用于在增强现实设备进行人机交互的技术。
技术介绍
随着科技的发展和不断拓新，增强现实技术广泛应用于越来越多的领域，诸如军事、工业、旅游、娱乐与艺术等领域。增强现实技术通过增强现实设备，将信息化图像呈现在人们的视野中，且这些增强信息将随时更新保持与所看到的景象同步。现有的人机交互方式包括语音识别、手势识别、触摸板、按键、gaze(视线跟踪)以及显示屏和触摸屏合二为一的全屏触摸等多种。其中，显示屏和触摸屏合二为一的全屏触摸是比较自然的人机交互方式，是智能手机能够成功的重要因素之一。现有增强现实设备的常见交互方式有语音识别、手势识别、触摸板、按键以及gaze(视线跟踪)等多种。但是，由于增强现实设备特殊的近眼显示方式，它缺乏类似于智能手机的显示屏和触摸屏合二为一的全屏触摸交互，这使得大量平时比较简单的工作，如输入数字字母、快速选择列表项等，在增强现实设备上利用常见的语音识别等交互方式往往比较难实现或者实现起来很不自然。
技术实现思路
本申请的一个目的是提供一种在增强现实设备进行人机交互的方法与设备。根据本申请的一个方面，提供了一种在增强现实头戴设备端进行人机交互的方法，该方法包括：根据关于所述增强现实头戴设备对应的触摸设备的图像信息确定所述触摸设备的触摸区域信息，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信；根据所述触摸区域信息呈现交互界面信息，其中，所述交互界面信息叠加于所述触摸设备的触摸区域；接收所述触摸设备上传的用户在所述触摸区域的触摸操作信息；根据所述触摸操作信息及所述交互界面信息，执行对应的人机交互操作。根据本申请的另一个方面，提供了一种在触摸设备端进行人机交互的方法，该方法包括：获取用户在触摸设备的触摸区域的触摸操作信息；将所述触摸操作信息发送至所述触摸设备对应的增强现实头戴设备，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信。根据本申请的又一个方面，提供了一种在增强现实头戴设备端进行人机交互的方法，其中，该方法包括：将关于所述增强现实头戴设备对应的触摸设备的图像信息发送至所述触摸设备，其中，所述触摸设备与所述增强现实设备分体设置并可通信；接收所述触摸设备上传交互界面信息和所述触摸设备的触摸区域信息对应的屏幕参考信息；根据所述屏幕参考信息呈现所述交互界面信息，其中，所述交互界面信息叠加于所述触摸设备的触摸区域。根据本申请的又一个方面，提供了一种在触摸设备端进行人机交互的方法，其中，该方法包括：接收触摸设备对应的增强现实头戴设备发送的关于所述触摸设备的图像信息，其中，所述触摸设备与所述增强现实设备分体设置并可通信；根据所述图像信息确定所述触摸设备的触摸区域信息对应的屏幕参考信息；将交互界面信息和所述屏幕参考信息发送至所述增强现实头戴设备；获取用户在所述触摸区域的触摸操作信息；根据所述触摸操作信息及所述交互界面信息，执行对应的人机交互操作。根据本申请的一个方面，提供了一种在分体式增强现实设备端进行人机交互的方法，其中，所述分体式增强现实设备包括增强现实头戴设备和触摸设备，所述触摸设备与所述增强现实头戴设备分体设置并可通信，该方法包括：所述增强现实头戴设备根据关于所述触摸设备的图像信息确定所述触摸设备的触摸区域信息；所述增强现实头戴设备根据所述触摸区域信息呈现交互界面信息，其中，所述交互界面信息叠加于所述触摸设备的触摸区域；所述触摸设备将用户在所述触摸区域的触摸操作信息发送至所述增强现实头戴设备；所述增强现实头戴设备根据所述触摸操作信息及所述交互界面信息，执行对应的人机交互操作。根据本申请的另一个方面，提供了一种在分体式增强现实设备端进行人机交互的方法，其中，所述分体式增强现实设备包括增强现实头戴设备和触摸设备，所述触摸设备与所述增强现实头戴设备分体设置并可通信，该方法包括：所述增强现实头戴设备将关于所述触摸设备的图像信息发送至所述触摸设备；所述触摸设备接收所述图像信息，根据所述图像信息确定所述触摸设备的触摸区域信息对应的屏幕参考信息，并将所述屏幕参考信息和交互界面信息发送至所述增强现实头戴设备；所述增强现实头戴设备接收所述交互界面信息和所述屏幕参考信息，并根据所述屏幕参考信息呈现所述交互界面信息，其中，所述交互界面信息叠加于所述触摸设备的触摸区域；所述触摸设备获取用户在所述触摸区域的触摸操作信息，根据所述触摸操作信息及所述交互界面信息，执行对应的人机交互操作。根据本申请的一个方面，提供了一种进行人机交互的增强现实头戴设备，该设备包括：确定模块，用于根据关于所述增强现实头戴设备对应的触摸设备的图像信息确定所述触摸设备的触摸区域信息，其中，所述触摸区域信息与所述增强现实头戴设备分体设置并可通信；呈现模块，用于根据所述触摸区域信息呈现交互界面信息，其中，所述交互界面信息叠加于所述触摸设备的触摸区域；接收模块，用于接收所述触摸设备上传的用户在所述触摸区域的触摸操作信息；执行模块，用于根据所述触摸操作信息及所述交互界面信息，执行对应的人机交互操作。根据本申请的另一个方面，提供了一种进行人机交互的触摸设备，该设备包括：获取模块，用于获取用户在触摸设备的触摸区域的触摸操作信息；发送模块，用于将所述触摸操作信息发送至所述触摸设备对应的增强现实头戴设备，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信。根据本申请的又一个方面，提供了一种进行人机交互的增强现实头戴设备，其中，该设备包括：发送模块，用于将关于所述增强现实头戴设备对应的触摸设备的图像信息发送至所述触摸设备，其中，所述触摸设备与所述增强现实设备分体设置并可通信；接收模块，用于接收所述触摸设备上传交互界面信息和所述触摸设备的触摸区域信息对应的屏幕参考信息；呈现模块，用于根据所述屏幕参考信息呈现所述交互界面信息，其中，所述交互界面信息叠加于所述触摸设备的触摸区域。根据本申请的又一个方面，提供了一种进行人机交互的触摸设备，其中，该设备包括：接收模块，用于接收触摸设备对应的增强现实头戴设备发送的关于所述触摸设备的图像信息，其中，所述触摸设备与所述增强现实设备分体设置并可通信；确定模块，用于根据所述图像信息确定所述触摸设备的触摸区域信息对应的屏幕参考信息；发送模块，用于将交互界面信息和所述屏幕参考信息发送至所述增强现实头戴设备；获取模块，用于获取用户在所述触摸区域的触摸操作信息；执行模块，用于根据所述触摸操作信息及所述交互界面信息，执行对应的人机交互操作。根据本申请的一个方面，提供了一种用于进行人机交互的分体式增强现实设备，其中，该设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行：根据关于所述增强现实头戴设备对应的触摸设备的图像信息确定所述触摸设备的触摸区域信息，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信；根据所述触摸区域信息呈现交互界面信息，其中，所述交互界面信息叠加于所述触摸设备的触摸区域；接收所述触摸设备上传的用户在所述触摸区域的触摸操作信息；根据所述触摸操作信息及所述交互界面信息，执行对应的人机交互操作。根据本申请的一个方面，提供了一种用于进行人机交互的触摸设备，其中，该设备包括：本文档来自技高网...

【技术保护点】
1.一种在增强现实头戴设备端进行人机交互的方法，其中，该方法包括：根据关于所述增强现实头戴设备对应的触摸设备的图像信息确定所述触摸设备的触摸区域信息，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信；根据所述触摸区域信息呈现交互界面信息，其中，所述交互界面信息叠加于所述触摸设备的触摸区域；接收所述触摸设备上传的用户在所述触摸区域的触摸操作信息；根据所述触摸操作信息及所述交互界面信息，执行对应的人机交互操作。

【技术特征摘要】
2018.02.11 CN 20181014234631.一种在增强现实头戴设备端进行人机交互的方法，其中，该方法包括：根据关于所述增强现实头戴设备对应的触摸设备的图像信息确定所述触摸设备的触摸区域信息，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信；根据所述触摸区域信息呈现交互界面信息，其中，所述交互界面信息叠加于所述触摸设备的触摸区域；接收所述触摸设备上传的用户在所述触摸区域的触摸操作信息；根据所述触摸操作信息及所述交互界面信息，执行对应的人机交互操作。2.根据权利要求1所述的方法，其中，所述增强现实头戴设备包括摄像装置；其中，所述方法还包括：通过所述摄像装置拍摄关于所述增强现实头戴设备对应的触摸设备的图像信息，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信；其中，所述根据关于所述增强现实头戴设备对应的触摸设备的图像信息确定所述触摸设备的触摸区域信息，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信，包括：根据所述图像信息确定所述触摸设备的触摸区域信息。3.根据权利要求2所述的方法，其中，所述通过所述摄像装置拍摄关于所述增强现实头戴设备对应的触摸设备的图像信息，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信，包括：当所述增强现实头戴设备进入交互模式，通过所述摄像装置拍摄关于所述增强现实头戴设备对应的触摸设备的图像信息，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信。4.根据权利要求3所述的方法，其中，所述当所述增强现实头戴设备进入交互模式，通过所述摄像装置拍摄关于所述增强现实头戴设备对应的触摸设备的图像信息，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信，包括：当所述增强现实头戴设备进入交互模式，向所述增强现实头戴设备对应的触摸设备发送激活定位参考指令，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信；通过所述摄像装置拍摄关于所述增强现实头戴设备对应的触摸设备的图像信息，其中，所述图像信息包括所述触摸设备中被激活的定位参考信息；其中，所述根据所述图像信息确定所述触摸设备的触摸区域信息，包括：根据所述图像信息中所述定位参考信息确定所述触摸设备的触摸区域信息。5.根据权利要求4所述的方法，其中，所述当所述增强现实头戴设备进入交互模式，向所述增强现实头戴设备对应的触摸设备发送激活定位参考指令，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信，包括：当所述增强现实头戴设备进入交互模式，确定所述增强现实头戴设备对应的触摸设备中的目标触摸区域，其中，所述目标触摸区域与当前交互模式的交互界面信息相匹配，所述触摸设备与所述增强现实头戴设备分体设置并可通信；向所述触摸设备发送与所述目标触摸区域相对应的激活定位参考指令。6.根据权利要求2所述的方法，其中，所述方法还包括：通过所述摄像装置重新拍摄关于所述触摸设备的图像信息；根据重新拍摄的所述图像信息更新所述触摸设备的触摸区域信息；其中，所述根据所述触摸区域信息呈现交互界面信息，其中，所述交互界面信息叠加于所述触摸设备的触摸区域，包括：根据更新后的所述触摸区域信息呈现交互界面信息，其中，所述交互界面信息叠加于所述触摸设备的触摸区域。7.根据权利要求1所述的方法，其中，所述根据关于所述增强现实头戴设备对应的触摸设备的图像信息确定所述触摸设备的触摸区域信息，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信，包括：根据关于所述增强现实头戴设备对应的触摸设备的图像信息确定所述触摸设备对应的定位参考信息，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信；基于所述定位参考信息确定所述触摸设备的触摸区域信息。8.根据权利要求1所述的方法，其中，所述根据所述触摸区域信息呈现交互界面信息，其中，所述交互界面信息叠加于所述触摸设备的触摸区域，包括：根据所述触摸区域信息确定所述触摸区域信息在所述增强现实头戴设备屏幕中的屏幕参考信息；根据所述屏幕参考信息呈现交互界面信息，其中，所述交互界面信息叠加于所述触摸设备的触摸区域。9.根据权利要求1所述的方法，其中，所述方法还包括：建立所述触摸区域与所述交互界面信息的映射关系；其中，所述根据所述触摸操作信息及所述交互界面信息，执行对应的人机交互操作，包括：根据所述触摸操作信息、所述交互界面信息，以及所述触摸区域与所述交互界面信息的映射关系，确定对应的人机交互操作；执行所述人机交互操作。10.一种在触摸设备端进行人机交互的方法，其中，该方法包括：获取用户在触摸设备的触摸区域的触摸操作信息；将所述触摸操作信息发送至所述触摸设备对应的增强现实头戴设备，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信。11.根据权利要求10所述的方法，其中，所述方法还包括：接收所述增强现实头戴设备发送的激活定位参考指令；根据所述激活定位参考指令，激活所述触摸设备中的定位参考信息。12.根据权利要求11所述的方法，其中，所述根据所述激活定位参考指令，激活所述触摸设备中的定位参考信息，包括：确定所述触摸设备中与所述激活定位参考指令相对应的目标触摸区域；激活所述目标触摸区域在所述触摸设备中对应的定位参考信息。13.一种在增强现实头戴设备端进行人机交互的方法，其中，该方法包括：将关于所述增强现实头戴设备对应的触摸设备的图像信息发送至所述触摸设备，其中，所述触摸设备与所述增强现实设备分体设置并可通信；接收所述触摸设备上传交互界面信息和所述触摸设备的触摸区域信息对应的屏幕参考信息；根据所述屏幕参考信息呈现所述交互界面信息，其中，所述交互界面信息叠加于所述触摸设备的触摸区域。14.一种在触摸设备端进行人机交互的方法，其中，该方法包括：接收触摸设备对应的增强现实头戴设备发送的关于所述触摸设备的图像信息，其中，所述触摸设备与所述增强现实设备分体设置并可通信；根据所述图像信息确定所述触摸设备的触摸区域信息对应的屏幕参考信息；将交互界面信息和所述屏幕参考信息发送至所述增强现实头戴设备；获取用户在所述触摸区域的触摸操作信息；根据所述触摸操作信息及所述交互界面信息，执行对应的人机交互操作。15.一种进行人机交互的增强现实头戴设备，其中，该设备包括：确定模块，用于根据关于所述增强现实头戴设备对应的触摸设备的图像信息确定所述触摸设备的触摸区域信息，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信；呈现模块，用于根据所述触摸区域信息呈现交互界面信息，其中，所述交互界面信息叠加于所述触摸设备的触摸区域；接收模块，用于接收所述触摸设备上传的用户在所述触摸区域的触摸操作信息；执行模块，用于根据所述触摸操作信息及所述交互界面信息，执行对应的人机交互操作。16.根据权利要求15所述的设备，其中，所述增强现实头戴设备包括摄像装置；其中，所述设备还包括：拍摄模块，用于通过所述摄像装置拍摄关于所述增强现实头戴设备对应的触摸设备的图像信息，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信；其中，所述确定模块用于：根据所述图像信息确定所述触摸设备的触摸区域信息。17.根据权利要求16所述的设备，其中，所述...

【专利技术属性】
技术研发人员：谢炳龙，黄海峰，李佩易，张建伟，杨华，沈宇，
申请(专利权)人：亮风台上海信息科技有限公司，
类型：发明
国别省市：上海,31