一种人机交互系统技术方案

本实用新型专利技术公开一种人机交互系统，所述交互系统包括：虚拟现实显示设备，用于显示图像内容；用户手部信息获取系统，用于获取用户手部的定位信息和手势信息；数据处理设备，用于根据所述用户手部信息获取系统获取的手部的定位信息确定所述虚拟现实显示设备显示内容中虚拟操作手的待操作内容；以及根据所述用户手部信息获取系统获取的手势信息，确定所述手势信息对应的交互操作方式；以及执行并响应所述虚拟操作手按照所述交互操作方式对所述待操作内容的触发操作。应用本实用新型专利技术的技术方案，解决现有交互手柄按钮不足而不能实现用户需要的更多交互方式的问题。

【技术实现步骤摘要】
一种人机交互系统
本技术涉及一种人机交互技术，尤其涉及一种虚拟现实显示设备的人机交互系统。
技术介绍
随着三维显示技术与虚拟现实技术的发展，越来越多技术团队针对相关新型显示技术开发相对应的人机交互技术。目前市场上用于虚拟现实显示设备的人机交互方法，在确定待操作的交互内容之后，通常使用交互手柄(或交互笔)的移动及其按钮进行抓取、放下、移动与旋转显示内容中的交互物品来实现人机交互。这种方法通过绑定手柄上的按钮与内容平台上相应的触发事件来实现。但是，一般手柄上的按键有限，如果还想实现放大、缩小、进入、退出、翻页、全屏等等更多功能，则显得捉襟见肘。严重影响用户体验。由此可见，现有交互方式因交互手柄按钮不足存在不能实现用户所需的更多交互方式的缺陷，需要改进。
技术实现思路
本技术的目的是克服现有技术的不足，提供一种人机交互系统，以解决现有交互手柄按钮不足而不能实现用户需要的更多交互方式的问题。为实现以上目的，本技术通过以下技术方案予以实现：本技术提供一种人机交互方法，用于实现用户与虚拟现实显示设备的交互，包括：获取用户手部的定位信息和手势信息；根据获取的所述定位信息，确定所述虚拟现实显示设备显示内容中虚拟操作手的待操作内容；根据获取的所述手势信息确定对应的交互操作方式；执行并响应所述虚拟操作手按照所述交互操作方式对所述待操作内容的触发操作。进一步地，所述定位信息包括：位置信息和旋转信息；所述获取用户手部的定位信息的步骤，具体包括：通过光学动作捕捉系统拍摄绑定在所述用户手部的刚体的图像，以获取所述用户手部的位置信息和旋转信息；或，通过光学动作捕捉系统拍摄绑定在所述用户手部的标记点的图像，以获取所述用户手部的位置信息；通过惯性系统获取所述用户手部的旋转信息。进一步地，所述获取用户手部的手势信息的步骤，具体包括：通过所述光学动作捕捉系统拍摄绑定在所述用户手部的刚体的图像，以获取所述用户手部的手势信息；或；通过手势识别系统拍摄所述用户手部的图像，以获取所述用户手部的手势信息。进一步地，所述根据获取的所述定位信息，确定所述虚拟现实显示设备显示内容中虚拟操作手的待操作内容的步骤，具体包括：根据获取的所述用户手部的定位信息，按照预设的位置映射关系确定所述显示内容中所述虚拟操作手的待操作位置；确定所述待操作位置对应的待操作内容。进一步地，所述根据获取的所述手势信息确定对应的交互操作方式的步骤，具体包括：根据获取的所述手势信息，按照预设的手势信息与操作方式映射关系确定所述手势信息对应的交互操作方式；或，根据获取的所述手势信息，按照预设的手势信息与键盘按键映射关系确定所述手势信息对应的键盘上的具体按键，以及按照预设的键盘按键与操作方式映射关系，确定所述具体按键对应的交互操作方式。进一步地，所述虚拟现实显示设备包括：3D大屏虚拟现实显示设备、3D桌面显示设备或3D头戴式显示设备。进一步地，当所述虚拟现实显示设备包括3D大屏虚拟现实显示设备时，所述方法还包括：通过所述光学动作捕捉系统获取所述用户佩戴的3D交互眼镜的定位信息；根据所述3D交互眼镜的定位信息，实时调整所述3D大屏虚拟现实显示设备显示内容的显示视角。本技术还提供一种人机交互系统，用于实现用户与虚拟现实显示设备的交互，包括：虚拟现实显示设备，用于显示图像内容；用户手部信息获取系统，用于获取用户手部的定位信息和手势信息；数据处理设备，用于根据所述用户手部信息获取系统获取的手部的定位信息确定所述虚拟现实显示设备显示内容中虚拟操作手的待操作内容；以及根据所述用户手部信息获取系统获取的手势信息，确定所述手势信息对应的交互操作方式；以及执行并响应所述虚拟操作手按照所述交互操作方式对所述待操作内容的触发操作。进一步，所述用手部户信息获取系统包括：光学动作捕捉系统，用于获取用户手部的位置信息和手势信息；和，惯性系统，用于获取所述用户手部的旋转信息；所述数据处理设备，用于根据所述光学动作捕捉系统获取的所述位置信息和所述惯性系统获取的所述用户手部的旋转信息，确定所述虚拟现实显示设备显示内容中虚拟操作手的待操作内容；以及根据所述光学动作捕捉系统获取的手势信息，确定所述手势信息对应的交互操作方式；以及执行并响应所述虚拟操作手按照所述交互操作方式对所述待操作内容的触发操作。进一步，所述光学动作捕捉系统包括：多个动作捕捉相机和标记点；所述惯性系统包括IMU模块；所述多个动作捕捉相机用于拍摄绑定在所述用户手部的所述标记点的图像，以获取所述用户手部的位置信息；以及还用于拍摄所述用户手部图像，以获取所述用户的手势信息；所述IMU模块用于获取所述用户手部的旋转信息。进一步，所述所述用手部户信息获取系统包括：光学动作捕捉系统，用于获取用户手部的位置信息；惯性系统，用于获取所述用户手部的旋转信息；和，手势识别系统，用于获取所述用户手部的手势信息；所述数据处理设备，用于根据所述光学动作捕捉系统获取的所述位置信息和所述惯性系统获取的所述用户手部的旋转信息，确定所述虚拟现实显示设备显示内容中虚拟操作手的待操作内容；以及根据所述手势识别系统获取的手势信息，确定所述手势信息对应的交互操作方式；以及执行并响应所述虚拟操作手按照所述交互操作方式对所述待操作内容的触发操作。进一步，所述光学动作捕捉系统包括：多个动作捕捉相机和标记点；所述惯性系统包括IMU模块；所述多个动作捕捉相机用于拍摄绑定在所述用户手部的所述标记点的图像，以获取所述用户手部的位置信息；所述IMU模块用于获取所述用户手部的旋转信息。进一步，所述用户手部信息获取系统包括：光学动作捕捉系统，用于获取用户手部的位置信息、旋转信息和手势信息；所述数据处理设备，用于根据所述光学动作捕捉系统获取的所述定位信息，确定所述虚拟现实显示设备显示内容中虚拟操作手的待操作内容；以及根据所述光学动作捕捉系统获取的手势信息，确定所述手势信息对应的交互操作方式；以及执行并响应所述虚拟操作手按照所述交互操作方式对所述待操作内容的触发操作。本技术提供本技术提供的人机交互系统，用户在与虚拟现实显示设备进行交互操作时，不再依赖于传统的交互手柄或交互笔，因此交互操作方式不再受限于交互手柄物理按钮的数量；且，由于用户可以做出多种不同手势来实时控制虚拟操作手的移动，因此可以进行更多的满足用户需求的交互操作，因此本技术的人机交互可以摆脱交互手柄与交互笔的制约，能够实现更多的人机交互功能。附图说明图1为本技术提供的人机交互方法的第一实施例的流程示意图。图2为本技术提供的人机交互方法的第二实施例的流程示意图。图3a-图3f为本技术实施例提供的手势信息的示意图。图4为本技术提供的人机交互方法的第本文档来自技高网...

【技术保护点】
1.一种人机交互系统，其特征在于，用于实现用户与虚拟现实显示设备的交互，包括：/n虚拟现实显示设备，用于显示图像内容；/n用户手部信息获取系统，用于获取用户手部的定位信息和手势信息；/n数据处理设备，用于根据所述用户手部信息获取系统获取的手部的定位信息确定所述虚拟现实显示设备显示内容中虚拟操作手的待操作内容；以及根据所述用户手部信息获取系统获取的手势信息，确定所述手势信息对应的交互操作方式；以及执行并响应所述虚拟操作手按照所述交互操作方式对所述待操作内容的触发操作；/n其中，所述用户手部信息获取系统包括：光学动作捕捉系统；/n所述光学动作捕捉系统包括多个动作捕捉相机和标记点，所述多个动作捕捉相机用于拍摄绑定在所述用户手部的所述标记点的图像，以获取所述用户手部的位置信息；/n或，所述光学动作捕捉系统包括多个动作捕捉相机和刚体，多个标记点的一部分组成刚体，将由标记点组成的刚体粘贴在用户手部的手背位置处，将其余的标记点粘贴在用户的手指上；所述多个动作捕捉相机用于拍摄绑定在所述用户手部的所述刚体的图像，以获取所述用户手部的位置信息、旋转信息和手势信息，或，以获取所述用户手部的位置信息和旋转信息。/n...

【技术特征摘要】
1.一种人机交互系统，其特征在于，用于实现用户与虚拟现实显示设备的交互，包括：
虚拟现实显示设备，用于显示图像内容；
用户手部信息获取系统，用于获取用户手部的定位信息和手势信息；
数据处理设备，用于根据所述用户手部信息获取系统获取的手部的定位信息确定所述虚拟现实显示设备显示内容中虚拟操作手的待操作内容；以及根据所述用户手部信息获取系统获取的手势信息，确定所述手势信息对应的交互操作方式；以及执行并响应所述虚拟操作手按照所述交互操作方式对所述待操作内容的触发操作；
其中，所述用户手部信息获取系统包括：光学动作捕捉系统；
所述光学动作捕捉系统包括多个动作捕捉相机和标记点，所述多个动作捕捉相机用于拍摄绑定在所述用户手部的所述标记点的图像，以获取所述用户手部的位置信息；
或，所述光学动作捕捉系统包括多个动作捕捉相机和刚体，多个标记点的一部分组成刚体，将由标记点组成的刚体粘贴在用户手部的手背位置处，将其余的标记点粘贴在用户的手指上；所述多个动作捕捉相机用于拍摄绑定在所述用户手部的所述刚体的图像，以获取所述用户手部的位置信息、旋转信息和手势信息，或，以获取所述用户手部的位置信息和旋转信息。


2.根据权利要求1所述的人机交互系统，其特征在于，所述光学动作捕捉系统，用于获取用户手部的位置信息和手势信息；所述用户手部信息获取系统还包括：惯性系统，用于获取所述用户手部的旋转信息；
所述数据处理设备，用于根据所述光学动作捕捉系统获取的所述位置信息和所述惯性系统获取的所述用户手部的旋转信息，确定所述虚拟现实显示设备显示内容中虚拟操作手的待操作内容；以及根据所述光学动作捕捉系统获取的手势信息，确定所述手势信息对应的交互操作方式；以及执行并响应所述虚拟操作手按照所述交互操作方式对所述待操作内容的触发操作。


3.根据权利要求2所述的人机交互系统，其特征在于，所述惯性系统包括IMU模块；
所述多个动作捕捉相机还用于拍摄所述用户手部图像，以获取所述用户的手势信息；所述IMU模块用于获取所述用户手部的旋转信息。

【专利技术属性】
技术研发人员：赵湘涛，
申请(专利权)人：深圳布莱克实验室科技有限公司，
类型：新型
国别省市：广东;44