一种人机交互方法及人机交互系统技术方案

本发明专利技术公开一种人机交互方法即人机交互系统，所述交互方法包括：获取用户手部的定位信息和手势信息；根据获取的所述定位信息，确定所述虚拟现实显示设备显示内容中虚拟操作手的待操作内容；根据获取的所述手势信息确定对应的交互操作方式；执行并响应所述虚拟操作手按照所述交互操作方式对所述待操作内容的触发操作。应用本发明专利技术的技术方案，解决现有交互手柄按钮不足而不能实现用户需要的更多交互方式的问题。

【技术实现步骤摘要】
一种人机交互方法及人机交互系统
本专利技术涉及一种人机交互技术，尤其涉及一种虚拟现实显示设备的人机交互方法及人机交互系统。
技术介绍
随着三维显示技术与虚拟现实技术的发展，越来越多技术团队针对相关新型显示技术开发相对应的人机交互技术。目前市场上用于虚拟现实显示设备的人机交互方法，在确定待操作的交互内容之后，通常使用交互手柄(或交互笔)的移动及其按钮进行抓取、放下、移动与旋转显示内容中的交互物品来实现人机交互。这种方法通过绑定手柄上的按钮与内容平台上相应的触发事件来实现。但是，一般手柄上的按键有限，如果还想实现放大、缩小、进入、退出、翻页、全屏等等更多功能，则显得捉襟见肘。严重影响用户体验。由此可见，现有交互方式因交互手柄按钮不足存在不能实现用户所需的更多交互方式的缺陷，需要改进。
技术实现思路
本专利技术的目的是克服现有技术的不足，提供一种人机交互方法及人机交互系统，以解决现有交互手柄按钮不足而不能实现用户需要的更多交互方式的问题。为实现以上目的，本专利技术通过以下技术方案予以实现：本专利技术提供一种人机交互方法，用于实现用户与虚拟现实显示设备的交互，包括：获取用户手部的定位信息和手势信息；根据获取的所述定位信息，确定所述虚拟现实显示设备显示内容中虚拟操作手的待操作内容；根据获取的所述手势信息确定对应的交互操作方式；执行并响应所述虚拟操作手按照所述交互操作方式对所述待操作内容的触发操作。进一步地，所述定位信息包括：位置信息和旋转信息；所述获取用户手部的定位信息的步骤，具体包括：通过光学动作捕捉系统拍摄绑定在所述用户手部的刚体的图像，以获取所述用户手部的位置信息和旋转信息；或，通过光学动作捕捉系统拍摄绑定在所述用户手部的标记点的图像，以获取所述用户手部的位置信息；通过惯性系统获取所述用户手部的旋转信息。进一步地，所述获取用户手部的手势信息的步骤，具体包括：通过所述光学动作捕捉系统拍摄绑定在所述用户手部的刚体的图像，以获取所述用户手部的手势信息；或；通过手势识别系统拍摄所述用户手部的图像，以获取所述用户手部的手势信息。进一步地，所述根据获取的所述定位信息，确定所述虚拟现实显示设备显示内容中虚拟操作手的待操作内容的步骤，具体包括：根据获取的所述用户手部的定位信息，按照预设的位置映射关系确定所述显示内容中所述虚拟操作手的待操作位置；确定所述待操作位置对应的待操作内容。进一步地，所述根据获取的所述手势信息确定对应的交互操作方式的步骤，具体包括：根据获取的所述手势信息，按照预设的手势信息与操作方式映射关系确定所述手势信息对应的交互操作方式；或，根据获取的所述手势信息，按照预设的手势信息与键盘按键映射关系确定所述手势信息对应的键盘上的具体按键，以及按照预设的键盘按键与操作方式映射关系，确定所述具体按键对应的交互操作方式。进一步地，所述虚拟现实显示设备包括：3D大屏虚拟现实显示设备、3D桌面显示设备或3D头戴式显示设备。进一步地，当所述虚拟现实显示设备包括3D大屏虚拟现实显示设备时，所述方法还包括：通过所述光学动作捕捉系统获取所述用户佩戴的3D交互眼镜的定位信息；根据所述3D交互眼镜的定位信息，实时调整所述3D大屏虚拟现实显示设备显示内容的显示视角。本专利技术还提供一种人机交互系统，包括：虚拟现实显示设备，用于显示图像内容；光学动作捕捉系统，用于获取用户手部的位置信息和手势信息；惯性系统，用于获取所述用户手部的旋转信息；数据处理设备，用于根据所述光学动作捕捉系统获取的所述位置信息和所述惯性系统获取的所述用户手部的旋转信息，确定所述虚拟现实显示设备显示内容中虚拟操作手的待操作内容；以及根据所述光学动作捕捉系统获取的手势信息，确定所述手势信息对应的交互操作方式；以及执行并响应所述虚拟操作手按照所述交互操作方式对所述待操作内容的触发操作。相应地，本专利技术还提供了一种人机交互系统，包括：虚拟现实显示设备，用于显示图像内容；光学动作捕捉系统，用于获取用户手部的位置信息；惯性系统，用于获取所述用户手部的旋转信息；手势识别系统，用于获取所述用户手部的手势信息；数据处理设备，用于根据所述光学动作捕捉系统获取的所述位置信息和所述惯性系统获取的所述用户手部的旋转信息，确定所述虚拟现实显示设备显示内容中虚拟操作手的待操作内容；以及根据所述手势识别系统获取的手势信息，确定所述手势信息对应的交互操作方式；以及执行并响应所述虚拟操作手按照所述交互操作方式对所述待操作内容的触发操作。相应地，本专利技术还提供了一种人机交互系统，包括：虚拟现实显示设备，用于显示图像内容；光学动作捕捉系统，用于获取用户手部的定位信息和手势信息；数据处理设备，用于根据所述光学动作捕捉系统获取的所述定位信息，确定所述虚拟现实显示设备显示内容中虚拟操作手的待操作内容；以及根据所述光学动作捕捉系统获取的手势信息，确定所述手势信息对应的交互操作方式；以及执行并响应所述虚拟操作手按照所述交互操作方式对所述待操作内容的触发操作。本专利技术提供本专利技术提供的人机交互方法及人机交互系统，用户在与虚拟现实显示设备进行交互操作时，不再依赖于传统的交互手柄或交互笔，因此交互操作方式不再受限于交互手柄物理按钮的数量；且，由于用户可以做出多种不同手势来实时控制虚拟操作手的移动，因此可以进行更多的满足用户需求的交互操作，因此本专利技术的人机交互方法可以摆脱交互手柄与交互笔的制约，能够实现更多的人机交互功能。附图说明图1为本专利技术提供的人机交互方法的第一实施例的流程示意图。图2为本专利技术提供的人机交互方法的第二实施例的流程示意图。图3a-图3f为本专利技术实施例提供的手势信息的示意图。图4为本专利技术提供的人机交互方法的第三实施例的流程示意图。图5为本专利技术提供的人机交互系统的第一实施例的结构框图。图6为本专利技术提供的人机交互系统的第二实施例的结构框图。图7为本专利技术提供的人机交互系统的第三实施例的结构框图。具体实施方式以下结合附图和具体实施例，对本专利技术进行详细说明。基于当前用户与虚拟现实交互设备交互方法受限于交互手柄的缺陷，导致交互方式不足以满足用户更多交互需求的问题，本专利技术提供一种人机交互方法，用于实现用户与虚拟现实显示设备的交互，该虚拟现实显示设备可以包括:3D大屏虚拟现实显示设备，3D桌面显示设备，或3D头戴式显示设备。也即是说，本专利技术的人机交互方法，可以适用于3D大屏人机交互，3D桌面人机交互(如zspace桌面屏幕交互)，或头戴式人机交互(如AR头戴式显示设备或VR头戴式显示设备)。如图1所示，本专利技术提出的人机交互方法的核心，包括如下步骤：步骤S100,预先设置手势信息与交互操作方式的映射关系。其中，交互操作方式可以包括：如抓取、放下、移动、旋本文档来自技高网...

【技术保护点】
1.一种人机交互方法，用于实现用户与虚拟现实显示设备的交互，其特征在于，包括：/n获取用户手部的定位信息和手势信息；/n根据获取的所述定位信息，确定所述虚拟现实显示设备显示内容中虚拟操作手的待操作内容；/n根据获取的所述手势信息确定对应的交互操作方式；/n执行并响应所述虚拟操作手按照所述交互操作方式对所述待操作内容的触发操作。/n

【技术特征摘要】
1.一种人机交互方法，用于实现用户与虚拟现实显示设备的交互，其特征在于，包括：
获取用户手部的定位信息和手势信息；
根据获取的所述定位信息，确定所述虚拟现实显示设备显示内容中虚拟操作手的待操作内容；
根据获取的所述手势信息确定对应的交互操作方式；
执行并响应所述虚拟操作手按照所述交互操作方式对所述待操作内容的触发操作。


2.根据权利要求1所述的人机交互方法，其特征在于，所述定位信息包括：位置信息和旋转信息；所述获取用户手部的定位信息的步骤，具体包括：
通过光学动作捕捉系统拍摄绑定在所述用户手部的刚体的图像，以获取所述用户手部的位置信息和旋转信息；或，
通过光学动作捕捉系统拍摄绑定在所述用户手部的标记点的图像，以获取所述用户手部的位置信息；通过惯性系统获取所述用户手部的旋转信息。


3.根据权利要求2所述的人机交互方法，其特征在于，所述获取用户手部的手势信息的步骤，具体包括：
通过所述光学动作捕捉系统拍摄绑定在所述用户手部的刚体的图像，以获取所述用户手部的手势信息；或；
通过手势识别系统拍摄所述用户手部的图像，以获取所述用户手部的手势信息。


4.根据权利要求2或3所述的人机交互方法，其特征在于，所述根据获取的所述定位信息，确定所述虚拟现实显示设备显示内容中虚拟操作手的待操作内容的步骤，具体包括：
根据获取的所述用户手部的定位信息，按照预设的位置映射关系确定所述显示内容中所述虚拟操作手的待操作位置；
确定所述待操作位置对应的待操作内容。


5.根据权利要求2或3所述的人机交互方法，其特征在于，所述根据获取的所述手势信息确定对应的交互操作方式的步骤，具体包括：
根据获取的所述手势信息，按照预设的手势信息与操作方式映射关系确定所述手势信息对应的交互操作方式；或，
根据获取的所述手势信息，按照预设的手势信息与键盘按键映射关系确定所述手势信息对应的键盘上的具体按键，以及按照预设的键盘按键与操作方式映射关系，确定所述具体按键对应的交互操作方式。


6.根据权利要求1所述的人机交互方法，其特征在于，所述虚拟现实显示设备包括：3D大屏虚拟现实显示设备、3D...

【专利技术属性】
技术研发人员：赵湘涛，
申请(专利权)人：深圳布莱克实验室科技有限公司，
类型：发明
国别省市：广东;44