一种基于增强现实和可穿戴设备的人机交互系统及方法技术方案

本发明专利技术涉及一种基于增强现实和可穿戴设备的人机交互系统及方法，包括将可穿戴设备佩戴于使用者身体的特定部位处，采集使用者身体特定部位的肌电信号和可穿戴设备自身的姿态信息；基于所采集到的信息生成操作指令，并基于操作指令控制增强现实设备，以实现场景更新，并同时向使用者提供视觉、听觉反馈，并返回触觉反馈指令；基于触觉反馈指令控制可穿戴设备，以对使用者执行触觉反馈。通过以上系统和方法，本发明专利技术提供了一个完整的闭环人机交互系统和方法，使用者可通过穿戴式设备控制增强现实设备，并获得视觉、听觉、触觉反馈，从而获得更深层次更真实的交互体验。

【技术实现步骤摘要】
一种基于增强现实和可穿戴设备的人机交互系统及方法
本专利技术涉及人机交互领域，尤其涉及一种可穿戴设备、增强现实人机交互系统及方法。
技术介绍
自虚拟现实技术和人机交互技术诞生以来，交互设备及应用得到了飞速发展，尤其是近年来成熟的虚拟现实设备的普及促进了虚拟现实技术及人机交互技术进一步发展。但在虚拟现实场景下，使用者的感观被完全隔离在虚拟场景内，缺少与真实环境的交互，从而使得使用者在使用虚拟现实设备时，会产生眩晕、恶心等不适的生理现象。增强现实技术被提出之后，随着随身电子产品运算能力的提升，增强现实技术逐渐应用于小型化电子设备。相较于虚拟现实技术，增强现实技术能够在真实环境下为使用者提供虚拟影像，加强了使用者与真实环境的交互，同时至少在一定程度上避免了虚拟现实技术中亟待解决的产生眩晕、恶心等不适的生理现象的问题。增强现实技术与人机交互技术在增强现实技术应用中高度结合。现有的增强现实人机交互中，有些可采用物理控制器进行使用者与增强现实设备之间的交互，该种方式通常需要占用使用者的双手以进行相应的控制和操作，从而会影响与真实环境交互的真实感；有些也可采用声音进行使用者与增强现实设备之间的交互，但该种方式需要较为安静的环境，否则会受到严重的干扰，因此在公共场合或周围噪音较大的环境中难以适用；有些也可采用手势识别进行使用者与增强现实设备之间的交互，但该种方式需要使用者在增强现实图像输入设备(如：摄像头)的可见范围内做出特定的动作，因此容易受到环境光线的干扰且具有移动性的限制。因此，迫切需要设计一种新的增强现实人机交互系统及方法，能够进一步解放使用者的双手或更加适用于各种不同的环境。
技术实现思路
有鉴于现有技术的上述缺陷，本专利技术所要解决的技术问题是提供一种增强现实人机交互系统及方法，使得使用者在操作过程中能够解放双手，并且能够获得在增强现实系统中操作的视觉、听觉和触觉反馈，使用场景广泛，且没有移动性的限制。本专利技术提供了一种包括可穿戴设备的增强现实人机交互系统及方法，通过可穿戴设备进行使用者与增强现实设备之间的交互，至少可以部分地实现上述目的。一方面，本专利技术提供一种人机交互系统，包括：可穿戴设备，所述可穿戴设备佩戴于使用者身体的特定部位处；上位机；服务器；增强现实设备；其中，所述可穿戴设备、所述上位机、所述服务器与所述增强现实设备之间通信连接；其特征在于：所述可穿戴设备采集使用者身体特定部位的肌电信号和所述可穿戴设备自身的姿态信息，并传输至所述上位机；所述上位机基于所述可穿戴设备采集的信息生成解析结果，并传输至所述服务器；所述服务器基于所述上位机的解析结果生成相应的操作指令，并传输至所述增强现实设备；所述增强现实设备基于所述服务器生成的操作指令实现场景更新，同时向使用者提供视觉和听觉反馈，并通过所述服务器和所述上位机向所述可穿戴设备返回触觉反馈指令；所述可穿戴设备基于返回的所述触觉反馈指令对使用者执行触觉反馈。在专利技术的一个实施例中，所述可穿戴设备进一步被配置为对所采集到的肌电信号和姿态信息进行预处理。在专利技术的一个实施例中，所述上位机进一步被配置为将肌电信号和姿态信息的解析结果交叉融合。在专利技术的一个实施例中，所述上位机进一步被配置为引导所述可穿戴设备的使用者做出特定的动作。在专利技术的一个实施例中，所述服务器进一步被配置为向一个或多个增强现实设备分发指令。在专利技术的一个实施例中，单个使用者使用单个可穿戴设备控制特定的增强现实设备，实现场景更新并获得视觉、听觉、触觉反馈。在专利技术的一个实施例中，单个使用者能够使用单个可穿戴设备控制多个增强现实设备，实现多个场景的同步更新，并获得多个场景的视觉、听觉、触觉反馈。在专利技术的一个实施例中，多个使用者能够使用多个可穿戴设备控制同一个增强现实设备，实现对同一个场景的共同控制，并获得所述同一个场景的视觉、听觉、触觉反馈。在专利技术的一个实施例中，多个使用者能够使用多个可穿戴设备控制多个增强现实设备，实现多个场景的同步更新以及对所述多个场景的共同控制，并获得所述多个场景的视觉、听觉、触觉反馈。在专利技术的一个实施例中，所述可穿戴设备、所述上位机、所述服务器和所述增强现实设备之间的通信连接，可分别单独或组合采用以下一种或多种通信方式：无线通信、有线通信、蓝牙通信、Wi-Fi通信。另一方面，本专利技术还提供一种人机交互方法，包括：将可穿戴设备佩戴于使用者身体的特定部位处，采集使用者身体特定部位的肌电信号和所述可穿戴设备自身的姿态信息；基于所采集到的信息生成操作指令；基于所述操作指令控制增强现实设备，以实现场景更新，并同时向使用者提供视觉、听觉反馈，并返回操作结果；基于所述操作结果生成触觉反馈指令；基于所述触觉反馈指令控制所述可穿戴设备，以对使用者执行触觉反馈。通过以上系统和方法，本专利技术提供了一个完整的闭环人机交互系统和方法，使用者可通过穿戴式设备控制增强现实设备，并获得视觉、听觉、触觉反馈，从而获得更深层次更真实的交互体验。附图说明图1为本专利技术中人机交互系统的一个实施例的整体结构示意图；图2为本专利技术中可穿戴设备的一个实施例的系统构成示意图；图3为本专利技术中上位机程序的一个实施例的系统构成示意图；图4为本专利技术中服务器的一个实施例的系统构成示意图；图5为本专利技术中人机交互系统的一个实施例的交互流程示意图；图6为本专利技术中多种人机交互方式的实施例的示意图。具体实施方式为了彻底理解本专利技术，将在下列的描述中提出详细的步骤以及详细的结构，以便阐释本专利技术提出的技术方案。下面将结合附图，对本专利技术的技术方案进行更为清楚、完整的描述。显然，所描述的实施例是本专利技术一部分的实施例，而不是全部的实施例。本专利技术的较佳实施例详细描述如下，然而除了这些详细描述外，本专利技术还可以具有其他实施方式。基于本专利技术的实施例，本领域的技术人员在没有付出创造性劳动的前提下所获得的所有其他的实施例，都属于本专利技术的保护范围。在下文的描述中，给出了大量具体的细节以便提供对本专利技术更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本专利技术可以无需一个或多个这些细节而得以实施。应当理解的是，本专利技术能够以不同形式实施，而不应当解释为局限于这里提出的实施例。相反地，提供这些实施例将使本专利技术的公开清楚和全面。图1提供了本专利技术中人机交互系统的一个实施例的整体结构示意图。如图1所示，人机交互系统包括可穿戴设备和增强现实设备，可穿戴设备与增强现实设备通过上位机和服务器通信连接。其中，可穿戴设备佩戴于使用者身体的特定部位，用于采集来自使用者的信息，如反映使用者身体运动或状态的肌电信号以及可穿戴设备本身的姿态信息，并将所采集到的信息传输至上位机；上位机对接收到的可穿戴设备采集的信息进行解析，通过对一个或多个肌电信号和/或姿态信息的融合及识别得到解析结果，并将解析结果传输至服务器；服务器可以是云服务器，将接收到的上位机的解析结果转化为增强现实中的特定的操作指令，并将操作指令传输至增强现实设备，以控制增强现实设备，如实现增强现实中的全息影像的控制；增强现实设备根据接收到的操作指令执行相应的操作，如实现场景更新或变换以及向使用者提供视觉和听觉反馈；增强现实设备在执行操作指令后，根据场景的更新和变换，将操作结果返回至服务器；服务器对增强现实设备返回的操作结果进行处理，生成反馈指令，如触本文档来自技高网...

【技术保护点】
一种人机交互系统，包括：可穿戴设备，所述可穿戴设备佩戴于使用者身体的特定部位处；上位机；服务器；增强现实设备；其中，所述可穿戴设备、所述上位机、所述服务器与所述增强现实设备之间通信连接；其特征在于：所述可穿戴设备采集使用者身体特定部位的肌电信号和所述可穿戴设备自身的姿态信息，并传输至所述上位机；所述上位机基于所述可穿戴设备采集的信息生成解析结果，并传输至所述服务器；所述服务器基于所述上位机的解析结果生成相应的操作指令，并传输至所述增强现实设备；所述增强现实设备基于所述服务器生成的操作指令实现场景更新，同时向使用者提供视觉和听觉反馈，并通过所述服务器和所述上位机向所述可穿戴设备返回触觉反馈指令；所述可穿戴设备基于返回的所述触觉反馈指令对使用者执行触觉反馈。

【技术特征摘要】
1.一种人机交互系统，包括：可穿戴设备，所述可穿戴设备佩戴于使用者身体的特定部位处；上位机；服务器；增强现实设备；其中，所述可穿戴设备、所述上位机、所述服务器与所述增强现实设备之间通信连接；其特征在于：所述可穿戴设备采集使用者身体特定部位的肌电信号和所述可穿戴设备自身的姿态信息，并传输至所述上位机；所述上位机基于所述可穿戴设备采集的信息生成解析结果，并传输至所述服务器；所述服务器基于所述上位机的解析结果生成相应的操作指令，并传输至所述增强现实设备；所述增强现实设备基于所述服务器生成的操作指令实现场景更新，同时向使用者提供视觉和听觉反馈，并通过所述服务器和所述上位机向所述可穿戴设备返回触觉反馈指令；所述可穿戴设备基于返回的所述触觉反馈指令对使用者执行触觉反馈。2.根据权利要求1所述的系统，其中，所述可穿戴设备进一步被配置为对所采集到的肌电信号和姿态信息进行预处理。3.根据权利要求1所述的系统，其中，所述上位机进一步被配置为将肌电信号和姿态信息的解析结果交叉融合。4.根据权利要求1所述的系统，其中，所述上位机进一步被配置为引导所述可穿戴设备的使用者做出特定的动作。5.根据权利要求1所述的系统，其中，所述...

【专利技术属性】
技术研发人员：朱向阳，郝德宏，盛鑫军，
申请(专利权)人：上海念通智能科技有限公司，上海交通大学，
类型：发明
国别省市：上海,31