一种人机交互系统、方法及装置制造方法及图纸

本发明专利技术公开一种人机交互系统、方法及装置，涉及人机交互技术领域，为解决用户进行虚拟现实技术的人机交互活动的操作便利性较低的问题。所述人机交互系统，包括可穿戴设备和显示设备；采集设备包括可穿戴设备包括用于采集用户的当前手势图像和显示设备的显示图像的图像采集模块、存储器、用于将当前手势图像与存储器中预存的手势数据库中的手势进行匹配，确定匹配的手势的手势类别，确定与手势类别对应的控制指令，根据控制指令，生成与控制指令对应的虚拟工具图像的处理器、用于投射出包括虚拟工具图像和显示图像的虚拟图像的图像投射模块和信息发送接口；本发明专利技术提供的人机交互系统用于人机交互活动。

【技术实现步骤摘要】

本专利技术涉及人机交互
，尤其涉及一种人机交互系统、方法及装置。
技术介绍
随着电子信息科学技术的发展，人与计算机的交互活动在人们的日常生活中占据了重要的地位，其中，结合虚拟现实技术利用人的动作进行人机交互活动也成为了人机交互活动的一个主要发展趋势。现有技术中，结合虚拟现实技术进行人机交互活动时，用户需要与计算机直接接触，或者使用实体输入装置对计算机发出操作指令。比如，用户对计算机进行触摸操作，从而实现计算机的各种功能，或者，计算机连接有鼠标和键盘，用户利用鼠标和键盘对计算机发出操作指令，从而实现计算机的各种功能。但是，由于用户需要使用实体物理装置来操作计算机的方式较为复杂，使得用户进行虚拟现实技术的人机交互活动的操作便利性较低。
技术实现思路
本专利技术的目的在于提供一种人机交互系统、方法及装置，用于提高用户进行虚拟现实技术的人机交互活动的操作便利性。为了实现上述目的，本专利技术提供如下技术方案:第一方面，本专利技术提供了一种人机交互系统，包括:可穿戴设备和显示设备；所述可穿戴设备包括图像采集模块、存储器、处理器、图像投射模块、信息发送接P;所述图像采集模块连接所述处理器，用于采集用户的当前手势图像和所述显示设备的显示图像；所述处理器连接所述存储器，用于将所述当前手势图像与所述存储器中预存的手势数据库中的手势进行匹配，确定匹配的手势的手势类别，确定与所述手势类别对应的控制指令，根据所述控制指令，生成与所述控制指令对应的虚拟工具图像；所述图像投射模块连接所述处理器，用于投射出包括所述虚拟工具图像和所述显示图像的虚拟图像；所述信息发送接口连接所述处理器，用于将所述控制指令发送给所述显示设备；所述显示设备用于在接收到所述控制指令时，执行所述控制指令。第二方面，本专利技术提供了一种人机交互方法，包括:可穿戴设备采集用户的当前手势图像和显示设备的显示图像；将所述当前手势图像与预存的手势数据库中的手势进行匹配，确定匹配的手势的手势类别，确定与所述手势类别对应的控制指令；根据所述控制指令，生成与所述控制指令对应的虚拟工具图像，投射出包括所述虚拟工具图像和所述显示设备的显示图像的虚拟图像；将所述控制指令发送给所述显示设备，使得所述显示设备执行所述控制指令。第三方面，本专利技术提供了一种人机交互装置，包括:采集模块，用于采集用户的当前手势图像和所述显示设备的显示图像；确定模块，用于将所述当前手势图像与预存的手势数据库中的手势进行匹配，确定匹配的手势的手势类别，确定与所述手势类别对应的控制指令；生成模块，用于根据所述控制指令，生成与所述控制指令对应的虚拟工具图像；投射模块，用于投射出包括所述虚拟工具图像和所述显示设备的显示图像的虚拟图像；发送模块，用于将所述控制指令发送给所述显示设备，使得所述显示设备执行所述控制指令。本专利技术提供的人机交互系统、方法及装置中，采集用户的当前手势图像和显示设备的显示图像，将当前手势图像与手势数据库中的手势进行匹配，确定匹配的手势的手势类别，确定与手势类别对应的控制指令，生成与控制指令对应的虚拟工具图像，投射出包括虚拟工具图像和显示设备的显示图像的虚拟图像，并向显示设备发送控制指令，使得显示设备执行该控制命令，从而实现控制命令对应的功能。与需要利用物理实体装置实现人机交互活动的现有技术相比，本专利技术利用用户的手势就能生成控制指令，生成对应的虚拟工具图像，使用户能够看到包括虚拟工具图像和显示设备的显示图像的虚拟图像，并能利用控制指令控制显示设备实现对应的功能，不需要特意使用物理实体装置对显示设备进行操作，就能够实现虚拟现实技术的人机交互活动，提高了用户进行虚拟现实技术的人机交互活动的操作便利性。【附图说明】此处所说明的附图用来提供对本专利技术的进一步理解，构成本专利技术的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中:图1为本专利技术实施例一中人机交互系统的结构示意图；图2为本专利技术实施例二中人机交互系统的结构示意图；图3为本专利技术实施例三中人机交互方法的流程图；图4为本专利技术实施例四中人机交互方法的流程图；图5为本专利技术实施例五中人机交互方法的流程图；图6为本专利技术实施例五中用户的视觉效果图；图7为本专利技术实施例六中人机交互装置的结构示意图。附图标记:10-人机交互系统，11-可穿戴设备，12-显示设备，13-镜片，14-镜框，15-虚拟笔，16-智能眼镜，111-图像采集模块，112-存储器，113-处理器，114-图像投射模块，115-信息发送接口。【具体实施方式】为了进一步说明本专利技术实施例提供的人机交互系统及方法，下面结合说明书附图进行详细描述。实施例一请参阅图1，本专利技术实施例提供的人机交互系统10包括可穿戴设备11和显示设备12，可穿戴设备11包括图像采集模块111、存储器112、处理器113、图像投射模块114、信息发送接口 115;图像采集模块111连接处理器113，用于采集用户的当前手势图像和显示设备12的显示图像，具体的，图像采集模块111可以为摄像头、拍照镜头或图像传感器等具有图像采集功能的结构;处理器113连接存储器112，用于将当前手势图像与存储器112中预存的手势数据库中的手势进行匹配，确定匹配的手势的手势类别，确定与手势类别对应的控制指令，根据控制指令，生成与控制指令对应的虚拟工具图像，虚拟工具图像为某种工具的虚拟显示图像，需要说明的是，存储器112中存储有手势数据库，手势数据库中包括多种手势以及多种手势各自的相关数据，在具体实施过程中，手势数据库也具有自学习的功能，能够将学习到的新的手势添加到手势数据库中；图像投射模块114连接处理器113，用于投射出包括所述虚拟工具图像和所述显示图像的虚拟图像，根据具体需求，除了上述虚拟图像，图像透射模块还可以投射出用户的当前手势图像;信息发送接口 115连接处理器113，用于将控制指令发送给显示设备12，信息发送接口 115可以根据可穿戴设备11与显示设备12之间使用的通信技术而定，可穿戴设备11与显示设备12之间能够通过有线连接，也可以通过无线连接，优选无线连接，比如利用們？；[(￥1代1688^(161；^7，无线宽带)、蓝牙、2丨81^6(紫蜂协议)等无线通讯手段进行通信，从而使用对应的信息发送接口 115;显示设备12用于在接收到控制指令时，执行控制指令，从而完成控制指令对应的功能，控制指令对应的功能能够由虚拟工具完成，比如，与控制指令对应的虚拟工具图像为虚拟笔的图像，则显示装置实现的与控制指令对应的功能为虚拟笔的书写、标记功能。具体的，可穿戴设备11具体可以为智能眼镜、穿戴头盔、智能手环等设备，显示设备12具体可以为智能手机、平板电脑等便当前第1页1 2 3 4 本文档来自技高网...

【技术保护点】
一种人机交互系统，其特征在于，包括：可穿戴设备和显示设备；所述可穿戴设备包括图像采集模块、存储器、处理器、图像投射模块、信息发送接口；所述图像采集模块连接所述处理器，用于采集用户的当前手势图像和所述显示设备的显示图像；所述处理器连接所述存储器，用于将所述当前手势图像与所述存储器中预存的手势数据库中的手势进行匹配，确定匹配的手势的手势类别，确定与所述手势类别对应的控制指令，根据所述控制指令，生成与所述控制指令对应的虚拟工具图像；所述图像投射模块连接所述处理器，用于投射出包括所述虚拟工具图像和所述显示图像的虚拟图像；所述信息发送接口连接所述处理器，用于将所述控制指令发送给所述显示设备；所述显示设备用于在接收到所述控制指令时，执行所述控制指令。

【技术特征摘要】

【专利技术属性】
技术研发人员：卢永春，
申请(专利权)人：京东方科技集团股份有限公司，
类型：发明
国别省市：北京;11