一种基于计算机虚拟界面的人机交互系统技术方案

本发明专利技术公开了一种基于计算机虚拟界面的人机交互系统，涉及人机交互技术领域，主要为了解决人机交互系统界面不能进行分区操作而其会占用较多的空间及功能单一的问题；该人机交互系统，包括登录模块、中央控制处理器、手势处理系统、语音系统和无线联网通信模块，所述手势处理系统用以采集并处理虚拟界面内的手势图像，再根据手势的动作生成相应的手势指令；所述语音系统用以采集用户的语音输入并进行处理，再根据语音的提示生成指令。本发明专利技术中利用手势处理系统和语音系统相结合来进行人机交互操作，摆脱鼠标等输入设备，则操作更为简单容易，便于用户体验。

A human-computer interaction system based on computer virtual interface

【技术实现步骤摘要】
一种基于计算机虚拟界面的人机交互系统
本专利技术涉及人机交互
，具体是一种基于计算机虚拟界面的人机交互系统。
技术介绍
人机交互技术是指通过计算机输入、输出设备，以有效的方式实现人与计算机对话的技术。人机交互技术包括机器通过输出或显示设备给人提供大量有关信息及提示请示等，人通过输入设备给机器输入有关信息，回答问题及提示请示等；人机交互技术是计算机用户界面设计中的重要内容之一；人机交互功能是决定计算机系统“友善性”的一个重要因素，随着计算机技术的发展，操作命令也越来越多，功能也越来越强，随着模式识别，如语音识别、汉字识别等输入设备的发展，操作员和计算机在类似于自然语言或受限制的自然语言这一级上进行交互成为可能。此外，通过图形或多点触摸进行人机交互也吸引着人们去进行研究。这些人机交互可称为智能化的人机交互，这方面的研究工作正在积极开展端；而现在的人机交互系统界面时同一个界面进行操作处理，不能进行分区操作，其会占用较多的空间，功能单一。
技术实现思路
本专利技术的目的在于提供一种基于计算机虚拟界面的人机交互系统，解决人机交互系统界面不能进行分区操作而其会占用较多的空间及功能单一的问题。为实现上述目的，本专利技术提供如下技术方案：一种基于计算机虚拟界面的人机交互系统，包括登录模块、中央控制处理器、手势处理系统、语音系统和无线联网通信模块，所述登录模块用以获取用户的身份信息和位置信息，并对用户的身份信息进行验证；所述中央控制处理器用以总控各个系统模块并根据各个模块的交互生成控制指令；所述手势处理系统用以采集并处理虚拟界面内的手势图像，再根据手势的动作生成相应的手势指令；所述语音系统用以采集用户的语音输入并进行处理，再根据语音的提示生成指令；还包括构建生成模块、分区模块和选择模块，所述构建生成模块用以通过动态和静态结合的方式构建虚拟界面；所述分区模块用以将构建生成模块所构建的虚拟界面平均分成三个区域，且每个区域具有不同的功能；所述选择模块用以提供用户选择不同功能的虚拟界面的通道，并显示用户选择的虚拟界面。在上述技术方案的基础上，本专利技术还提供以下可选技术方案：在一种可选方案中：所述无线联网通信模块用以将该系统与服务终端进行数据传输连接。在一种可选方案中：述手势处理系统包括投影单元、图像获取模块、图像特征点提取模块、识别模块和手势库模块，所投影单元用以对用户做出的手势以及姿势进行录像而形成图像；所述图像获取模块用以获取投影单元所拍摄到的手势或姿势图像；所述图像特征点提取模块用以对图像的区别特征点进行提取；所述手势库模块用以将获取的手势图像进行存储并形成手势库；所述识别模块用以根据图像特征点提取模块提取的手势图像的特征与手势库模块内存储的手势图像进行匹配，并将匹配到的手势特征发送至中央控制处理器。在一种可选方案中：所述语音系统包括语音录入单元、语音获取模块、语音数据处理模块和数据库模块，所述语音录入单元用以将用于发出的语音指示进行录入至语音系统内。在一种可选方案中：所述语音获取模块用以获取语音系统所录入的语音并将之转换成电信号传递于语音数据处理模块；所述数据库模块用以存储语音并形成语音库，所述语音数据处理模块用以将语音录入单元所传递的语音电信号进行修正并将之与语音数据处理模块内存储的语音进行匹配，将匹配成功的语音传输至中央控制处理器。在一种可选方案中：所述构建生成模块所构建的虚拟界面的三个区域分别是第一界面区、第二界面区、第三界面区。在一种可选方案中：所述第一界面区连接于手势处理系统，所诉第二界面区连接于语音系统，所述第三界面区与语音系统和手势处理系统均相连接。相较于现有技术，本专利技术的有益效果如下：1、该系统可将虚拟界面进行分区操作，并与应用系统交互，可有效减少系统的操作负荷，分区操作而具有不同的使用功能，提高用户的体验；2、本专利技术中利用手势处理系统和语音系统相结合来进行人机交互操作，摆脱鼠标等输入设备，则操作更为简单容易，便于用户体验。附图说明图1为本专利技术的结构示意图。图2为本专利技术中系统界面分区的结构示意图。附图标记注释：登录模块1、构建生成模块2、分区模块3、第一界面区4、第二界面区5、第三界面区6、选择模块7、手势处理系统8、语音系统9、投影单元10、语音录入单元11、中央控制处理器12、无线联网通信模块13、手势库模块14、图像获取模块15、图像特征点提取模块16、识别模块17、语音获取模块18、语音数据处理模块19、数据库模块20。具体实施方式以下实施例会结合附图对本专利技术进行详述，在附图或说明中，相似或相同的部分使用相同的标号，并且在实际应用中，各部件的形状、厚度或高度可扩大或缩小。本专利技术所列举的各实施例仅用以说明本专利技术，并非用以限制本专利技术的范围。对本专利技术所作的任何显而易知的修饰或变更都不脱离本专利技术的精神与范围。实施例1请参阅图1和2，本专利技术实施例中，一种基于计算机虚拟界面的人机交互系统，包括登录模块1、中央控制处理器12、手势处理系统8、语音系统9和无线联网通信模块13，所述登录模块1用以获取用户的身份信息和位置信息，并对用户的身份信息进行验证；所述中央控制处理器12用以总控各个系统模块并根据各个模块的交互生成控制指令；所述手势处理系统8用以采集并处理虚拟界面内的手势图像，再根据手势的动作生成相应的手势指令；所述语音系统9用以采集用户的语音输入并进行处理，再根据语音的提示生成指令；所述无线联网通信模块13用以将该系统与服务终端进行数据传输连接；还包括构建生成模块2、分区模块3和选择模块7，所述构建生成模块2用以通过动态和静态结合的方式构建虚拟界面；所述分区模块3用以将构建生成模块2所构建的虚拟界面平均分成三个区域，且每个区域具有不同的功能；所述选择模块7用以提供用户选择不同功能的虚拟界面的通道，并显示用户选择的虚拟界面；所述手势处理系统8包括投影单元10、图像获取模块15、图像特征点提取模块16、识别模块17和手势库模块14，所投影单元10用以对用户做出的手势以及姿势进行录像而形成图像；所述图像获取模块15用以获取投影单元10所拍摄到的手势或姿势图像；所述图像特征点提取模块16用以对图像的区别特征点进行提取；所述手势库模块14用以将获取的手势图像进行存储并形成手势库；所述识别模块17用以根据图像特征点提取模块16提取的手势图像的特征与手势库模块14内存储的手势图像进行匹配，并将匹配到的手势特征发送至中央控制处理器12；所述语音系统9包括语音录入单元11、语音获取模块18、语音数据处理模块19和数据库模块20，所述语音录入单元11用以将用于发出的语音指示进行录入至语音系统9内；所述语音获取模块18用以获取语音系统9所录入的语音并将之转换成电信号传递于语音数据处理模块19；所述数据库模块20用以存储语音并形成语音库，所述语音数据处理模块19用以将语音录入单元11所传递的语音电信号进行修正并将之与语音数据处理模块19内存储的语本文档来自技高网...

【技术保护点】
1.一种基于计算机虚拟界面的人机交互系统，包括登录模块(1)、中央控制处理器(12)、手势处理系统(8)、语音系统(9)和无线联网通信模块(13)，其特征在于，所述登录模块(1)用以获取用户的身份信息和位置信息，并对用户的身份信息进行验证；所述中央控制处理器(12)用以总控各个系统模块并根据各个模块的交互生成控制指令；所述手势处理系统(8)用以采集并处理虚拟界面内的手势图像，再根据手势的动作生成相应的手势指令；所述语音系统(9)用以采集用户的语音输入并进行处理，再根据语音的提示生成指令；/n还包括构建生成模块(2)、分区模块(3)和选择模块(7)，所述构建生成模块(2)用以通过动态和静态结合的方式构建虚拟界面；所述分区模块(3)用以将构建生成模块(2)所构建的虚拟界面平均分成三个区域，且每个区域具有不同的功能；所述选择模块(7)用以提供用户选择不同功能的虚拟界面的通道，并显示用户选择的虚拟界面。/n

【技术特征摘要】
1.一种基于计算机虚拟界面的人机交互系统，包括登录模块(1)、中央控制处理器(12)、手势处理系统(8)、语音系统(9)和无线联网通信模块(13)，其特征在于，所述登录模块(1)用以获取用户的身份信息和位置信息，并对用户的身份信息进行验证；所述中央控制处理器(12)用以总控各个系统模块并根据各个模块的交互生成控制指令；所述手势处理系统(8)用以采集并处理虚拟界面内的手势图像，再根据手势的动作生成相应的手势指令；所述语音系统(9)用以采集用户的语音输入并进行处理，再根据语音的提示生成指令；
还包括构建生成模块(2)、分区模块(3)和选择模块(7)，所述构建生成模块(2)用以通过动态和静态结合的方式构建虚拟界面；所述分区模块(3)用以将构建生成模块(2)所构建的虚拟界面平均分成三个区域，且每个区域具有不同的功能；所述选择模块(7)用以提供用户选择不同功能的虚拟界面的通道，并显示用户选择的虚拟界面。


2.根据权利要求1所述的基于计算机虚拟界面的人机交互系统，其特征在于，所述无线联网通信模块(13)用以将该系统与服务终端进行数据传输连接。


3.根据权利要求1所述的基于计算机虚拟界面的人机交互系统，其特征在于，述手势处理系统(8)包括投影单元(10)、图像获取模块(15)、图像特征点提取模块(16)、识别模块(17)和手势库模块(14)，所投影单元(10)用以对用户做出的手势以及姿势进行录像而形成图像；所述图像获取模块(15)用以获取投影单元(10)所拍摄到的手势或姿势图像；所述图像特征点提取模块(16)用以对图像的区别特征点进行提取；所述...

【专利技术属性】
技术研发人员：余敏，吕文静，王海，孙英，刘昕玥，
申请(专利权)人：郑州铁路职业技术学院，
类型：发明
国别省市：河南;41