一种基于视觉与语音识别技术的游戏控制系统及方法技术方案

本发明专利技术公开了一种基于视觉与语音识别技术的游戏控制系统，包括视觉捕捉模块、视觉识别模块、语音采集模块、语音识别模块、逻辑处理模块、多媒体展示模块；本发明专利技术还提供一种基于视觉与语音识别技术的游戏控制方法，所述方法包括以下步骤：运行游戏、视觉与语音识别、文本处理、多媒体展示。本发明专利技术中用户可以通过面部表情、动作及语音命令互相结合控制游戏的方法，让用户随时随地玩手机游戏，随时随地享受到了游戏的快乐；用户也可以使用面部表情来操作、控制游戏，也增加了游戏的趣味性，使得不识字的老人、小孩等等，都可以享受游戏的娱乐性，可用于教育、互动娱乐等领域，减少了视力损伤，操作方便。

【技术实现步骤摘要】

本专利技术属于网络游戏开发领域，尤其涉及一种基于视觉与语音识别技术的游戏控制系统及方法。
技术介绍
在最近几年里，移动互联网正逐渐渗透到人们生活、工作的各个领域，移动互联网成为当今世界发展最快、市场潜力最大、前景最诱人的业务。智能手机的革命性发展大大提升了用户使用手机上网的体验，手机上网逐渐成为生活必不可缺的一部分。随着智能手机的普及和移动互联网的发展，手机游戏用户规模增长较快，为互联网产业注入新的活力。手机游戏快速发展，逐渐成为网民的一种娱乐生活方式，越来越多的用户习惯在碎片化时间玩游戏，公交车、地铁、排队和就餐等各种场景下均随处可见在手机上玩游戏的人。手机游戏在吸引大量用户的同时也面临较多问题，对其进一步的发展产生挑战。首先，手机屏幕较小，触摸方式操作不便，在内容、按钮较多的情况下，用户往往很难正确地点击到正确的按钮；其次，点击时需要努力盯手机屏幕，对用户的眼睛、视力造成一定的损伤，特别是在公交、火车、地铁等场所，随着车厢的摇晃，用户玩游戏时，视力会受到一定的损伤。
技术实现思路
本专利技术的目的在于克服现有技术存在的以上问题，提供一种基于视觉与语音识别技术的游戏控制系统及方法，用户可以通过面部表情、动作及语音命令互相结合控制游戏的方法，让用户随时随地玩手机游戏，随时随地享受到了游戏的快乐，减少视力损伤，操作方便。为实现上述技术目的，达到上述技术效果，本专利技术通过以下技术方案实现：一种基于视觉与语音识别技术的游戏控制系统，包括视觉捕捉模块、视觉识别模块、语音采集模块、语音识别模块、逻辑处理模块、多媒体展示模块；其中，所述视觉捕捉模块用于采集游戏玩家的表情，并将捕捉后的表情转化为视频数字信号发送至视觉识别模块；所述视觉识别模块用于接收视觉捕捉模块的视觉数字信号，并转换成计算机能够识别的表情文本信息；所述语音采集模块用于采集游戏玩家的语音命令，并将采集后的语音命令转换成语音数字信号发送至语音识别模块；所述语音识别模块用于接收语音采集模块的语音数字信号，并转换成计算机能够识别的语音文本信息；所述逻辑处理模块用于接收视觉识别模块的表情文本信息和语音识别模块的语音文本信息并进行处理，然后形成指令信号发送至多媒体展示模块；所述多媒体展示模块用于接收逻辑处理模块的指令信号并进行处理，所述多媒体展示模块包括视频显示单元和音频播放单元，所述视频显示单元用于对外视频显示，所述音频播放单元用于对外音频播放。进一步地，所述视觉捕捉模块包括手机摄像头，且所述手机摄像头与手机CPU相互连接。进一步地，所述语音采集模块包括手机麦克风，且所述手机麦克风与手机CPU相互连接。进一步地，所述视频显示单元采用手机屏幕进行对外显示，所述音频播放单元采用手机喇叭进行对外音频播放。本专利技术还提供一种基于视觉与语音识别技术的游戏控制方法，所述方法包括以下步骤：步骤S1：游戏玩家运行游戏，开启摄像功能与麦克风功能，发出语音命令并做出表情动作；步骤S2：所述视觉识别模块识别表情动作并形成表情文本信息，然后发送至逻辑处理模块，所述语音识别模块识别语音命令并形成语音文本信息，然后发送至逻辑处理模块；步骤S3：所述逻辑处理模块分别对表情文本信息、语音文本信息进行比对处理，并分别形成相应的指令信号发送至多媒体展示模块；步骤S4：所述多媒体展示模块接收接收到指令信号后：若所述表情文本信息、语音文本信息所形成的指令信号相同，则多媒体展示模块根据指令信号分别进行对外视频显示和对外音频播放；若所述表情文本信息、语音文本信息所形成的指令信号不同，则多媒体展示模块优先根据表情文本信息所形成的指令信号进行对外视频显示和对外音频播放，然后根据语音文本信息所形成的指令信号进行对外视频显示和对外音频播放；进一步地，所述表情动作包括高兴、悲伤、恐惧、厌恶。进一步地，所述逻辑处理模块包括游戏业务逻辑，所述游戏业务逻辑采用C++或Lua应用编程语言编写。进一步地，所述逻辑处理模块中内置设置好的预置脚本，并根据预置脚本分类判断和处理。本专利技术的有益效果是：本专利技术中用户可以通过面部表情、动作及语音命令互相结合控制游戏的方法，让用户随时随地玩手机游戏，随时随地享受到了游戏的快乐；用户也可以使用面部表情来操作、控制游戏，也增加了游戏的趣味性，使得不识字的老人、小孩等等，都可以享受游戏的娱乐性，可用于教育、互动娱乐等领域，减少了视力损伤，操作方便。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1是本专利技术的系统结构框图。具体实施方式下面将参考附图并结合实施例，来详细说明本专利技术。如图1所示的一种基于视觉与语音识别技术的游戏控制系统，包括视觉捕捉模块、视觉识别模块、语音采集模块、语音识别模块、逻辑处理模块、多媒体展示模块；其中，视觉捕捉模块用于采集游戏玩家的表情，并将捕捉后的表情转化为视频数字信号发送至视觉识别模块；视觉识别模块用于接收视觉捕捉模块的视觉数字信号，并转换成计算机能够识别的表情文本信息；语音采集模块用于采集游戏玩家的语音命令，并将采集后的语音命令转换成语音数字信号发送至语音识别模块；语音识别模块用于接收语音采集模块的语音数字信号，并转换成计算机能够识别的语音文本信息；逻辑处理模块用于接收视觉识别模块的表情文本信息和语音识别模块的语音文本信息并进行处理，然后形成指令信号发送至多媒体展示模块；多媒体展示模块用于接收逻辑处理模块的指令信号并进行处理，多媒体展示模块包括视频显示单元和音频播放单元，视频显示单元用于对外视频显示，音频播放单元用于对外音频播放。当游戏同时收到语音和表情识别命令时，逻辑处理模块将根据两者的关系，进行并行处理。如接受到来自语音识别模块的“大笑”命令，并同时接受到来自视觉识别模块的“大哭”命令时，游戏业务逻辑将命令虚拟人物同时先大哭后大笑，两者并不违背。其中，视觉捕捉模块包括手机摄像头，且手机摄像头与手机CPU相互连接。其中，语音采集模块包括手机麦克风，且手机麦克风与手机CPU相互连接。其中，视频显示单元采用手机屏幕进行对外显示，音频播放单元采用手机喇叭进行对外音频播放。本专利技术还提供一种基于视觉与语音识别技术的游戏控制方法，方法包括以下步骤：步骤S1：游戏玩家运行游戏，开启摄像功能与麦克风功能，发出语音命令并做出表情动作；步骤S2：视觉识别模块识别表情动作并形成表情文本信息，然后发送至逻辑处理模块，语音识别模块识别语音命令并形成语音文本信息，然后发送至逻辑处理模块；步骤S3：逻辑处理模块分别对表情文本信息、语音文本信息进行比对处理，并分别形成相应的指令信号发送至多媒体展示模块；步骤S4：多媒体展示模块接收接收到指令信号后：若表情文本信息、语音文本信息所形成的指令信号相同，则多媒体展示模块根据指令信号分别进行对外视频显示和对外音频播放；若表情文本信息、语音文本信息所形成的指令信号不同，则多媒体展示模块优先根据表情文本信息所形成的指令信号进行对外视频显示和对外音频播放，然后根据语音文本信息所形成的指令信号进行对外视频显示和对外音频播放；其中，表情动作包括高兴、悲伤、恐惧、厌恶。其中，逻辑处理模块包括游戏业务逻辑，游戏业务逻辑采用C++或Lua应用编程语言编写。其中本文档来自技高网...

【技术保护点】
一种基于视觉与语音识别技术的游戏控制系统，其特征在于：包括视觉捕捉模块、视觉识别模块、语音采集模块、语音识别模块、逻辑处理模块、多媒体展示模块；其中，所述视觉捕捉模块用于采集游戏玩家的表情，并将捕捉后的表情转化为视频数字信号发送至视觉识别模块；所述视觉识别模块用于接收视觉捕捉模块的视觉数字信号，并转换成计算机能够识别的表情文本信息；所述语音采集模块用于采集游戏玩家的语音命令，并将采集后的语音命令转换成语音数字信号发送至语音识别模块；所述语音识别模块用于接收语音采集模块的语音数字信号，并转换成计算机能够识别的语音文本信息；所述逻辑处理模块用于接收视觉识别模块的表情文本信息和语音识别模块的语音文本信息并进行处理，然后形成指令信号发送至多媒体展示模块；所述多媒体展示模块用于接收逻辑处理模块的指令信号并进行处理，所述多媒体展示模块包括视频显示单元和音频播放单元，所述视频显示单元用于对外视频显示，所述音频播放单元用于对外音频播放。

【技术特征摘要】
1.一种基于视觉与语音识别技术的游戏控制系统，其特征在于：包括视觉捕捉模块、视觉识别模块、语音采集模块、语音识别模块、逻辑处理模块、多媒体展示模块；其中，所述视觉捕捉模块用于采集游戏玩家的表情，并将捕捉后的表情转化为视频数字信号发送至视觉识别模块；所述视觉识别模块用于接收视觉捕捉模块的视觉数字信号，并转换成计算机能够识别的表情文本信息；所述语音采集模块用于采集游戏玩家的语音命令，并将采集后的语音命令转换成语音数字信号发送至语音识别模块；所述语音识别模块用于接收语音采集模块的语音数字信号，并转换成计算机能够识别的语音文本信息；所述逻辑处理模块用于接收视觉识别模块的表情文本信息和语音识别模块的语音文本信息并进行处理，然后形成指令信号发送至多媒体展示模块；所述多媒体展示模块用于接收逻辑处理模块的指令信号并进行处理，所述多媒体展示模块包括视频显示单元和音频播放单元，所述视频显示单元用于对外视频显示，所述音频播放单元用于对外音频播放。2.根据权利要求1所述的一种基于视觉与语音识别技术的游戏控制系统，其特征在于：所述视觉捕捉模块包括手机摄像头，且所述手机摄像头与手机CPU相互连接。3.根据权利要求1所述的一种基于视觉与语音识别技术的游戏控制系统，其特征在于：所述语音采集模块包括手机麦克风，且所述手机麦克风与 手机CPU相互连接。4.根据权利要求1所述的一种基于视觉与语音识别技术的游戏控制系统，其特征在于：所述视频显示单元采用手机屏幕进行对外显示，所述音频播放单元采用手机...

【专利技术属性】
技术研发人员：卞连春，
申请(专利权)人：合肥泰壤信息科技有限公司，
类型：发明
国别省市：安徽;34