基于虚拟现实环境的具有情感功能的语音交互系统及方法技术方案

本发明专利技术提供一种基于虚拟现实环境的具有情感功能的语音交互系统及方法，包括语音移动终端、虚拟环境终端、外部服务器，通过语音移动终端采集用户语音并进行处理，从而得到用户语音信息是控制命令或者语音交流信息，并发送至虚拟环境终端，进行相应的控制操作以及相应的情感、动作显示和语音播放，从而虚拟用户的在现实环境中的多人交流，本发明专利技术的功能脱离了对手柄的依赖，而且操控功能数量不受按键影响，操作简单，并且通过用户语音控制系统的操作，另外，通过从用户语音信息中提取用户出用户的情绪、动作信息，从而虚拟用户在现实环境中多人游戏或应用中相互交流和表达自己情感，真正实现情感交流，进一步提高了用户在虚拟环境中的体验效果。

Voice interaction system and method with emotional function based on virtual reality environment

The invention provides a voice interactive system has the emotional function of the virtual reality environment and method based on mobile terminal, including voice, virtual environment, external terminal server, mobile user through voice acquisition and processing voice terminal, thus obtains the user voice information is the control command or voice communication information, and sent to the virtual environment of terminal. The corresponding control operation and the corresponding action, emotional display and voice, and virtual users in a realistic environment of communication, the function of the invention from the dependence on the handle, and the control function number without key effect, simple operation, and the control system of user voice operation, in addition, through to extract the user user emotion, motion information from the user voice information, and virtual users in a realistic environment In multiplayer games or applications, they communicate with each other and express their emotions, and realize the emotional communication, which further improves the user's experience in the virtual environment.

【技术实现步骤摘要】
基于虚拟现实环境的具有情感功能的语音交互系统及方法
本专利技术涉及一种虚拟现实环境的
，尤其是一种基于虚拟现实环境的具有情感功能的语音交互系统及方法。
技术介绍
虚拟现实(VirtualReality，简称“VR”)是近年来出现的高新技术，其原理是利用电脑模拟产生一个三维空间的虚拟世界，向使用者提供关于视觉、听觉、触觉等感官的模拟，让使用者如同身临其境一般，可以及时、没有限制地观察三维空间内的事物。而交互控制领域是虚拟现实技术的重要应用方向之一，也为虚拟现实技术的快速发展起了巨大的需求牵引作用。目前，一些科技企业已经推出了相应的虚拟现实控制设备，例如，美国Oculus公司推出的OculusRift、韩国三星公司推出的Gear、HTC公司推出的HTCVive等。然而，这些虚拟现实设备的控制系统仍停留在手柄的控制方法。中国专利201610869534.7的一种用于虚拟现实控制的交互手柄，公开一种用于虚拟现实环境的操作手柄，实现方法复杂、控制不精准、控制指令数量受限于按键个数。而且这些控制方式对于手部行动不便的人来说却无法操控；对于普通用户来说手柄控制流程也是比较复杂的，需要了解每个按键的功能才能操作。中国专利为201610270381.4的一种基于虚拟现实VR场景的多用户语音交互方法以及装置；只是简单实现在虚拟环境的多人游戏中的语音通话交流的功能，但并不能在虚拟环境的游戏中看到游戏人物角色的表情、情态、动作等；看到游戏中的人物只是单纯固定的表情、嘴型动作在说话，在语音交流中毫无情感。
技术实现思路
针对现有技术的不足，本专利技术提供基于虚拟现实环境的具有情感功能的语音交互系统及方法，从而避免了虚拟环境中依赖于按键、传感设备而导致的操作复杂，功能受按键数量限制等问题。本专利技术的技术方案为：一种基于虚拟现实环境的具有情感功能的语音交互系统，其特征在于：包括语音移动终端、虚拟环境终端、外部服务器，所述外部服务器分别与语音移动终端、虚拟环境终端通讯连接，所述语音移动终端与虚拟环境终端通讯连接；所述语音移动终端包括语音采集模块，用于采集用户的语音信号，并对采的集语音信号进行预处理；语音识别模块，用于将预处理的语音信号转化为文本信息，并将文本信息生成相应的控制命令和参数；语音情感特征参数提取模块，用于提取预处理后的语音信号中具有情感特征的参数；存储模块，用于存储从外部服务器加载更新的语音识别数据、语音控制命令数据库和语音情感数据库；无线通信模块，用于将识别出的控制命令和参数或者语音文本信息和对应的语音情感发送至虚拟环境终端，以及用于与外部服务器通讯连接，从而将外部服务器中相应的数据包加载更新到存储模块中；处理器，用于处理采集的用户语音信息、或者发送更新命令至外部服务器加载更新存储模块储存的数据库；所述处理器分别与语音采集模块、语音识别模块、语音情感特征参数提取模块、存储模块、无线通信模块连接；所述语音采集模块与语音识别模块连接，所述语音采集模块还与语音情感特征参数提取模块连接，语音情感特征参数提取模块提取出来的情感特征分别与对应的语音识别模块识别出来的语音文本信息相映射；所述存储模块分别与语音识别模块和语音情感特征参数提取模块连接；所述虚拟环境终端包括存储单元，用于存储从外部服务器加载更新的虚拟人物情感表情和动作的模型库、语音情感对应的语调和语速数据库；语音播放模块，用于播放接收到的语音文本信息；显示模块，用于展示虚拟人物语音表达的情感表情和动作；通信模块，用来与语音移动终端通信，以及与外部服务器通讯连接，从而将外部服务器中相应的数据包加载更新到存储单元中；所述存储单元分别与语音播放模块、显示模块连接。所述的语音采集模块主要为麦克风。所述的处理器为STM32F407芯片所述的语音识别模块包括语音特征提取单元、语音特征比较单元、比较结果输出单元，所述语音特征提取单元与语音特征比较单元连接，所述语音特征比较单元与比较结果输出单元连接。所述语音情感特征参数提取模块包括情感特征提取单元、情感特征比较单元、情感特征输出单元，所述情感特征提取单元与情感特征比较单元连接，所述情感特征比较单元与情感特征输出单元连接。所述语音播放模块包括语调匹配单元、语音播放单元，所述语调匹配单元与语音播放单元连接。所述显示模块包括动作匹配单元、显示单元，所述动作匹配单元与显示单元连接。一种基于虚拟现实环境的具有情感功能的语音交互方法，包括以下步骤：语音移动终端与虚拟环境终端进行连接，连接成功后，语音移动终端的处理器、虚拟环境终端分别发送数据库版本查询命令至外部服务器，查询语音移动终端的存储模块中存储的语音识别数据、语音控制命令数据库和语音情感数据库的版本、以及虚拟环境终端的存储单元中存储的虚拟人物情感表情和动作的模型库、语音情感对应的语调和语速数据库的版本是否与外部服务器中的一致，若不一致则从外部服务器加载更新相应最新版本的数据到相应的存储模块、存储单元中，从而使存储模块与存储单元中的数据为最新状态；语音采集模块采集用户的语音信号，并将采集的语音信号进行滤波、量化等预处理后发送至语音识别模块与语音情感特征参数提取模块；语音识别模块结合存储模块中存储的语音识别数据将语音信号转换为文本信息形式，将文本信息与语音控制命令数据库中的命令数据进行匹配是否为控制命令；如果是控制命令则生成相应的控制命令和参数，并输出至虚拟环境终端进行相应的控制操作；如果不是控制命令，则为语音交流信息，则通过语音情感特征参数提取模块分析预处理后的语音信号的波形，并提取具有情感特征的参数，将提取出来的具有情感特征的参数与语音情感数据库的情绪数据进行匹配，从而得出相应的情感特征，然后将该情感特征信息映射对应词语或语句，并将情感特征、以及该情感特征信息映射对应词语或语句输送至虚拟环境终端，虚拟环境终端的动作匹配单元将接收到的情感特征与存储单元中的虚拟人物情感表情和动作的模型库进行匹配，得到该情感特征所对应的情感表情和动作，通过显示单元显示相应的情感表情和动作；语调匹配单元将情感特征对应的词语或语句与语音情感对应的语调和语速数据库中的数据进行匹配，从而得到该词语或语句对应的语调和语速，通过语音播放单元播放相对应的具有语调和语速的语音交流信息，通过语音播放模块与显示模块同步播放，从而虚拟用户的在现实环境中的多人交流。本专利技术的有益效果为：系统功能脱离了对手柄的依赖，而且数量不受按键影响，操作简单，并且通过用户语音控制系统的操作，另外，通过从用户语音信息中提取用户出用户的情绪、动作信息，并通过相应的通过语音播放模块与显示模块同步播放，从而虚拟用户在现实环境中多人游戏或应用中相互交流和表达自己情感，真正实现情感交流，进一步提高了用户在虚拟环境中的体验效果。附图说明图1为本专利技术系统框架图；图2为本专利技术的流程图；具体实施方式下面结合附图对本专利技术的具体实施方式作进一步说明：如图1和图2所示，一种基于虚拟现实环境的具有情感功能的语音交互系统，其特征在于：包括语音移动终端、虚拟环境终端、外部服务器，所述外部服务器分别与语音移动终端、虚拟环境终端通讯连接，所述语音移动终端与虚拟环境终端通讯连接；所述语音移动终端包括语音采集模块，用于采集用户的语音信号，并对采集语音信号进行预处理；语音识别模块，用于将预本文档来自技高网...

【技术保护点】
一种基于虚拟现实环境的具有情感功能的语音交互系统，其特征在于：包括语音移动终端、虚拟环境终端、外部服务器，所述外部服务器分别与语音移动终端、虚拟环境终端通讯连接，所述语音移动终端与虚拟环境终端通讯连接；所述语音移动终端包括语音采集模块，用于采集用户的语音信号，并对采集的语音信号进行预处理；语音识别模块，用于将预处理的语音信号转化为文本信息，并将文本信息生成相应的控制命令和参数；语音情感特征参数提取模块，用于提取语音采集模块预处理后的语音信号中具有情感特征的参数；存储模块，用于存储从外部服务器加载更新的语音识别数据、语音控制命令数据库和语音情感数据库；无线通信模块，用于将识别出的控制命令和参数或者语音文本信息和对应的语音情感发送至虚拟环境终端，以及用于与外部服务器通讯连接，从而将外部服务器中相应的数据包加载更新到存储模块中；处理器，用于处理采集的用户语音信息、或者发送更新命令至外部服务器加载更新存储模块储存的数据；所述处理器分别与语音采集模块、语音识别模块、语音情感特征参数提取模块、存储模块、无线通信模块连接；所述语音采集模块分别与语音识别模块、语音情感特征参数提取模块连接，语音情感特征参数提取模块提取出来的情感特征分别与对应的语音识别模块识别出来的语音文本信息相映射；所述存储模块分别与语音识别模块和语音情感特征参数提取模块连接；所述虚拟环境终端包括存储单元，用于存储从外部服务器加载更新的虚拟人物情感表情和动作的模型库、语音情感对应的语调和语速数据库；语音播放模块，用于播放接收到的语音文本信息；显示模块，用于展示虚拟人物语音表达的情感表情和动作；通信模块，用来与语音移动终端通信，以及与外部服务器通讯连接，从而将外部服务器中相应的数据包加载更新到存储单元中；所述存储单元分别与语音播放模块、显示模块连接。...

【技术特征摘要】
1.一种基于虚拟现实环境的具有情感功能的语音交互系统，其特征在于：包括语音移动终端、虚拟环境终端、外部服务器，所述外部服务器分别与语音移动终端、虚拟环境终端通讯连接，所述语音移动终端与虚拟环境终端通讯连接；所述语音移动终端包括语音采集模块，用于采集用户的语音信号，并对采集的语音信号进行预处理；语音识别模块，用于将预处理的语音信号转化为文本信息，并将文本信息生成相应的控制命令和参数；语音情感特征参数提取模块，用于提取语音采集模块预处理后的语音信号中具有情感特征的参数；存储模块，用于存储从外部服务器加载更新的语音识别数据、语音控制命令数据库和语音情感数据库；无线通信模块，用于将识别出的控制命令和参数或者语音文本信息和对应的语音情感发送至虚拟环境终端，以及用于与外部服务器通讯连接，从而将外部服务器中相应的数据包加载更新到存储模块中；处理器，用于处理采集的用户语音信息、或者发送更新命令至外部服务器加载更新存储模块储存的数据；所述处理器分别与语音采集模块、语音识别模块、语音情感特征参数提取模块、存储模块、无线通信模块连接；所述语音采集模块分别与语音识别模块、语音情感特征参数提取模块连接，语音情感特征参数提取模块提取出来的情感特征分别与对应的语音识别模块识别出来的语音文本信息相映射；所述存储模块分别与语音识别模块和语音情感特征参数提取模块连接；所述虚拟环境终端包括存储单元，用于存储从外部服务器加载更新的虚拟人物情感表情和动作的模型库、语音情感对应的语调和语速数据库；语音播放模块，用于播放接收到的语音文本信息；显示模块，用于展示虚拟人物语音表达的情感表情和动作；通信模块，用来与语音移动终端通信，以及与外部服务器通讯连接，从而将外部服务器中相应的数据包加载更新到存储单元中；所述存储单元分别与语音播放模块、显示模块连接。2.根据权利要求1所述的一种基于虚拟现实环境的具有情感功能的语音交互系统，其特征在于：所述的语音采集模块主要为麦克风。3.根据权利要求1所述的一种基于虚拟现实环境的具有情感功能的语音交互系统，其特征在于：所述的处理器为STM32F407芯片。4.根据权利要求1所述的一种基于虚拟现实环境的具有情感功能的语音交互系统，其特征在于：所述的语音识别模块包括语音特征提取单元、语音特征比较单元、比较结果输出单元，所述语音特征提取单元与语音特征比较单元连接，所述语音特征比较单元与比较结果输出单元连接。5.根据权利要求1所述的一种基于虚拟现实环境的具有情感功能的语音交互系统，其特征在于：所述语音情感特征参数提取模块包括...

【专利技术属性】
技术研发人员：黄昌正，林正才，冀鸣，刘晓悦，叶永权，
申请(专利权)人：广州幻境科技有限公司，
类型：发明
国别省市：广东,44