基于情绪引擎技术的语音交互方法、智能终端及存储介质技术

本发明专利技术公开了一种基于情绪引擎技术的语音交互方法、存储介质及智能终端，方法包括：获取用户输入的语音信息，并获取用户的人脸图像信息；从所述语音信息与人脸图像信息中提取情绪识别特征，并将提取的情绪识别特征输入至预设的情绪识别模型；通过所述情绪识别模型计算出用户的情绪，并基于用户的情绪生成拟人化的语音交互策略，并输出。本发明专利技术通过对用户情感的分析，并在语音交互中加入情感，从而塑造出有情感的智能语音交互方式，摆脱传统语音交互系统机械化、被动式的交流模式，给用户的使用提供了方便。

Voice interaction method, intelligent terminal and storage medium based on emotion engine technology

【技术实现步骤摘要】
基于情绪引擎技术的语音交互方法、智能终端及存储介质
本专利技术涉及互联网交互
，具体涉及一种基于情绪引擎技术的语音交互方法、智能终端及存储介质。
技术介绍
随着人机交互技术的持续创新，人们的交互方式在不断改变，从鼠标、键盘、遥控器再到触屏，交互方式越来越简单。计算机的第一平台时代，人和机器的交互只能通过键盘和鼠标，这个时期的技术只能存在于机房，操作十分繁琐；到了第二平台时代，计算机增加了一些相对友好的交互界面设计，人们无需在DOS界面输入命令，通过简单的界面操作即可与计算机交互，交互体验得到了很大提升；到了第三平台时代，触屏技术兴起，人们直接动动手指即可完成交互操作，摆脱了键盘鼠标等辅助交互设备的束缚，交互方式更加便捷，同时也为移动设备的改革提供了可能，使得技术能够存在于人人的口袋里。而人工智能技术的兴起，为更加自然的交互方式提供了可能——自然语言会话，使用者可通过自然语言的方式与机器交互、获取信息，并以对话式交互为核心，将语音技术、图像技术、人脸识别技术、增强显示技术相结合，使技术存在于无处不在的设备中。会话式人工智能是AI技术的一个主要应用，主要是指利用语音识别、语义理解、多轮对话和自然语言理解等技术，让用户以自然语言的方式与机器人沟通。但是，目前用户与机器人之间语音交互的主要停留在被动任务式的对话，通过固化的对话管理机制对用户进行反问或应答，这种方式虽然能够完成用户基本的对话需求，但是并不能依据用户的当前情绪来进行更为智能的应答，使用不便。因此，现有技术还有待于改进和发展。
技术实现思路
本专利技术要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于情绪引擎技术的语音交互方法、智能终端及存储介质，旨在解决现有技术中的用户在与智能机器人之间的对话采用的固化的应答模式，智能机器人并不能依据用户当前的情绪来做出更为智能的应答等问题。本专利技术解决技术问题所采用的技术方案如下：一种基于情绪引擎技术的语音交互方法，其中，所述方法包括：获取用户输入的语音信息，并获取用户的人脸图像信息；从所述语音信息与人脸图像信息中提取情绪识别特征，并将提取的情绪识别特征输入至预设的情绪识别模型；通过所述情绪识别模型计算出用户的情绪，并基于用户的情绪生成拟人化的语音交互策略，并输出。所述的基于情绪引擎技术的语音交互方法，其中，所述获取用户输入的语音信息，并获取用户的人脸图像信息的步骤，具体包括：通过预设的远程设备或者遥控器拾音设备获取用户输入的语音信息；通过预设的摄像头设备获取用户的人脸图像信息。所述的基于情绪引擎技术的语音交互方法，其中，所述从所述语音信息与人脸图像信息中提取情绪识别特征，并将提取的情绪识别特征输入至预设的情绪识别模型的步骤，具体包括：将获取到的语音信息中的一路语音信号通过ASR语音识别模块转换成文本信息，并从所述文本信息中提取用户的文本情绪状态；将获取到的语音信息中的另一路语音信号通过预设的语音情绪感知器提取出用户的音频情绪状态；将获取到的人脸图像信息通过预设的表情识别系统提取出用户的表情状态；将所述文本情绪状态、音频情绪状态以及表情状态输入至预设的情绪识别模型。所述的基于情绪引擎技术的语音交互方法，其中，所述从所述文本信息中提取用户的文本情绪状态的步骤，具体包括：对所述文本信息进行特征提取，提取出语句信息，并根据所述语句信息从预设的记忆图谱中获取到用户的个人信息；将所述语句信息与用户的个人信息输入到预设的情绪状态识别模型，识别出用户的文本情绪状态。所述的基于情绪引擎技术的语音交互方法，其中，所述将所述语句信息与用户的个人信息输入到预设的情绪识别模型，识别出用户的文本情绪状态的步骤，具体包括：从所述语句信息中提取出关键词，并根据所述关键词得到用户的第一情绪状态和第一信心分值；将所述语句信息和用户的个人信息输入至深度学习模型中，得到用户的第二情绪状态和第二信心分值；将所述第一信心分值与预设的阈值进行比较；若所述第一信心分值大于阈值，将所述第一情绪状态作为用户的文本情绪状态；若所述第一信心分值小于阈值，将第一情绪状态和所述第二情绪状态进行动态排序，并根据动态排序的结果决定出用户的文本情绪状态。所述的基于情绪引擎技术的语音交互方法，其中，所述通过所述情绪识别模型计算出用户的情绪，并基于用户的情绪生成拟人化的语音交互策略，并输出的步骤，具体包括：所述情绪识别模型对输入的文本情绪状态、音频情绪状态以及表情状态进行加权计算，得出用户的情绪；将得出的情绪与预设的情绪数据库进行对比匹配，得出对应的情绪特征信息；基于得到的情绪特征信息，进行情绪意图决策和用户画像填充；根据得到的情绪意图决策结果和用户画像信息，通过对话生成模型来生成带有情绪的语音交互信息，并输出。所述的基于情绪引擎技术的语音交互方法，其中，所述通过对话生成模型来生成带有情绪的语音交互信息的步骤，具体包括：对话生成模型接收用户输入的问题信息，并记录用户的历史对话信息、位置变换信息以及情绪变化信息；分析出用户的个人信息和活动状态，得到用户画像信息；根据问题信息和用户画像信息，生成语音交互信息；所述语音交互信息还用于对所述对话生成模型进行更新。所述的基于情绪引擎技术的语音交互方法，其中，所述通过所述情绪识别模型计算出用户的情绪，并基于用户的情绪生成拟人化的语音交互策略，并输出的步骤，还包括：将用户的情绪以及得到的情绪意图决策结果作为网络模型的第一输入；将自定义的场景结构化数据作为网络模型的第二输入；通过网络模型的学习与训练，得到在特定场景下输出拟人化语音交互策略的情绪引擎模型。一种智能终端，其中，包括：处理器、与处理器通信连接的存储介质，所述存储介质适于存储多条指令；所述处理器适于调用所述存储介质中的指令，以执行实现上述任一项所述的基于情绪引擎技术的语音交互方法的步骤。一种存储介质，其上存储有多条指令，其中，所述指令适于由处理器加载并执行，以执行实现上述任一项所述的基于情绪引擎技术的语音交互方法的步骤。本专利技术的有益效果：本专利技术通过对用户情感的分析，并在语音交互中加入情感，从而塑造出有情感的智能语音交互方式，使得用户与智能终端之间实现更为趣味性的语音交互，摆脱传统语音交互系统机械化、被动式的交流模式，给用户的使用提供了方便。附图说明图1是本专利技术的基于情绪引擎技术的语音交互方法的较佳实施例的流程图。图2是本专利技术的基于情绪引擎技术的语音交互方法的总体控制流程图。图3是本专利技术的基于情绪引擎技术的语音交互方法的情感识别系统逻辑流程图。图4是本专利技术的智能终端的功能原理图。具体实施方式为使本专利技术的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本专利技术进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，本文档来自技高网...

【技术保护点】
1.一种基于情绪引擎技术的语音交互方法，其特征在于，所述方法包括：/n获取用户输入的语音信息，并获取用户的人脸图像信息；/n从所述语音信息与人脸图像信息中提取情绪识别特征，并将提取的情绪识别特征输入至预设的情绪识别模型；/n通过所述情绪识别模型计算出用户的情绪，并基于用户的情绪生成拟人化的语音交互策略，并输出。/n

【技术特征摘要】
1.一种基于情绪引擎技术的语音交互方法，其特征在于，所述方法包括：
获取用户输入的语音信息，并获取用户的人脸图像信息；
从所述语音信息与人脸图像信息中提取情绪识别特征，并将提取的情绪识别特征输入至预设的情绪识别模型；
通过所述情绪识别模型计算出用户的情绪，并基于用户的情绪生成拟人化的语音交互策略，并输出。


2.根据权利要求1所述的基于情绪引擎技术的语音交互方法，其特征在于，所述获取用户输入的语音信息，并获取用户的人脸图像信息的步骤，具体包括：
通过预设的远程设备或者遥控器拾音设备获取用户输入的语音信息；
通过预设的摄像头设备获取用户的人脸图像信息。


3.根据权利要求1所述的基于情绪引擎技术的语音交互方法，其特征在于，所述从所述语音信息与人脸图像信息中提取情绪识别特征，并将提取的情绪识别特征输入至预设的情绪识别模型的步骤，具体包括：
将获取到的语音信息中的一路语音信号通过ASR语音识别模块转换成文本信息，并从所述文本信息中提取用户的文本情绪状态；
将获取到的语音信息中的另一路语音信号通过预设的语音情绪感知器提取出用户的音频情绪状态；
将获取到的人脸图像信息通过预设的表情识别系统提取出用户的表情状态；
将所述文本情绪状态、音频情绪状态以及表情状态输入至预设的情绪识别模型。


4.根据权利要求3所述的基于情绪引擎技术的语音交互方法，其特征在于，所述从所述文本信息中提取用户的文本情绪状态的步骤，具体包括：
对所述文本信息进行特征提取，提取出语句信息，并根据所述语句信息从预设的记忆图谱中获取到用户的个人信息；
将所述语句信息与用户的个人信息输入到预设的情绪状态识别模型，识别出用户的文本情绪状态。


5.根据权利要求4所述的基于情绪引擎技术的语音交互方法，其特征在于，所述将所述语句信息与用户的个人信息输入到预设的情绪识别模型，识别出用户的文本情绪状态的步骤，具体包括：
从所述语句信息中提取出关键词，并根据所述关键词得到用户的第一情绪状态和第一信心分值；
将所述语句信息和用户的个人信息输入至深度学习模型中，得到用户的第二情绪状态和第二信心分值；
将所述第一信心分值与预设的阈值进行比较；
若所述第...

【专利技术属性】
技术研发人员：温馨，
申请(专利权)人：深圳TCL新技术有限公司，
类型：发明
国别省市：广东;44