面向机器人的多模态情感数据交互方法及装置制造方法及图纸

本发明专利技术提供一种面向智能机器人的多模态情感交互方法，所述方法包括以下步骤：接收多模态交互输入信息并进行解析，以获取用户输入的意图参量和用户情绪参量；结合所述意图参量和所述情绪参量生成对应于多模态交互输入信息的文本回复信息，并结合所述文本回复信息、上下文交互数据及用户情绪参量生成语音情感参量；根据所述回复文本信息及语音情感参量合成语音信息并进行输出。通过实施本发明专利技术的面向智能机器人的多模态情感数据交互方法，智能机器人同用户进行交互时，输出的TTS语音在不同情感状态下的发声效果不同，这大大提升了机器人的情感表达能力，使得机器人的智能程度也大为提高。

Robot Oriented multimodal emotion data interaction method and device

The invention provides an intelligent robot multimodal emotion interaction method, the method comprises the following steps: receiving multimodal interactive input information and analysis, to obtain user input parameters and user intention emotional parameters; combination of the parameters and the emotion intention parameters are generated corresponding to the input information of the multimodal interaction reply to text information, and combining the text response information, data and user interaction context parameters generated emotional speech emotion parameter; according to the reply text information and emotional speech synthesis speech information and parameters for output. The multimodal emotion data interaction method for intelligent robot is the embodiment of the invention, the intelligent robot to interact with the user, different sound effects TTS speech output in different emotional states, which greatly enhance the robot's emotional expression ability, the intelligent robot also improve the.

【技术实现步骤摘要】
面向机器人的多模态情感数据交互方法及装置
本专利技术涉及智能机器人领域，具体地说，涉及一种面向机器人的多模态情感数据交互方法及装置。
技术介绍
人类不仅具有理性思维和逻辑推理能力，更是一种具有极强情感因子的群体。过去的人机交互模式，究其本质更多的是反映理性思维的程序操控。现在随着信息科技的发展，人机交互所面对的最大困境就是如何让计算机不仅有智商，而且还具备“情感”与人类交互的情感。未来人工智能的发展方向是机器人与人之间的感情化交互，强调情感计算。智能化的机器人在满足人类需求的同时，还应让用户对其产生一种情感上的信任和依赖。然而，当前市场上大多数的文本到语音转换TTS技术在发声效果、情感表达等方面都非常平淡，毫无情感可言，极大地影响了人机对话的体验效果。为提升文本到语音转换TTS的情感表达能力，需要提供一种能够让人与机器人之间的对话可以体验到类似真人般的对话效果的技术方案。
技术实现思路
本专利技术的目的在于，提供一种面向智能机器人的多模态情感交互方法和装置来解决上述技术问题。在本专利技术的面向智能机器人的多模态情感交互方法中，其包括以下步骤：接收多模态交互输入信息并进行解析，以获取用户输入的意图参量和用户情绪参量；结合所述意图参量和所述情绪参量生成对应于多模态交互输入信息的文本回复信息，并结合所述文本回复信息、上下文交互数据及用户情绪参量生成语音情感参量；根据所述回复文本信息及语音情感参量合成语音信息并进行输出。根据本专利技术的面向智能机器人的多模态情感交互方法，优选的是，所述语音情感参量包括，所述回复文本信息的语义参量、句式参量、当前交互的情绪参量以及对当前用户的情感参量。根据本专利技术的面向智能机器人的多模态情感交互方法，优选的是，所述方法包括：结合用户情绪参量来生成当前交互的情绪参量；基于上下文交互数据来生成对当前用户的情感参量；通过获取所述回复文本信息的重点词汇生成所述回复文本信息的语义参量。根据本专利技术的面向智能机器人的多模态情感交互方法，优选的是，所述方法包括：在接收多模态交互输入信息并进行解析的步骤中，通过采用情感词典、情感归类、机器学习的情感计算方式来生成用户输入的情绪参量。根据本专利技术的另一个方面，还提供了一种面向智能机器人的多模态情感数据交互装置。所述装置包括：接收解析单元，其用以接收多模态交互输入信息并进行解析，以获取用户输入的意图参量和情绪参量；文本回复生成单元，其用以结合所述意图参量和所述情绪参量生成对应于多模态交互输入信息的文本回复信息，并结合所述文本回复信息、上下文交互数据及用户情绪参量生成语音情感参量；情感输出合成单元，其用以根据所述回复文本信息及语音情感参量合成语音信息并进行输出。根据本专利技术的面向智能机器人的多模态情感数据交互装置，优选的是，在情感输出合成单元中，所述语音情感参量包括，所述回复文本信息的语义参量、句式参量、当前交互的情绪参量以及对当前用户的情感参量。根据本专利技术的面向智能机器人的多模态情感数据交互装置，优选的是，在所述装置的文本回复生成单元中，还包括以下单元：用以结合用户情绪参量来生成当前交互的情绪参量的单元；用以基于上下文交互数据来生成对当前用户的情感参量的单元；用以通过获取所述回复文本信息的重点词汇生成所述回复文本信息的语义参量的单元。根据本专利技术的面向智能机器人的多模态情感数据交互装置，优选的是，在所述装置的接收解析单元中，当接收多模态交互输入信息并进行解析时，通过采用情感词典、情感归类、机器学习的情感计算方式来生成用户输入的情绪参量。通过实施本专利技术的面向智能机器人的多模态情感数据交互方法，智能机器人同用户进行交互时，输出的TTS语音在不同情感状态下的发声效果不同，这大大提升了机器人的情感表达能力，使得机器人的智能程度也大为提高。本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。附图说明附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例共同用于解释本专利技术，并不构成对本专利技术的限制。在附图中：图1显示了根据本专利技术一个实施例的进行多模态情感输出方法的总体流程图；图2显示了根据本专利技术一个实施例的回复文本信息中的各个参量组成部分的示意图；图3显示了根据本专利技术一个实施例如何产生回复文本信息中的各个参量的方法流程图；以及图4显示了根据本专利技术一个实施例的多模态情感输出装置的结构框图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，以下结合附图对本专利技术实施例作进一步地详细说明。如图1所示，其中显示了根据本专利技术原理面向智能机器人的进行多模态情感交互输出方法的流程图。该方法开始于步骤S101，进行系统初始化工作，准备接收用户的多模态输入信息。接下来，在步骤S102中，机器人接收多模态交互输入信息并进行解析，以获取用户输入的意图参量和用户情绪参量。其中，用户的多模态输入信息例如包括通过语音表达的信息、文本输入的语句、通过表情或者特定动作表达的信息等。机器人通过多个方面的输入通道获取上述信息后，在系统内部通过解析从而获得用户输入的意图参量和用户情绪参量。在获得这些参量时，除了进行语义理解获得用户基本的意图之外，还需要进行情感分析和计算以获得用户当前的情绪状态。例如，可以通过句法分析对用户输入的语句进行理解，得到用户的意图，即行为+数据。比如用户问“明天北京天气怎么样”，那么系统可能会计算出用户的意图为：用户行为-》“天气查询”，城市：北京，时间：明天。针对用户的多模态输入为文本输入语句时，要获取用户当前的情绪状态，还需要系统结合上下文以及历史交互数据进行判断。例如，用户输入“明天北京天气怎么样”之前可能已经在抱怨北京的天气糟糕，那么可以分析出用户当前的情绪状态有可能是不太愿意去北京，是一种不高兴的情绪状态。在本专利技术中，上下文交互数据来自于聊天模块前几轮对话的结果，部分地代表了用户当前所处场景的状态。由于在生成文本回复信息时考虑了用户的情绪参量，因此机器人产生的语音情感参量会受到用户的情绪影响。例如，用户在不高兴的情绪状态下，说“昨晚的球赛太糟糕了，***踢得真差！”机器人通过语义理解能够基本判断出用户的情绪可能是失望的、也可能是气愤的。那么，在这种情况下，系统可以进一步通过情感计算分析，例如通过采用情感词典、情感归类、机器学习等相关算法计算出用户的当前情绪，并结合上下文、历史交互等情况判断出用户当前的情感状态。因此，在上述接收多模态交互输入信息并进行解析的步骤中，一般通过采用情感词典、情感归类、机器学习的情感计算方式来生成用户输入的情绪参量。当然，如果通过语义理解便能准确地判断出用户的情绪状态的话，系统可以省去进一步进行情感计算的步骤，而直接根据当前通过语义理解获得的情绪参量和上下文交互数据得到要输出的语音情感参量。接下来，在步骤S103中，系统结合所获得的意图参量和情绪参量生成对应于多模态交互输入信息的文本回复信息，并结合文本回复信息、上下文交互数据及用户情绪参量生成语音情感参量。其中，语音情感参量包括回复文本信息的语义参量、句式参量、当前交互的情绪参量以及对当前用户的情感参量。对当前用户的情感参量表示机器人与该特本文档来自技高网...

【技术保护点】
一种面向智能机器人的多模态情感交互方法，其特征在于，所述方法包括：接收多模态交互输入信息并进行解析，以获取用户输入的意图参量和用户情绪参量；结合所述意图参量和所述情绪参量生成对应于多模态交互输入信息的文本回复信息，并结合所述文本回复信息、上下文交互数据及用户情绪参量生成语音情感参量；根据所述回复文本信息及语音情感参量合成语音信息并进行输出。

【技术特征摘要】
1.一种面向智能机器人的多模态情感交互方法，其特征在于，所述方法包括：接收多模态交互输入信息并进行解析，以获取用户输入的意图参量和用户情绪参量；结合所述意图参量和所述情绪参量生成对应于多模态交互输入信息的文本回复信息，并结合所述文本回复信息、上下文交互数据及用户情绪参量生成语音情感参量；根据所述回复文本信息及语音情感参量合成语音信息并进行输出。2.如权利要求1所述的面向智能机器人的多模态情感交互方法，其特征在于，所述语音情感参量包括，所述回复文本信息的语义参量、句式参量、当前交互的情绪参量以及对当前用户的情感参量。3.如权利要求2所述的面向智能机器人的多模态情感交互方法，其特征在于，所述方法包括：结合用户情绪参量来生成当前交互的情绪参量；基于上下文交互数据来生成对当前用户的情感参量；通过获取所述回复文本信息的重点词汇生成所述回复文本信息的语义参量。4.如权利要求3所述的面向智能机器人的多模态情感交互方法，其特征在于，所述方法包括：在接收多模态交互输入信息并进行解析的步骤中，通过采用情感词典、情感归类、机器学习的情感计算方式来生成用户输入的情绪参量。5.一种面向智能机器人的多模态情感数据交互装置，其特征在于，所述装置包括：接收解析单元...

【专利技术属性】
技术研发人员：韦克礼，
申请(专利权)人：北京光年无限科技有限公司，
类型：发明
国别省市：北京,11