一种基于深度学习的机器人情感认知的方法技术

本发明专利技术提供一种基于深度学习的机器人情感认知的方法，包括：获取得到多模态信息，通过多模态信息融合算法得到情绪状态；将情绪状态输入到交互决策模型进行处理得到决策信息，将所述决策信息输出到满意度模型中；由满意度模型来检测交互决策模型输出的决策信息是否符合当前用户的喜好，若是，则进入到长期记忆中，进行数据更新，将获取到的决策信息输出给行为选择器得到机器人行为输出；否则，从短期记忆中获取记录的片段以及对应用户的情绪变化，并从长期记忆中提取用户特征，利用LSTM深度学习模型计算得出决策信息，将获取到的决策信息输出给行为选择器得到机器人行为输出。本发明专利技术通过交互决策模型，提高机器人认知能力，更好的进行人机交互。

A Method of Robot Emotional Cognition Based on Deep Learning

The invention provides a method of robot emotion recognition based on in-depth learning, which includes: obtaining multi-modal information, obtaining emotional state through multi-modal information fusion algorithm; inputting emotional state into interactive decision-making model to process decision-making information, and outputting the decision-making information to satisfaction model; and detecting the output of interactive decision-making model by satisfaction model. Whether the decision information is in line with the current user's preferences or not, if so, it enters the long-term memory, updates the data, and outputs the decision information to the behavior selector to get the robot's behavior output; otherwise, it obtains the recorded fragments from the short-term memory and the emotional changes of the application user, and extracts the user's characteristics from the long-term memory, and calculates using LSTM deep learning model. The decision information is obtained, and the obtained decision information is output to the behavior selector to get the behavior output of the robot. The invention improves the cognitive ability of the robot and performs better human-computer interaction through interactive decision-making model.

【技术实现步骤摘要】
一种基于深度学习的机器人情感认知的方法
本专利技术涉及信息
，尤其涉及一种基于深度学习的机器人情感认知的方法。
技术介绍
从目前的机器人情感认知方面的成果来看，主要是基于物理行为为基础进行计算，在情感认知方面还未有进展。现有的方法存在以下缺陷：1、市面上的机器人大多属于工业机器人的范畴，交互过程中没有考虑到基于人类的情感做进一步人机交互；2、机器人都有着决策模块，但都不基于情感而进行行为决策，不利于机器人与人的社交行为的发展；3、现有的研究很少有基于深度学习的情感认知框架，无法对不同对象进行交互，也不能进行较好的自我认知更新。
技术实现思路
本专利技术要解决的技术问题，在于提供一种基于深度学习的机器人情感认知的方法，通过交互决策模型，提高机器人认知能力，更好的进行人机交互，促进社交机器人的发展，并建立自我更新的认知模型，适应不同人的交互需求。本专利技术是这样实现的：一种基于深度学习的机器人情感认知的方法，包括如下步骤：步骤1、获取得到多模态信息，通过多模态信息融合算法得到情绪状态；步骤2、将所述情绪状态输入到交互决策模型进行处理得到决策信息，将所述决策信息输出到满意度模型中；步骤3本文档来自技高网...

【技术保护点】
1.一种基于深度学习的机器人情感认知的方法，其特征在于：包括如下步骤：步骤1、获取得到多模态信息，通过多模态信息融合算法得到情绪状态；步骤2、将所述情绪状态输入到交互决策模型进行处理得到决策信息，将所述决策信息输出到满意度模型中；步骤3、由满意度模型来检测交互决策模型输出的决策信息是否符合当前用户的喜好，若是，则进入到长期记忆中，进行数据更新，进入步骤5；否则，进入步骤4；步骤4、从短期记忆中获取记录的片段以及对应用户的情绪变化，并从长期记忆中提取用户特征，利用LSTM深度学习模型计算得出决策信息，进入步骤5；步骤5、将获取到的决策信息输出给行为选择器，得到行为，作为机器人行为输出。

【技术特征摘要】
1.一种基于深度学习的机器人情感认知的方法，其特征在于：包括如下步骤：步骤1、获取得到多模态信息，通过多模态信息融合算法得到情绪状态；步骤2、将所述情绪状态输入到交互决策模型进行处理得到决策信息，将所述决策信息输出到满意度模型中；步骤3、由满意度模型来检测交互决策模型输出的决策信息是否符合当前用户的喜好，若是，则进入到长期记忆中，进行数据更新，进入步骤5；否则，进入步骤4；步骤4、从短期记忆中获取记录的片段以及对应用户的情绪变化，并从长期记忆中提取用户特征，利用LSTM深度学习模型计算得出决策信息，进入步骤5；步骤5、将获取到的决策信息输出给行为选择器，得到行为，作为机器人行为输出。2.根据权利要求1所述的一种基于深度学习的机器人情感认知的方法，其特征在于：所述步骤1进一步包括：步骤11、获取得到多模态信息，通过实时捕捉与机器人交互的人的语言信息以及非语言信息...

【专利技术属性】
技术研发人员：佘莹莹，陈锦，汪亚东，
申请(专利权)人：厦门大学，
类型：发明
国别省市：福建,35