一种情绪识别系统、方法及电子设备技术方案

本申请涉及一种情绪识别系统、方法及电子设备。包括机器人和云端服务器；所述机器人用于采集用户的图像或视频数据、语音信号，对所述图像或视频数据、语音信号进行识别，分别获取用户基于表情、语音的情绪分量，并将所述基于表情、语音的情绪分量上传至云端服务器；所述云端服务器用于根据语音信号获取用户基于文本的情绪分量，并基于权重计算方法对基于表情、语音和文本的情绪分量进行融合，得到用户最终的情绪识别结果。相对于现有技术，本申请能够多角度的分析用户情绪，从而更准确地描述用户的真实情绪。

【技术实现步骤摘要】
一种情绪识别系统、方法及电子设备
本申请属于人工智能
，特别涉及一种情绪识别系统、方法及电子设备。
技术介绍
情绪是综合了人的感觉、思想和行为的一种状态，它包括人对外界或自身刺激的心理反应，包括伴随这种心理反应的生理反应。在人们的日常工作和生活中，情绪的作用无处不在。例如，在医疗护理中，如果能够知道患者、特别是有表达障碍的患者的情绪状态，就可以根据患者的情绪做出不同的护理措施，提高护理质量。在产品开发过程中，如果能够识别出用户使用产品过程中的情绪状态，了解用户体验，就可以改善产品功能，设计出更适合用户需求的产品。在各种人-机交互系统里，如果系统能识别出人的情绪状态，人与机器的交互就会变得更加友好和自然。因此，对情绪进行分析和识别是神经科学、心理学、认知科学、计算机科学和人工智能等领域的一项重要的交叉学科研究课题。目前，通用的情绪识别技术通常需要用户佩戴眼镜或心率传感器等额外的辅助设备采集用户的生理数据，从而进行情绪识别。人机交互过程中，需要对人的情绪进行识别，但如果需要借助额外的辅助设备才能够判定人的情绪，则在很大程度上限定了该系本文档来自技高网...

【技术保护点】
1.一种情绪识别系统，其特征在于，包括机器人和云端服务器；/n所述机器人用于采集用户的图像或视频数据、语音信号，对所述图像或视频数据、语音信号进行识别，分别获取用户基于表情、语音的情绪分量，并将所述基于表情、语音的情绪分量上传至云端服务器；/n所述云端服务器用于根据语音信号获取用户基于文本的情绪分量，并基于权重计算方法对基于表情、语音和文本的情绪分量进行融合，得到用户最终的情绪识别结果。/n

【技术特征摘要】
1.一种情绪识别系统，其特征在于，包括机器人和云端服务器；
所述机器人用于采集用户的图像或视频数据、语音信号，对所述图像或视频数据、语音信号进行识别，分别获取用户基于表情、语音的情绪分量，并将所述基于表情、语音的情绪分量上传至云端服务器；
所述云端服务器用于根据语音信号获取用户基于文本的情绪分量，并基于权重计算方法对基于表情、语音和文本的情绪分量进行融合，得到用户最终的情绪识别结果。


2.根据权利要求1所述的情绪识别系统，其特征在于，所述机器人包括数据采集模块和情绪识别模块，所述数据采集模块包括：
图像采集单元：用于采集用户的图像或视频数据，并将采集的图像或视频数据传输至情绪识别模块；
语音采集单元：用于采集用户的语音信号，并将采集的语音信号传输至情绪识别模块；
所述情绪识别模块包括：
表情识别单元：用于通过采集的图像或视频数据提取有效的静态表情特征或动态表情特征，采用静态表情特征或动态表情特征训练基于表情的情绪识别模型，通过所述基于表情的情绪识别模型进行情绪类型判别和情绪强度的计算，得到基于表情的情绪分量；
语音识别单元：用于从采集的语音信号中分析并提取能够表征情绪变化的语音特征参数，采用语音特征参数训练基于语音的情绪识别模型，通过基于语音的情绪识别模型进行情绪类型判别和情绪强度的计算，得到基于语音的情绪分量。


3.根据权利要求2所述的情绪识别系统，其特征在于，所述基于表情的情绪分量获取方式具体为：分析视频序列，分析检索其中的关键帧；截取包含相同或相似表情的若干序列帧，将截取的若干序列帧进行相关的预处理操作后，提取序列帧中的面部特征，基于所述面部特征提取其中的动态表情特征和静态表情特征；在训练模型时，首先合并所有的动态表情特征和静态表情特征，然后使用特征相关性分析方法进行情绪分类。


4.根据权利要求2所述的情绪识别系统，其特征在于，所述基于语音的情绪分量获取方式具体为：对所述语音信号进行预处理后，从语音信号中提取能够表达当前声音的语音特征参数，并对所述语音特征参数进行基于统计学的分析处理，然后，基于所述语音特征参数，使用分类方法训练出基于语音的情绪识别模型；利用所述情绪识别模型，选取分类器采用分类识别算法进行情绪类型判别和情绪强度的计算，并以特定的权重进行组合判断，得到基于语音的情绪分量。


5.根据权利要求1至4任一项所述的情绪识别系统，其特征在于，所述云端服务器包括：
文本识别模块：用于通过调用语音识别引擎将用户的语音信号转换为文本信息，并对所述文本信息进行预处理，从所述预处理后的文本信息中提取能够表征情绪变化的文本特征参数，并通过分类器对文本特征参数进行判别，得到文本的情绪分量；
数据融合模块：用于采用权重计算方法对基于表情、语音、文本的情绪分量进行融合，计算出最终的情绪识别结果，并将最终的情绪识别结果反馈至机器人；其中，所述融合方法包括基于权重的融合、基于统计数据和基于机器学习方法的融合，所述权重计算方法包括静态权重设置和动态权重设置。


6.一种情绪识别方法，其特征在于，包括：
步骤a：采集用户的图像或视频数据、语音信号；
步骤b：对所述图像或视频数据、语音信号进行识别，分别获取用户基于表情、语音的情绪分量；
步骤c：根据所述语音信号获取用户基...

【专利技术属性】
技术研发人员：王晓东，杜威，王宏玉，王海鹏，邹风山，张悦，
申请(专利权)人：沈阳新松机器人自动化股份有限公司，
类型：发明
国别省市：辽宁;21