基于情感上下文的视觉语音多模态协同分析方法及系统技术方案

本发明专利技术公开了一种基于情感上下文的视觉语音多模态协同情感分析方法及系统，所述方法包括：S1、动态提取与分析视觉语音场景中基于情景和分析对象的情感上下文信息；S2、实时提取视觉场景中分析对象的视觉情感特征和语音场景中分析对象的语音情感特征；S3、对情感上下文信息、姿态特征、表情特征和语音情感特征分别进行结构化稀疏表示；S4、采用情感分类代理对多模态的情感信息进行协同分析和识别。本发明专利技术利用情感上下文信息、姿态特征、语音情感特征以及表情特征中包含大量情感信息且这些信息互为补充的特性，结合结构化稀疏表示和多情感代理协同分析，解决在部分通道信息丢失的情况下准确分析待分析者情感的问题，可提高自然交互环境下情感分析的准确性和鲁棒性。

【技术实现步骤摘要】

【技术保护点】
一种基于情感上下文的视觉语音多模态协同情感分析方法，其特征在于，所述方法包括：S1、动态提取与分析视觉语音场景中基于情景和分析对象的情感上下文信息，所述情感上下文信息包括视觉语音场景所包含的先验情感上下文信息和时空上下文信息；S2、实时提取视觉场景中分析对象的视觉情感特征和语音场景中分析对象的语音情感特征，所述视觉情感特征包括姿态特征和表情特征；S3、对情感上下文信息、姿态特征、表情特征和语音情感特征分别进行结构化稀疏表示；S4、采用情感分类代理对多模态的情感信息进行协同分析和识别。

【技术特征摘要】

【专利技术属性】
技术研发人员：毛启容，赵小蕾，詹永照，白李娟，胡素黎，董俊健，
申请(专利权)人：江苏大学，
类型：发明
国别省市：