一种基于多模态的视频情感分析系统技术方案

技术编号:40419304 阅读:22 留言:0更新日期:2024-02-20 22:37
本发明专利技术提供了一种基于多模态的视频情感分析系统,涉及电数字数据处理领域,包括音视频采集模块、表情识别模块、语音分析模块和情感综合分析模块,所述音视频采集模块用于采集用户的面部视频信息和语音信息,所述表情识别模块用于对面部视频信息进行分析处理,所述语音分析模块用于对语音信息进行分析处理,所述情感综合分析模块基于视频分析结果和语音分析结果处理得到用户的情感信息;本系统从视频信息和音频信息两种模式进行切入分析,并奖两个分析结果进行融合,能够获取更加准确的情感结果。

【技术实现步骤摘要】

本专利技术涉及电数字数据处理领域,具体涉及一种基于多模态的视频情感分析系统


技术介绍

1、随着人工智能的发展,会产生越来越多用于情感交流的应用产品,这类产品的应用前提是能够准确把握用户的情感状态,现有情感分析系统中,常采用单一的方式进行分析,或者采用多种方式但只能简单地将各种方式的结果进行组合,因此需要一种能够采用多模态的系统来准确分析出用户情感。

2、
技术介绍
的前述论述仅意图便于理解本专利技术。此论述并不认可或承认提及的材料中的任一种公共常识的一部分。

3、现在已经开发出了很多情感分析系统,经过大量的检索与参考,发现现有的情感分析系统有如公开号为cn111222464b所公开的系统,这些系统方法一般包括:获取与目标用户相对应的生理信号;其中,生理信号中包括脑电信号以及肌电信号;获取与目标用户对应的面部图像信息;将生理信号以及面部图像信息分别输入至预先训练好的至少一个目标分类模型中,得到与目标用户相对应的生理信号识别结果以及微表情识别结果基于生理信号识别结果以及微表情识别结果,确定与目标用户对应的情感分析结果。但是该系统需要获取生本文档来自技高网...

【技术保护点】

1.一种基于多模态的视频情感分析系统,其特征在于,包括音视频采集模块、表情识别模块、语音分析模块和情感综合分析模块;

2.如权利要求1所述的一种基于多模态的视频情感分析系统,其特征在于,所述面部特征提取单元包括帧信息提取处理器、面部对准处理器、关键点定位处理器和特征向量处理器,所述帧信息提取处理器用于从视频信息中按序抽取帧信息,所述面部对准处理器用于从帧信息中获取局部的面部画面,所述关键点定位处理器用于在面部画面中获取关键点的位置信息,所述特征向量处理器根据关键点的位置信息计算出特征向量。

3.如权利要求2所述的一种基于多模态的视频情感分析系统,其特征在于,所述表...

【技术特征摘要】

1.一种基于多模态的视频情感分析系统,其特征在于,包括音视频采集模块、表情识别模块、语音分析模块和情感综合分析模块;

2.如权利要求1所述的一种基于多模态的视频情感分析系统,其特征在于,所述面部特征提取单元包括帧信息提取处理器、面部对准处理器、关键点定位处理器和特征向量处理器,所述帧信息提取处理器用于从视频信息中按序抽取帧信息,所述面部对准处理器用于从帧信息中获取局部的面部画面,所述关键点定位处理器用于在面部画面中获取关键点的位置信息,所述特征向量处理器根据关键点的位置信息计算出特征向量。

3.如权利要求2所述的一种基于多模态的视频情感分析系统,其特征在于,所述表情分析单元包括向量分析处理器、第一情绪特征寄存器和第一校对分析处理器,所述向量分析处理器用于对特征向量进行计算处理的得到表情数据,所述...

【专利技术属性】
技术研发人员:张卫平张伟李显阔王丹邵胜博
申请(专利权)人:环球数科集团有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1