【技术实现步骤摘要】
本专利技术涉及自然语言处理，具体涉及一种混合模型架构的多特征融合视觉对话情感分析方法。
技术介绍
1、多模态融合multimodal fusion也称多源信息融合(multi-source informationfusion)，多传感器融合(multi-sensor fusion)。多模态融合是指综合来自两个或多个模态的信息以进行预测的过程。在预测的过程中，单个模态通常不能包含产生精确预测结果所需的全部有效信息，多模态融合过程结合了来自两个或多个模态的信息，实现信息补充，拓宽输入数据所包含信息的覆盖范围，提升预测结果的精度，提高预测模型的鲁棒性。视觉和文本的特征通常是由不同的模型获取，图像和文本的格式和结构是异构的，需要不同的方法来处理和提取鉴别特征。与普通的句子、话语情感识别不同，对话情感识别(erc)需要对单个话语进行上下文建模，由于对话情感依赖话语的时间序列、说话人所处的场景、语境、上下文线索以及其他特定的信息(面部表情、语调、语音、视频)等等，传统的基于词汇的方法以及建模的深度学习方法，在对话情感识别数据集中的表现欠佳，情感分析...
【技术保护点】
1.一种混合模型架构的多特征融合视觉对话情感分析方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的混合模型架构的多特征融合视觉对话情感分析方法，其特征在于：步骤S1中所述依据语句长度截取文本信息包括：
3.根据权利要求2所述的混合模型架构的多特征融合视觉对话情感分析方法，其特征在于：步骤S2中所述基于所述预处理后的文本数据中成对分组的文本，提取所述预处理后的文本数据的文本特征包括：
4.根据权利要求1所述的混合模型架构的多特征融合视觉对话情感分析方法，其特征在于：所述包含文本信息和视频信息的对话数据具体包括：
5...
【技术特征摘要】
1.一种混合模型架构的多特征融合视觉对话情感分析方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的混合模型架构的多特征融合视觉对话情感分析方法，其特征在于：步骤s1中所述依据语句长度截取文本信息包括：
3.根据权利要求2所述的混合模型架构的多特征融合视觉对话情感分析方法，其特征在于：步骤s2中所述基于所述预处理后的文本数据中成对分组的文本，提取所述预处理后的文本数据的文本特征包括：
4.根据权利要求1所述的混合模型架构的多特征融合视觉对话情感分析方法，其特征在于：所述包含文本信息和视频信息的对话数据具体包括：
5.根据权利要求4所述的混合模型架构的多特征融合视觉对话情感分析方法，其特征在于：步骤s1中对文本信息进行预处理的具体步骤为：
6.根据权利要求5所述的混合模型架...
【专利技术属性】
技术研发人员：唐文忠，唐红梅，王帅，王衍洋，朱笛熊箫，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。