一种基于情感分布的多模态深度模型构建方法及系统技术方案

技术编号:41158744 阅读:34 留言:0更新日期:2024-04-30 18:22
本发明专利技术公开了一种基于情感分布的多模态深度模型构建方法及系统,涉及计算机技术领域,具体步骤为:对采访数据按照情感效价属性进行重组,获得重组文本序列和重组语音序列;利用预训练模型从重组文本序列和重组语音序列提取文本初始语义特征和语音初始语义特征;利用元素感知的注意力机制对级联特征向量中不同的重要性进行学习,获得融合特征向量;利用情感编码将重组文本序列的情感分布信息投射成情感代码,获得情感分布的特征向量;基于融合特征向量和情感分布的特征向量构建多模态深度模型。本发明专利技术利用大规模预训练语言模型为句子生成情感标签,并基于不同模态的预训练模型构建多模态融合模型,减少在有限数据样本下出现的过拟合现象。

【技术实现步骤摘要】

本专利技术涉及计算机,更具体的说是涉及一种基于情感分布的多模态深度模型构建方法及系统


技术介绍

1、近年来,抑郁症已经成为一种常见的精神障碍疾病,该疾病在国内外患病率呈逐年上升趋势,对个人身心健康和社会造成了严重的负担,已经成为一项值得关注的社会问题。然而目前临床医疗对于抑郁症的检测还主要依靠问卷调查以及医生的主观诊断,时常会出现误诊的情况,再加上现在抑郁症检测手段的局限性,许多抑郁症患者不能及时得到准确的检测,从而延误了后续治疗。

2、随着人工智能技术和大数据技术的蓬勃发展,相关研究发现在有比较充足的注释数据下结合深度神经网络,在有监督学习的模式下可以在不同任务中取得不错的效果。然而在抑郁症诊断的场景下,往往存在着数据量稀少的情况,因此遵循上述有监督学习的模式对任务进行建模往往会出现过拟合或欠拟合的问题,模型也难以具有良好的泛化性。现有研究也开始尝试利用多模态数据的互补性和冗余性来联合学习多模态特征表示,弥补单模态信息的局限性。然而一方面如何对多模态数据进行有效建模,从而挖掘不同模态之间的互补性信息,提升多模态深度模型的性能是一个尚待解决的本文档来自技高网...

【技术保护点】

1.一种基于情感分布的多模态深度模型构建方法,其特征在于,具体步骤为:

2.根据权利要求1所述的一种基于情感分布的多模态深度模型构建方法,其特征在于,数据重组的具体步骤为:

3.根据权利要求1所述的一种基于情感分布的多模态深度模型构建方法,其特征在于,初始语义特征提取的具体步骤为:

4.根据权利要求1所述的一种基于情感分布的多模态深度模型构建方法,其特征在于,重要性学习的获取步骤为:

5.根据权利要求4所述的一种基于情感分布的多模态深度模型构建方法,其特征在于,重要性学习的表达式为:

6.根据权利要求1所述的一种基于情感分布的多...

【技术特征摘要】

1.一种基于情感分布的多模态深度模型构建方法,其特征在于,具体步骤为:

2.根据权利要求1所述的一种基于情感分布的多模态深度模型构建方法,其特征在于,数据重组的具体步骤为:

3.根据权利要求1所述的一种基于情感分布的多模态深度模型构建方法,其特征在于,初始语义特征提取的具体步骤为:

4.根据权利要求1所述的一种基于情感分布的多模态深度模型构建方法,其特征在于,重要性学习的获取步骤为:...

【专利技术属性】
技术研发人员:郭艳蓉周致远郝世杰洪日昌
申请(专利权)人:合肥工业大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1