【技术实现步骤摘要】
一种多模态抑郁数据的融合分析方法
[0001]本专利技术属于多模态数据融合领域，具体是一种应用于情绪识别的多模态融合分析方法。
技术介绍
[0002]抑郁症因发病率高、危害性大，已成为国际公认的严重威胁人类身心健康的公共卫生问题，早期识别、早期干预对于降低抑郁症的风险至关重要。传统抑郁症的诊断是医生根据临床经验和量表进行，这一方法主要依赖于单一模态数据，存在主观偏差，有滞后性、被动性和受限性等缺点。Jeffery等人研究发现运用多模态技术识别抑郁症的效果要优于单模态。
[0003]多模态技术指的是同时处理或拟合多种模态数据来增强模型性能的一种方法。不同模态的数据，因表现形式不同，表示含义不同而难以被对齐并融合。如在图像音频识别任务中，图像数据通常表现为图片，而语言数据通常表现为文字，两者因表现形式不同而难以融合；在基因测序分析中，不同测序方法之间的数据又因为表示含义不同而难以融合。
[0004]现存的工作也对多模态技术有很多探索。Dupont,S等人用隐马尔可夫联合有限自动机的方法将语音数据与图片数据对齐，并...
【技术保护点】
【技术特征摘要】
1.一种多模态抑郁数据的融合分析方法，其特征在于：将不同数据类别的数据进行多阶段数据录入，此时将录入的数据进行情绪特征提取，之后，不同模态的数据特征分别通过三个线形层求出K值、Q值和V值表达，再根据融合抑郁数据注意力机制，利用K，Q计算各模态数据的注意力A，将A
·
V作为融合后的特征，服务下游任务，由于融合抑郁数据注意力机制，融合后的数据特征将包含多模态信息，并能辅助下游分类任务。2.根据权利要求1所述的一种多模态抑郁数据的融合分析方法，其特征在于：包括以下步骤，S1数据预处理，将数据组分为文本数据、图像数据和音频数据；S2融合抑郁数据注意力机制，计算预处理后的数据，从而获得包含多模态信息的特征；S3抑郁症识别，将包含多模态信息的特征拼接，并通过一个线性层，输出一个融合后的数据特征，最后一层的神经元使用softmax函数作为激活函数并输出分类预测结果。3.根据权利要求2所述的一种多模态抑郁数据的融合分析方法，其特征在于：所述S1中文本数据包括量表和电子病例，所述量表和电子病历数据...
【专利技术属性】
技术研发人员：张健，龚昊然，瞿星，蒋明丰，赵墨，
申请(专利权)人：四川大学华西医院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。