【技术实现步骤摘要】
基于融合模态内和模态间关系的数据处理方法及系统
本申请涉及数据处理
，更具体地说，本申请涉及一种融合模态内和模态间关系的数据处理方法和系统。
技术介绍
人的表达和行为有各种各样表现，反映了人的精神状况。对各种表达和行为的识别，并分类出其中具有问题的对象已经成为社会安全的必要过程，也是精神医学领域的重点研究对象。这类对象指的是在各种生物学、心理学以及社会环境因素影响下，大脑功能失调，导致认知、情感、意志和行为等精神活动出现不同程度障碍。这类具有问题的表达和行为的种类非常多，而很多最终会发展成为各种精神障碍，例如孤独症、抑郁症、妄想症等。其中抑郁症是一种最为常见的精神障碍，严重威胁人们健康。根据世界卫生组织统计，全球约有3亿人患有抑郁症。抑郁症在严重的情况下会导致自杀，其严重影响着患者的日常生活。但是低收入和中等收入国家中由于缺乏医疗资源以及训练有素的卫生医疗人员等原因，有76%至85%的抑郁症患者无法得到有效治疗，并且大部分抑郁症患者会忽略自身的抑郁症症状而错过合适的治疗时间。早期的抑郁症检测对于预防抑郁症等心理健康疾病
【技术保护点】
1.一种基于融合模态内和模态间关系的数据处理方法，包括：/n获取社交网络指向目标分类的样本数据，并将样本数据划分为训练集、验证集和测试集，获得训练集样本数据、验证集样本数据和测试集样本数据；/n构建预设分类模型，所述预设分类模型包括特征提取网络，与所述特征提取网络相连的目标分类主任务网络和多模态主题信息辅助任务网络，所述特征提取网络包括文本特征提取网络和图片特征提取网络，所述多模态主题信息辅助任务网络包括文本模态网络、图片模态网络和模态间网络，用来获取文本模态网络内主题信息、图片模态网络内主题信息和模态间网络关系主题信息；/n将所述训练集样本数据输入所述预设分类模型并利用预...
【技术特征摘要】 【专利技术属性】
1.一种基于融合模态内和模态间关系的数据处理方法，包括：
获取社交网络指向目标分类的样本数据，并将样本数据划分为训练集、验证集和测试集，获得训练集样本数据、验证集样本数据和测试集样本数据；
构建预设分类模型，所述预设分类模型包括特征提取网络，与所述特征提取网络相连的目标分类主任务网络和多模态主题信息辅助任务网络，所述特征提取网络包括文本特征提取网络和图片特征提取网络，所述多模态主题信息辅助任务网络包括文本模态网络、图片模态网络和模态间网络，用来获取文本模态网络内主题信息、图片模态网络内主题信息和模态间网络关系主题信息；
将所述训练集样本数据输入所述预设分类模型并利用预设的损失函数进行训练，使用门控机制融合主任务和辅助任务的输出，得到社交数据分类模型，所述社交数据分类模型用于对输入的待分类数据进行分类。
2.根据权利要求1所述的方法，其中所述文本特征提取网络为BERT模型，所述图片特征提取网络为VGG模型。
3.根据权利要求1所述的方法，其中所述利用预设的损失函数进行训练包括通过主任务损失函数、辅助任务损失函数和联合损失函数，同时训练主任务和辅助任务。
4.根据权利要求1所述的方法，其中所述文本模态网络、图片模态网络和模态间网络基于变分自编码器框架构建。
5.根据权利要求4所述的方法，其中所述获取文本模态网络内主题信息、图片模态网络内主题信息和模态间网络关系主题信息方法为：
使用文本模态网络和图片模态网络获得模态内主题信息；
使用以下公式获得文本模态和图片模态之间关系信息，并将其输入模态间网络获得多模态间关系主题信息：
技术研发人员：李寿山，安明慧，王晶晶，周国栋，
申请(专利权)人：苏州大学，
类型：发明
国别省市：江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。