不平衡跨领域的多模态分类方法、装置、设备及介质制造方法及图纸

本发明专利技术提供一种不平衡跨领域的多模态分类方法、装置、设备及介质，该方法包括：获取目标新闻的模态信息，对模态信息进行特征提取及多模态特征编码，得到新闻特征；对新闻特征采用STEM‑Net进行领域共享，得到特定嵌入表和共享嵌入表；根据特定嵌入表和共享嵌入表，采用特定专家和共享专家对多模态特征进行特征提取，得到特定领域特征和共享领域特征；对特定领域特征和共享领域特征采用Mamba Fusion进行跨模态特征增强、跨分支交互及动态模态融合处理，得到融合特征；对融合特征采用CMID模型进行聚合及分类处理，得到虚假新闻识别结果。本发明专利技术的有益效果为：提高了不平衡跨领域的多模态分类的准确度。

【技术实现步骤摘要】

本专利技术涉及人工智能的数据分析，尤其涉及一种不平衡跨领域的多模态分类方法、装置、设备及介质。

技术介绍

1、网络基础设施的迅速发展加剧了虚假新闻的传播，给社会带来了严峻挑战，故自动化虚假信息检测成为当前的研究热点。但因真实世界中的虚假新闻数据往往是跨领域、多模态且分布高度不均衡的，这使得传统的检测方法难以适应复杂多变的现实环境，故现有的虚假新闻检测涉及以下三个核心挑战：

2、(a)类不平衡问题：虚假新闻在不同领域之间及同一领域内部的分布往往高度不均衡，传统模型容易在训练过程中放大多数类特征，导致少数类的检测效果下降，如在“健康”领域，文本的真实性可能更为关键，而在“娱乐”领域，图像的篡改检测则显得尤为重要。

3、(b)领域转换问题：不同领域新闻在语言模式、视觉特征存在差异与共享特征，导致模型泛化能力受限，实时事件、社会趋势、公众信息需求等因素，不同领域的新闻描述差异很大，如云（cloud）这个单词，在自然领域指的是天空中的水蒸气凝结物，而在科技领域可能指的是云计算等互联网提供的资源服务。

4、(c)模态偏移问题：不同领本文档来自技高网...

【技术保护点】

1.一种不平衡跨领域的多模态分类方法，其特征在于，包括：

2.根据权利要求1所述的不平衡跨领域的多模态分类方法，其特征在于，所述获取目标新闻的模态信息，对模态信息进行特征提取及多模态特征编码，得到新闻特征，包括：

3.根据权利要求1所述的不平衡跨领域的多模态分类方法，其特征在于，所述对所述新闻特征采用STEM-Net进行领域共享，得到特定嵌入表和共享嵌入表，包括：

4.根据权利要求3所述的不平衡跨领域的多模态分类方法，其特征在于，所述根据所述特定嵌入表和所述共享嵌入表，采用特定专家和共享专家对所述多模态特征进行特征提取，得到特定领域特征和共享领域特征，...

【技术特征摘要】

1.一种不平衡跨领域的多模态分类方法，其特征在于，包括：

2.根据权利要求1所述的不平衡跨领域的多模态分类方法，其特征在于，所述获取目标新闻的模态信息，对模态信息进行特征提取及多模态特征编码，得到新闻特征，包括：

3.根据权利要求1所述的不平衡跨领域的多模态分类方法，其特征在于，所述对所述新闻特征采用stem-net进行领域共享，得到特定嵌入表和共享嵌入表，包括：

4.根据权利要求3所述的不平衡跨领域的多模态分类方法，其特征在于，所述根据所述特定嵌入表和所述共享嵌入表，采用特定专家和共享专家对所述多模态特征进行特征提取，得到特定领域特征和共享领域特征，包括：

5.根据权利要求1所述的不平衡跨领域的多模态分类方法，其特征在于，所述对所述特定领域特征和所述共享领域特征采用mamb...

【专利技术属性】
技术研发人员：罗廷金，张宇晨，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：