基于跨模态对齐的有害信息检测方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术公开了一种基于跨模态对齐的有害信息检测方法、装置、电子设备及存储介质，涉及数字图像内容安全技术领域。所述方法包括：提取模因中的文本信息，并生成图像描述，构建多模态有害信息数据集；预处理目标文本和图像数据，包括图像的归一化处理和数据增强；编码预处理后的图文数据，以获取通用的图文特征；分别使用图文通用特征进行有害信息检测，评估构建跨模态对比学习样本集；进行跨模态对齐预训练，对提取的特征进行多粒度的对比学习；将对齐的特征进行门控多通道融合，并将融合后的有害信息特征输入至分类器中，以检测和识别有害信息；该方法通过跨模态对齐和多源特征融合，深入挖掘图文特征间的相互作用，从而显著提升了有害信息检测的准确率和F1值。

【技术实现步骤摘要】

本专利技术涉及人工智能技术中的自然语言处理领域，特别是涉及有害信息检测、多模态融合等子领域。更具体地说，本专利技术提供一种基于跨模态对齐的有害信息检测方法、装置、电子设备及存储介质。

技术介绍

1、近年来，随着网络和社交媒体的迅猛发展，多模态数据呈现爆炸式增长。多模态模因通过融合视觉和语言元素，以幽默或讽刺的方式快速捕捉观众的注意力，在社交媒体上激发广泛共鸣。模因以其直观和情感化的表达，突破了语言和文化的界限，使得复杂的议题得以简洁而富有感染力地呈现，从而在信息传播和公众舆论形成中扮演着重要角色。

2、因此，开发一种更加准确、高效的有害信息检测方法，对于构建一个风清气正的网络环境变得尤为迫切。

3、目前关于模因的有害信息检测方法主要通过多模态特征融合技术、外部知识注入以及大语言模型的提示学习等方式进行，代表方法有momenta、mebert和prompthate等；尽管上述主流方法在有害信息检测领域引入了新的研究思路，但有害信息检测仍面临以下挑战，一是预训练模型提取到的图像和文本特征，在有害信息检测任务上存在显著的语义差异，而多数研本文档来自技高网...

【技术保护点】

1.一种基于跨模态对齐的有害信息检测方法，其特征在于，按下列步骤进行：

2.根据权利要求1所述的基于跨模态对齐的有害信息检测方法，其特征在于，步骤e中所述特征集成综合了多模态特征和各自的单模态特征，以实现全面的决策过程，所使用的公式为：其中分别为文本、图像对齐特征，W为权重矩阵，f为融合特征，f′为有害信息特征。

3.一种权利要求1所述的基于跨模态对齐的有害信息检测方法所涉及的装置，其特征在于，该装置由多模态输入模块、数据预处理模块、特征编码模块、正负样本集构建模块、跨模态语义对齐模块、多模态门控决策模块和有害信息检测模块组成，其中：

<p>4.根据权利要求...

【技术特征摘要】

1.一种基于跨模态对齐的有害信息检测方法，其特征在于，按下列步骤进行：

2.根据权利要求1所述的基于跨模态对齐的有害信息检测方法，其特征在于，步骤e中所述特征集成综合了多模态特征和各自的单模态特征，以实现全面的决策过程，所使用的公式为：其中分别为文本、图像对齐特征，w为权重矩阵，f为融合特征，f′为有害信息特征。

3.一种权利要求1所述的基于跨模态对齐的有害信息检测方法所涉及的装置，其特征在于，该装置由多模态输入模块、数据预处理模块、特征编码模块、正负样本集构建模块、跨模态语义对齐模块、多模态门控决策模块和有害信息检测模块组成，其中：...

【专利技术属性】
技术研发人员：王磊，周喜，杨雅婷，刘晋文，马博，董瑞，王震，艾合塔木江·艾合麦提，
申请(专利权)人：中国科学院新疆理化技术研究所，
类型：发明
国别省市：