基于提示学习的融合双模态的伪造信息检测方法技术

本发明专利技术公开了基于提示学习的融合双模态的伪造信息检测方法，包括有S1对文本模态样本和图像模态样本分别进行特征提取，得到文本模态特征和图像模态特征；S2一部分文本模态特征基于提示学习进行分类预测得到文本模态提示学习分类结果，一部分图像模态特征基于提示学习进行分类预测得到图像模态提示学习分类结果；S3使用模态一致性学习方式对另一部分文本模态特征和另一部分图像模态特征进行多模态对齐特征生成；S4使用注意力机制对文本模态特征和图像模态特进行跨模态特征交互式融合；S5通过设置模态注意力机制为模态分配权重实现特征聚合，并输入到分类器中得到聚合特征分类结果；S6对聚合特征分类结果、文本模态提示学习分类结果、图像模态提示学习分类结果进行加权融合分类预测，可以避免融合的偶然性，提高准确率。

【技术实现步骤摘要】

[]本专利技术涉及人工智能领域，特别是涉及基于提示学习的融合双模态的伪造信息检测方法。

技术介绍

0、[
技术介绍
]

1、国家的经济发展推动了互联网技术的广泛使用，这引发了越来越多的人们通过互联网发表自己的言论。信息化时代的到来，消息传播会极快并且众多用户参与互联网信息的转发，评论操作，会导致互联网的信息真假难辨。一旦伪造信息大量扩散在互联网上，会扰乱国家和社会的秩序，危害网络安全，削弱社交媒体在人们心中的公信力。因此当务之急是识别出伪造信息，并阻断伪造信息的传播。

2、早期的伪造信息检测技术只使用新闻文本和新闻图像模态，如使用深度神经网络自动地从文本或图像模态中学习更准确，更有效的特征，并使用梯度下降算法优化，实现单模态伪造信息检测。然而，社交媒体的信息具有多样性，复杂性特点，只使用一种模态会造成特征信息量不足，容易受到噪声干扰，并且文本和图像模态具有互补关联信息，单模态伪造信息检测难以保证可靠性。因此，双模态伪造信息检测引发了研究者的关注。

3、社交媒体数据量大，伪造信息通常是突发的，并且经常有未知事件，标注数据是一项本文档来自技高网...

【技术保护点】

1.基于提示学习的融合双模态的伪造信息检测方法，其特征在于：包括有

2.根据权利要求1所述的基于提示学习的融合双模态的伪造信息检测方法，其特征在于：S1中设定每个样本为x＝(xt,xm),其中xt表示文本模态样本，xm表示图像模态样本，设定分类标签为y，当y＝1时，代表真实信息，y＝0时代表伪造信息，其中通过Resnet图像编码器进行图像模态样本的特征提取，通过Transformer编码器进行文本模态样本的特征提取。

3.根据权利要求2所述的基于提示学习的融合双模态的伪造信息检测方法，其特征在于：S2中图像的文本提示使用条件性上下文优化CoCoOP方法构建文本提示...

【技术特征摘要】

1.基于提示学习的融合双模态的伪造信息检测方法，其特征在于：包括有

2.根据权利要求1所述的基于提示学习的融合双模态的伪造信息检测方法，其特征在于：s1中设定每个样本为x＝(xt,xm),其中xt表示文本模态样本，xm表示图像模态样本，设定分类标签为y，当y＝1时，代表真实信息，y＝0时代表伪造信息，其中通过resnet图像编码器进行图像模态样本的特征提取，通过transformer编码器进行文本模态样本的特征提取。

3.根据权利要求2所述的基于提示学习的融合双模态的伪造信息检测方法，其特征在于：s2中图像的文本提示使用条件性上下文优化cocoop方法构建文本提示。

4.根据权利要求3所述的基于提示学习的融合双模态的伪造信息检测方法，其特征在于：上下文优化coop引入了m个可学习的上下文向量{v1,v2,…vm}，第i个类别的提示记作ti，ti＝{v1,v2，...vm，ci},ci代表相应的类别，cocoop方法在上下文coop的基础上一步学习了一个轻量级神经网络，称为meta-net的工作，神经网络的输入是resnet图像编码器产生的输出特征，为每个输入生成一个条件向量，然后将其与上下文向量相结合，hθ(.)代表参数化的元网，现在每个上下文向量表示为xm(x)＝vm+hθ(x)，图像分类的可能性计算公式为：

5.根据权利要求4所述的基于提示学习的融合双模态的伪造信息检测方法，其特征在于：神经网络采用线性relu线性的两层瓶颈结构构建，隐藏层将输入维数降低了16倍。

6.根据权利要求4所述的基于提示学习的融合双模态的伪造信息检测方法，其特征在于：s2中将少量特定于任务的可学习参数引入输入空间，同时在下游训练期间冻结整个预训练的transformer主干，并将这些附加参数被预处理到每个transformer层的输入序列中...

【专利技术属性】
技术研发人员：王茂林，张鹏，
申请(专利权)人：深圳市金大智能创新科技有限公司，
类型：发明
国别省市：