结合双模态理解与大语言模型的伪造信息检测方法技术

本发明专利技术公开了一种结合双模态理解与大语言模型的伪造信息检测方法，包括有S1多模态理解；S2证据检索；S3证据的知识图谱表示；S4、推理判断；在判断新闻真假时，提供了模态之间关联性的解释，可更好地理解模态之间的关系，提高大语言模型判断新闻真假的准确性，也避免大语言模型推理产生幻觉的问题，同时把检索到的文本证据，表示成知识图谱三元组的形式，把证据变得结构化，为推理判断提供了逻辑性。

【技术实现步骤摘要】

[]本专利技术涉及结合双模态理解与大语言模型的伪造信息检测方法。

技术介绍

0、[
技术介绍
]

1、随着社交媒体平台越来越多地融入人们的生活，使得社交媒体平台已成为公众获取信息的主要来源。因此，虚假新闻容易被快速传播，且假新闻的内容容易令人困惑，容易误导人们，反过来影响人们的判断和决定。

2、多模态大语言模型，如gpt4，llava有强大的推理能力、零样本的学习能力和多模态的推理判断能力，在伪造信息检测方面被广泛应用，但是仍存在以下问题：

3、1.尽管很多虚假新闻检测的研究，是通过使用搜索引擎检索外部证据，用大语言模型llm结合证据和图像文本模态推理判断，但是检索到的证据多以文本的形式，缺乏结构性，且大语言模型llm的推理会产生幻觉。

4、2.一些基于大语言模型llm的虚假新闻检测的研究未能对图像和文本的模态关系提供合理的解释。目前有很多研究用对比学习的方法，如对齐图像和文本模态，但是此方法的局限性在于模型训练时间长、效率低以及对模态之间的关系缺乏可解释性。

5、3.构建知识图谱kg的关键是有效地提本文档来自技高网...

【技术保护点】

1.结合双模态理解与大语言模型的伪造信息检测方法，其特征在于：包括有

2.根据权利要求1所述的结合双模态理解与大语言模型的伪造信息检测方法，其特征在于：在S1的名词解释视角中，大语言模型根据给定大语言模型的文本信息和提示生成文本信息中重要单词的解释。

3.根据权利要求1所述的结合双模态理解与大语言模型的伪造信息检测方法，其特征在于：在S1的句子视角中，大语言模型根据提示生成句子的背景知识。

4.根据权利要求1所述的结合双模态理解与大语言模型的伪造信息检测方法，其特征在于：在S1的多模态视角中，大语言模型根据提示分析图像信息和文本信息对，生成并输出图像模...

【技术特征摘要】

1.结合双模态理解与大语言模型的伪造信息检测方法，其特征在于：包括有

2.根据权利要求1所述的结合双模态理解与大语言模型的伪造信息检测方法，其特征在于：在s1的名词解释视角中，大语言模型根据给定大语言模型的文本信息和提示生成文本信息中重要单词的解释。

3.根据权利要求1所述的结合双模态理解与大语言模型的伪造信息检测方法，其特征在于：在s1的句子视角中，大语言模型根据提示生成句子的背景知识。

4.根据权利要求1所述的结合双模态理解与大语言模型的伪造信息检测方法，其特征在于：在s1的多模态视角中，大语言模型根据提示分析图像信息和文本信息对，生成并输出图像模态和文本模态之间的关系。

5.根据权利要求4所述的结合双模态理解与大语言模型的伪造信息检测方法，其特征在于：在大语言模型输出图像模态和文本模态不相关时，使用being搜索引擎检索与文本信息相关的图像证据。

6.根据权利要求1所述的结合双模态理解与大语言模型的伪造...

【专利技术属性】
技术研发人员：王茂林，张鹏，张可欣，
申请(专利权)人：深圳市金大智能创新科技有限公司，
类型：发明
国别省市：