结合多模态知识图谱和多模态大语言模型的信息检测方法技术

本发明专利技术公开了多模态知识图谱和多模态大语言模型的信息检测方法，包括有S1多模态知识图谱设计；S2知识图谱推理；S3、多模态大语言模型预测，将多模态知识图谱以及新闻文本模态和图像模态一起输入到多模态大语言模型中，多模态大语言模型根据判断新闻真假的问题，推理知识图谱的哪些关系和三元组对产生预测的答案有利，把线性化的多模态知识图谱和文本，图像输入到多模态大语言模型，进行最终的预测，解决大语言模型可能会产生与已知事实不符的信息，且无法掌握特定领域信息的问题。

【技术实现步骤摘要】

[]本专利技术涉及结合多模态知识图谱和多模态大语言模型的信息检测方法。

技术介绍

0、[
技术介绍
]

1、随着社交媒体平台越来越多地融入人们的生活，使得社交媒体平台已成为公众获取信息的主要来源。因此，虚假新闻容易被快速传播，且假新闻的内容容易令人困惑，容易误导人们，反过来影响他们的判断和决定。

2、尽管多模态大语言模型，如gpt4，llava有强大的推理能力和零样本的学习能力和多模态的推理判断能力，但是大语言模型可能会产生与已知事实不符的信息，并且也无法掌握特定领域的信息，同时现有的知识图谱在虚假信息检测的研究大多是文本模态的知识图谱，因此难以对伪造的虚假新闻信息进行准确检测识别。

技术实现思路

0、[
技术实现思路
]

1、本专利技术克服了现有技术的不足，提供了结合多模态知识图谱和多模态大语言模型用于检测伪造信息的信息检测方法。

2、为实现上述目的，本专利技术采用了下列技术方案：

3、结合多模态知识图谱和多模态大语言模型的信息检测方法，其特征在于：包括有本文档来自技高网...

【技术保护点】

1.结合多模态知识图谱和多模态大语言模型的信息检测方法，其特征在于：包括有

2.根据权利要求1所述的结合多模态知识图谱和多模态大语言模型的信息检测方法，其特征在于：S1中包括有

3.根据权利要求1所述的结合多模态知识图谱和多模态大语言模型的信息检测方法，其特征在于：S2中包括有

4.根据权利要求2所述的结合多模态知识图谱和多模态大语言模型的信息检测方法，其特征在于：S11中将新闻文本已识别的命名实体连接对应百科条目，得到命名实体图像。

5.根据权利要求4所述的结合多模态知识图谱和多模态大语言模型的信息检测方法，其特征在于：百科条目为维基百科...

【技术特征摘要】

1.结合多模态知识图谱和多模态大语言模型的信息检测方法，其特征在于：包括有

2.根据权利要求1所述的结合多模态知识图谱和多模态大语言模型的信息检测方法，其特征在于：s1中包括有

3.根据权利要求1所述的结合多模态知识图谱和多模态大语言模型的信息检测方法，其特征在于：s2中包括有

4.根据权利要求2所述的结合多模态知识图谱和多模态大语言模型的信息检测方法，其特征在于：s11中将新闻文本已识别的命名实体连接对应百科条目，得到命名实体图像。

5.根据权利要求4所述的结合多模态知识图谱和多模态大语言模型的信息检测方法，其特征在于：百科条目为维基百科条目。

6.根据权利要求2所述的结合多模态知识图谱和多模态大语言模型的信息检测方法，其特征在于：s12中通过使用corenlp工具提取新闻文本t的实体和关系。

【专利技术属性】
技术研发人员：王茂林，张鹏，张可欣，
申请(专利权)人：深圳市金大智能创新科技有限公司，
类型：发明
国别省市：