本发明专利技术涉及一种基于大语言模型的虚假新闻识别方法与装置，其特征在于对大语言模型使用虚假新闻数据集微调，设计一种自适应的大语言模型prompt方法；使用大语言模型对待测新闻的图片生成文本描述，依据待测新闻的文本生成图片；提取待测新闻视觉特征、大语言模型生成的视觉特征，提取待测新闻文本特征和大语言模型生成的文本特征；基于注意力机制捕获两种视图特征、两种文本特征相同模态间、不同模态间语义的异同；提取图文相同模态间、不同模态间语义的关联，判断待测新闻的真伪。本发明专利技术还提出一种计算机可读存储介质和包括该计算机可读存储介质的一种数据处理器。
【技术实现步骤摘要】
本专利技术涉及新闻可信度认证研究范畴，具体来说，涉及一种基于大语言模型的虚假新闻识别方法及装置。
技术介绍
1、如今，虚假新闻的盛行已经成为信息时代的一大威胁。其在社会中的传播不仅扰乱了公众的认知，也对民主体系、社会稳定和个人信任构成了严重挑战。虚假新闻的猖獗导致了信息的混乱与失真，进而引发了公众的恐慌、误解和分裂。虚假新闻可能操纵大众的情绪和观点，对政治、经济和社会事件的看法产生深远的影响，甚至引发不稳定的行为和冲突。因此，如何设计一种高性能的虚假新闻检测方法已成为自媒体时代亟须解决的问题。
2、当前针对图文两种模态的虚假新闻检测大多由提取文本特征、提取图像特征、文本图像特征融合这三个核心模块构成。提取文本特征包括建立合理的神经网络来自动挖掘语法、语义、情感、风格、立场和新闻文本内容中的其他有意义特征，提取图像特征聚焦于以不同的网络抽取图像的整体的、局部的特征，文本图像特征融合是从图文特征出发，挖掘图像与文本两种模态特征异同的过程。其中，wu构建跨模态对齐网络放大不同模态间的相同与不同语义，liu将图像描述信息集成到文本中，以缓解文本和图像之间的语义鸿沟。
3、尽管这些方法在虚假新闻检测领域的任务上取得了显著的进展，但文本和图像两种模态间的语义鸿沟还是制约着虚假新闻识别的效果。文本提供详细的语义信息，图像包含视觉特征，两者之间的差异性和信息量存在明显的不同，先前的研究将文本和图像特征分别处理，简单地融合这些特征，难以实现模态间特征的有效交互。
技术实现思路
>1、本专利技术要解决的技术问题是：针对上述存在的问题，提出一种基于大语言模型的虚假新闻识别方法。2、本专利技术所采用的技术方案是一种基于大语言模型的虚假新闻检测方法，如图1所示，其特征在于：对大语言模型使用虚假新闻数据集微调，设计一种自适应的大语言模型prompt方法；使用大语言模型对待测新闻的图片生成文本描述，依据待测新闻的文本生成图片；提取待测新闻视觉特征、大语言模型生成的视觉特征，提取待测新闻文本特征和大语言模型生成的文本特征；基于注意力机制捕获两种视图特征、两种文本特征相同模态间、不同模态间语义的异同；提取图文相同模态间、不同模态间语义的关联，判断待测新闻的真伪。
3、本专利技术所述的虚假新闻检测方法，其中对大语言模型使用虚假新闻数据集微调，设计一种自适应的大语言模型prompt方法的具体步骤包括：在lora虚假新闻验证集上微调大语言模型，在测试集上进行效果测试以适应下游任务；设计自适应的大语言模型prompt方法，利用chain-of-thought的模式让大语言模型生成推理路径与新闻真伪，以占比最多的推理路径为指导，构建大语言语言模型prompt候选池。
4、本专利技术所述的使用大语言模型对待测新闻的图片生成文本描述，依据待测新闻的文本生成图片具体步骤包括：基于大语言模型图片和文本处理能力实现待测新闻不同模态的转换，包括：
5、ni′＝llmp(ni),i∈[txt,img]
6、其中，p为从prompt候选池中选取的prompt，ntxt和nimg为待测新闻文本与图片，n′txt和ni′mg为大语言模型生成的图片和文本。
7、本专利技术所述的虚假新闻检测方法，其中提取待测新闻视觉特征、大语言模型生成的视觉特征，提取待测新闻文本特征和大语言模型生成的文本特征，具体步骤包括：对待测新闻文本和大语言模型生成的文本使用预训练模型sentence-bert编码，获取待测新闻文本特征，对待测新闻图片和大语言模型生成的图片使用vgg提取视觉特征，包括：
8、vimg＝wimgvgg(nimg)
9、vi′mg＝wi′mgvgg(ni′mg)
10、其中，wimg和wi′mg分别为待测新闻图片和大模型生成图片的可训练参数，vimg和vi′mg为待测新闻视觉特征和大模型生成的视觉特征。
11、本专利技术所述的虚假新闻检测方法，其中基于大语言模型的虚假新闻识别方法，其特征在于所述s4中基于注意力机制捕获两种视图特征、两种文本特征相同模态间、不同模态间语义的异同具体步骤包括：使用自注意力机制学习待测新闻文本和文本、图像和图像之间的关系，挖掘相同模态间的语义异同，包括：
12、
13、其中，q＝k＝v∈[etxt,eimg]，etxt＝cancat(vtxt,vt′xt)，vtxt和vt′xt分别为待测新闻文本特征和待测新闻图像描述的文本特征，eimg＝cancat(vimg,vi′mg)，vimg和vi′mg分别为待测新闻图片特征和依据待测新闻文本生成图像的特征；
14、对于自注意力机制得到的图像和文本特征，使用交叉注意力机制获取待测新闻文本和图像两种不同模态间的全局依赖关系,更新文本特征etxt和图像特征eimg。
15、本专利技术所述的虚假新闻检测方法，其中提取图文相同模态间、不同模态间语义的关联，判断待测新闻的真伪具体步骤为：通过逐元素乘法分别关注新闻文本和新闻图像中语义一致部分，可表示为esame＝etxt⊙eimg,抽取新闻文本和新闻图像中语义不一致部分为tdif＝etxt-etxt⊙etxt和idif＝eimg-etxt⊙etxt，拼接图文模态特征与异同特征，包括：
16、g＝cancat(etxt,eimg,esame,tdif,idif)
17、最终使用激活函数softmax获取新闻真实性概率的预测。
18、一种可读的存储介质，包括指令存储介质和数据存储介质，存储能被处理器执行的计算机指令和数据，其特征在于：存储任意一项虚假新闻检测方法的指令和数据。
19、一种数据处理器，具有中央处理器和可读存储介质，其特征在于：本计算机设备处理器读取数据存储介质中的数据并执行指令存储介质中的执行指令，实现基于大语言模型的虚假新闻识别。
20、本专利技术基于大语言模型的虚假新闻识别方法，通过大语言模型实现图生文、文生图，使用注意力机制有效解决图像文本两种模态间的语义鸿沟，提升模型对虚假新闻的识别能力。
本文档来自技高网...
【技术保护点】
1.一种基于大语言模型的虚假新闻识别方法，其特征在于：
2.根据权利要求1所述的基于大语言模型的虚假新闻识别方法，其特征在于所述S1中对大语言模型使用虚假新闻数据微调，设计一种自适应的大语言模型prompt方法，其特征在于：
3.根据权利要求1所述的基于大语言模型的虚假新闻识别方法，其特征在于所述S2中使用大语言模型对待测新闻的图片生成文本描述，依据待测新闻的文本生成图片，其特征在于：
4.根据权利要求1所述的基于大语言模型的虚假新闻识别方法，其特征在于所述S3中提取待测新闻视觉特征、大语言模型生成的视觉特征，提取待测新闻文本特征和大语言模型生成的文本特征，其特征在于：
5.根据权利要求1所述的基于大语言模型的虚假新闻识别方法，其特征在于所述S4中基于注意力机制捕获两种视图特征、两种文本特征相同模态间、不同模态间语义的异同，其特征在于：
6.根据权利要求1所述的基于大语言模型的虚假新闻识别方法，其特征在于所述S5中结合图文相同模态间、不同模态间语义的关联，判断待测新闻的真伪，其特征在于：
7.一种可读的存储介质，包括指令存储介质和数据存储介质，存储能被处理器执行的计算机指令和数据，其特征在于：存储权利要求1-6任意一项所述的虚假新闻检测方法的指令和数据。
8.一种数据处理器，具有中央处理器和权利要求7所述的可读存储介质；其特征在于：本数据处理器读取数据并执行可读存储介质中的执行指令，实现基于大模型的虚假新闻识别。
...
【技术特征摘要】
1.一种基于大语言模型的虚假新闻识别方法，其特征在于：
2.根据权利要求1所述的基于大语言模型的虚假新闻识别方法，其特征在于所述s1中对大语言模型使用虚假新闻数据微调，设计一种自适应的大语言模型prompt方法，其特征在于：
3.根据权利要求1所述的基于大语言模型的虚假新闻识别方法，其特征在于所述s2中使用大语言模型对待测新闻的图片生成文本描述，依据待测新闻的文本生成图片，其特征在于：
4.根据权利要求1所述的基于大语言模型的虚假新闻识别方法，其特征在于所述s3中提取待测新闻视觉特征、大语言模型生成的视觉特征，提取待测新闻文本特征和大语言模型生成的文本特征，其特征在于：
5.根据权利要求1所述的基于大语...
【专利技术属性】
技术研发人员：张明利，张卫山，刘宇儒，
申请(专利权)人：中国石油大学华东，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。