【技术实现步骤摘要】
本专利技术涉及人工智能下的信息检测，更为具体地，涉及一种基于共情理论引导的多模态虚假信息检测方法。
技术介绍
1、假新闻通过社交媒体的传播，会对社会可持续发展构成破坏性威胁，虚假信息不仅损害公众信任、扰乱社会秩序，还会阻碍社会正常运行和进步。现有的假新闻检测方法研究大多将假新闻检测视为分类任务。目前，根据分类模型使用的主要特征，从方法的角度来看，假新闻检测大致可以分为三类：基于内容的检测方法、基于社交环境的检测方法、基于知识的检测方法。
2、其中，基于内容的假新闻检测方法旨在从新闻内容中提取各种语义特征，并通过这些特征检测新闻的真实性。假新闻和真新闻之间存在一些语言差异，可以通过区分真假新闻文本的语言风格来检测假新闻。比如，假新闻比真实新闻更主观，假新闻中第一人称和第二人称的使用较多，假新闻中包含更多可用于夸张的词语（如主语、超限词和情态副词），而真实新闻则经常使用具体的（如数字）、客观（如第三人称）和积极的词语；假新闻的作者写作风格会比真实新闻更加极端。但是，通过从真假新闻中提取出一套完整的内容特征，包括新闻总字数、内容长度、大写字数、特殊符号、开头句子数、攻击性通过实验列出了特征的重要性排序，可以发现总字数、内容长度和大写字数对真实新闻的判别影响较大，因此，缩写和总字数对假新闻的检测结果影响较大。
3、上述基于内容的假新闻检测方法可以发现真假新闻的语言特征，但假新闻有时候会故意模仿真实新闻的写作手法，误导读者。由于基于内容的假新闻检测方法无法区分此类假新闻和真实新闻之间的特征差异，为了解决这个问题，基
4、基于知识（kb）的假新闻检测通过验证假新闻和事实来检测新闻的真实性，因此也称为事实检查。事实核查可分为两类：人工核查和自动核查。手动方法使用领域专家知识或众包方法，精度高但效率低，无法满足大数据时代的需求，因此，利用自然语言处理和机器学习技术的自动验证方法已成为研究的热门领域。事实核查首先需要通过知识抽取从网络中构建知识库或知识图，然后将假新闻与知识库或知识图谱进行比对验证，判断新闻的真实性。比如，pan等人使用知识图谱根据新闻内容检测假新闻，解决计算事实检查不够全面的问题。hu等人开发了一种异构图注意力网络来学习新闻表示的上下文并对新闻内容的语义进行编码，通过使用实体比较网络，将上下文实体表示与从知识库 (kb) 派生的表示进行比较，以捕获新闻内容和知识库之间的一致性。
5、在上述虚假信息检测的问题中，研究人员通常研究的是基于新闻内容、基于知识、基于社交网络等方向，这些基于表象信息本身的检测方法，仍旧存在易被造假者规避、虚假信息检测准确率低的缺陷。
技术实现思路
1、鉴于上述目前虚假信息检测领域存在的检测准确率差等问题，本专利技术的目的是提供一种基于共情理论引导的多模态虚假信息检测方法，利用共情理论来解释虚假信息的特征和模式，以提高虚假信息检测的准确性。
2、一方面，本专利技术提供一种基于共情理论引导的多模态虚假信息检测方法，基于预设的基于共情理论引导的多模态虚假信息检测模型实现，包括如下步骤：
3、s110：对新闻内容和评论内容的特征进行提取，以获得所述新闻内容和评论内容中的图像语义特征和文本语义特征；
4、s120：基于所述图像语义特征和所述文本语义特征，分别通过认知共情推理和情感共情推理，模拟所述新闻内容和评论内容的认知共情产生的程度和情感共情产生的程度；
5、s130：对所述认知共情产生的程度和情感共情产生的程度进行融合，基于所述融合的结果判断所述新闻内容和评论内容是否对假新闻产生了共情。
6、其中，可选的方案是，所述对新闻内容和评论内容的特征进行提取，包括：
7、采用预设的resnet152残差网络对所述新闻内容和评论内容中的图像信息进行图像语义特征提取；以及，
8、采用预设的bert对所述新闻内容和评论内容中的文本信息进行文本语义特征提取。
9、其中，可选的方案是，所述采用预设的resnet152残差网络对所述新闻内容和评论内容中的图像信息进行图像语义特征提取，包括：
10、将所述新闻内容和评论内容中的图像调整为预设大小，获得规范图像信息；
11、使用resnet152残差网络获取所述规范图像信息中的图像语义特征。
12、其中，可选的方案是，所述使用resnet152残差网络获取所述规范图像信息中的图像语义特征，包括：
13、分离最后一个全连接层并获得最后一个卷积层的输出作为编码图像表示 resnet(i)，其中，
14、resnet(i) = {ri|ri∈r2048, i = 1, 2, ..., r}
15、其中，每个ri是一个 2048 维向量，表示图像上的一个区域；图像 i 表示为：resnet(i)∈r2048×r；
16、通过线性变换将所述编码图像表示 resnet(i)投影为：eg= wrresnet(i)
17、其中，wr∈rd×2048 为可训练参数， eg∈rd×r 为图像内容的编码表示。
18、其中，可选的方案是，在所述步骤s120之前，还包括评论筛选步骤，用于通过计算每个评论与其他评论支架的差异来选择最具有代表性的预设数量的评论，作为进行认知共情推理和情感共情推理的参照。
19、其中，可选的方案是，所述认知共情推理包括：基于预设的自注意力网络对所述新闻内容和评论内容中的文本信息和图像信息进行编码；将编码的特征输入到预设的交叉注意力块中进行语义交互。
20、其中，可选的方案是，所述自注意力网络应用多头自注意力机制来分别学习特征提取层所提取的文本语义特征和图像语义特征在所有位置的全局依赖关系；其中，
21、给定查询 q、键 k 和值 v，缩放点积注意力的公式为：
22、，
23、其中， d 表示方差，表示键k的转置；设置文本内容中 q = k = 本文档来自技高网...
【技术保护点】
1.一种基于共情理论引导的多模态虚假信息检测方法，其特征在于，所述方法基于预设的基于共情理论引导的多模态虚假信息检测模型实现，包括如下步骤：
2.如权利要求1所述的基于共情理论引导的多模态虚假信息检测方法，其特征在于，所述对新闻内容和评论内容的特征进行提取，包括：
3.如权利要求2所述的基于共情理论引导的多模态虚假信息检测方法，其特征在于，所述采用预设的ResNet152残差网络对所述新闻内容和评论内容中的图像信息进行图像语义特征提取，包括：
4.如权利要求3所述的基于共情理论引导的多模态虚假信息检测方法，其特征在于，所述使用ResNet152获取所述规范图像信息中的图像语义特征，包括：
5.如权利要求4所述的基于共情理论引导的多模态虚假信息检测方法，其特征在于，在所述步骤S120之前，还包括评论筛选步骤，用于通过计算每个评论与其他评论支架的差异来选择最具有代表性的预设数量的评论，作为进行认知共情推理和情感共情推理的参照。
6.如权利要求5所述的基于共情理论引导的多模态虚假信息检测方法，其特征在于，所述认知共情推理包括：
7.如权利要求6所述的基于共情理论引导的多模态虚假信息检测方法，其特征在于，所述自注意力网络应用多头自注意力机制来分别学习特征提取层所提取的文本语义特征和图像语义特征在所有位置的全局依赖关系；其中，
8.如权利要求7所述的基于共情理论引导的多模态虚假信息检测方法，其特征在于，基于交叉注意力机制捕获文本和图像之间的全局依赖关系，其中，
9.如权利要求8所述的基于共情理论引导的多模态虚假信息检测方法，其特征在于，对所述认知共情产生的程度和情感共情产生的程度进行融合，包括：
10.如权利要求9所述的基于共情理论引导的多模态虚假信息检测方法，其特征在于，所述Softmax函数用于发出任务学习概率分布的预测，其中，全局损失迫使所述基于预设的基于共情理论引导的多模态虚假信息检测模型最小化具有真实标签 y 的训练样本的交叉熵误差：
...【技术特征摘要】
1.一种基于共情理论引导的多模态虚假信息检测方法，其特征在于，所述方法基于预设的基于共情理论引导的多模态虚假信息检测模型实现，包括如下步骤：
2.如权利要求1所述的基于共情理论引导的多模态虚假信息检测方法，其特征在于，所述对新闻内容和评论内容的特征进行提取，包括：
3.如权利要求2所述的基于共情理论引导的多模态虚假信息检测方法，其特征在于，所述采用预设的resnet152残差网络对所述新闻内容和评论内容中的图像信息进行图像语义特征提取，包括：
4.如权利要求3所述的基于共情理论引导的多模态虚假信息检测方法，其特征在于，所述使用resnet152获取所述规范图像信息中的图像语义特征，包括：
5.如权利要求4所述的基于共情理论引导的多模态虚假信息检测方法，其特征在于，在所述步骤s120之前，还包括评论筛选步骤，用于通过计算每个评论与其他评论支架的差异来选择最具有代表性的预设数量的评论，作为进行认知共情推理和情感共情推理的参照。
【专利技术属性】
技术研发人员：袁璐，梁钰滢，程南昌，沈浩，石磊，
申请(专利权)人：中国传媒大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。