【技术实现步骤摘要】
本专利技术属于深度学习和自然语言处理，尤其涉及一种基于双教师知识蒸馏的公平多领域虚假新闻检测方法和装置。
技术介绍
1、目前虚假新闻检测技术侧重于单领域虚假新闻检测，但由于单个领域的虚假新闻数量极其有限，传统的虚假新闻检测模型性能较低。现实世界的新闻平台充斥着不同领域的虚假新闻，不同领域的新闻数据分布差异较大。因此，传统的虚假新闻检测技术在多领域场景下表现不佳。现有的多领域虚假新闻检测技术将新闻按照领域分为科学、军事、教育、灾难、政治、卫生、金融、娱乐九个领域，并将领域知识加入到虚假新闻检测的输入中，提升了虚假新闻检测的准确性。多领域虚假新闻检测作为一个新兴领域，越来越受到人们的关注。然而，检测技术在不同领域之间存在性能差异，这一现象引起的多领域虚假新闻检测不公平问题亟待解决。
2、目前，解决虚假新闻检测公平性问题的工作较少。在缓解虚假新闻检测中的实体偏见问题上，因果去偏方法通过切断实体与预测的联系提高了公平性。掩码替换去偏方法被应用在历时偏见的缓解上，减轻了人名造成的偏见。现有研究缺乏对多领域虚假新闻检测中的领域不公平问题的关注，且现有的去偏方法不适用于解决领域不公平性问题。
3、有研究证明在知识蒸馏过程中加入去偏方法能够提升模型的公平性，这些方法包括正则化、因果干预等。但是这些方法在应用在虚假新闻的领域偏见上时表现欠佳。主要原因是虚假新闻检测任务中特有的模糊标签问题，即一条新闻可能与多个领域相关。并且这些方法没有真正利用蒸馏来减轻偏见。
技术实现思路
1
2、为了实现上述技术目的，本专利技术采用如下的技术方案：
3、一种公平多领域虚假新闻检测方法，包括以下步骤：
4、步骤s1、获取历史新闻数据训练集；
5、步骤s2、根据历史新闻数据训练集，构建双教师知识蒸馏框架；
6、步骤s3、构建双教师知识蒸馏框架整体损失；
7、步骤s4、对双教师知识蒸馏框架整体损失进行基于动量的动态权重调整；
8、步骤s5、根据学生模型和动态权重调整后双教师蒸馏损失，在真实世界新闻数据集上对其进行训练以得到公平假新闻检测模型，同时根据公平假新闻检测模型进行在线或离线检测。
9、作为优选，双教师知识蒸馏框架包含：对抗公平性蒸馏和领域知识蒸馏。
10、作为优选，对抗公平性蒸馏损失为：
11、ladd＝τ2kl(logsoftmax(mt)/τ,softmax(ms)/τ)
12、其中,τ是知识蒸馏的温度超参数，kl为kullback-leibler散度损失，mt和ms分别是高公平性教师模型和学生模型的相似性矩阵；
13、领域知识蒸馏损失为：
14、ldkd＝τ2kl(logsoftmax(ct(ft))/τ,softmax(cs(fs))/τ)
15、其中，ct和cs分别代表高性能教师和学生模型的分类器，ft和fs分别是训练样本在高性能教师和学生模型的中间特征。
16、作为优选，对抗公平性蒸馏损失和领域知识蒸馏损失的权重调整策略为：
17、ωadd(r)＝m·ωadd(r-1)-(1-m)·(δbias-δf1)
18、ωdkd(r)＝1-ωadd(r
19、其中，ωadd(r)为对抗公平性蒸馏损失的权重，ωdkd(r)为领域知识蒸馏损失的权重，r表示迭代的轮数，m代表动量超参数，性能指标f1和公平性指标bias分别由下式计算：
20、
21、
22、其中，precision和recall分别表示精准率和召回率，fpr和fnr分别表示误报率和漏报率，d是领域集合。
23、本专利技术提供一种公平多领域虚假新闻检测装置，包括：
24、获取模块，用于获取历史新闻数据训练集；
25、第一构建模块，用于根据历史新闻数据训练集，构建双教师知识蒸馏框架；
26、第二构建模块，用于构建双教师知识蒸馏框架整体损失；
27、调整模块，用于对双教师知识蒸馏框架整体损失进行基于动量的动态权重调整；
28、检测模块，用于根据学生模型和动态权重调整后双教师蒸馏损失，在真实世界新闻数据集上对其进行训练以得到公平假新闻检测模型，同时根据公平假新闻检测模型进行在线或离线检测。
29、作为优选，双教师知识蒸馏框架包含：对抗公平性蒸馏和领域知识蒸馏。
30、作为优选，对抗公平性蒸馏损失为：
31、ladd＝τ2kl(logsoftmax(mt)/τ,softmax(ms)/τ)
32、其中,τ是知识蒸馏的温度超参数，kl为kullback-leibler散度损失，mt和ms分别是高公平性教师模型和学生模型的相似性矩阵；
33、领域知识蒸馏损失为：
34、ldkd＝τ2kl(logsoftmax(ct(ft))/τ,softmax(cs(fs))/τ)
35、其中，ct和cs分别代表高性能教师和学生模型的分类器，ft和fs分别是训练样本在高性能教师和学生模型的中间特征。
36、作为优选，对抗公平性蒸馏损失和领域知识蒸馏损失的权重调整策略为：
37、ωadd(r)＝m·ωadd(r-1)-(1-m)·(δbias-δf1)
38、ωdkd(r)＝1-ωadd(r)
39、其中，ωadd(r)为对抗公平性蒸馏损失的权重，ωdkd(r)为领域知识蒸馏损失的权重，r表示迭代的轮数，m代表动量超参数，性能指标f1和公平性指标bias分别由下式计算：
40、
41、
42、其中，precision和recall分别表示精准率和召回率，fpr和fnr分别表示误报率和漏报率，d是领域集合。
43、本专利技术获取中、英文虚假新闻数据集并进行预处理；设计对抗公平性蒸馏方法，该方法将训练样本在中间特征层的相似度作为知识进行蒸馏；构建双教师蒸馏框架，该框架包含领域知识蒸馏和对抗公平性蒸馏，它们分别负责学生模型的性能和公平性；训练高性能老师和高公平性老师模型，它们的损失函数分别为普通交叉熵损失和对抗损失；使用基于动量的动态权重调整算法调整两个老师在训练过程中对学生的影响，从而同时传授性能知识和公平知识。本专利技术采用中间特征层蒸馏和logits层蒸馏结合的方式分别将高性能老师模型和高公平性老师模型的预测结果和样本相关性知识传递给学生模型，从而在缓解领域偏见的同时保证检测的性能。
44、本专利技术具有如下有益效果：
45、1.本专利技术采用知识蒸馏技术来研究虚假新闻本文档来自技高网...
【技术保护点】
1.一种公平多领域虚假新闻检测方法，其特征在于，包括以下步骤：
2.如权利要求1所述的公平多领域虚假新闻检测方法，其特征在于，双教师知识蒸馏框架包含：对抗公平性蒸馏和领域知识蒸馏。
3.如权利要求2所述的公平多领域虚假新闻检测方法，其特征在于，对抗公平性蒸馏损失为：
4.如权利要求3所述的公平多领域虚假新闻检测方法，其特征在于，对抗公平性蒸馏损失和领域知识蒸馏损失的权重调整策略为：
5.一种公平多领域虚假新闻检测装置，其特征在于，包括：
6.如权利要求5所述的公平多领域虚假新闻检测装置，其特征在于，双教师知识蒸馏框架包含：对抗公平性蒸馏和领域知识蒸馏。
7.如权利要求6所述的公平多领域虚假新闻检测装置，其特征在于，对抗公平性蒸馏损失为：
8.如权利要求7所述的公平多领域虚假新闻检测装置，其特征在于，对抗公平性蒸馏损失和领域知识蒸馏损失的权重调整策略为：
【技术特征摘要】
1.一种公平多领域虚假新闻检测方法，其特征在于，包括以下步骤：
2.如权利要求1所述的公平多领域虚假新闻检测方法，其特征在于，双教师知识蒸馏框架包含：对抗公平性蒸馏和领域知识蒸馏。
3.如权利要求2所述的公平多领域虚假新闻检测方法，其特征在于，对抗公平性蒸馏损失为：
4.如权利要求3所述的公平多领域虚假新闻检测方法，其特征在于，对抗公平性蒸馏损失和领域知识蒸馏损失的权重调整策略为：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。