System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 用于知识图谱嵌入模型的对抗训练方法和系统技术方案_技高网

用于知识图谱嵌入模型的对抗训练方法和系统技术方案

技术编号:41191951 阅读:4 留言:0更新日期:2024-05-07 22:22
本发明专利技术公开一种用于知识图谱嵌入模型的对抗训练方法和系统,方法包括:基于各知识三元组正样本,生成并采样得到对应的负样本集合,利用正样本和负样本集合训练获得基础KGE模型;利用基于梯度的后门攻击方法、基于相似度的后门攻击方法和基于逻辑的后门攻击方法攻击基础KGE模型,得到对抗样本集合;将对抗样本集合添加到负样本集合中,形成强化负样本集合,利用大量正样本和强化负样本集合,训练得到强化KGE模型。本发明专利技术方法丰富了对抗样本的范围,使KGE模型可以抵御多种后门攻击,防御效果好,提高了KGE模型的安全性和鲁棒性。

【技术实现步骤摘要】

本专利技术涉及知识图谱等人工智能,特别涉及一种用于知识图谱嵌入模型的对抗训练方法和系统


技术介绍

1、知识图谱(knowledge graph, kg)已经成为大量软件程序的底层支撑资源,被广泛应用于智能问答、推荐系统、大数据分析等领域。知识图谱嵌入(knowledge graphembedding,kge)技术作为知识图谱领域中最重要的技术之一,可以将知识图谱中的实体和关系映射到一个连续的高维表示空间,然后使用该高维空间表示整个知识图谱,进而促进知识图谱在更多下游任务中的应用。

2、随着kge模型的发展,有研究者发现存在针对kge模型的后门攻击。此类攻击将特定的对抗样本注入到kge模型的训练集中,基于该数据集(含有对抗样本)训练的kge模型中含有隐藏的后门。含有后门的kge模型在正常样本环境中可保持良好性能,但是遇到特定的触发器,则无法输出正确结果。所以此类针对kge模型的后门攻击十分隐蔽,难以发现。

3、目前虽然已有防御方法,但是这些方法都是针对于图像文本领域的对抗攻击防御方法,这和后门攻击防御还是存在区别的,且已提出的防御方法无法适用于kge模型。现有关于在kge场景中针对后门攻击的防御方法,其后门防御结合生成对抗网络和扰动识别技术,实现针对后门攻击的防御。但是该后门防御仅可防御少量特定后门攻击,防御效果差,同时该后门防御还需要知晓后门攻击的信息,防御前提过多,防御场景单一,无法应对复杂的后门攻击场景。


技术实现思路

1、本专利技术针对上述问题,提供了一种用于知识图谱嵌入模型的对抗训练方法和系统,用于提升kge模型的鲁棒性,特别是针对后门攻击的防御性能,且防御效果好,防御场景多样,可抵御潜在复杂的后门攻击场景。

2、本专利技术的第一方面,提供了一种用于知识图谱嵌入模型的对抗训练方法,所述方法包括以下步骤:

3、基于各知识三元组正样本,生成并采样得到对应的负样本集合,利用所述正样本和所述负样本集合,训练得到基础知识图谱嵌入模型;

4、利用基于梯度的后门攻击方法、基于相似度的后门攻击方法和基于逻辑的后门攻击方法攻击所述基础知识图谱嵌入模型,得到多样化的对抗样本集合;

5、将所述对抗样本集合添加到所述负样本集合中,形成强化负样本集合,利用大量所述正样本和所述强化负样本集合,训练得到强化知识图谱嵌入模型。

6、本专利技术的进一步技术方案是:所述基于梯度的后门攻击方法,具体包括以下步骤:

7、基于所述基础知识图谱嵌入模型,获取实体集合、关系集合和目标三元组的嵌入表示;

8、针对特定的目标三元组,、表示实体,表示关系,将所述目标三元组输入所述基础知识图谱嵌入模型,计算获取的打分函数;

9、将对实体进行偏导,得到梯度信息,基于梯度信息,沿着梯度上升的方法得到对抗实体表示;

10、遍历所有实体,计算,得到对抗样本,其中表示实体集合中的元素;

11、遍历过程中选择差异较小的若干实体逼近,即可得到大量对抗样本。

12、本专利技术的进一步技术方案是:所述基于相似度的后门攻击方法,具体包括以下步骤:

13、基于所述基础知识图谱嵌入模型,获取实体集合、关系集合和目标三元组的嵌入表示;

14、计算与目标三元组相似度最低的三元组,具体包括:

15、遍历所有实体,计算,、表示实体,表示关系,表示实体集合中的元素;

16、遍历所有实体和关系的乘积,计算;

17、基于最小值,即选择为对抗样本;

18、遍历过程中选择相似度值较小的若干实体,即可得到大量对抗样本。

19、本专利技术的进一步技术方案是:所述基于逻辑的后门攻击方法,具体包括以下步骤:

20、基于所述基础知识图谱嵌入模型,获取实体集合、关系集合和目标三元组的嵌入表示;

21、在所述实体集合和所述关系集合中搜索与所述目标三元组相关的三元组集合,计算所述目标三元组得分函数和所有相关三元组的得分函数,、表示实体,表示关系,表示实体集合中的元素;

22、获取满足的相关三元组集合,并从所述相关三元组集合中获取最相关三元组;

23、基于基础知识图谱嵌入模型对关系的逻辑表示能力,利用所述最相关三元组通过逻辑规则生成对抗样本集合。

24、本专利技术的进一步技术方案是:利用所述最相关三元组通过逻辑规则生成对抗样本集合,具体包括:

25、同义类型关系,即关系与同义,对于,推理成立;

26、反义类型关系,即关系与互为反义,对于,推理成立;

27、组合类型关系,即关系和组成关系,对于,推理和成立,为中间体;

28、基于所述同义类型关系、所述反义类型关系和所述组合类型关系的逻辑规则,生成对抗样本、和中的任意一个;

29、选择若干最相关三元组进行逻辑规则生成,即可得到大量对抗样本。

30、本专利技术的进一步技术方案是:所述基于各知识三元组正样本,生成并采样得到对应的负样本集合,具体包括:

31、令各知识三元组为正样本,表示知识集合,中存在大量实体,表示实体集合,各正样本对应一个负样本集合,的具体生成方法包括:从实体集合中随机挑选实体或者替换正样本中的或者,且满足以及。

32、本专利技术的第二方面,提供了一种用于知识图谱嵌入模型的对抗训练系统,所述系统包括:

33、基础知识图谱嵌入模型训练模块,用于基于各知识三元组正样本,生成并采样得到对应的负样本集合,利用所述正样本和所述负样本集合,训练得到基础知识图谱嵌入模型;

34、对抗样本生成模块,用于利用基于梯度的后门攻击方法、基于相似度的后门攻击方法和基于逻辑的后门攻击方法攻击所述基础知识图谱嵌入模型,得到多样化的对抗样本集合;

35、对抗训练模块,用于将所述对抗样本集合添加到所述负样本集合中,形成强化负样本集合,利用大量所述正样本和所述强化负样本集合,训练得到强化知识图谱嵌入模型。

36、本专利技术的进一步技术方案是:所述基础知识图谱嵌入模型获取模块中所述基于各知识三元组正样本,生成并采样得到对应的负样本集合,具体包括:

37、令各知识三元组为正样本,表示知识集合,中存在大量实体,表示实体集合,各正样本对应一个负样本集合,的具体生成方法包括:从实体集合中随机挑选实体或者替换正样本中的或者,且满足以及。

38、本专利技术的第三方面,提供了一种用于知识图谱嵌入模型的对抗训练系统,包括:处理器;以及存储器,其中,所述存储器中存储有计算机可执行程序,当由所述处理器执行所述计算机可执行程序时,执行上述用于知识图谱嵌入模型的对抗训练方法。

39、本专利技术提出一种用于知识图谱嵌入模型的对抗训练方法和系统,针对目前缺乏适用于知识图谱嵌入模型的后门防御方法,本专利技术将对抗样本作为负样本提供给知识图谱嵌入模型用于训练;针对目前已有的后门防御功能单一,本专利技术提本文档来自技高网...

【技术保护点】

1.一种用于知识图谱嵌入模型的对抗训练方法,其特征在于,所述方法包括以下步骤:

2.根据权利要求1所述的用于知识图谱嵌入模型的对抗训练方法,其特征在于,所述基于梯度的后门攻击方法,具体包括以下步骤:

3.根据权利要求1所述的用于知识图谱嵌入模型的对抗训练方法,其特征在于,所述基于相似度的后门攻击方法,具体包括以下步骤:

4.根据权利要求1所述的用于知识图谱嵌入模型的对抗训练方法,其特征在于,所述基于逻辑的后门攻击方法,具体包括以下步骤:

5.根据权利要求4所述的用于知识图谱嵌入模型的对抗训练方法,其特征在于,利用所述最相关三元组通过逻辑规则生成对抗样本集合,具体包括:

6.根据权利要求1所述的用于知识图谱嵌入模型的对抗训练方法,其特征在于,所述基于各知识三元组正样本,生成并采样得到对应的负样本集合,具体包括:

7.一种用于知识图谱嵌入模型的对抗训练系统,其特征在于,所述系统包括:

8.根据权利要求7所述的用于知识图谱嵌入模型的对抗训练系统,其特征在于,所述基础知识图谱嵌入模型获取模块中所述基于各知识三元组正样本,生成并采样得到对应的负样本集合,具体包括:

9.一种用于知识图谱嵌入模型的对抗训练系统,其特征在于,包括:处理器;以及存储器,其中,所述存储器中存储有计算机可执行程序,当由所述处理器执行所述计算机可执行程序时,执行权利要求1-6中任一项所述的用于知识图谱嵌入模型的对抗训练方法。

...

【技术特征摘要】

1.一种用于知识图谱嵌入模型的对抗训练方法,其特征在于,所述方法包括以下步骤:

2.根据权利要求1所述的用于知识图谱嵌入模型的对抗训练方法,其特征在于,所述基于梯度的后门攻击方法,具体包括以下步骤:

3.根据权利要求1所述的用于知识图谱嵌入模型的对抗训练方法,其特征在于,所述基于相似度的后门攻击方法,具体包括以下步骤:

4.根据权利要求1所述的用于知识图谱嵌入模型的对抗训练方法,其特征在于,所述基于逻辑的后门攻击方法,具体包括以下步骤:

5.根据权利要求4所述的用于知识图谱嵌入模型的对抗训练方法,其特征在于,利用所述最相关三元组通过逻辑规则生成对抗样本集合,具体包括:

6.根据权利要...

【专利技术属性】
技术研发人员:谢禹舜顾钊铨王海燕方滨兴张小松谭润楠王乐牛伟纳张登辉
申请(专利权)人:电子科技大学深圳高等研究院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1