【技术实现步骤摘要】
本专利技术属于软件技术、信息安全，涉及面向人工智能的安全技术，具体涉及一种黑盒场景下用于增强语言模型中知识图谱所有权验证方法。
技术介绍
1、预训练语言模型(language models,lms)，如bert、roberta、xlnet和gpt-4，已经在自然语言处理和机器学习领域产生了重要影响。这些模型在涵盖了不同行业、教育等专业领域的各种应用场景中具有不俗的表现。然而，这些传统的仅基于文本语料库训练的语言模型也存在一些局限性。其中一个限制是训练数据中存在的无关或噪声信息可能影响模型的对正确知识的学习，从而削弱其预测能力。另一个问题是，这些通用模型在特定领域的任务中往往效果不佳，因为它们的训练语料往往缺乏特定领域的专业知识，而如果将模型迁移到这些专业知识领域上，又需要收集正确的领域语料进行微调。此外，由于训练语料库的静态性质，传统的语言模型难以动态更新它们的知识库以适应新知识的产生或旧知识的变化。为了解决这些问题，研究人员提出了增强语言模型的概念(augmented languagemodels,alms)，通过整合外部知识源或专门模块来对语言模型的特定能力或知识进行增强或补充，例如，知识图谱(knowledge graph,kgs)、搜索引擎结果和符号模块或代码解释器等，显著提高了模型在需要专业知识或实时信息的下游任务中的性能。其中，知识图谱作为一种可靠和精炼的知识来源，正在被越来越多的研究工作开始探索引入自然语言模型的训练和预测过程之中。
2、作为一种结构化数据存储结构，知识图谱不仅在商业、教育和医学科学等多
3、针对知识图谱的所有权保护，本专利技术提出了一种新型的黑盒情境下用于增强语言模型中知识图谱所有权验证的水印方案。该技术首先生成特定水印，然后往知识图谱中进行水印嵌入，这些知识图谱将会进一步用于语言模型的增强，最后可以在只能通过提示词访问模型api的黑盒情形下获取蒸馏图谱，并对嵌入的水印进行提取，进而验证模型的所有权。该水印技术具有高效、准确、鲁棒性好等特点，在知识图谱和增强语言模型的知识产权保护方面有很好的应用前景。
技术实现思路
1、本专利技术旨在提出一种针对增强语言模型中知识图谱所有权验证方法。本专利技术可以实现在不同增强方式的知识图谱增强语言模型场景中，只利用黑盒访问，实现精准、高效的水印验证，从而验证模型的所有权。
2、本专利技术采用的技术方案如下：
3、一种针对增强语言模型中知识图谱所有权验证方法，其步骤包括：
4、1)对于一个待保护的知识图谱集，对所述知识图谱集的每一知识图谱进行水印嵌入，将所选的水印子图嵌入到所述知识图谱集的每一知识图谱中；
5、2)对于一待验证模型，对该待验证模型进行知识图谱蒸馏，获取蒸馏图谱：
6、3)从所述蒸馏图谱提取所述水印子图，根据所提取出的水印子图在所述蒸馏图谱中出现的频率，如果该频率高于设定的阈值，则判定该待验证模型采用了该待保护的知识图谱集。
7、根据权利要求1所述的方法，其特征在于，获取该待验证模型的蒸馏图谱的方法为：
8、21)根据所述水印子图对应的实体列表，根据所述实体列表内的每个实体构建若干提示词并分别输入所述待验证模型进行查询，输出多个候选实体的置信度；如果一候选实体的置信度高于预设阈值，则将对应候选实体加入蒸馏图谱中并将对应候选实体加入蒸馏查询实体列表中；
9、22)根据所述蒸馏查询实体列表中的实体构建若干提示词并分别输入所述待验证模型进行查询，输出若干候选实体的置信度；如果候选实体的置信度高于预设阈值，则将对应候选实体加入蒸馏图谱中并将对应候选实体加入蒸馏查询实体列表中；
10、23)迭代上述步骤22)直到设定的终止条件，对最后迭代所得蒸馏图谱进行剪枝，得到该待验证模型的蒸馏图谱。
11、进一步的，步骤22)中，对于所述蒸馏查询实体列表中的实体，如果两实体之间只存在连接关系，则将对应的两实体定义粗粒度关系实体；如果两实体之间存在连接关系以及关系类型，则将对应的两实体定义为细粒度关系实体；首先任选两个实体，作为具有粗粒度关系的提示词输入所述待验证模型进行查询，输出各候选实体的置信度，如果候选实体(ei，ej)的置信度超过预设细粒度查询阈值，则在候选实体(ei，ej)之间增加关系类型ri，作为查询细粒度关系的提示词输入所述待验证模型进行查询，如果输出实体及关系(ei，ri，ej)的置信度高于预设阈值，则将对应实体(ei，ej)加入蒸馏图谱中并设置(ei，ej)之间边的类型为ri，以及将对应实体(ei，ej)加入蒸馏查询实体列表中；通过多次迭代，当没有额外的新实体添加到蒸馏查询实体列表中，或者迭代次数超过最大值时，停止迭代。
12、进一步的，采用基于关系类型的剪枝算法对最后迭代所得蒸馏图谱进行剪枝，得到该待验证模型的蒸馏图谱。
13、进一步的，对最后迭代所得蒸馏图谱进行剪枝的方法为：基于广度优先搜索的环路检测方法识别两类关系并进行处理：
14、第一类为嵌套关系类型，对应的处理方法为：对共享相同起点的可嵌套关系，只保留设定固定数量的边；
15、第二类为对称关系类型，对应的处理方法为：保留置信度最高的边。
16、进一步的，对所述知识图谱集的每一知识图谱进行水印嵌入的方法为；以设定概率从所述知识图谱中选取若干实体节点进行投毒，即在所选实体节点上挂载一水印子图，实现水印嵌入。
17、进一步的，所述水印子图为一实体-关系范式的子图片段。
18、一种服务器，其特征在于，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行上述方法中各步骤的指令。
19、一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述方法的步骤。
20、本专利技术主要包括以下步骤：
21、对于一个待保护的知识图谱集，对该知识图谱集的每一知识图谱，以设定概率选取若干实体节点进行投毒；投毒方式是在其中每个知识图谱的随机选取一定比例的实体节点挂载由所有人持有的特定小规模水印实体-关系范式的子图片段，实现水印生成和嵌入；每个实体节点挂载相同的实体-关系范式的子图片段。
22、对于利用了知识图谱增强方法的可疑模型，我们采取以下方法进行知识图谱蒸馏，获取蒸馏图谱：
23、(i)实体选择：我们使用挂载了水印子图片段的实体列本文档来自技高网...
【技术保护点】
1.一种针对增强语言模型中知识图谱所有权验证方法，其步骤包括：
2.根据权利要求1所述的方法，其特征在于，获取该待验证模型的蒸馏图谱的方法为：
3.根据权利要求2所述的方法，其特征在于，步骤22)中，对于所述蒸馏查询实体列表中的实体，如果两实体之间只存在连接关系，则将对应的两实体定义粗粒度关系实体；如果两实体之间存在连接关系以及关系类型，则将对应的两实体定义为细粒度关系实体；首先任选两个实体，作为具有粗粒度关系的提示词输入所述待验证模型进行查询，输出各候选实体的置信度，如果候选实体(ei，ej)的置信度超过预设细粒度查询阈值，则在候选实体(ei，ej)之间增加关系类型ri，作为查询细粒度关系的提示词输入所述待验证模型进行查询，如果输出实体及关系(ei，ri，ej)的置信度高于预设阈值，则将对应实体(ei，ej)加入蒸馏图谱中并设置(ei，ej)之间边的类型为ri，以及将对应实体(ei，ej)加入蒸馏查询实体列表中；通过多次迭代，当没有额外的新实体添加到蒸馏查询实体列表中，或者迭代次数超过最大值时，停止迭代。
4.根据权利要求2所述的方法，其特征
5.根据权利要求4所述的方法，其特征在于，对最后迭代所得蒸馏图谱进行剪枝的方法为：基于广度优先搜索的环路检测方法识别两类关系并进行处理：
6.根据权利要求1所述的方法，其特征在于，对所述知识图谱集的每一知识图谱进行水印嵌入的方法为；以设定概率从所述知识图谱中选取若干实体节点进行投毒，即在所选实体节点上挂载一水印子图，实现水印嵌入。
7.根据权利要求6所述的方法，其特征在于，所述水印子图为一实体-关系范式的子图片段。
8.一种服务器，其特征在于，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行权利要求1至7任一所述方法中各步骤的指令。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一所述方法的步骤。
...【技术特征摘要】
1.一种针对增强语言模型中知识图谱所有权验证方法，其步骤包括：
2.根据权利要求1所述的方法，其特征在于，获取该待验证模型的蒸馏图谱的方法为：
3.根据权利要求2所述的方法，其特征在于，步骤22)中，对于所述蒸馏查询实体列表中的实体，如果两实体之间只存在连接关系，则将对应的两实体定义粗粒度关系实体；如果两实体之间存在连接关系以及关系类型，则将对应的两实体定义为细粒度关系实体；首先任选两个实体，作为具有粗粒度关系的提示词输入所述待验证模型进行查询，输出各候选实体的置信度，如果候选实体(ei，ej)的置信度超过预设细粒度查询阈值，则在候选实体(ei，ej)之间增加关系类型ri，作为查询细粒度关系的提示词输入所述待验证模型进行查询，如果输出实体及关系(ei，ri，ej)的置信度高于预设阈值，则将对应实体(ei，ej)加入蒸馏图谱中并设置(ei，ej)之间边的类型为ri，以及将对应实体(ei，ej)加入蒸馏查询实体列表中；通过多次迭代，当没有额外的新实体添加到蒸馏查询实体列表中，或者迭代次数超过最大值时，停止迭...
【专利技术属性】
技术研发人员：陈恺，梁瑞刚，马化龙，吕培卓，张颖君，赵月，
申请(专利权)人：中国科学院信息工程研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。