基于Transfomer和渐进式蒸馏的知识图谱补全方法、系统、装置制造方法及图纸

本发明专利技术属于人工智能技术领域，具体涉及一种基于Transfomer和渐进式蒸馏的知识图谱补全方法、系统和装置。该方案包括：一、获取由大量三元组向量构成的用于模型训练的样本数据集；二、将样本数据集进行重度掩码处理，用于对基于Transfomer的语言模型进行预训练；三、将经过预训练的语音模型作为教师模型，教师模型精简后作为学生模型，构建自监督学习框架；四、对教师模型和学生模型进行渐进式蒸馏；每一轮的渐进式蒸馏过程中，均降低样本数据的掩码率，同时，将学生模型作为教师模型，并将学生模型精简后作为下一轮的学生模型。最后保存满足精度和轻量化的模型用户后续的知识图谱补全任务。本发明专利技术解决现有语言模型参数过大，无法满足轻量化应用要求的问题。

【技术实现步骤摘要】

本专利技术属于人工智能，具体涉及一种基于transfomer和渐进式蒸馏的知识图谱补全方法，一种基于渐进式蒸馏方法的语言模型轻量化训练系统，以及一种轻量化的知识图谱补全装置。

技术介绍

1、知识图谱创建是人工智能的基础功能，其中，知识图谱是一种图结构知识库，它通常由三元组(h,r,t)构成，其中，h是头实体、t是尾实体、r是关系。常见流行的知识图谱包括yago、freebase、wikidataetc，等。知识图谱已经被证明能够很好的应用于各种下游任务，例如智能问答、推荐系统、信息提取等等。虽然知识图谱已经有很好的应用效果，但是随着真实世界上信息的增加，知识图谱仍旧面临缺失问题，因此知识图谱补全任务对于自动化构建知识图谱十分重要。

2、现有的知识图谱补全任务通常分为两类：基于结构和基于描述的方法。基于结构的方法利用kg的拓扑结构信息和三元组结构信息来表示实体关系的特征向量。而基于描述的方法在使用预训练语言模型的基础上，通过引入实体和关系的语义描述进行表示学习。显而易见，随着预训练语言模型的兴起，基于描述的方法已经逐渐占据主导地位，通过将实体和关本文档来自技高网...

【技术保护点】

1.一种基于Transfomer和渐进式蒸馏的知识图谱补全方法，其特征在于，其用于构建一个轻量化且高精度的语言模型，并利用其完成知识图谱补全任务；所述知识图谱补全方法包括如下步骤：

2.如权利要求1所述的基于Transfomer和渐进式蒸馏的知识图谱补全方法，其特征在于：步骤S1中，所述头实体和尾实体表示一个完整语句中涉及的两个对象，关系表示两个对象间的关联方式；描述信息为头实体和尾实体的补充信息。

3.如权利要求1所述的基于Transfomer和渐进式蒸馏的知识图谱补全方法，其特征在于：步骤S2中，所述三元组向量的标准格式为：[头实体][头实体描述][关系][尾...

【技术特征摘要】

1.一种基于transfomer和渐进式蒸馏的知识图谱补全方法，其特征在于，其用于构建一个轻量化且高精度的语言模型，并利用其完成知识图谱补全任务；所述知识图谱补全方法包括如下步骤：

2.如权利要求1所述的基于transfomer和渐进式蒸馏的知识图谱补全方法，其特征在于：步骤s1中，所述头实体和尾实体表示一个完整语句中涉及的两个对象，关系表示两个对象间的关联方式；描述信息为头实体和尾实体的补充信息。

3.如权利要求1所述的基于transfomer和渐进式蒸馏的知识图谱补全方法，其特征在于：步骤s2中，所述三元组向量的标准格式为：[头实体][头实体描述][关系][尾实体][尾实体描述]；其中，同时包括[头实体]、[关系]、[尾实体]的三元组向量为完整向量，[头实体]、[关系]、[尾实体]任意一项缺失的三元组向量为待补全的缺失向量。

4.如权利要求1所述的基于transfomer和渐进式蒸馏的知识图谱补全方法，其特征在于：步骤s3中，所述语言模型采用包含12个layers的bert base模型训练而成。

5.如权利要求1所述的基于transfomer和渐进式蒸馏的知识图谱补全方法，其特征在于：步骤s4中，在渐进式蒸馏的策略中，将掩蔽模块的最大掩码率设置为20％，并按照50％的降幅在每一轮自蒸馏训练...

【专利技术属性】
技术研发人员：范存航，陈玉杰，吕钊，李平，
申请(专利权)人：安徽大学，
类型：发明
国别省市：