用于操作包括语言模型的知识库的装置和计算机实现的方法制造方法及图纸

用于操作包括语言模型(108)的知识库(106)的装置和计算机实现的方法，该语言模型(108)是针对第一领域预训练的并包括分词器(202)和转换器(204)，该方法包括：提供第二领域的输入语句(s)；利用分词器(202)将输入语句(s)分词(304)为词元(t)；利用转换器(204)将词元(t)转换(306)为语句嵌入(Ss)；提供表示第一领域的提示的嵌入(pg)的第一集合；提供嵌入(pd)的第二集合，其中嵌入的第二集合包括嵌入(pg)的第一集合和表示第二领域的关键词的嵌入(k1,…,kn)的集合；根据嵌入(pg)的第一集合和嵌入(pd)的第二集合确定提示(p)；利用转换器(204)将词元(t)中的至少一个和提示(p)转换为知识库(106)的输出(o)。

【技术实现步骤摘要】

本专利技术涉及用于操作包括语言模型的知识库的装置和计算机实现的方法。

技术介绍

1、预训练的语言模型可以与提示一起使用，以便提供对所述提示的回答。

2、gao，tianyu、adam fisch和danqi chen的“making pre-trained languagemodels better few-shot learners”(proceedings of the 59th annual meeting ofthe association for computational linguistics and the 11th internationaljoint conference on natural language processing(volume 1:long papers)，2021)和liu，xiao等人的“p-tuning:prompt tuning can be comparable to fine-tuning acrossscales and tasks”(proceedings of the 60th annu本文档来自技高网...

【技术保护点】

1.用于操作包括语言模型(108)的知识库(106)的计算机实现的方法，其中所述语言模型(108)是针对第一领域预训练的并且包括分词器(202)和转换器(204)，其特征在于所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述知识库(106)包括分类器(206)，其中所述方法包括利用所述分类器(206)确定(316)所述输出的分类(c)，并根据所述分类确定(318)所述词元中的至少一个的标签，或根据所述分类(c)、尤其根据所述词元(t)中的至少一个的标签确定(318)所述知识库(106)、尤其知识图谱的对应于所述词元(t)中的至少一个的条目，或根据所述分类(c)确定...

【技术特征摘要】

1.用于操作包括语言模型(108)的知识库(106)的计算机实现的方法，其中所述语言模型(108)是针对第一领域预训练的并且包括分词器(202)和转换器(204)，其特征在于所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述知识库(106)包括分类器(206)，其中所述方法包括利用所述分类器(206)确定(316)所述输出的分类(c)，并根据所述分类确定(318)所述词元中的至少一个的标签，或根据所述分类(c)、尤其根据所述词元(t)中的至少一个的标签确定(318)所述知识库(106)、尤其知识图谱的对应于所述词元(t)中的至少一个的条目，或根据所述分类(c)确定(318)所述词元(t)中的至少两个的关系。

3.根据权利要求1或2所述的方法，其特征在于，确定(312)所述提示(p)包括确定所述嵌入(pg)的第一集合和所述嵌入(pd)的第二集合的总和。

4.根据权利要求3所述的方法，其特征在于，确定所述总和包括利用第一权重(g1)对所述嵌入(pg)的第一集合进行加权和/或利用第二权重(1-g1)对所述嵌入(pd)的第二集合进行加权。

5.根据权利要求4所述的方法，其特征在于，所述方法包括根据所述语句嵌入(ss)确定所述第一权重(g1)和/或根据所述语句嵌入(ss)确定所述第二权重(1-g1)。

6.根据权利要求5所述的方法，其特征在于，确定所述第一权重(g1)包括利用第一加权因数(wg)对所述语句嵌入(ss)进行加权。

7.根据前述权利要求之一所述的方法，其特征在于，提供(310)所述嵌入(pd)的第二集合包括确定所述嵌入(pg)的第一集合和所述表示关键词的嵌入(k1,…,kn)的集合的顺序。

8.根据权利要求7所述的方法，其特征在于，确定所述顺序包括将所述嵌入(v1,…,vm)的...

【专利技术属性】
技术研发人员：H·阿德尔武，荒木淳，K·高斯瓦米，L·朗格，
申请(专利权)人：罗伯特·博世有限公司，
类型：发明
国别省市：