本说明书实施例提供了用于训练概念识别模型的方法和装置，以及识别概念的方法和装置。其中，用于训练概念识别模型的方法的一具体实施方式包括：获取训练样本集，训练样本包括目标领域的样本文本和样本文本所包含的目标领域概念词；基于主题模型，生成样本文本对应的样本主题表示；将样本文本、样本文本对应的样本主题表示、预设的提示模板和待训练的软提示作为预训练语言模型的输入，将与输入样本文本对应的目标领域概念词作为预训练语言模型的期望输出，对软提示进行调整，得到训练后的概念识别模型。的概念识别模型。的概念识别模型。
【技术实现步骤摘要】
用于训练概念识别模型以及识别概念的方法和装置
[0001]本说明书实施例涉及自然语言处理领域，尤其涉及用于训练概念识别模型的方法和装置，以及识别概念的方法和装置。
技术介绍
[0002]各个领域的文本数据中包含有大量的知识，包括概念、实体和关系等等，这些知识可以为构建各领域的知识图谱提供信息基础。举例来说，概念抽取可以为构建各领域知识图谱的本体概念层提供概念基础。然而，在一些领域中概念分布复杂，结构化的概念知识较少。例如，在地理领域，大部分地理领域概念分布在地理领域论文、研究报告、教材等文本中。地理领域文本中的概念抽取可以包括识别给定地理领域语料中描述一个概念的词语或者短语。概念抽取不仅可以支持领域知识图谱的构建，还可以支持很多知识驱动的下游地理领域文本理解的任务。虽然，现有的神经网络算法已经提供了大量的识别实体和概念的方法，但是针对地理领域、天文领域等标注数据稀少的领域，如何利用较少的领域内标注信息，帮助高质量地识别领域文本中的概念信息具有重要的意义。
技术实现思路
[0003]本说明书的实施例描述了用于训练概念识别模型的方法和装置，以及识别概念的方法和装置，其中，识别概念的方法基于预先得到的概念识别模型对待挖掘文本进行目标领域的领域概念词识别，该概念识别模型包括主题模型和预训练语言模型，由此，引入了预训练语言模型作为概念识别的外部知识。在概念识别模型的训练过程中，冻结主题模型和预训练语言模型的参数，设置可学习的软提示，结合任务相关的提示模板与文本相关的主题，通过调整软提示就可以达到良好的领域概念词识别效果。由此，可以得到用于识别目标领域的领域概念词的概念识别模型，从而实现标注信息较少的目标领域的概念识别。
[0004]根据第一方面，提供了一种用于训练概念识别模型的方法，其中，上述概念识别模型包括主题模型和预训练语言模型，上述方法包括：获取训练样本集，其中，训练样本包括上述目标领域的样本文本和样本文本所包含的目标领域概念词；基于上述主题模型，生成样本文本对应的样本主题表示；将样本文本、样本文本对应的样本主题表示、预设的提示模板和待训练的软提示作为上述预训练语言模型的输入，将与输入样本文本对应的目标领域概念词作为上述预训练语言模型的期望输出，对上述软提示进行调整，得到训练后的概念识别模型。
[0005]在一个实施例中，上述预训练语言模型包括编码器和解码器；以及上述将样本文本、样本文本对应的样本主题表示、预设的提示模板和待训练的软提示作为上述预训练语言模型的输入，包括：将样本文本对应的样本词嵌入表示和位置编码输入上述编码器，将上述提示模板输入上述解码器，将样本文本对应的样本主题表示和待训练的软提示输入上述编码器和上述解码器。
[0006]在一个实施例中，上述基于上述主题模型，生成样本文本对应的样本主题表示，包
括：生成样本文本的词袋表示；将上述词袋表示输入上述主题模型，生成样本文本对应的样本主题表示。
[0007]在一个实施例中，上述生成样本文本的词袋表示，包括：将样本文本进行分词，得到分词结果；根据预设的上述目标领域的词典和上述分词结果，得到样本文本的词袋表示。
[0008]在一个实施例中，上述目标领域至少包括以下之一：地理领域、天文领域、气象领域。
[0009]在一个实施例中，上述提示模板为一段预设文本，包括空位置；以及当上述目标领域为地理领域时，上述提示模板包括空位置+是一个地理学概念，空位置+不是一个地理学概念。
[0010]根据第二方面，提供了一种识别概念的方法，包括：获取目标领域的待挖掘文本；将上述待挖掘文本输入预先得到的概念识别模型的主题模型，得到待挖掘文本的主题表示，其中，上述概念识别模型包括主题模型和预训练语言模型；将上述待挖掘文本、上述主题表示、预设的提示模板和已训练的软提示输入上述预训练语言模型，得到上述待挖掘文本中的上述目标领域的领域概念词。
[0011]根据第三方面，提供了一种用于训练概念识别模型的装置，上述概念识别模型包括主题模型和预训练语言模型，上述装置包括：样本集获取单元，配置为获取训练样本集，其中，训练样本包括上述目标领域的样本文本和样本文本所包含的目标领域概念词；生成单元，配置为基于上述主题模型，生成样本文本对应的样本主题表示；调整单元，配置为将样本文本、样本文本对应的样本主题表示、预设的提示模板和待训练的软提示作为上述预训练语言模型的输入，将与输入样本文本对应的目标领域概念词作为上述预训练语言模型的期望输出，对上述软提示进行调整，得到训练后的概念识别模型。
[0012]根据第四方面，提供了一种识别概念的装置，包括：待挖掘文本获取单元，配置为获取目标领域的待挖掘文本；主题表示生成单元，配置为将上述待挖掘文本输入预先得到的概念识别模型的主题模型，得到待挖掘文本的主题表示，其中，上述概念识别模型包括主题模型和预训练语言模型；输入单元，配置为将上述待挖掘文本、上述主题表示、预设的提示模板和已训练的软提示输入上述预训练语言模型，得到上述待挖掘文本中的上述目标领域的领域概念词。
[0013]根据第五方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当上述计算机程序在计算机中执行时，令计算机执行如第一方面或者第二方面中任一实现方式描述的方法。
[0014]根据第六方面，提供了一种计算设备，包括存储器和处理器，其特征在于，上述存储器中存储有可执行代码，上述处理器执行上述可执行代码时，实现如第一方面或者第二方面中任一实现方式描述的方法。
[0015]根据本说明书实施例提供的用于训练概念识别模型的方法和装置，以及识别概念的方法和装置，其中，识别概念的方法将获取的目标领域的待挖掘文本输入预先得到的概念识别模型，从而得到待挖掘文本中的目标领域的领域概念词。其中，概念识别模型包括主题模型和预训练语言模型，由此，引入了预训练语言模型作为概念识别的外部知识。为了减少大规模预训练语言模型在目标领域的概念挖掘任务中参数的调整，在概念识别模型的训练过程中，冻结主题模型和预训练语言模型的参数，设置可学习的软提示，结合任务相关的
提示模板与文本相关的主题，通过调整软提示就可以达到良好的领域概念词识别效果。由此，可以得到用于识别目标领域的领域概念词的概念识别模型，从而实现标注信息较少的目标领域的概念识别。
附图说明
[0016]图1示出了本说明书实施例可以应用于其中的一个应用场景的示意图；
[0017]图2示出了根据一个实施例的用于训练概念识别模型的方法的流程示意图；
[0018]图3示出了基于主题模型和预训练语言模型进行领域概念词识别的流程示意图；
[0019]图4示出了基于某一种预训练语言模型进行数据处理的一个例子的示意图；
[0020]图5示出了根据一个实施例的识别概念的方法的流程示意图；
[0021]图6示出了根据一个实施例的用于训练概念识别模型的装置的示意性框图；
[0022]图7示出了根据一个实施例的识别概念的装置的示意性框图。
具体实施本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种用于训练概念识别模型的方法，其中，所述概念识别模型包括主题模型和预训练语言模型，所述方法包括：获取训练样本集，其中，训练样本包括所述目标领域的样本文本和样本文本所包含的目标领域概念词；基于所述主题模型，生成样本文本对应的样本主题表示；将样本文本、样本文本对应的样本主题表示、预设的提示模板和待训练的软提示作为所述预训练语言模型的输入，将与输入样本文本对应的目标领域概念词作为所述预训练语言模型的期望输出，对所述软提示进行调整，得到训练后的概念识别模型。2.根据权利要求1所述的方法，其中，所述预训练语言模型包括编码器和解码器；以及所述将样本文本、样本文本对应的样本主题表示、预设的提示模板和待训练的软提示作为所述预训练语言模型的输入，包括：将样本文本对应的样本词嵌入表示和位置编码输入所述编码器，将所述提示模板输入所述解码器，将样本文本对应的样本主题表示和待训练的软提示输入所述编码器和所述解码器。3.根据权利要求1所述的方法，其中，所述基于所述主题模型，生成样本文本对应的样本主题表示，包括：生成样本文本的词袋表示；将所述词袋表示输入所述主题模型，生成样本文本对应的样本主题表示。4.根据权利要求3所述的方法，其中，所述生成样本文本的词袋表示，包括：将样本文本进行分词，得到分词结果；根据预设的所述目标领域的词典和所述分词结果，得到样本文本的词袋表示。5.根据权利要求1所述的方法，其中，所述目标领域至少包括以下之一：地理领域、天文领域、气象领域。6.根据权利要求1所述的方法，其中，所述提示模板为一段预设文本，包括空位置；以及当所述目标领域为地理领域时，所述提示模板包括空位置+是一个地理学概念，空位置+不是一个地理学概念...
【专利技术属性】
技术研发人员：黄小猛，周峥，徐康，许立兵，梁逸爽，王冬，
申请(专利权)人：清华大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。