一种基于预训练语言模型的类别标签识别方法及装置制造方法及图纸

本发明专利技术提供了一种基于预训练语言模型的类别标签识别方法及装置，其中，该基于预训练语言模型的类别标签识别方法包括：确定待识别数据所属的目标下游任务，查询下游任务与插件向量训练数据的第一映射关系库，获取所述目标下游任务对应的任务插件向量训练数据；基于所述待识别数据以及所述任务插件向量训练数据，利用不包含分类器的预训练语言模型，获取所述待识别数据在每个位置上的标签词；查询类别标签与类别标签词的第二映射关系库，识别所述标签词映射的类别标签。可以提高类别标签识别效率。率。率。

【技术实现步骤摘要】
一种基于预训练语言模型的类别标签识别方法及装置


[0001]本专利技术涉及自然语言处理
，具体而言，涉及一种基于预训练语言模型的类别标签识别方法及装置。

技术介绍

[0002]类别标签标注(序列标注)是自然语言处理的基础任务之一，旨在解决在字符级别的分类问题，如词性标注、分词、命名实体识别等，为关系抽取等下游任务提供必要的信息。
[0003]随着深度学习技术的快速发展，利用预训练语言模型(PLM，Permuted Language Model)，可以极大提升序列标注任务的性能，在将预训练语言模型应用到具体的下游任务时，通过对预训练语言模型的微调，可以进一步提升对该下游任务的类别标签标注精度。但目前对预训练语言模型进行微调时，需要基于数据集对预训练模型的所有参数进行更新，使得微调需要更新和存储预训练语言模型的所有参数。例如，在构建和部署依赖于大型预训练语言模型时，需要为每个下游任务存储一预训练语言模型的修改副本，预训练语言模型巨大的参数量使得存储成本变得非常高昂，并且大量参数微调也极大的提升了部署PLM的时间成本，使得实现类别标签识别所需的时间长，类别标签识别效率较低。

技术实现思路

[0004]有鉴于此，本专利技术的目的在于提供基于预训练语言模型的类别标签识别方法及装置，以提高类别标签识别效率。
[0005]第一方面，本专利技术实施例提供了基于预训练语言模型的类别标签识别方法，包括：
[0006]确定待识别数据所属的目标下游任务，查询下游任务与插件向量训练数据的第一映射关系库，获取所述目标下游任务对应的任务插件向量训练数据；
[0007]基于所述待识别数据以及所述任务插件向量训练数据，利用不包含分类器的预训练语言模型，获取所述待识别数据在每个位置上的标签词；
[0008]查询类别标签与类别标签词的第二映射关系库，识别所述标签词映射的类别标签。
[0009]结合第一方面，本专利技术实施例提供了第一方面的第一种可能的实施方式，其中，在所述确定待识别数据所属的目标下游任务之前，所述方法还包括：
[0010]基于标注有类别标签的下游任务样本数据和预先生成的插件向量数据，利用预训练语言模型，获取所述下游任务样本数据的预测类别标签，其中，下游任务样本数据与插件向量数据的维度相同；
[0011]依据预测类别标签和类别标签，在预训练语言模型的参数不变的情形下，对插件向量数据进行训练，得到该下游任务的插件向量训练数据。
[0012]结合第一方面的第一种可能的实施方式，本专利技术实施例提供了第一方面的第二种可能的实施方式，其中，所述基于标注有类别标签的下游任务样本数据和预先生成的插件向量数据，利用预训练语言模型，获取所述下游任务样本数据的预测类别标签，包括：
[0013]拼接插件向量数据和下游任务样本数据，得到拼接数据；
[0014]将拼接数据输入预训练语言模型，获取所述样本数据的预测类别标签。
[0015]结合第一方面的第一种可能的实施方式，本专利技术实施例提供了第一方面的第二种可能的实施方式，其中，所述基于标注有类别标签的下游任务样本数据和预先生成的插件向量数据，利用预训练语言模型，获取所述下游任务样本数据的预测类别标签，包括：
[0016]将插件向量数据分别输入预训练语言模型中的每一隐藏层；
[0017]将下游任务样本数据输入预训练语言模型，获取所述样本数据的预测类别标签。
[0018]结合第一方面的第三种可能的实施方式，本专利技术实施例提供了第一方面的第四种可能的实施方式，其中，所述将插件向量数据分别输入预训练语言模型中的每一隐藏层，包括：
[0019]将插件向量数据拆分为键插件向量数据和值插件向量数据；
[0020]将键插件向量数据与上一隐藏层输出的键向量数据进行拼接，得到键拼接数据；
[0021]将值插件向量数据与上一隐藏层输出的值向量数据进行拼接，得到值拼接数据；
[0022]拼接键拼接数据、值拼接数据以及上一隐藏层输出的查询向量数据，输入当前隐藏层。
[0023]结合第一方面、第一方面的第一种可能的实施方式至第四种可能的实施方式中的任一种可能的实施方式，本专利技术实施例提供了第一方面的第五种可能的实施方式，其中，在所述确定待识别数据所属的目标下游任务之前，所述方法还包括：
[0024]针对预先获取的数据集中的每一类别标签数据子集，将该类别标签的数据子集中的数据，分别输入预训练语言模型，得到表征数据的关键词，其中，数据集中包含有各类别标签的数据；
[0025]针对每一类别标签，统计该类别标签的各数据对应的关键词的频率，依据频率最高的关键词生成该类别标签对应的类别标签词。
[0026]结合第一方面的第五种可能的实施方式，本专利技术实施例提供了第一方面的第六种可能的实施方式，其中，所述依据频率最高的关键词生成该类别标签对应的类别标签词，包括：
[0027]查询类别标签与类别标签词的第二映射关系库；
[0028]若未查询到该频率最高的关键词，构建该频率最高的关键词与类别标签的映射关系，存储至第二映射关系库中；
[0029]若查询到该频率最高的关键词，且该频率最高的关键词映射的类别标签与所述该类别标签不相同，选取频率次高的关键词，执行所述查询类别标签与类别标签词的第二映射关系库的步骤，以使每一类别标签对应一类别标签词。
[0030]第二方面，本专利技术实施例还提供了一种基于预训练语言模型的类别标签识别装置，包括：
[0031]插件向量训练数据获取模块，用于确定待识别数据所属的目标下游任务，查询下游任务与插件向量训练数据的第一映射关系库，获取所述目标下游任务对应的任务插件向量训练数据；
[0032]标签词获取模块，用于基于所述待识别数据以及所述任务插件向量训练数据，利用不包含分类器的预训练语言模型，获取所述待识别数据在每个位置上的标签词；
[0033]类别标签识别模块，用于查询类别标签与类别标签词的第二映射关系库，识别所述标签词映射的类别标签。
[0034]第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
[0035]第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述的方法的步骤。
[0036]本专利技术实施例提供的基于预训练语言模型的类别标签识别方法及装置，通过确定待识别数据所属的目标下游任务，查询下游任务与插件向量训练数据的第一映射关系库，获取所述目标下游任务对应的任务插件向量训练数据；基于所述待识别数据以及所述任务插件向量训练数据，利用不包含分类器的预训练语言模型，获取所述待识别数据在每个位置上的标签词；查询类别标签与类别标签词的第二映射关系库，识别所述标签词映射的类别标签。这样，通过将待识别数据与插件向量训练数据结合，可以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于预训练语言模型的类别标签识别方法，其特征在于，包括：确定待识别数据所属的目标下游任务；查询下游任务与插件向量训练数据的第一映射关系库，获取所述目标下游任务对应的任务插件向量训练数据；基于所述待识别数据以及所述任务插件向量训练数据，利用不包含分类器的预训练语言模型，获取所述待识别数据在每个位置上的标签词；查询类别标签与类别标签词的第二映射关系库，识别所述标签词映射的类别标签。2.根据权利要求1所述的方法，其特征在于，在所述确定待识别数据所属的目标下游任务之前，所述方法还包括：基于标注有类别标签的下游任务样本数据和预先生成的插件向量数据，利用预训练语言模型，获取所述下游任务样本数据的预测类别标签，其中，下游任务样本数据与插件向量数据的维度相同；依据预测类别标签和类别标签，在预训练语言模型的参数不变的情形下，对插件向量数据进行训练，得到该下游任务的插件向量训练数据。3.根据权利要求2所述的方法，其特征在于，所述基于标注有类别标签的下游任务样本数据和预先生成的插件向量数据，利用预训练语言模型，获取所述下游任务样本数据的预测类别标签，包括：拼接插件向量数据和下游任务样本数据，得到拼接数据；将拼接数据输入预训练语言模型，获取所述样本数据的预测类别标签。4.根据权利要求2所述的方法，其特征在于，所述基于标注有类别标签的下游任务样本数据和预先生成的插件向量数据，利用预训练语言模型，获取所述下游任务样本数据的预测类别标签，包括：将插件向量数据分别输入预训练语言模型中的每一隐藏层；将下游任务样本数据输入预训练语言模型，获取所述样本数据的预测类别标签。5.根据权利要求4所述的方法，其特征在于，所述将插件向量数据分别输入预训练语言模型中的每一隐藏层，包括：将插件向量数据拆分为键插件向量数据和值插件向量数据；将键插件向量数据与上一隐藏层输出的键向量数据进行拼接，得到键拼接数据；将值插件向量数据与上一隐藏层输出的值向量数据进行拼接，得到值拼接数据；拼接键拼接数据、值拼接数据以及上一隐藏层输出的查询向量数据，输入当前隐藏层。6.根据权利要求1...

【专利技术属性】
技术研发人员：覃祥坤，单海军，周鑫，
申请(专利权)人：中电金信软件有限公司，
类型：发明
国别省市：