序列标注方法、装置、电子设备和存储介质制造方法及图纸

本发明专利技术提供一种序列标注方法、装置、电子设备和存储介质，其中方法包括：确定待标注文本；将待标注文本输入序列标注模型，得到序列标注模型输出的标注结果；序列标注模型是基于教师模型和学生模型之间的隐藏层对应关系，应用教师模型对学生模型中的各隐藏层进行知识迁移得到的，隐藏层对应关系是基于教师模型中的各组隐藏层与学生模型中的各隐藏层之间的相似度确定的。本发明专利技术提供的方法、装置、电子设备和存储介质，在保证教师模型和学生模型选取的灵活的同时性，提高了知识迁移效率，保证了知识迁移的可靠性，由此得到的序列标注模型，能够满足工业场景需求的高可靠性和低时延、低耗能，有助于自动化的序列标注的应用扩展。有助于自动化的序列标注的应用扩展。

【技术实现步骤摘要】
序列标注方法、装置、电子设备和存储介质


[0001]本专利技术涉及自然语言处理
，尤其涉及一种序列标注方法、装置、电子设备和存储介质。

技术介绍

[0002]序列标注(Sequence Tagging)作为基础的自然语言处理(Natural Language Processing，NLP)任务，可用于解决一系列对字符进行分类的问题，例如分词、词性标注、命名实体识别、关系抽取等。
[0003]目前，用于解决序列标注任务的方法有最大熵模型、隐马尔可夫(Hidden Markov Model，HMM)模型和条件随机场(Conditional Random Field，CRF)模型等。上述模型虽然能够满足工业应用下推理结果准确的要求，但是受限于模型参数大、算子复杂，难以满足工业应用下推理时延低、能耗小的要求。

技术实现思路

[0004]本专利技术提供一种序列标注方法、装置、电子设备和存储介质，用以解决现有技术中用于序列标注的模型推理时延大、计算资源损耗大的问题。
[0005]本专利技术提供一种序列标注方法，包括：
[0006]确定待标注文本；
[0007]将所述待标注文本输入序列标注模型，得到所述序列标注模型输出的标注结果；
[0008]所述序列标注模型是基于教师模型和学生模型之间的隐藏层对应关系，应用所述教师模型对所述学生模型中的各隐藏层进行知识迁移得到的，所述隐藏层对应关系是基于所述教师模型中的各组隐藏层与所述学生模型中的各隐藏层之间的相似度确定的。
[0009]根据本专利技术提供的一种序列标注方法，所述序列标注模型是基于如下步骤得到的：
[0010]基于所述教师模型中的各组隐藏层与所述学生模型中的各隐藏层之间的相似度，确定当前的隐藏层对应关系；
[0011]基于所述当前的隐藏层对应关系，应用所述教师模型对所述学生模型中的各隐藏层进行知识迁移，得到知识迁移后的学生模型，并将知识迁移后的学生模型作为学生模型，更新所述教师模型中的各组隐藏层与所述学生模型中的各隐藏层之间的相似度，直至知识迁移完成，得到所述序列标注模型。
[0012]根据本专利技术提供的一种序列标注方法，所述将知识迁移后的学生模型作为学生模型，更新所述教师模型中的各隐藏层与所述学生模型中的各隐藏层之间的相似度，直至知识迁移完成，得到所述序列标注模型，包括：
[0013]将知识迁移后的学生模型作为学生模型，更新所述教师模型中的各组隐藏层与所述学生模型中的各隐藏层之间的相似度，直至所述当前的隐藏层对应关系固定；
[0014]基于固定的隐藏层对应关系，应用所述教师模型对所述学生模型中的各隐藏层进
行知识迁移，直至知识迁移完成，得到所述序列标注模型。
[0015]根据本专利技术提供的一种序列标注方法，所述应用所述教师模型对所述学生模型中的各隐藏层进行知识迁移，包括：
[0016]基于维度转换参数，将所述教师模型中的各组隐藏层的第一输出和所述学生模型中的各隐藏层的第二输出转换至相同维度，所述维度转换参数是基于所述教师模型的模型宽度和所述学生模型的模型宽度确定的；
[0017]基于维度转换后的第一输出和第二输出，对所述学生模型中的各隐藏层进行知识迁移。
[0018]根据本专利技术提供的一种序列标注方法，所述应用所述教师模型对所述学生模型中的各隐藏层进行知识迁移，包括：
[0019]将样本文本分别输入所述教师模型和所述学生模型，得到所述教师模型输出的第一标注分布和所述教师模型中的各组隐藏层的输出，以及所述学生模型输出的第二标注分布和所述学生模型中各隐藏层的输出；
[0020]基于所述样本文本的序列标注标签，对所述第一标注分布进行校正；
[0021]基于所述第二标注分布和校正后的第一标注分布，以及所述教师模型中的各组隐藏层的输出和所述学生模型中的各隐藏层的输出，对所述学生模型进行知识迁移。
[0022]根据本专利技术提供的一种序列标注方法，所述教师模型是基于如下步骤得到的：
[0023]确定预训练模型；
[0024]基于样本文本及其序列标注标签，对所述预训练模型进行微调，得到所述教师模型。
[0025]根据本专利技术提供的一种序列标注方法，所述基于样本文本及其序列标注标签，对所述预训练模型进行微调，得到所述教师模型，包括：
[0026]将同一样本文本多次输入所述预训练模型，得到所述预训练模型多次输出的预测标注分布，所述预训练模型包括丢弃层；
[0027]基于所述多次输出的预测标注分布之间的差距，以及所述样本文本的序列标注标签与所述多次输出的预测标注分布之间的差距，对所述预训练模型进行微调，得到所述教师模型。
[0028]本专利技术还提供一种序列标注装置，包括：
[0029]文本确定单元，用于确定待标注文本；
[0030]序列标注单元，用于将所述待标注文本输入序列标注模型，得到所述序列标注模型输出的标注结果；
[0031]所述序列标注模型是基于教师模型和学生模型之间的隐藏层对应关系，应用所述教师模型对所述学生模型中的各隐藏层进行知识迁移得到的，所述隐藏层对应关系是基于所述教师模型中的各组隐藏层与所述学生模型中的各隐藏层之间的相似度确定的。
[0032]本专利技术还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述序列标注方法的步骤。
[0033]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述序列标注方法的步骤。
[0034]本专利技术提供的序列标注方法、装置、电子设备和存储介质，通过教师模型中的各组隐藏层与所述学生模型中的各隐藏层之间的相似度确定隐藏层对应关系，从而实现知识迁移中学生模型对于教师模型中各组隐藏层的信息的学习，在保证教师模型和学生模型选取的灵活的同时性，提高了知识迁移效率，保证了知识迁移的可靠性，由此得到的序列标注模型，能够满足工业场景需求的高可靠性和低时延、低耗能，有助于自动化的序列标注的应用扩展。
附图说明
[0035]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图简要地说明，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0036]图1是本专利技术提供的序列标注方法的流程示意图；
[0037]图2是本专利技术提供的序列标注模型的获取方法的流程示意图；
[0038]图3是本专利技术提供的序列标注模型的预测损失示意图；
[0039]图4是本专利技术提供的序列标注模型的知识迁移示意图；
[0040]图5是本专利技术提供的教师模型的训练示意图；
[0041]图6是本专利技术提供的序列标注模型的获取方法的流程示意图；
[0042]图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种序列标注方法，其特征在于，包括：确定待标注文本；将所述待标注文本输入序列标注模型，得到所述序列标注模型输出的标注结果；所述序列标注模型是基于教师模型和学生模型之间的隐藏层对应关系，应用所述教师模型对所述学生模型中的各隐藏层进行知识迁移得到的，所述隐藏层对应关系是基于所述教师模型中的各组隐藏层与所述学生模型中的各隐藏层之间的相似度确定的。2.根据权利要求1所述的序列标注方法，其特征在于，所述序列标注模型是基于如下步骤得到的：基于所述教师模型中的各组隐藏层与所述学生模型中的各隐藏层之间的相似度，确定当前的隐藏层对应关系；基于所述当前的隐藏层对应关系，应用所述教师模型对所述学生模型中的各隐藏层进行知识迁移，得到知识迁移后的学生模型，并将知识迁移后的学生模型作为学生模型，更新所述教师模型中的各组隐藏层与所述学生模型中的各隐藏层之间的相似度，直至知识迁移完成，得到所述序列标注模型。3.根据权利要求2所述的序列标注方法，其特征在于，所述将知识迁移后的学生模型作为学生模型，更新所述教师模型中的各隐藏层与所述学生模型中的各隐藏层之间的相似度，直至知识迁移完成，得到所述序列标注模型，包括：将知识迁移后的学生模型作为学生模型，更新所述教师模型中的各组隐藏层与所述学生模型中的各隐藏层之间的相似度，直至所述当前的隐藏层对应关系固定；基于固定的隐藏层对应关系，应用所述教师模型对所述学生模型中的各隐藏层进行知识迁移，直至知识迁移完成，得到所述序列标注模型。4.根据权利要求1至3中任一项所述的序列标注方法，其特征在于，所述应用所述教师模型对所述学生模型中的各隐藏层进行知识迁移，包括：基于维度转换参数，将所述教师模型中的各组隐藏层的第一输出和所述学生模型中的各隐藏层的第二输出转换至相同维度，所述维度转换参数是基于所述教师模型的模型宽度和所述学生模型的模型宽度确定的；基于维度转换后的第一输出和第二输出，对所述学生模型中的各隐藏层进行知识迁移。5.根据权利要求1至3中任一项所述的序列标注方法，其特征在于，所述应用所述教师模型对所述学生...

【专利技术属性】
技术研发人员：刘晓俊，张浩宇，吴飞，方四安，
申请(专利权)人：合肥讯飞数码科技有限公司，
类型：发明
国别省市：