一种标签语义识别方法、装置及电子设备制造方法及图纸

本申请实施例公开了一种标签语义识别方法、装置及电子设备，其中，所述标签语义识别的识别模型包括第一部分参数和第二部分参数，其中，所述第二部分参数是为了适配其他业务而在所述第一部分参数基础上增加的参数，所述方法包括：获得与所述第一部分参数对应的第一模型层的第一输出数据；获得与所述第二部分参数对应的第二模型层的第二输出数据，所述第二部分参数为基于小样本标注数据确定；基于所述第一输出数据和所述第二输出数据处理得到第一识别结果，其中，所述第一输出数据对所述第一识别结果的影响作用大于所述第二输出数据对所述第一识别结果的影响作用。述第一识别结果的影响作用。述第一识别结果的影响作用。

【技术实现步骤摘要】
一种标签语义识别方法、装置及电子设备


[0001]本申请自然语言处理
，更具体的说，是涉及一种标签语义识别方法、装置及电子设备。

技术介绍

[0002]命名实体识别，是指识别文本中具有特定意义的实体，比如人名、地名、组织机构名、专有名词等。命名实体识别是信息抽取、问答系统、知识图谱等应用领域的重要基础工具，在自然语言处理技术落地化应用中占有重要地位。
[0003]目前，命名实体识别主要采用“预训练+微调”的解决方案：首先在大规模语料上预训练模型，然后在得到的预训练语言模型基础上引入一些额外的参数适配下游任务，利用下游任务标注数据对引入的这些额外参数进行微调。但这种方案在微调过程中还是会存在一些问题。

技术实现思路

[0004]有鉴于此，本申请提供如下技术方案：
[0005]一种标签语义识别方法，所述标签语义识别的识别模型包括第一部分参数和第二部分参数，其中，所述第二部分参数是为了适配其他业务而在所述第一部分参数基础上增加的参数，所述方法包括：
[0006]获得与所述第一部分参数对应的第一模型层的第一输出数据；
[0007]获得与所述第二部分参数对应的第二模型层的第二输出数据，所述第二部分参数为基于小样本标注数据确定；
[0008]基于所述第一输出数据和所述第二输出数据处理得到第一识别结果，其中，所述第一输出数据对所述第一识别结果的影响作用大于所述第二输出数据对所述第一识别结果的影响作用。
[0009]可选地，还包括：
[0010]基于所述第一模型层，采用标签语义化和第一方法获得所述识别模型的标签表征。
[0011]可选地，所述基于所述第一模型层，采用标签语义化和第一方法获得所述识别模型的标签表征，包括：
[0012]基于所述第一模型层，采用标签语义化和提示学习方法获得所述识别模型的标签表征。
[0013]可选地，所述第一识别结果包括多个要素表征，所述标签表征包括多个标签类型，所述方法还包括：
[0014]基于所述标签表征确定所述第一识别结果的标签结果，包括：针对每一个要素表征，将与其最接近的标签类型确定为该要素表征的标签类型，所述标签结果包括所述第一识别结果中所有要素表征的标签类型。
[0015]可选地，在所述基于所述标签表征确定所述第一识别结果的标签结果后，还包括：
[0016]基于所述标签结果调整所述第二部分参数。
[0017]可选地，其中，所述识别模型的标签表征的维度为K*d，K为所述标签表征对应的标签类别的数量，d为所述第一模型层输出层的维度。
[0018]可选地，所述基于所述第一输出数据和所述第二输出数据处理得到第一识别结果，包括：
[0019]将所述第一输出数据和第一权重的乘积确定为第一结果数据；
[0020]将所述第二输出数据和第二权重的乘积确定为第二结果数据，所述第一权重和所述第二权重的和为1，所述第一权重大于所述第二权重；
[0021]将所述第一结果数据和所述第二结果数据的和确定为第一识别结果。
[0022]可选地，其中，所述第一模型层包括多个Transformer结构，所述第二模型层包括多个Transformer结构或包括多个全连接结构。
[0023]本申请还公开了一种标签语义识别装置，所述标签语义识别的识别模型包括第一部分参数和第二部分参数，其中，所述第二部分参数是为了适配其他业务而在所述第一部分参数基础上增加的参数，所述装置包括：
[0024]第一数据获得模块，用于获得与所述第一部分参数对应的第一模型层的第一输出数据；
[0025]第二数据获得模块，用于获得与所述第二部分参数对应的第二模型层的第二输出数据，所述第二部分参数为基于小样本标注数据确定；
[0026]结果获得模块，用于基于所述第一输出数据和所述第二输出数据处理得到第一识别结果，其中，所述第一输出数据对所述第一识别结果的影响作用大于所述第二输出数据对所述第一识别结果的影响作用。
[0027]进一步地，本申请还公开了一种电子设备，包括标签语义的识别模型，所述识别模型包括第一部分参数和第二部分参数，其中，所述第二部分参数是为了适配其他业务而在所述第一部分参数基础上增加的参数，还包括：
[0028]处理器；
[0029]存储器，用于存储所述处理器的可执行程序指令；
[0030]其中，所述可执行程序指令包括：获得与所述第一部分参数对应的第一模型层的第一输出数据；获得与所述第二部分参数对应的第二模型层的第二输出数据，所述第二部分参数为基于小样本标注数据确定；基于所述第一输出数据和所述第二输出数据处理得到第一识别结果，其中，所述第一输出数据对所述第一识别结果的影响作用大于所述第二输出数据对所述第一识别结果的影响作用。
[0031]经由上述的技术方案可知，本申请实施例公开了一种标签语义识别方法、装置及电子设备，其中，所述标签语义识别的识别模型包括第一部分参数和第二部分参数，其中，所述第二部分参数是为了适配其他业务而在所述第一部分参数基础上增加的参数，所述方法包括：获得与所述第一部分参数对应的第一模型层的第一输出数据；获得与所述第二部分参数对应的第二模型层的第二输出数据，所述第二部分参数为基于小样本标注数据确定；基于所述第一输出数据和所述第二输出数据处理得到第一识别结果，其中，所述第一输出数据对所述第一识别结果的影响作用大于所述第二输出数据对所述第一识别结果的影
响作用。上述方案在获得识别结果的过程中会控制将第一输出数据对识别结果的影响作用放大，并将第二输出数据对识别结果的影响作用减小，从而降低基于小样本标注数据确定的第二部分参数对识别结果的影响作用，使得识别结果的准确度更高。
附图说明
[0032]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0033]图1为本申请实施例公开的一种标签语义识别方法的流程图；
[0034]图2为本申请实施例公开的轻量化微调的实现模型示例图；
[0035]图3为本申请实施例公开的处理得到第一识别结果的流程图；
[0036]图4为本申请实施例公开的一种识别模型的结构示例图；
[0037]图5为本申请实施例公开的一种标签语义识别装置的结构示意图；
[0038]图6为本申请实施例公开的一种电子设备的结构示意图。
具体实施方式
[0039]为了引用和清楚起见，下文中使用的技术名词的说明、简写或缩写总结如下：
[0040]Transformer：Transformer模型是一种神经网络,它通过跟踪序列数据中的关系来学习上下文并因此学习含义。Transformer模型应用了一组不断发展的数学技术,称为注意力或自我注意力本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种标签语义识别方法，所述标签语义识别的识别模型包括第一部分参数和第二部分参数，其中，所述第二部分参数是为了适配其他业务而在所述第一部分参数基础上增加的参数，所述方法包括：获得与所述第一部分参数对应的第一模型层的第一输出数据；获得与所述第二部分参数对应的第二模型层的第二输出数据，所述第二部分参数为基于小样本标注数据确定；基于所述第一输出数据和所述第二输出数据处理得到第一识别结果，其中，所述第一输出数据对所述第一识别结果的影响作用大于所述第二输出数据对所述第一识别结果的影响作用。2.根据权利要求1所述的标签语义识别方法，还包括：基于所述第一模型层，采用标签语义化和第一方法获得所述识别模型的标签表征。3.根据权利要求2所述的标签语义识别方法，所述基于所述第一模型层，采用标签语义化和第一方法获得所述识别模型的标签表征，包括：基于所述第一模型层，采用标签语义化和提示学习方法获得所述识别模型的标签表征。4.根据权利要求2所述的标签语义识别方法，所述第一识别结果包括多个要素表征，所述标签表征包括多个标签类型，所述方法还包括：基于所述标签表征确定所述第一识别结果的标签结果，包括：针对每一个要素表征，将与其最接近的标签类型确定为该要素表征的标签类型，所述标签结果包括所述第一识别结果中所有要素表征的标签类型。5.根据权利要求4所述的标签语义识别方法，在所述基于所述标签表征确定所述第一识别结果的标签结果后，还包括：基于所述标签结果调整所述第二部分参数。6.根据权利要求2所述的标签语义识别方法，其中，所述识别模型的标签表征的维度为K*d，K为所述标签表征对应的标签类别的数量，d为所述第一模型层输出层的维度。7.根据权利要求1所述的标签语义识别方法，所述基于所述第一输出数据和所述第二输出数据处理得到第一识别结果，包括：将所述第一...

【专利技术属性】
技术研发人员：黄青山，罗军，
申请(专利权)人：联想北京有限公司，
类型：发明
国别省市：