基于联合学习的实体标准化方法、装置、设备及可读介质制造方法及图纸

本申请公开了一种基于联合学习的实体标准化方法、装置、设备及可读介质，其中基于联合学习的实体标准化方法包括以下步骤：获取待识别的文本语句；通过对待识别的文本语句进行按字分词，得到按字分词结果；对按字分词结果进行编码，得到编码结果；将编码结果输入层叠式指针网络，得到实体结果；将编码结果和实体结果相加并输入到softmax分类器，得到实体标准化结果。相比于现有技术，本申请的实施例先通过对待识别的文本语句进行按字分词和编码，然后将编码结果输入层叠式指针网络，得到实体结果，并通过将编码结果和实体结果进行联合训练，解决传统方法的误差传递，从而提高了实体标准化的准确率。标准化的准确率。标准化的准确率。

【技术实现步骤摘要】
基于联合学习的实体标准化方法、装置、设备及可读介质


[0001]本申请涉及计算机
，具体涉及一种基于联合学习的实体标准化方法、装置、设备及可读介质。

技术介绍

[0002]随着自然语言处理技术的迅速发展，推动智能机器人的发展，在医疗领域，在线智能问诊机器人已得到广泛应用。但是问诊机器人在问诊的时候，由于用户输入的医疗文本通常具有不连续性，且缺少专业知识，用户经常会使用口语化的描述性语言进行表达，如表达“头痛”时语言可能是“头有点痛”或者“头很痛”，从而导致现有的医疗文本识别方法的识别准确性较差。
[0003]为了提高问诊机器人的问诊效率，通常会先将各种不同类型的口语化表达映射到统一的标准中。目前业界使用较多的方案是先通过NER(Named Entity Recognition，命名实体识别)算法识别出客户说的话中的实体，然后再通过分类的方法把NER算法识别的实体加上原句子得到最后实体标准化的结果。如句子“我头有点痛”，NER算法识别出“头有点痛”且实体类型为症状，再将“头有点痛”和“我头有点痛”编码，编码后再拼接，输入到分类器中，最后分类算法得到标准化的实体“头痛”,这种方法中的NER算法和分类算法是分开训练的，存在误差传递的问题，NER算法的误差会传递分类算法中，从而使得准确率下降。

技术实现思路

[0004]本申请的目的在于至少能解决上述现有技术中的技术问题之一。
[0005]第一方面，本申请的实施例提供了一种基于联合学习的实体标准化方法，包括以下步骤：获取待识别的文本语句；通过对待识别的文本语句进行按字分词，得到按字分词结果；对按字分词结果进行编码，得到编码结果；将编码结果输入层叠式指针网络，得到实体结果；将编码结果和实体结果相加并输入到softmax分类器，得到实体标准化结果。本申请的实施例先通过对待识别的文本语句进行按字分词和编码，然后将编码结果输入层叠式指针网络，得到实体结果，并通过将编码结果和实体结果进行联合训练，解决传统方法的误差传递，从而提高了实体标准化的准确率。
[0006]在一些实施例中，所述通过对待识别的文本语句进行按字分词，得到按字分词结果包括：
[0007]通过BERT的分词器对待识别的文本语句进行按字分词，得到按字分词结果。
[0008]在一些实施例中，所述对按字分词结果进行编码，得到编码结果包括：利用BERT对按字分词结果进行编码，得到编码结果。
[0009]在一些实施例中，所述将编码结果和实体结果相加并输入到softmax分类器，得到实体标准化结果包括：将编码结果和实体结果按位相加或者按元素相加并输入到softmax分类器，得到实体标准化结果。
[0010]在一些实施例中，构建第一目标函数对层叠式指针网络进行训练，并计算得到第
一函数损失；构建第二目标函数对softmax分类器进行训练，并计算得到第二函数损失；
[0011]将所述第一函数损失和所述第二函数损失进行相加计算，得到函数总损失；反向传播更新模型参数，直至验证数据集的准确率达到最优且模型的总损失收敛，完成模型训练。
[0012]在一些实施例中，所述第一目标函数为：
[0013][0014]其中，y
i
表示样本i的标签，正类为1，负类为0；p
i
表示样本i预测为正类的概率；
[0015]所述第二目标函数为：
[0016][0017]其中，M是类别的数量，y
ic
为符号函数，如果样本i的真实类别为c则取1，否则取0；p
ic
为样本i属于类别c的概率。
[0018]在一些实施例中，所述方法还包括：判断实体标准化结果的实体类型与通过NER获得的实体类型是否一致，如不一致则重新获取实体标准化结果。
[0019]第二方面，本申请的实施例提供了一种基于联合学习的实体标准化装置，包括：语句获取模块，用于获取待识别的文本语句；按字分词模块，用于对待识别文本语句进行按字分词，得到按字分词结果；编码模块，用于对得对按字分词结果进行编码，得到编码结果；实体识别模块，包括层叠式指针网络，用于识别编码结果中的实体，得到实体结果；加法模块，用于将编码结果和实体结果相加；分类模块，包括softmax分类器，用于对加法模块输出的结果进行识别，得到实体标准化结果。
[0020]第三方面，本申请的实施例提供了一种电子设备，包括：包括处理器以及存储器：
[0021]所述存储器被配置用于存储计算机程序，所述计算机程序在由所述处理器执行时，使得所述处理器执行如上任一项所述的方法。
[0022]第四方面，本申请的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上中任一所述的方法。
[0023]相比于现有技术，本申请的实施例提供的一种基于联合学习的实体标准化方法、装置、设备及可读介质，先通过对待识别的文本语句进行按字分词和编码，然后将编码结果输入层叠式指针网络，得到实体结果，并通过将编码结果和实体结果进行联合训练，解决传统方法的误差传递，从而提高了实体标准化的准确率。
附图说明
[0024]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0025]图1为本申请的一实施例的基于联合学习的实体标准化方法的流程示意图；
[0026]图2为本申请的一实施例的编码结果和实体结果相加的示例图。
具体实施方式
[0027]为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
[0028]图1示出了本申请实施例提供的一种基于联合学习的实体标准化方法的流程示意图。如图1所示，所述方法包括以下步骤：
[0029]步骤S10：获取待识别的文本语句。
[0030]其中，待识别的文本语句为需要进行实体标准化的文本语句，如待识别的文本语句可以是用户输入的口语化症状描述信息，如“我的头有点痛”。
[0031]优选的，对获取的待识别的文本语句进行去无用词处理，例如去除语句尾缀的“啊”、“呀”等语气助词。
[0032]步骤S20：通过对待识别的文本语句进行按字分词，得到按字分词结果。
[0033]具体的，对待识别的文本语句进行按字分词，得到按字分词结果。如待识别的文本语句为“我的头有点痛”，按字分词结果为[我，的，头，有，点，痛]。优选的，采用BERT(Bidirectional Encoder Representations from Transformers，基于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于联合学习的实体标准化方法，其特征在于，所述方法包括以下步骤：获取待识别的文本语句；通过对待识别的文本语句进行按字分词，得到按字分词结果；对按字分词结果进行编码，得到编码结果；将编码结果输入层叠式指针网络，得到实体结果；将编码结果和实体结果相加并输入到softmax分类器，得到实体标准化结果。2.根据权利要求1所述的基于联合学习的实体标准化方法，其特征在于，所述通过对待识别的文本语句进行按字分词，得到按字分词结果包括：通过BERT的分词器对待识别的文本语句进行按字分词，得到按字分词结果。3.根据权利要求2所述的基于联合学习的实体标准化方法，其特征在于，所述对按字分词结果进行编码，得到编码结果包括：利用BERT对按字分词结果进行编码，得到编码结果。4.根据权利要求1所述的基于联合学习的实体标准化方法，其特征在于，所述将编码结果和实体结果相加并输入到softmax分类器，得到实体标准化结果包括：将编码结果和实体结果按位相加或者按元素相加并输入到softmax分类器，得到实体标准化结果。5.根据权利要求1所述的基于联合学习的实体标准化方法，其特征在于，构建第一目标函数对层叠式指针网络进行训练，并计算得到第一函数损失；构建第二目标函数对softmax分类器进行训练，并计算得到第二函数损失；将所述第一函数损失和所述第二函数损失进行相加计算，得到函数总损失；之后训练模型，直至验证数据集的准确率达到最优且函数总损失收敛，完成模型训练。6.根据权利要求5所述的基于联合学习的实体标准化方法，其特征在于，所述...

【专利技术属性】
技术研发人员：黄杰，肖龙源，李稀敏，李威，
申请(专利权)人：厦门快商通科技股份有限公司，
类型：发明
国别省市：