一种识别方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种识别方法、装置、设备及存储介质。该方法包括：获取待识别序列，其中，所述待识别序列包括：待识别句子和待识别句子中的字符对应的词性信息；通过查找词向量表，得到与所述待识别序列对应的待识别向量；将所述待识别向量输入目标命名实体识别模型，得到所述待识别向量对应的第一类别概率，通过本发明专利技术的技术方案，能够降低模型的复杂度，提升模型的预测速度。型的预测速度。型的预测速度。

【技术实现步骤摘要】
一种识别方法、装置、设备及存储介质


[0001]本专利技术实施例涉及计算机
，尤其涉及一种识别方法、装置、设备及存储介质。

技术介绍

[0002]方案一、对于命名实体识别任务，传统方案大多以中文句子序列作为模型的输入，然后通过字符embedding对序列进行表示，通过网络模型进行特征提取，最后通过softmax和CRF网络层获得最终的序列标签预测结果。在一种快速命名实体识别方法中，作者在特征提取过程中选择了CNNs
‑
self
‑
attention模型，引入了字符的上下文表示以及全局的上下文表示。
[0003]方案二、采用对抗学习来丰富除了字符表示以外的特征。模型分为两部分：对抗学习部分和多任务学习部分。其中，对抗学习利用了三种类型的数：NER(命名实体识别)数据、CWS(中文分词)数据和POS(词性标注)数据通过词嵌入后分别作为共享bi
‑
LSTM的输入，通过梯度反转来进行对抗学习。多任务学习部分NER(命名实体识别)数据通过词嵌入经过私有的bi
‑
LSTM结构，再通过多头注意力层，经过softmax和CRF层进行训练；CWS(中文分词)数据和POS(词性标注)数据采用one
‑
hot编码各自经过自己私有的特征提取层进行训练。同时共享bi
‑
LSTM的特征也都输出到多任务学习的私有部分，形成对抗模型。
[0004]方案一缺点如下：
[0005]仅仅通过CNNs
‑
>self
‑
attention模型未能充分利用单词词性信息，不能很好的确定预测结果的边界；特征提取不充分；模型效果欠佳。
[0006]方案二缺点如下：
[0007]虽然该方案引入了分词信息，但是引入方式简单暴力，是一种间接结合，这样信息损失较多，使得预测结果不准确；另外模型太多臃肿，包含的结构太多，增加了训练和预测的资源消耗；特征提取过程使用的是bi
‑
LSTM，不能充分学习到双向的语义信息。

技术实现思路

[0008]本专利技术实施例提供一种识别方法、装置、设备及存储介质，以实现能够解决中文NER通常采用基于字符的embedding方式作为模型输入，未能充分利用单词词性信息，而增加引入单词词性信息能够更好的界定预测的边界，提高模型预测效果，当前的中文NER模型预测过程速度慢、内存占用大。目前主要的中文命名实体识别模型的特征提取部分选择了bi
‑
LSTM结构，但bi
‑
LSTM不能充分提取到字符左右的信息，仅仅是双向信息的叠加，未能充分利用字符的局部特征等问题，降低了模型的复杂度，提升了模型的预测速度。
[0009]第一方面，本专利技术实施例提供了一种识别方法，包括：
[0010]获取待识别序列，其中，所述待识别序列包括：待识别句子和待识别句子中的字符对应的词性信息；
[0011]通过查找词向量表，得到与所述待识别序列对应的待识别向量；
[0012]将所述待识别向量输入目标命名实体识别模型，得到所述待识别向量对应的第一类别概率。
[0013]第二方面，本专利技术实施例还提供了一种识别装置，该装置包括：
[0014]序列获取模块，用于获取待识别序列，其中，所述待识别序列包括：待识别句子和待识别句子中的字符对应的词性信息；
[0015]查找模块，用于通过查找词向量表，得到与所述待识别序列对应的待识别向量；
[0016]确定模块，用于将所述待识别向量输入目标命名实体识别模型，得到所述待识别向量对应的第一类别概率。
[0017]第三方面，本专利技术实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本专利技术实施例中任一所述的识别方法。
[0018]第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本专利技术实施例中任一所述的识别方法。
[0019]本专利技术实施例通过获取待识别序列，其中，所述待识别序列包括：待识别句子和待识别句子中的字符对应的词性信息；通过查找词向量表，得到与所述待识别序列对应的待识别向量；将所述待识别向量输入目标命名实体识别模型，得到所述待识别向量对应的第一类别概率，解决中文NER通常采用基于字符的embedding方式作为模型输入，未能充分利用单词词性信息，而增加引入单词词性信息能够更好的界定预测的边界，提高模型预测效果，当前的中文NER模型预测过程速度慢、内存占用大。目前主要的中文命名实体识别模型的特征提取部分选择了bi
‑
LSTM结构，但bi
‑
LSTM不能充分提取到字符左右的信息，仅仅是双向信息的叠加，未能充分利用字符的局部特征等问题，降低了模型的复杂度，提升了模型的预测速度。
附图说明
[0020]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0021]图1是本专利技术实施例中的一种识别方法的流程图；
[0022]图1a是本专利技术实施例中的网络结构示意图；
[0023]图1b是本专利技术实施例中的融合词汇表信息的示意图；
[0024]图1c是本专利技术实施例中的修改后的self
‑
attention机制的示意图；
[0025]图2是本专利技术实施例中的一种识别装置的结构示意图；
[0026]图3是本专利技术实施例中的一种电子设备的结构示意图；
[0027]图4是本专利技术实施例中的一种包含计算机程序的计算机可读存储介质的结构示意图。
具体实施方式
[0028]下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描
述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。此外，在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。
[0029]在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。此外，在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。
[0030]本专利技术使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种识别方法，其特征在于，包括：获取待识别序列，其中，所述待识别序列包括：待识别句子和待识别句子中的字符对应的词性信息；通过查找词向量表，得到与所述待识别序列对应的待识别向量；将所述待识别向量输入目标命名实体识别模型，得到所述待识别向量对应的第一类别概率。2.根据权利要求1所述的方法，其特征在于，所述待识别向量包括：至少一个待识别字符向量和至少一个待识别位置向量；相应的，将所述待识别向量输入目标命名实体识别模型，得到所述待识别向量对应的第一类别概率，包括：将所述至少一个待识别字符向量和至少一个待识别位置向量输入BERT模型，得到每个待识别字符向量对应的分数；将所述每个待识别字符向量对应的分数输入softmax层，得到每个待识别字符向量对应的第一命名实体识别标签，其中，所述第一命名实体识别标签包括：待识别字符向量对应的类别概率。3.根据权利要求1所述的方法，其特征在于，获取待识别序列包括：获取待识别句子；根据所述待识别句子查询词表，得到所述待识别句子中的字符对应的词性信息。4.根据权利要求1所述的方法，其特征在于，在将所述待识别向量输入目标命名实体识别模型，得到所述待识别向量对应的第一类别概率之后，还包括：将所述待识别向量对应的第一类别概率输入CRF层，得到待识别向量对应的目标类别概率，其中，所述CRF层的分数定义如下：其中，为待识别向量对应的第一类别概率，x
i
为单个字符的位置索引，y
i
为类别标签的位置索引，表示从类别标签y
i
转移到y
i+1
的概率,X为待识别序列，y＝(y1,y2,
…
,y
n
)，y为序列X对应的类别标签；根据序列X对应的类别标签计算得到目标概率：其中，Y
X
表示序列X对应的至少两个类别标签，表示遍历Y
X
；所述CRF层的损失函数为：其中，n为句子最大长度。5.根据权利要求1所述的方法，其特征在于，所述目标命名实体识别模型中的self
‑
attention方法通过如下公式实现：
其中，Q表示Query向量，K表示Key向量，V表示Value向量，Q＝K＝V，Q由两部分组成Q
s<...

【专利技术属性】
技术研发人员：万建伟，李松涛，贺凯，孙科，余非，裴卫民，冯文亮，
申请(专利权)人：上海浦东发展银行股份有限公司，
类型：发明
国别省市：