一种面向金融产品智能推荐系统的命名实体识别方法技术方案

一种面向金融产品智能推荐系统的命名实体识别方法，基于现有数据集微调BERT预训练模型，预测收集到的领域内其他未标注的数据，并使用置信度筛选机制挑选出可信样本；接着将更多的数据投入后续训练中；对每个样本通过BERT预训练模型生成词向量特征；根据词向量特征，使用多尺度卷积得到样本句子特征；并且对每个样本使用FLAT

【技术实现步骤摘要】
一种面向金融产品智能推荐系统的命名实体识别方法


[0001]本专利技术涉及自然语言处理与人工智能
，具体涉及一种面向金融产品智能推荐系统的命名实体识别方法。

技术介绍

[0002]命名实体识别指的是从给定的文本中提取出预定义实体的算法。如何使计算机准确编码一个句子的语义信息是智能推荐系统需要解决的一个关键问题。金融产品智能推荐系统在进行金融产品的推荐时，金融产品中的基本要素可以使用命名实体识别技术来进行提取，如组织机构名、日期时间、人名、地名、专有名词等。提取产品资讯中的实体对于智能推荐时代的金融产品推荐有着重要意义，如进行更加靳准的内容挖掘、对内容进行有效监督等。命名实体识别属于信息抽取领域，作为信息抽取的重要分支，其任务是标注语句中的实体，有着非常关键的意义。作为文本的基本单位，它包含大量的语义信息，在编码产品资讯语义信息方面有着重要作用。
[0003]传统基于特征工程的有监督学习方法解决命名实体识别时，需要人类进行手工提取特征，浪费了很多人力，并且人们的经验可能在特征的提取过程中出错从而导致误差的传播，方法的效果有限。
[0004]随着深度学习在自然语言处理领域的发展，越来越多的使用深度学习的命名实体识别方法被提出，如CN114462409A公开的一种基于对抗训练的审计领域命名实体识别方法、CN111291565A公开的一种用于命名实体识别的方法与装置。在这些方法中，需要将句子转换成词向量的形式，并通过深度学习模型进行一些运算，命名实体识别任务可以转换成一个令牌分类的问题。现有的金融领域存在数据量少的问题，而深度学习模型对于可信数据的依赖性比较高，少量的数据导致深度学习模型很难收敛，方法准确率不够高。最近在自然语言表示方面的进展使得将上游训练好的模型的内部状态迁移到下游的任务当中成为了可能，为了让每个令牌编码更加准确的语义，在令牌中融入更多准确的语义信息受到了广泛关注。同时，在现有的少量数据的情况下，引入更多可信数据以提升模型性能具有深远的意义。而传统使用序列标注的方式解决命名实体识别任务的方法没有在令牌中融入更多维度的信息，导致命名实体识别的精度不足，且在少量数据领域问题更加明显。

技术实现思路

[0005]为了克服现有技术中存在的命名实体识别方法准确率不够以及未充分发挥预训练模型性能的问题，提供一种面向金融产品智能推荐系统的命名实体识别方法，其能够精准识别金融产品推荐系统中产品资讯句子中的实体，可以在命名实体识别的公开数据上都取得优异的效果，在对准确率要求较高的金融产品智能推荐系统中具有良好的实用性。
[0006]技术方案：为实现上述目的，本专利技术提供一种面向金融产品智能推荐系统的命名实体识别方法，包括如下步骤：
[0007]S1：基于现有数据集微调BERT预训练模型，使用训练完成的模型预测收集到的领
域内其他未标注的数据，对于每条未标注样本得到特征矩阵E
pre
；
[0008]S2：根据E
pre
，使用置信度筛选机制得到样本的置信度；并将样本置信度大于阈值的样本作为可信样本，与原有的样本一起投入到后续的训练；
[0009]S3：为每条样本构造格子结构，生成具有格子结构的样本；得到原始样本向量s1和格子样本s2；
[0010]S4:将向量s2作为输入传给FLAT
‑
BERT模型，经过字词嵌入、位置嵌入、权重计算操作得到融入了字词特征的特征表示矩阵E
flat
；
[0011]S5：将向量s1作为输入传给BERT预训练模型，经过字词嵌入、位置嵌入、权重计算操作得到词向量特征表示矩阵E
bert
；
[0012]S6：将矩阵E
bert
分别通过卷积运算以及池化运算，得到向量l，并将l扩展成与E
flat
同样的形状，得到样本句子特征表示矩阵E
sentence
；将E
flat
、E
sentence
以等权重的方式在水平方向上进行拼接得到样本总体特征表示矩阵E
context
；
[0013]S7：使用线性变换矩阵T
predict
对E
context
进行线性变换，得到每一个令牌归属的命名实体，抽取出的实体即为识别的结果。
[0014]进一步地，所述步骤S1中词嵌入、位置嵌入、权重计算需要进行如下运算：
[0015]E
embedding
＝T
embedding
s1
[0016][0017][0018]E
input
＝E
embedding
+PE
[0019]E
pre
＝Self
‑
Attention(E
input
)
[0020]其中，s1是样本向量，T
embedding
是词向量矩阵，使用T
embedding
对s1进行线性变换得到词向量矩阵E
embedding
；接着使用sin和cos函数的线性变换来进行位置编码，其中PE
(pos，2i)
和PE
(pos，2i+1)
分别代表词向量中奇数位置和偶数位置的位置编码，得到位置编码矩阵PE；将PE与E
embedding
按照对应位置相加的方法得到最终的模型输入E
input
；对E
input
使用BERT中的自注意力算法Self
‑
Attention得到样本特征E
pre
。
[0021]进一步的，所述步骤S2中的置信度筛选机制根据E
pre
依次进行如下计算：
[0022]E
confidence
＝T
confidence
E
pre
[0023]P
confidence
＝Softmax(E
confidence
)
[0024]I
confidence
＝max(P
confidence
)
[0025][0026]P
sample
＝min(P
entity1
，P
entity2
，...，P
entityn
)
[0027]需要首先通过T
confidence
对E
pre
进行线性变换得到E
confidence
，其中E
confidence
表示了每一个令牌归属到每一个命名实体的得分，T
confidence
是对E
confidence
进行线性变换的矩阵；为了将得到的置信度矩阵E
co本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向金融产品智能推荐系统的命名实体识别方法，其特征在于：包括如下步骤：S1：基于现有数据集微调BERT预训练模型，经过词嵌入、位置嵌入、权重计算操作，使用训练完成的模型预测收集到的领域内其他未标注的数据，对于每条未标注样本得到特征矩阵E
pre
；S2：根据E
pre
，使用置信度筛选机制得到样本的置信度；并将样本置信度大于阈值的样本作为可信样本，与原有的样本一起投入到后续的训练；S3：为每条样本构造格子结构，生成具有格子结构的样本；得到原始样本向量s1和格子样本s2；S4:将向量s2作为输入传给FLAT
‑
BERT模型，经过字词嵌入、位置嵌入、权重计算操作得到融入了字词特征的特征表示矩阵E
flat
；S5：将向量s1作为输入传给BERT预训练模型，经过词嵌入、位置嵌入、权重计算操作得到词向量特征表示矩阵E
bert
；S6：将矩阵E
bert
分别通过卷积运算以及池化运算，得到向量l，并将l扩展成与E
flat
同样的形状，得到样本句子特征表示矩阵E
sentence
；将E
flat
、E
sentence
以等权重的方式在水平方向上进行拼接得到样本总体特征表示矩阵E
context
；S7：使用线性变换矩阵T
predict
对E
context
进行线性变换，得到每一个令牌归属的命名实体，抽取出的实体即为识别的结果。2.根据权利要求1所述的一种面向金融产品智能推荐系统的命名实体识别方法，其特征在于：所述步骤S1中词嵌入、位置嵌入、权重计算的具体计算过程如下：E
embedding
＝T
embedding
s1s1E
input
＝E
embedding
+PEE
pre
＝Self
‑
Attention(E
input
)其中，s1是样本向量，T
embedding
是词向量矩阵，使用T
embedding
对s1进行线性变换得到词向量矩阵E
embedding
；接着使用sin和cos函数的线性变换来进行位置编码，其中PE
(pos,2i)
和PE
(pos,2i+1)
分别代表词向量中奇数位置和偶数位置的位置编码，得到位置编码矩阵PE；将PE与E
embedding
按照对应位置相加的方法得到最终的模型输入E
input
；对E
input
使用BERT中的自注意力算法Self
‑
Attention得到样本特征E
pre
。3.根据权利要求1所述的一种面向金融产品智能推荐系统的命名实体识别方法，其特征在于：所述步骤S2中的置信度筛选机制根据E
pre
依次进行如下计算：E
confidence
＝T
confidence
E
pre
P
confidence
＝Softmax(E
confidence
)I
confidence
＝max(P
confidence
)P
sample
＝min(P
entity1
,P
entity2
,
…
,P
entityn
)需要首先通过T
confidence
对E
pre
进行线性变换得到E
confidence
，其中E
confidence
表示了每一个
令牌归属到每一个命名实体的得分，T
confidence
是对E
confidence
进行线性变换的矩阵；为了将得到的置信度矩阵E
confidence
表征为概率，使用Softmax方法对E
confidence
进行运算，其中Softmax是对特征矩阵E
confidence
中每一个令牌的特征向量进行归一化方法，进而得到每一个令牌的置信度I
confidence
，其中，I
confidence
表示每个令牌分类的分数；根据每一个令牌i的置信度再计算每个预测出的命名实体的置信度P
entity
，一个命名实体中可能包含多个令牌，根据命名实体所...

【专利技术属性】
技术研发人员：徐小龙，费岳凡，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：