一种命名实体识别模型训练的优化方法、设备及存储介质技术

本发明专利技术涉及人工智能技术领域，特别是涉及一种命名实体识别模型训练的优化方法、设备及存储介质，所述方法包括：获取data中的m个实体类型的实体数量n，根据n和n的个体差异程度δ(n)将实体类型按照实体数量的多少划分为两个训练集，δ(n)与n和n的平均值的差距呈正相关，分别计算两个训练集中的实体类型的实体权重，将实体类型各自的实体权重与交叉熵损失权重的乘积加和作为模型的损失函数Loss，使用该损失函数Loss使命名实体识别模型收敛的更精准。失函数Loss使命名实体识别模型收敛的更精准。失函数Loss使命名实体识别模型收敛的更精准。

【技术实现步骤摘要】
一种命名实体识别模型训练的优化方法、设备及存储介质


[0001]本专利技术涉及人工智能
，特别是涉及一种命名实体识别模型训练的优化方法、设备及存储介质。

技术介绍

[0002]在命名实体识别任务中，命名实体识别模型的训练过程中需要损失函数来判断模型训练是否收敛，损失函数的作用就是描述模型的预测值与真实值之间的差距大小，以损失函数作为一个标准来帮助训练机制提高模型的识别准确率，即指导模型在训练过程中朝着收敛的方向前进，所以损失函数的计算直接影响着模型的识别精度。
[0003]CN110362814A中公开了一种基于改进损失函数的命名实体识别方法及装置，所述方法包括：将训练数据输入到命名实体识别模型中，得到训练数据中的实体的预测值和非实体的预测值；根据训练数据中的实体的真实值和预测值计算改进损失函数，或根据训练数据中的非实体的真实值和预测值计算改进损失函数；其中，改进损失函数用于提高训练数据中的实体样本的权重，并用于提高命名实体识别模型对模棱两可的训练数据的关注度。但是上述现有技术也存在着以下技术问题：不同实体类型的实体数量对模型损失函数的影响不同，出现概率比较低的实体类型，模型较难学会，因此模型训练时对所有实体采用同样的权重计算出的损失函数Loss的精准性较低，会导致模型训练达到收敛的判定不准确，导致模型准确率在提高到一定数值后难以继续提高。

技术实现思路

[0004]针对上述技术问题，本专利技术采用的技术方案为：一种命名实体识别模型训练方法，包括以下步骤：S100，获取u个数据集data中的m个实体类型的实体数量n={n1,n2,
…
,n
k
,
…
,n
m
}，其中，n
k
为第k个实体类型在data中的实体数量，k的取值范围为1到m。
[0005]S200，根据实体数量n获取实体数量平均值n
＇
和m个实体类型的个体差异程度δ(n)={δ(n1),δ(n2),
…
,δ(n
k
),
…
,δ(n
m
)}，其中，δ(n
k
)为第k个实体数量n
k
的个体差异程度，k的取值范围为1到m；δ(n
k
)与n
k
和n
＇
的差距正相关。
[0006]S300，获取个体差异程度δ(n)的平均值δ
＇
(n)，若δ(n
k
)≥δ
＇
(n)且n
k
≤n
＇
，则将第k个实体类型划分到第一训练集{Fentity1,Fentity2,
…
,Fentity
p
,
…
,Fentity
L
}，其中，Fentity
p
为第一训练集中的第p个实体类型集，1≤p≤L，否则，将第k个实体类型划分到第二训练集{Sentity1,Sentity2,
…
,Sentity
q
,
…
,Sentity
T
}，其中，Sentity
q
为第二训练集中的第q个实体类型集，1≤q≤T，且L+T=m。
[0007]S400，根据第一训练集中第p个实体类型Fentity
p
的实体类型权重f(h
p
)和调整因子factor_show_rate
p
获取第一训练集中第p个实体类型Fentity
p
的第一实体权重Fentity_weight
p
；Fentity_weight
p
分别与f(h
p
)和factor_show_rate
p
呈正相关；f(h
p
)与Fentity
p
的实体数量占比呈负相关，Fentity
p
的实体数量占比为实体数量n
p
在data所有实体数量中所
占的比例；factor_show_rate
p
与Fentity
p
的实体数量h
p
呈正相关且与包含Fentity
p
的data的数量呈负相关。
[0008]S500，根据第二训练集中的第q个实体类型Sentity
q
的实体数量获取Sentity
q
的第二实体权重Sentity_weight
q
，Sentity_weight
q
与Sentity
q
的实体数量占比呈负相关，Sentity
q
的实体数量占比为实体数量n
p
在data所有实体数量中所占的比例。
[0009]S600，获取命名实体识别模型的损失函数Loss；损失函数Loss满足：Loss=∑
Lp=1
(Floss
p
*Fentity_weight
p
)+∑
Tq=1
(Sloss
q
*Sentity_weight
q
)其中，Floss
p
为Fentity
p
的交叉熵损失函数，Sloss
q
为Sentity
q
的交叉熵损失函数,Fentity_weight
p
为Fentity
p
的第一实体权重，Sentity_weight
q
为Sentity
q
的第二实体权重。
[0010]本专利技术至少具有以下有益效果：本专利技术将实体类型按照实体数量多少划分为两个训练集，赋予两个训练集分别不同的实体权重entity_weight，提出了实体数量多的第一训练集在交叉熵损失函数基础上添加融合每个实体类型实体数量权重的第一实体权重，实体数量少的第二训练集在交叉熵损失函数基础上添加融合每个实体类型实体数量权重和调节因子的第二实体权重，增大data中出现频率低的实体类型在计算损失函数时的权重；损失权重的计算更准确，能够使模型收敛的更加精准，提高命名实体识别模型识别准确率。
附图说明
[0011]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0012]图1为本专利技术实施例提供的命名实体识别模型训练的优化方法的流程图。
具体实施方式
[0013]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种命名实体识别模型训练的优化方法，其特征在于，所述方法包括以下步骤：S100，获取u个数据集data中的m个实体类型的实体数量n={n1,n2,
…
,n
k
,
…
,n
m
}，其中，n
k
为第k个实体类型在data中的实体数量，k的取值范围为1到m；S200，根据实体数量n获取实体数量平均值n
＇
和m个实体类型的个体差异程度δ(n)={δ(n1),δ(n2),
…
,δ(n
k
),
…
,δ(n
m
)}，其中，δ(n
k
)为第k个实体数量n
k
的个体差异程度，k的取值范围为1到m；δ(n
k
)与n
k
和n
＇
的差距正相关；S300，获取个体差异程度δ(n)的平均值δ
＇
(n)，若δ(n
k
)≥δ
＇
(n)且n
k
≤n
＇
，则将第k个实体类型划分到第一训练集{Fentity1,Fentity2,
…
,Fentity
p
,
…
,Fentity
L
}，其中，Fentity
p
为第一训练集中的第p个实体类型集，1≤p≤L，否则，将第k个实体类型划分到第二训练集{Sentity1,Sentity2,
…
,Sentity
q
,
…
,Sentity
T
}，其中，Sentity
q
为第二训练集中的第q个实体类型集，1≤q≤T，且L+T=m；S400，根据第一训练集中第p个实体类型Fentity
p
的实体类型权重f(h
p
)和调整因子factor_show_rate
p
获取第一训练集中第p个实体类型Fentity
p
的第一实体权重Fentity_weight
p
；Fentity_weight
p
分别与f(h
p
)和factor_show_rate
p
呈正相关；f(h
p
)与Fentity
p
的实体数量占比呈负相关，Fentity
p
的实体数量占比为实体数量n
p
在data所有实体数量中所占的比例；所述factor_show_rate
p
与Fentity
p
的实体数量h
p
呈正相关且与包含Fentity
p
的data的数量呈负相关；S500，根据第二训练集中的第q个实体类型Sentity
q
的实体数量获取Sentity
q
的第二实体权重Sentity_weight
q
，Sentity_weight
q
与Sentity
q
的实体数量占比呈负相关，Sentity
q
的实体数量占比为实体数量n
p
在data所有实体数量中所占的比例；S600，获取命名实体识别模型的损失函数Loss；所述损失函数Loss满足：Loss=∑
Lp=1
(Floss
p
*Fentity_weight
p
)+∑
Tq=1
(Sloss
q
*Sentity_weight
q
)其中，Floss
p
为Fentity
p
的交叉熵损失函数，Sloss
q
为Sentity
q
的交叉熵损失函数,Fentity_weight
p
...

【专利技术属性】
技术研发人员：王全修，于伟，靳雯，赵洲洋，石江枫，王明超，
申请(专利权)人：日照睿安信息科技有限公司，
类型：发明
国别省市：