一种基于注意力和有效程度的BERT模型打分方法技术

本发明专利技术涉及打分方法技术领域，具体涉及一种基于注意力和有效程度的BERT模型打分方法，包括以下步骤：(1)取待打分的数据集，将数据集进行有效程度的预处理，(2)在BERT模型的网络层后，引入注意力机制，(3)采用引入注意力机制的BERT模型，对预处理后的数据集进行打分处理；本发明专利技术针对待打分的数据集，通过对数据清洗，能够有效的去除数据中的无关符号，有效的提升了数据集中数据的有效程度，采用具有很强特征抽取能力的BERT模型进行打分处理，并在BERT模型中引入注意力机制，极大的提升了BERT模型的性能，可以关注句子中不同类别的语义信息，能够在提升注意力和有效程度的基础上，有效的实现打分的准确性以及速度。效的实现打分的准确性以及速度。效的实现打分的准确性以及速度。

【技术实现步骤摘要】
一种基于注意力和有效程度的BERT模型打分方法


[0001]本专利技术涉及打分方法
，具体涉及一种基于注意力和有效程度的BERT模型打分方法。

技术介绍

[0002]随着媒体形式的改变和发展，互联网中涌现了海量的文本数据，为了使人们能够精确、快速的获取自己想要的信息。目前文本题要生成技术按照其生成形式可分类为：抽取式与生成式。在抽取式摘要生成技术中通常对原文档中所有句子或词组，根据人类语言特征进行打分，选择分值高且冗余度较小的句子直接组成摘要，该方法实现起来较为简单，但是生成的题要往往存在语法错误、句子连贯性差等问题。而生成式方法相比而言所生成的摘要更符合人类撰写的标准，且句式整洁、可读性强，因而备受研究者关注。
[0003]随着预训练语言模型在自然语言处理多项任务中取得良好的效果，研究者们尝试将预训练模型引入到摘要生成任务中。但是目前使用于训练知识的模型所生成的中文题要质量并不理想，而且不能有效全面的表达出原文档的主要信息。
[0004]综上所述，研发一种基于注意力和有效程度的BERT模型打分方法，仍是打分方法
中急需解决的关键问题。

技术实现思路

[0005]针对现有技术所存在的上述缺点，本专利技术在于提供一种基于注意力和有效程度的BERT模型打分方法，本专利技术针对待打分的数据集，通过对数据清洗，能够有效的去除数据中的无关符号，有效的提升了数据集中数据的有效程度，采用具有很强特征抽取能力的BERT模型进行打分处理，并在BERT模型中引入注意力机制，极大的提升了BERT模型的性能，可以关注句子中不同类别的语义信息，能够在提升注意力和有效程度的基础上，有效的实现打分的准确性以及速度，具有广泛的应用前景。
[0006]为实现本专利技术的目的，本专利技术提供了如下技术方案：
[0007]一种基于注意力和有效程度的BERT模型打分方法，包括以下步骤：
[0008](1)获取待打分的数据集，将数据集进行有效程度的预处理；
[0009](2)在BERT模型的网络层后，引入注意力机制；
[0010](3)采用引入注意力机制的BERT模型，对预处理后的数据集进行打分处理。
[0011]本专利技术进一步设置为：在步骤(1)中，对数据集进行有效程度的预处理，包括以下步骤：
[0012]11)对数据集中的数据清洗，去除数据中的无关符号；
[0013]12)将清洗后的数据按照句子形式进行划分，并在每条句子前后分别加上识别标识。
[0014]本专利技术进一步设置为：在步骤11)中，数据清洗内容包括特殊标点符号、空白字符、空格、时间标识、非中文标点符号以及将英文单词大写转为小写。
[0015]本专利技术进一步设置为：在步骤12)中，按照设定的数据长度，将数据句子在长度范围内截断分割，然后在每条句子前后分别加上识别符号。
[0016]本专利技术进一步设置为：在步骤(2)中，所述的注意力机制是指分配给BERT模型的网络层输出的每个上下文特征向量不同的权重，获取句子的全局语义信息。
[0017]本专利技术进一步设置为：在步骤(3)中，对预处理后的数据集进行打分处理，包括以下步骤：
[0018]21)设输入的句子为S，其含有t个字符，且t在设定的数据长度内，则将{[CLS]，P1,P2，...，P
t
，[SEP]}作为BERT模型的输入序列，其中，[CLS]为开始识别标识，[SEP]为结束识别标识，P
t
为该句子中的单个字符；
[0019]22)获取句子S的表示序列W＝[W1，W2，W3，...，W
m
]；
[0020]23)将序列W＝[W1，W2，W3，...，W
m
]作为BERT模型网络层的输入序列，得到句子S在网络层的输出序列K＝[K1，K2，K3，...，K
m
]；
[0021]24)引入注意力机制，获取句子的全局语义信息，即获取句子关系预测的向量M；
[0022]25)将整个句子的向量M放入到softmax分类器中，对实体关系类型进行预测，获取打分结果。
[0023]本专利技术进一步设置为：在步骤24)中，关系预测的向量M＝Kα
T
，其中α＝softmax(Y
T
Q)，Q＝tanm(M),Q为待学习的参数矩阵。
[0024]本专利技术进一步设置为：在步骤25)中，打分结果输出公式为：G＝argmaxJ(g/S)，其中，J(g/S)＝softmax(QM+d)，d为偏差向量，Q为参数矩阵。
[0025]有益效果
[0026]采用本专利技术提供的技术方案，与已知的公有技术相比，具有如下有益效果：
[0027]在本专利技术针对待打分的数据集，通过对数据清洗，能够有效的去除数据中的无关符号，有效的提升了数据集中数据的有效程度，采用具有很强特征抽取能力的BERT模型进行打分处理，并在BERT模型中引入注意力机制，极大的提升了BERT模型的性能，可以关注句子中不同类别的语义信息，能够在提升注意力和有效程度的基础上，有效的实现打分的准确性以及速度。
附图说明
[0028]图1为一种基于注意力和有效程度的BERT模型打分方法的流程图。
具体实施方式
[0029]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将对本专利技术实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0030]为了实现本专利技术的效果，下面结合实施例对本专利技术作进一步的描述。
[0031]实施例：
[0032]参照图1所示，一种基于注意力和有效程度的BERT模型打分方法，包括以下步骤：
[0033](1)获取待打分的数据集，将数据集进行有效程度的预处理。
[0034]对数据集进行有效程度的预处理，包括以下步骤：
[0035]11)对数据集中的数据清洗，去除数据中的无关符号，数据清洗内容包括特殊标点符号、空白字符、空格、时间标识、非中文标点符号以及将英文单词大写转为小写。
[0036]12)将清洗后的数据按照句子形式进行划分，并在每条句子前后分别加上识别标识，按照设定的数据长度，将数据句子在长度范围内截断分割，然后在每条句子前后分别加上识别符号。
[0037]在本步骤中，通过对数据清洗，能够有效的去除数据中的无关符号，有效的提升了数据集中数据的有效程度，在本实施例中，为了使得数据长度能够满足BERT模型的需求，将数据长度控制在510个字符内，其中包括开始标识字符[CLS]以及结束标识字符[SEP]。
[0038](2)在BERT模型的网络层后，引入注意力机制。
[0039]注意力机制是指分配给BERT模型的网络层输出的每个上下文特征向量不同的权重，获取句子的全局本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力和有效程度的BERT模型打分方法，其特征在于，包括以下步骤：(1)获取待打分的数据集，将数据集进行有效程度的预处理；(2)在BERT模型的网络层后，引入注意力机制；(3)采用引入注意力机制的BERT模型，对预处理后的数据集进行打分处理。2.根据权利要求1所述的一种基于注意力和有效程度的BERT模型打分方法，其特征在于，在步骤(1)中，对数据集进行有效程度的预处理，包括以下步骤：11)对数据集中的数据清洗，去除数据中的无关符号；12)将清洗后的数据按照句子形式进行划分，并在每条句子前后分别加上识别标识。3.根据权利要求1所述的一种基于注意力和有效程度的BERT模型打分方法，其特征在于，在步骤11)中，数据清洗内容包括特殊标点符号、空白字符、空格、时间标识、非中文标点符号以及将英文单词大写转为小写。4.根据权利要求1所述的一种基于注意力和有效程度的BERT模型打分方法，其特征在于，在步骤12)中，按照设定的数据长度，将数据句子在长度范围内截断分割，然后在每条句子前后分别加上识别符号。5.根据权利要求1所述的一种基于注意力和有效程度的BERT模型打分方法，其特征在于，在步骤(2)中，所述的注意力机制是指分配给BERT模型的网络层输出的每个上下文特征向量不同的权重，获取句子的全局语义信息。6.根据权利要求1所述的一种基于注意力和有效程度的BERT模型打分方法，其特征在于，在步骤(3)中，对预处理后的数据集进行打分处理，包括以下步...

【专利技术属性】
技术研发人员：徐嘉昊，张帆，
申请(专利权)人：绍兴兰红智能科技有限公司，
类型：发明
国别省市：