本发明专利技术提供了一种基于神经网络模型的扬言文本分类方法、装置及存储介质，涉及文本识别领域，尤其涉及神经网络模型深度学习领域，可应用于对文本进行特征分析和语义挖掘，代替人工检测出带有危险性和威胁性的文本。其中具体方案包括：首先对行政复议文本进行预处理，得到中间结果作为特征输入到Bert模型中，再通过注意力机制融入字、句的双层编码，获得扬言类文本的语义化表示，最后通过加大错误识别扬言类文本的惩罚系数来增加模型的召回率，更加精确的定位扬言类文本的大致范围。并且本公开通过利用神经网络模型来辅助识别扬言信息，从而降低行政复议工作人员的劳动强度，节省人力成本，间接提升扬言可能引发事件的预先干预水平。平。
【技术实现步骤摘要】
一种基于神经网络模型的扬言文本分类方法、装置及存储介质
[0001]本专利技术涉及文本识别领域，尤其涉及神经网络模型深度学习领域。
技术介绍
[0002]扬言识别是指在行政复议过程产生的邮件等文本形式中，由计算机利用算法来识别出其中的扬言，其本质是对文本进行特征分析和语义挖掘，代替人工检测出带有危险性和威胁性的文本。解决这个识别问题的一个关键点是行政执法自动化分类的研究，另一种就是相对复杂的基于深度学习的方法。
[0003]然而行政复议中的扬言识别问题的研究，其本质上是一种兼顾异常语义文本分类算法和不平衡数据处理的分类研究问题。由于业务的特点，扬言类文本的语义清晰度不高，所以难以通过现有研究成果找到一种分类框架和算法，使得模型可以正确识别文本语义，精确筛选扬言的覆盖率达到人工水平。
技术实现思路
[0004]本专利技术提供了一种基于神经网络模型的扬言文本分类方法、装置以及存储介质。
[0005]根据本公开实施例的一方面，一种基于神经网络模型的扬言文本分类方法，其特征在于，所述方法包括：
[0006]步骤S1、获取行政复议文本，对行政复议文本进行预处理，得到中间结果；
[0007]步骤S2、将中间结果输入到Bert神经网络模型进行特征编码，得到特征编码结果；将特征编码结果进行向量转化，得到输入向量，并且应用多头自注意力机制增强输入向量的语义向量表示，得到中间结果和扬言分类之间的关系；将输入向量和中间结果和扬言分类之间的关系输入到激活函数中进行输出，得到输出向量；根据输出向量对行政复议文本进行二分类处理，得到扬言文本分类结果。
[0008]根据本公开实施例的另一方面，所述步骤S2具体包括：
[0009]将输入的所述中间结果进行语义化表示，并向语义化表示之后的中间结果中加入行政复议申请人信息的特征编码，得到所述特征编码结果；
[0010]将所述特征编码结果的每一个字或词转换为向量，并将字向量、文本向量和位置向量加和得到一维向量表示；
[0011]通过多头自注意力机制增强所述输入向量的语义向量表示，获取所述中间结果与扬言分类之间的关系；
[0012]将所述输入向量和所述中间结果与扬言分类之间的关系通过激活函数进行输出，得到反映每个字出现概率的输出向量，与真实值比对得到对比结果，根据所述对比结果
，
对损失函数优化模型训练，同时调整权重增加遗漏扬言的惩罚；
[0013]根据输出向量对所述行政复议文本进行二分类处理，得到扬言文本分类结果。
[0014]根据本公开实施例的另一方面，获取行政复议文本，对行政复议文本进行预处理，
得到中间结果，包括：
[0015]剔除行政复议文本中的缺失值文本和不带有语义的文本；
[0016]使用正则表达式剔除行政复议文本中的转义符号、格式错误和无效信息；
[0017]对行政复议文本的相关人员的信息进行数据脱敏。
[0018]根据本公开实施例的另一方面，Bert神经网络模型中的损失层中使用的损失函数为加权交叉熵函数，其中加权交叉熵函数对输入向量中的扬言文本进行加权处理。
[0019]根据本公开实施例的另一方面，对得到的扬言文本分类结果针对召回率、精准率和F1值进行计算，其中召回率的计算方式1、精准率的计算方式2和F1值的计算方式3的表达式如下；
[0020]计算方式1：
[0021]计算方式2：
[0022]计算方式3：
[0023]其中，TP表示正确预测为扬言文本的个数，FP表示错误预测为扬言文本的个数，FN表示错误预测为非扬言文本的个数，recall表示召回率，precision表示精准率。
[0024]根据本公开实施例的另一方面，提供了一种Bert神经网络模型的训练方法，包括：
[0025]获取行政复议文本的训练样本数据，其中行政复议文本中包括扬言文本和非扬言文本；
[0026]将行政复议文本的训练样本数据输入到预设Bert神经网络模型中的要素编码层，获取特征编码结果；
[0027]将特征编码结果输入到预设Bert神经网络模型中的向量表示层，获取输入向量；
[0028]将输入向量输入到注意力层，获取训练样本和扬言分类的关系；
[0029]将输入向量和训练样本和扬言分类的关系输入到预设Bert神经网络模型中，获取输出向量；
[0030]根据输出向量进行二分类操作，获取扬言文本分类结果；
[0031]计算预设Bert神经网络模型的输出向量和所训练样本间的损失函数，基于损失函数对预设Bert神经网络模型的参数进行训练，将训练后的预设Bert神经网络模型确定为训练好的预设Bert神经网络模型。
[0032]根据本公开实施例的另一方面，提供了一种基于神经网络模型的扬言识别装置，包括：
[0033]中间结果确定模块：获取行政复议文本，对行政复议文本进行预处理，得到中间结果；
[0034]特征编码结果确定模块：将中间结果输入到Bert神经网络模型进行特征编码，得到特征编码结果；
[0035]输入向量确定模块：将特征编码结果进行向量转化，得到输入向量，并且应用多头自注意力机制增强输入向量的语义向量表示，得到中间结果和扬言分类之间的关系；
[0036]输出向量确定模块：将输入向量和中间结果和扬言分类之间的关系输入到激活函数中进行输出，得到输出向量；
[0037]分类结果确定模块：根据输出向量对行政复议文本进行二分类处理，得到扬言文本分类结果。
[0038]根据本公开实施例的另一方面，提供了一种Bert神经网络模型的训练装置，包括：
[0039]训练样本确定模块：获取行政复议文本的训练样本数据，其中行政复议文本中包括扬言文本和非扬言文本；
[0040]特征编码结果确定模块：将行政复议文本的训练样本数据输入到预设Bert神经网络模型中的要素编码层，获取特征编码结果；
[0041]输入向量确定模块：将特征编码结果输入到预设Bert神经网络模型中的向量表示层，获取输入向量；
[0042]关系确定模块：将输入向量输入到注意力层，获取训练样本和扬言分类的关系；
[0043]输出向量确定模块：将输入向量和训练样本和扬言分类的关系输入到预设Bert神经网络模型中，获取输出向量；
[0044]分类结果确定模块：根据输出向量进行二分类操作，获取扬言文本分类结果；
[0045]神经网络模型确定模块：计算预设Bert神经网络模型的输出向量和所训练样本间的损失函数，基于损失函数对预设Bert神经网络模型的参数进行训练，将训练后的预设Bert神经网络模型确定为训练好的预设Bert神经网络模型。
[0046]根据本公开实施例的另一方面，提供了一种计算机可读存储介质，其特征在于，计算机可读存储介质上存储有计算机程序，处理器执行计算机程序，实现上所第一个方面的基于神经网络模型的扬言识别方法。
[004本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于神经网络模型的扬言文本分类方法，其特征在于，所述方法包括：步骤S1、获取行政复议文本，对所述行政复议文本进行预处理，得到中间结果；步骤S2、将所述中间结果输入到Bert神经网络模型进行特征编码，得到特征编码结果；将所述特征编码结果进行向量转化，得到输入向量，并且应用多头自注意力机制增强所述输入向量的语义向量表示，得到所述中间结果和扬言分类之间的关系；将所述输入向量和所述中间结果和扬言分类之间的关系输入到激活函数中进行输出，得到输出向量；根据输出向量对所述行政复议文本进行二分类处理，得到扬言文本分类结果。2.根据权利要求1所述的方法，其特征在于，所述步骤S2具体包括：将输入的所述中间结果进行语义化表示，并向语义化表示之后的中间结果中加入行政复议申请人信息的特征编码，得到所述特征编码结果；将所述特征编码结果的每一个字或词转换为向量，并将字向量、文本向量和位置向量加和得到一维向量表示；通过多头自注意力机制增强所述输入向量的语义向量表示，获取所述中间结果与扬言分类之间的关系；将所述输入向量和所述中间结果与扬言分类之间的关系通过激活函数进行输出，得到反映每个字出现概率的输出向量，与真实值比对得到对比结果，根据所述对比结果
，
对损失函数优化模型训练，同时调整权重增加遗漏扬言的惩罚；根据输出向量对所述行政复议文本进行二分类处理，得到扬言文本分类结果。3.根据权利要求1所述的方法，其特征在于，所述获取行政复议文本，对所述行政复议文本进行预处理，得到中间结果，包括：剔除所述行政复议文本中的缺失值文本和不带有语义的文本；使用正则表达式剔除所述行政复议文本中的转义符号、格式错误和无效信息；对所述行政复议文本的相关人员的信息进行数据脱敏。4.根据权利要求1
‑
2中任意一项所述的方法，其特征在于，所述Bert神经网络模型中的损失层中使用的所述损失函数为加权交叉熵函数，其中所述加权交叉熵函数对所述输入向量中的扬言文本进行加权处理。5.根据权利要求1所述的方法，其特征在于，对得到的所述扬言文本分类结果针对召回率、精准率和F1值进行计算，其中所述召回率的计算方式1、所述精准率的计算方式2和所述F1值的计算方式3的表达式如下；计算方式1：计算方式2：计算方式3：其中，TP表示正确预测为扬言文本的个数，FP表示错误预测为扬言文本的个数，FN表示错误预测为非扬言文本的个数，recall表示所述召回率，precision表示所述精准率。6.一种Bert神经网络模型的训练方法，其特征在于，包括：获取行政复议文本的训练样本数据，其中所述行政复议文本中包括扬言文本和非扬...
【专利技术属性】
技术研发人员：王昊天，
申请(专利权)人：对外经济贸易大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。