一种基于神经网络模型的诉求分类方法技术

本发明专利技术提供了一种基于神经网络模型的诉求分类方法

【技术实现步骤摘要】
一种基于神经网络模型的诉求分类方法、装置及存储介质


[0001]本专利技术涉及文本分类领域，尤其涉及神经网络模型深度学习领域
。

技术介绍

[0002]提高诉求事项目的识别效果的关键是文本分类模型的构建与训练，其中文本分类领域近年来发展迅速，根据分类方法的原理不同，可以分为浅层学习分类方法与深度学习分类方法
。
虽然浅层学习模型具有一定的准确性与稳定性，但是这类模型依然依赖人工工作对文本特征进行建模，不能有效处理有偏和噪音数据
。
随着神经网络模型的出现，人工对于文本特征提取的工作的干预逐渐减少，神经网络模型可以自动为文本挖掘提供语义表示，并且在处理不平衡数据集以及多标签数据集时具有更佳的效果
。
但是深度学习是基于人工神经网络搭建而成的模型，缺乏了浅层模型的强大解释力
。

技术实现思路

[0003]本专利技术提供了一种基于神经网络模型的诉求分类方法
、
装置及存储介质，其中本专利技术通过预处理方法减少了文本噪音降低了神经网络模型的特征提取难度；结合置信学习构建了噪声筛选的步骤提升了训练效果
。
[0004]根据本公开实施例的一方面提供了一种基于神经网络模型的诉求分类方法，其特征在于，包括：
[0005]获取诉求文本，并对诉求文本进行预处理，得到中间结果；
[0006]根据中间结果，采用置信学习方法对中间结果中的噪声标签进行筛除，得到测试样本；
[0007]将测试样本输入至第一神经网络模型进行特征提取，得到诉求类别
。
[0008]根据本公开实施例的另一方面，其中，获取诉求文本，并对诉求文本进行预处理，得到中间结果，包括：
[0009]对诉求文本中的脱敏信息采用标识符替换，并且剔除诉求文本中重复部分的文本和文本噪声，得到整理结果；
[0010]对整理结果进行词向量训练，得到中间结果
。
[0011]根据本公开实施例的另一方面，其中，对整理结果进行词向量训练，得到中间结果，包括：
[0012]获取整理结果的文本长度，对整理结果的文本长度进行统一，得到截断长度；
[0013]根据整理结果的文本长度和截断长度，对整理结果采用截断和补齐的方式进行规整，得到中间结果
。
[0014]根据本公开实施例的另一方面，第一神经网络模型的获取过程包括：
[0015]获取诉求文本，将诉求文本划分为训练集样本数据
、
验证集样本数据和测试集样本数据；
[0016]将训练集样本数据输入到第二神经网络模型的向量转化层，得到向量化样本数
据；
[0017]将向量化样本数据输入到第二神经网络模型的卷积层，通过滤波器采用最大池化的方法提取特征并对提取出的特征进行拼接，得到拼接特征；
[0018]将拼接特征输入到第二神经网络模型的全连接层，通过
softmax
函数进行训练，得到分类结果；
[0019]根据分类结果和验证集对第二神经网络模型进行参数调整，获得超参数，根据超参数确定第一神经网络模型
。
[0020]根据本公开的另一方面，其中，根据中间结果，采用置信学习方法对中间结果中的噪声标签进行筛除，得到测试样本，包括：
[0021]对中间结果进行标注得到真实标签，根据十折交叉验证方法，将标注后的中间结果分别输入到卷积神经网络模型
、
循环神经网络和
FastText
模型中
,
得到第一预测标签
、
第二预测标签和第三预测标签；
[0022]根据第一预测标签
、
第二预测标签和第三预测标签进行噪声判定，筛选出第一噪声标签
、
第二噪声标签和第三噪声标签；
[0023]根据第一噪声标签
、
第二噪声标签和第三噪声标签进行交集处理得到第四噪声标签；
[0024]剔除中间结果中第四噪声标签对应的真实标签，得到测试样本
。
[0025]根据本公开实施例的另一方面，其中，十折交叉验证方法，包括：
[0026]对中间结果进行标注得到真实标签；
[0027]生成
N
个神经网络模型，其中
N
大于等于2，并将中间结果分别输入给的
N
个神经网络模型，得到
N
个神经网络模型的预测标签；
[0028]当的
N
个神经网络模型针对中间结果中的数据输出的预测标签和真实标签存在不一致的状况大于等于
N/2
次，且小于等于
N
次的时候，则确定预测标签对应的真实标签为噪声标签
。
[0029]根据本公开实施例的另一方面，其中，将测试样本输入至第一神经网络模型进行特征提取，得到诉求类别，包括：
[0030]将测试样本划分为训练集
、
验证集和测试集，并训练集进行向量化处理，得到文本矩阵；
[0031]将文本矩阵输入至第一神经网络模型模型中的卷积层进行特征提取，并且进行特征拼接，得到拼接特征；
[0032]将拼接特征接入卷积神经网络模型模型的全连接层进行分类，得到诉求类别
。
[0033]根据本公开实施例的另一方面，提供了一种基于神经网络模型的诉求分类装置，其特征在于，包括：
[0034]中间结果确定模块：获取诉求文本，并对诉求文本进行预处理，得到中间结果；
[0035]测试样本确定模块：根据中间结果，采用置信学习方法对中间结果中的噪声标签进行筛除，得到测试样本；
[0036]诉求类别确定模块：将测试样本输入至第一神经网络模型进行特征提取，得到诉求类别
。
[0037]根据本公开实施例的另一方面，一种计算机可读存储介质，其特征在于，计算机可
读存储介质上存储有计算机程序，处理器执行计算机程序，实现如第一项技术特征中任一项的基于神经网络模型的诉求分类方法
。
[0038]本公开实施例采用以上技术方案，至少具备以下有益效果：
[0039]本专利技术结合了诉求文本的特点，提出了基于神经网络模型的诉求分类方法
。
该模型方法通过分析诉求文本特点构建了预处理流程，采用了置信学习筛选噪声标签，最终构建
CNN
网络提取文本特征完成分类
。
该方法的主要创新点有：通过预处理方法减少了文本噪音降低了神经网络模型的特征提取难度；结合置信学习构建了噪声筛选的步骤提升了训练效果
。
[0040]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开实施
。
附图说明
[0041]为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于神经网络模型的诉求分类方法，其特征在于，包括：获取诉求文本，并对所述诉求文本进行预处理，得到中间结果；根据所述中间结果，采用置信学习方法对所述中间结果中的噪声标签进行筛除，得到测试样本；将所述测试样本输入至第一神经网络模型进行特征提取，得到诉求类别
。2.
根据权利要求1所述的方法，其特征在于，其中，获取诉求文本，并对所述诉求文本进行预处理，得到中间结果，包括：对所述诉求文本中的脱敏信息采用标识符替换，并且剔除所述诉求文本中重复部分的文本和文本噪声，得到整理结果；对所述整理结果进行词向量训练，得到所述中间结果
。3.
根据权利要求2所述的方法，其特征在于，其中，对所述整理结果进行词向量训练，得到所述中间结果，包括：获取所述整理结果的文本长度，对所述整理结果的文本长度进行统一，得到截断长度；根据所述整理结果的文本长度和所述截断长度，对所述整理结果采用截断和补齐的方式进行规整，得到所述中间结果
。4.
根据权利要求1所述的方法，其特征在于，所述第一神经网络模型的获取过程包括：获取诉求文本，将所述诉求文本划分为训练集样本数据
、
验证集样本数据和测试集样本数据；将所述训练集样本数据输入到第二神经网络模型的向量转化层，得到向量化样本数据；将所述向量化样本数据输入到所述第二神经网络模型的卷积层，通过滤波器采用最大池化的方法提取特征并对提取出的特征进行拼接，得到拼接特征；将所述拼接特征输入到所述第二神经网络模型的全连接层，通过
softmax
函数进行训练，得到分类结果；根据所述分类结果和所述验证集对所述第二神经网络模型进行参数调整，获得超参数，根据所述超参数确定所述第一神经网络模型
。5.
根据权利要求1所述的方法，其特征在于，其中，根据所述中间结果，采用置信学习方法对所述中间结果中的噪声标签进行筛除，得到测试样本，包括：对所述中间结果进行标注得到真实标签，根据十折交叉验证方法，将标注后的中间结果分别输入到卷积神经网络模型
、
循环神经网络和
FastText
模型中
,
得到第一预测标签
、
第二预测标签和第三预测标签...

【专利技术属性】
技术研发人员：谢婷雯，
申请(专利权)人：对外经济贸易大学，
类型：发明
国别省市：