一种文本分类方法技术

本发明专利技术公开了一种文本分类方法，包括以下步骤：

【技术实现步骤摘要】
一种文本分类方法


[0001]本专利技术属于文本分类
，具体涉及一种文本分类方法
。

技术介绍

[0002]文本分类的典型技术是基于
Transformer
算法模型利用双向上下文信息对自然语言进行建模，将文本转换为语言表征；
Roberta
作为预训练模型，使用
Transformer
作为适配器完成自然语言的处理
。
[0003]现有的文本分类方法还存在以下问题：当前文本分类的方法上基于深度学习样本训练的方法来实现的，存在要求大训练集和分类精度不高等问题，另外目前文本分类智能技术，过于依赖数据训练样本，缺乏有效提升分类准确率和处理效率手段和能力，为此我们提出一种文本分类方法
。

技术实现思路

[0004]本专利技术的目的在于提供一种文本分类方法，以解决上述
技术介绍
中提出的问题
。
[0005]为实现上述目的，本专利技术提供如下技术方案：一种文本分类方法，包括以下步骤：
S1.
语音采集：通过语音采集模块采集人员的交流语音，并将交流语音作为数据源；
S2.
语音人员识别：用智能化说话人分割模型识别数据源中的不同说话人，并将语音按不同说话人切片，得到不同说话人的语音信息片段，根据数据库中的人员声纹信息检索语音中的说话人，并获取说话人的身份信息，得出说话人及所属部门
、
专业；
S3.
语音文字识别：根据不同说话人切片结果，用智能化自动语音识别模型对不同说话人的语音信息片段进行识别文字；
S4.
文本分类：用智能化文本分类模型，结合所判断获取的所述说话人及所属部门
、
专业，实现文本内容按所属专业进行分类
。
[0006]优选的，所述
S1
之前还包括
S0.
人员信息录入：获取人员的身份信息，所述人员的身份信息包括人员姓名
、
人员所属部门和人员专业，同时对所述人员的声纹信息进行录制，并将所述人员的身份信息和声纹信息存入到数据库中
。
[0007]优选的，所述语音采集模块包括声音采集单元
、
功率放大器
、
存储模块，所述声音采集单元用于采集人员的交流语音，并生成语音信号，所述功率放大器用于对所述语音信号进行放大，所述存储模块用于对放大后的所述语音信号进行存储
。
[0008]优选的，所述
S2
中的智能化说话人分割模型的训练方法包括以下步骤：
S2011.
将所述数据源的语音特征输入至待训练模型进行迭代训练；其中，在第
N
次的迭代训练的过程中，所述待训练模型对所述语音特征进行特征映射得到第一特征向量后，将所述第一特征向量进行注意力机制拟合得到第二特征向量，
N
为正整数；
S2012.
根据所述第二特征向量分别确定交叉熵损失值和聚类损失值；
S2013.
在所述交叉熵损失值和所述聚类损失值满足预设条件的情况下，将第
N
次
的迭代训练后的待训练模型确定为智能化说话人分割模型
。
[0009]优选的，所述
S2
中将语音按不同说话人切片的具体步骤为：
S2021.
获取所述数据源的语音特征；
S2022.
将所述语音特征输入智能化说话人分割模型，输出目标特征向量；
S2023.
根据所述目标特征向量确定说话人切片结果，得到不同说话人的语音信息片段
。
[0010]优选的，所述
S3
中智能化自动语音识别模型的训练方法具体包括以下步骤：
S3011.
获取训练语音及语音标签，所述语音标签中包括：所述训练语音对应的第一文字；
S3012.
将所述训练语音输入初始的语音识别模型，获取所述语音识别模型输出预测的第二文字，以及，所述第二文字与所述第一文字相同的概率；
S3013.
基于所述语音标签及各所述概率调整所述语音识别模型的模型参数，直至所述语音识别模型收敛，得到训练完成的智能化自动语音识别模型
。
[0011]优选的，所述
S3
中进行识别文字的具体步骤为：
S3021.
获取待识别的不同说话人的语音信息片段；
S3022.
将所述不同说话人的语音信息片段输入到智能化自动语音识别模型中进行识别，输出识别文字
。
[0012]优选的，所述
S3
进行识别文字时还包括文本纠错，具体包括以下步骤：步骤一
、
通过输出识别文字，获取待识别文本，并确定识别文本中的待纠错文本；步骤二
、
根据所述待纠错文本在所述不同说话人的语音信息片段的位置确定待纠错音频；步骤三
、
根据所述待纠错音频中各音频帧的发音在查找树中匹配纠正文本，得到纠正后的识别文本
。
[0013]优选的，所述查找树中的边对应文字的发音，所述查找树中的节点对应候选文本，将根节点与所述节点之间的各边对应的发音按序排列后形成的发音与所述节点对应的候选文本的发音相同
。
[0014]优选的，所述
S4
中智能化文本分类模型的训练方法包括以下步骤：
S401.
获取训练集数据；其中，所述训练集数据包括文本数据以及与文本数据对应的文本分类标签；
S402.
基于训练集数据对预设
Transformer
模型进行训练，得到中间
Transformer
模型；
S403.
基于中间
Transformer
模型的文本分类预测结果以及文本分类标签确定中间
Transformer
模型的误差函数的梯度；
S404.
当所述梯度不满足预设梯度要求时，利用改进
LM
算法对中间
Transformer
模型中编码器的残差模块网络参数进行迭代修正，直到梯度满足所述预设梯度要求或者模型训练达到最大迭代次数时，获得智能化文本分类模型
。
[0015]与现有技术相比，本专利技术的有益效果是：（1）本专利技术通过语音转换的文本实现智能分析分类，融合说话人识别
、
说话人所属部门
、
所属专业门类等信息辅助进行文本分类，所需训练有限
、
分类准确度更高
。
[0016]（2）本专利技术通过智能化说话人分割模型识别不同说话人并将语音按说话人切片，根据录制的人员声纹检索语音中的说话人，用智能化自动语音识别模型识别文字，并进行纠错调优识别文本的结果提高准确度，用智能化文本分类模型，结合所判断说话人及所属部门
、...

【技术保护点】

【技术特征摘要】
1.
一种文本分类方法，其特征在于：包括以下步骤：
S1.
语音采集：通过语音采集模块采集人员的交流语音，并将交流语音作为数据源；
S2.
语音人员识别：用智能化说话人分割模型识别数据源中的不同说话人，并将语音按不同说话人切片，得到不同说话人的语音信息片段，根据数据库中的人员声纹信息检索语音中的说话人，并获取说话人的身份信息，得出说话人及所属部门
、
专业；
S3.
语音文字识别：根据不同说话人切片结果，用智能化自动语音识别模型对不同说话人的语音信息片段进行识别文字；
S4.
文本分类：用智能化文本分类模型，结合所判断获取的所述说话人及所属部门
、
专业，实现文本内容按所属专业进行分类
。2.
根据权利要求1所述的一种文本分类方法，其特征在于：所述
S1
之前还包括
S0.
人员信息录入：获取人员的身份信息，所述人员的身份信息包括人员姓名
、
人员所属部门和人员专业，同时对所述人员的声纹信息进行录制，并将所述人员的身份信息和声纹信息存入到数据库中
。3.
根据权利要求1所述的一种文本分类方法，其特征在于：所述语音采集模块包括声音采集单元
、
功率放大器
、
存储模块，所述声音采集单元用于采集人员的交流语音，并生成语音信号，所述功率放大器用于对所述语音信号进行放大，所述存储模块用于对放大后的所述语音信号进行存储
。4.
根据权利要求1所述的一种文本分类方法，其特征在于：所述
S2
中的智能化说话人分割模型的训练方法包括以下步骤：
S2011.
将所述数据源的语音特征输入至待训练模型进行迭代训练；其中，在第
N
次的迭代训练的过程中，所述待训练模型对所述语音特征进行特征映射得到第一特征向量后，将所述第一特征向量进行注意力机制拟合得到第二特征向量，
N
为正整数；
S2012.
根据所述第二特征向量分别确定交叉熵损失值和聚类损失值；
S2013.
在所述交叉熵损失值和所述聚类损失值满足预设条件的情况下，将第
N
次的迭代训练后的待训练模型确定为智能化说话人分割模型
。5.
根据权利要求1所述的一种文本分类方法，其特征在于：所述
S2
中将语音按不同说话人切片的具体步骤为：
S2021.
获取所述数据源的语音特征；
S2022.
将所述语音特征输入智能化说话人分割模型，输出目标特征向量；
S2023.
根据所述目标特征向量确定说话人切片结果，得到不同说话人的语音信息片段
。6.
根据...

【专利技术属性】
技术研发人员：刘珏廷，刘迎春，刘泽蒙，
申请(专利权)人：江苏慧言智语安全科技有限公司，
类型：发明
国别省市：