一种文本分类的方法、模型训练的方法、装置及存储介质制造方法及图纸

本申请公开了一种应用于人工智能领域的文本分类方法，包括：获取待分类文本；通过编码器获取待分类文本中每个词语所对应的隐藏状态；根据每个词语所对应的隐藏状态，获取每个词语所对应的深度值；根据每个词语所对应的深度值以及每个词语所对应的词嵌入，生成每个词语所对应的词特征向量；基于每个词语所对应的词特征向量，通过文本分类模型获取待分类文本所对应的文本编码结果；通过文本分类模型获取待分类文本的分类结果。本申请还公开了一种模型训练的方法。本申请可以自适应地获取文本中每个词语所对应的深度值，使得文本分类模型根据不同的深度值对相应的词语进行编码，从而能够对文本中的词语进行执行充分计算。

A text classification method, model training method, device and storage medium

【技术实现步骤摘要】
一种文本分类的方法、模型训练的方法、装置及存储介质
本申请涉及人工智能领域，尤其涉及一种文本分类的方法、模型训练的方法、装置及存储介质。
技术介绍
对说话人意图的识别极大地推进了自然语言理解任务的发展，为了能够提取词语特征以及词语之间的语义关系，通常可以采用双向长短期记忆网络(BidirectionalLongShort-TermMemoryNetworksforRelation，Bi-LSTM)模型，但是Bi-LSTM模型并没有考虑到词语与整个句子之间的信息联系。目前，提出了一种句子状态-LSTM(Sentence-stateLSTM，S-LSTM)模型，S-LSTM模型在每个词语位置上(即图1中白色节点)执行层级循环计算，并且提出一个共享的全局节点(即图1中的黑色节点)，用于表示句子级别的特征。通过层级的循环计算，能够使得局部特征和全局特征可以进行充分地信息交互。然而，S-LSTM模型在每个词语位置上进行相同深度的计算，这会使得句子中语义模糊的词语未能执行充分计算，从而降低了文本分类的准确率。r>
技术实现思路
...

【技术保护点】
1.一种文本分类的方法，其特征在于，包括：/n获取待分类文本，其中，所述待分类文本包括至少一个词语，且所述每个词语对应于一个词嵌入；/n通过编码器获取所述待分类文本中每个词语所对应的隐藏状态；/n根据所述每个词语所对应的隐藏状态，获取所述每个词语所对应的深度值，其中，所述深度值表示表示词语在文本分类模型中采用隐藏层处理的层级数，且所述文本分类模型包括多个隐藏层；/n根据所述每个词语所对应的深度值以及所述每个词语所对应的词嵌入，生成所述每个词语所对应的词特征向量；/n基于所述每个词语所对应的词特征向量，通过所述文本分类模型获取所述待分类文本所对应的文本编码结果，其中，所述文本编码结果为所述每个词...

【技术特征摘要】
1.一种文本分类的方法，其特征在于，包括：
获取待分类文本，其中，所述待分类文本包括至少一个词语，且所述每个词语对应于一个词嵌入；
通过编码器获取所述待分类文本中每个词语所对应的隐藏状态；
根据所述每个词语所对应的隐藏状态，获取所述每个词语所对应的深度值，其中，所述深度值表示表示词语在文本分类模型中采用隐藏层处理的层级数，且所述文本分类模型包括多个隐藏层；
根据所述每个词语所对应的深度值以及所述每个词语所对应的词嵌入，生成所述每个词语所对应的词特征向量；
基于所述每个词语所对应的词特征向量，通过所述文本分类模型获取所述待分类文本所对应的文本编码结果，其中，所述文本编码结果为所述每个词语基于所对应的深度值经过编码后得到的结果；
基于所述待分类文本所对应的文本编码结果，通过所述文本分类模型确定所述待分类文本的分类结果。


2.根据权利要求1所述的方法，其特征在于，所述通过编码器获取所述待分类文本中每个词语所对应的隐藏状态，包括：
根据所述待分类文本获取目标词语所对应的词嵌入，其中，所述词嵌入包括字符级词嵌入以及预训练词嵌入中至少一项，且所述目标词语属于所述待分类文本中的任意一个词语；
若存在相邻词语所对应的目标隐藏状态，则采用所述编码器对所述目标词语所对应的词嵌入以及所述目标隐藏状态进行编码，得到所述目标词语所对应的隐藏状态，其中，所述相邻词语为在所述待分类文本中与所述目标词语相邻的一个词语；
若不存在所述相邻词语所对应的所述目标隐藏状态，则采用所述编码器对所述目标词语所对应的词嵌入进行编码，得到所述目标词语所对应的隐藏状态。


3.根据权利要求1所述的方法，其特征在于，所述通过编码器获取所述待分类文本中每个词语所对应的隐藏状态，包括：
根据所述待分类文本获取目标词语所对应的词嵌入，其中，所述词嵌入包括字符级词嵌入以及预训练词嵌入中至少一项，且所述目标词语属于所述待分类文本中的任意一个词语；
若存在第一相邻词语所对应的隐藏状态以及第二相邻词语所对应的隐藏状态，则采用所述编码器对所述目标词语所对应的词嵌入、所述第一相邻词语所对应的隐藏状态以及所述第二相邻词语所对应的隐藏状态进行编码，得到所述目标词语所对应的隐藏状态，其中，所述第一相邻词语为在所述待分类文本中与所述目标词语相邻的一个词语，所述第二相邻词语为在所述待分类文本中与所述目标词语相邻的另一个词语；
若仅存在第一相邻词语所对应的隐藏状态，则采用所述编码器对所述目标词语所对应的词嵌入以及所述第一相邻词语所对应的隐藏状态进行编码，得到所述目标词语所对应的隐藏状态；
若仅存在第二相邻词语所对应的隐藏状态，则采用所述编码器对所述目标词语所对应的词嵌入以及所述第二相邻词语所对应的隐藏状态进行编码，得到所述目标词语所对应的隐藏状态。


4.根据权利要求3所述的方法，其特征在于，所述采用所述编码器对所述目标词语所对应的词嵌入、所述第一相邻词语所对应的隐藏状态以及所述第二相邻词语所对应的隐藏状态进行编码，得到所述目标词语所对应的隐藏状态，包括：
采用前向编码器对所述目标词语所对应的词嵌入以及所述第二相邻词语所对应的隐藏状态进行编码，得到所述目标词语所对应的第一隐藏状态，其中，所述前向编码器属于所述编码器；
采用后向编码器对所述目标词语所对应的词嵌入以及第一相邻词语所对应的隐藏状态进行编码，得到所述目标词语所对应的第二隐藏状态，其中，所述后向编码器属于所述编码器；
将所述第一隐藏状态与所述第二隐藏状态进行拼接，得到所述目标词语所对应的隐藏状态。


5.根据权利要求1至4中任一项所述的方法，其特征在于，所述根据所述每个词语所对应的隐藏状态，获取所述每个词语所对应的深度值，包括：
基于目标词语所对应的隐藏状态，通过深度值预测模型获取所述目标词语所对应的深度分布，其中，所述目标词语属于所述待分类文本中的任意一个词语；
根据所述目标词语所对应的深度分布，获取所述目标词语所对应的深度概率分布，其中，所述深度概率分布表示词语在每个待选深度值上所对应的概率；
根据所述目标词语所对应的深度概率分布，确定所述目标词语所对应的深度值。


6.根据权利要求5所述的方法，其特征在于，所述根据所述目标词语所对应的深度概率分布，确定所述目标词语所对应的深度值，包括：
从所述目标词语所对应的深度概率分布中选择最大概率值；
将所述最大概率值所对应的待选深度值确定为所述目标词语所对应的深度值。


7.根据权利要求5所述的方法，其特征在于，所述根据所述目标词语所对应的深度概率分布，确定所述目标词语所对应的深度值，包括：
获取每个待选深度值所对应的权重值；
根据所述目标词语所对应的深度概率分布以及所述每个待选深度值所对应的权重值，确定所述目标词语所对应的深度累计值；
对所述深度累计值向下取整，得到所述目标词语所对应的深度值。


8.根据权利要求5所述的方法，其特征在于，所述根据所述目标词语所对应的深度分布，获取所述目标词语所对应的深度概率分布，包括：
根据标准正态分布随机数确定随机噪声；
根据所述目标词语所对应的深度分布以及所述随机噪声，生成所述目标词语所对应的深度采样分布；
根据所述深度采样分布获取所述目标词语所对应的深度概率分布。


9.根据权利要求1所述的方法，其特征在于，所述根据所述每个词语所对应的隐藏状态，获取所述每个词语所对应的深度值，包括：
根据第一词语所对应的隐藏状态，获取所述第一词语所对应的第一深度值，其中，所述第一词语属于所述待分类文本中的任意一个词语；
根据第二词语所对应的隐藏状态，获取所述第二词语所对应的第二深度值，其中，所述第二词语属于所述待分类文本中不同于所述第一词语的任意一个词语；
所述基于所述每个词语所对应的词特征向量，通过所述文本分类模型获取所述待分类文本所对应的文本编码结果，包括：
若所述第一深度值为M，则通过所述文本分类模型中的M个隐藏层，对所述第一词语所对应的...

【专利技术属性】
技术研发人员：刘宜进，孟凡东，周杰，徐金安，
申请(专利权)人：腾讯科技深圳有限公司，北京交通大学，
类型：发明
国别省市：广东;44