一种文本分类方法、装置、介质及设备制造方法及图纸

本发明专利技术提供一种文本分类方法、装置、介质及设备，该方法包括：针对待分类文本中的每个关键特征词，根据样本库中词类别对应的样本特征词，确定该关键特征词对应的词类别；根据样本库中的文本类别与样本文本的对应关系，确定具有该关键特征词的样本文本对应的文本类别，并将确定的文本类别作为该关键特征词对应的文本类别；确定该关键特征词在对应的每个文本类别下的权重，其中，该关键特征词在对应的任一文本类别下的权重为：与该关键特征词属于同一词类别的样本特征词在该任一文本类别下的权重的和值；根据各个关键特征词在对应的每个文本类别下的权重，确定所述待分类文本所属的文本类别。本发明专利技术可以提高确定出的待分类文本所属类别的准确性。

【技术实现步骤摘要】
一种文本分类方法、装置、介质及设备
本专利技术涉及自然语言处理
，尤其涉及一种文本分类方法、装置、介质及设备。
技术介绍
本部分旨在为权利要求书中陈述的本专利技术的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。目前常用的文本分类方法为：利用卡方检验算法提取待分类文本中的特征词；针对每个特征词，从样本库中的文本类别与样本特征词的对应关系中，查找该特征词对应的文本类别；将该特征词在同一文本类别中的出现概率作为该特征词在该文本类别下的权重；根据各个特征词在对应文本类类别下的权重，确定待分类文本所属的类别；其中，同一文本类别下的特征词的权重越大，待分类文本所属类别为该类别的可能性越大。专利技术人发现，待分类文本中有一些特征明显的特征词会对该待分类文本所属的分类起到关键作用，而现有的文本分类方法，可能会由于样本特征词数量不够而导致特征明显的特征词的权重较低的问题，进而导致确定出的文本所属文本类别不够准确的问题。
技术实现思路
本专利技术提供一种文本分类方法、装置、介质及设备，用于提高待分类文本所属文本类别的准确性。第一方面，本专利技术实施例提供一种文本分类方法，包括：针对待分类文本中的每个关键特征词，根据样本库中词类别对应的样本特征词，确定该关键特征词对应的词类别；以及根据样本库中的文本类别与样本文本的对应关系，确定具有该关键特征词的样本文本对应的文本类别，并将确定的文本类别作为该关键特征词对应的文本类别，其中，每个文本类别对应的样本文本包括多个样本特征词；确定该关键特征词在对应的每个文本类别下的权重，其中，该关键特征词在对应的任一文本类别下的权重为：与该关键特征词属于同一词类别的样本特征词在该任一文本类别下的权重的和值；根据各个关键特征词在对应的每个文本类别下的权重，确定所述待分类文本所属的文本类别。可选地，本专利技术实施例提供的文本分类方法，进一步包括：预先保存词类别权重，其中，每个词类别权重用于表征属于同一词类别的样本特征词在同一文本类别下的权重的和值；则确定该关键特征词在对应的任一文本类别下的权重，包括：从保存的词类别权重中，获取该关键特征词所属的词类别对应的词类别权重；将获取的词类别权重作为该关键特征词在该任一文本类别下的权重。可选地，所述方法中，根据各个关键特征词在对应的每个文本类别下的权重，确定所述待分类文本所属的文本类别，具体包括：针对各个关键特征词对应的每个文本类别，根据对应该文本类别的各个关键特征词在该文本类别下的权重的和值以及所述待分类文本中的非关键特征词在该文本类别下的条件概率的和值，确定待分类文本在该文本类别对应的样本文本中的出现概率；根据待分类文本在该文本类别对应的样本文本中的出现概率，确定所述待分类文本所属的文本类别。可选地，所述方法中，根据各个关键特征词在对应的每个文本类别下的权重，确定所述待分类文本所属的类别，具体包括：针对各个关键特征词对应的每个文本类别，根据对应该文本类别的各个关键特征词在该文本类别下的权重的乘积以及所述待分类文本中的非关键特征词在该文本类别下的条件概率的乘积，确定所述待分类文本在该文本类别对应的样本文本中的出现概率；根据所述待分类文本在该文本类别对应的样本文本中的出现概率、该文本类别的先验概率以及所述待分类文本的先验概率，确定所述待分类文本属于该文本类别的概率；根据所述待分类文本属于各个文本类别的概率，确定所述待分类文本所属的文本类别。可选地，所述方法中，采用如下公式，确定所述待分类文本属于任一文本类别的概率：其中，x表示所述待分类文本，yi表示所述任一文本类别，P(yi|x)表示所述待分类文本属于文本类别yi的概率，P(yi)表示文本类别yi的先验概率，aj表示所述待分类文本中第j个关键特征词，m表示待分类文本中关键特征词的个数，P(aj)表示第j个关键特征词在文本类别yi下的权重，P(x)表示所述待分类文本的先验概率，at表示所述待分类文本中第t个非关键特征词，n表示待分类文本中的非关键特征词的个数，P(at|yi)表示第j个关键特征词在文本类别yi下的条件概率。第二方面，本专利技术实施例提供一种文本分类装置，包括：第一确定模块，用于针对待分类文本中的每个关键特征词，根据样本库中词类别对应的样本特征词，确定该关键特征词对应的词类别；以及第二确定模块，用于根据样本库中的文本类别与样本文本的对应关系，确定具有该关键特征词的样本文本对应的文本类别，并将确定的文本类别作为该关键特征词对应的文本类别，其中，每个文本类别对应的样本文本包括多个样本特征词；第三确定模块，用于确定该关键特征词在对应的每个文本类别下的权重，其中，该关键特征词在对应的任一文本类别下的权重为：与该关键特征词属于同一词类别的样本特征词在该任一文本类别下的权重的和值；第四确定模块，用于根据各个关键特征词在对应的每个文本类别下的权重，确定所述待分类文本所属的文本类别。可选地，本专利技术实施例提供的文本分类装置，进一步包括：存储模块，用于预先保存词类别权重，其中，每个词类别权重用于表征属于同一词类别的样本特征词在同一文本类别下的权重的和值；则第三确定模块在确定该关键特征词在对应的任一文本类别下的权重时，具体用于：从保存的词类别权重中，获取该关键特征词所属的词类别对应的词类别权重；将获取的词类别权重作为该关键特征词在该任一文本类别下的权重。可选地，所述装置中，所述第四确定模块，具体用于：针对各个关键特征词对应的每个文本类别，根据对应该文本类别的各个关键特征词在该文本类别下的权重的和值以及所述待分类文本中的非关键特征词在该文本类别下的条件概率的和值，确定待分类文本在该文本类别对应的样本文本中的出现概率；根据待分类文本在该文本类别对应的样本文本中的出现概率，确定所述待分类文本所属的文本类别。可选地，所述装置中，所述第四确定模块，具体用于：针对各个关键特征词对应的每个文本类别，根据对应该文本类别的各个关键特征词在该文本类别下的权重的乘积以及所述待分类文本中的非关键特征词在该文本类别下的条件概率的乘积，确定所述待分类文本在该文本类别对应的样本文本中的出现概率；根据所述待分类文本在该文本类别对应的样本文本中的出现概率、该文本类别的先验概率以及所述待分类文本的先验概率，确定所述待分类文本属于该文本类别的概率；根据所述待分类文本属于各个文本类别的概率，确定所述待分类文本所属的文本类别。可选地，所述装置中，所述第四确定模块具体用于采用如下公式，确定所述待分类文本属于任一文本类别的概率：其中，x表示所述待分类文本，yi表示所述任一文本类别，P(yi|x)表示所述待分类文本属于文本类别yi的概率，P(yi)表示文本类别yi的先验概率，aj表示所述待分类文本中第j个关键特征词，m表示待分类文本中关键特征词的个数，P(aj)表示第j个关键特征词在文本类别yi下的权重，P(x)表示所述待分类文本的先验概率，at表示所述待分类文本中第t个非关键特征词，n表示待分类文本中的非关键特征词的个数，P(at|yi)表示第j个关键特征词在文本类别yi下的条件概率。第三方面，本专利技术实施例提供一种非易失性计算机存储介质，所述计算机存储介质存储有可执行程序，该可执行程序被处理器执行实现上述任一实施例的文本分类方法的步骤。第四方面，本本文档来自技高网...

【技术保护点】
1.一种文本分类方法，其特征在于，包括：针对待分类文本中的每个关键特征词，根据样本库中词类别对应的样本特征词，确定该关键特征词对应的词类别；以及根据样本库中的文本类别与样本文本的对应关系，确定具有该关键特征词的样本文本对应的文本类别，并将确定的文本类别作为该关键特征词对应的文本类别，其中，每个文本类别对应的样本文本包括多个样本特征词；确定该关键特征词在对应的每个文本类别下的权重，其中，该关键特征词在对应的任一文本类别下的权重为：与该关键特征词属于同一词类别的样本特征词在该任一文本类别下的权重的和值；根据各个关键特征词在对应的每个文本类别下的权重，确定所述待分类文本所属的文本类别。

【技术特征摘要】
1.一种文本分类方法，其特征在于，包括：针对待分类文本中的每个关键特征词，根据样本库中词类别对应的样本特征词，确定该关键特征词对应的词类别；以及根据样本库中的文本类别与样本文本的对应关系，确定具有该关键特征词的样本文本对应的文本类别，并将确定的文本类别作为该关键特征词对应的文本类别，其中，每个文本类别对应的样本文本包括多个样本特征词；确定该关键特征词在对应的每个文本类别下的权重，其中，该关键特征词在对应的任一文本类别下的权重为：与该关键特征词属于同一词类别的样本特征词在该任一文本类别下的权重的和值；根据各个关键特征词在对应的每个文本类别下的权重，确定所述待分类文本所属的文本类别。2.根据权利要求1所述的方法，其特征在于，进一步包括：预先保存词类别权重，其中，每个词类别权重用于表征属于同一词类别的样本特征词在同一文本类别下的权重的和值；则确定该关键特征词在对应的任一文本类别下的权重，包括：从保存的词类别权重中，获取该关键特征词所属的词类别对应的词类别权重；将获取的词类别权重作为该关键特征词在该任一文本类别下的权重。3.根据权利要求1所述的方法，其特征在于，根据各个关键特征词在对应的每个文本类别下的权重，确定所述待分类文本所属的文本类别，具体包括：针对各个关键特征词对应的每个文本类别，根据对应该文本类别的各个关键特征词在该文本类别下的权重的和值以及所述待分类文本中的非关键特征词在该文本类别下的条件概率的和值，确定待分类文本在该文本类别对应的样本文本中的出现概率；根据待分类文本在该文本类别对应的样本文本中的出现概率，确定所述待分类文本所属的文本类别。4.根据权利要求1所述的方法，其特征在于，根据各个关键特征词在对应的每个文本类别下的权重，确定所述待分类文本所属的类别，具体包括：针对各个关键特征词对应的每个文本类别，根据对应该文本类别的各个关键特征词在该文本类别下的权重的乘积以及所述待分类文本中的非关键特征词在该文本类别下的条件概率的乘积，确定所述待分类文本在该文本类别对应的样本文本中的出现概率；根据所述待分类文本在该文本类别对应的样本文本中的出现概率、该文本类别的先验概率以及所述待分类文本的先验概率，确定所述待分类文本属于该文本类别的概率；根据所述待分类文本属于各个文本类别的概率，确定所述待分类文本所属的文本类别。5.根据权利要求4所述的方法，其特征在于，采用如下公式，确定所述待分类文本属于任一文本类别的概率：其中，x表示所述待分类文本，yi表示所述任一文本类别，P(yi|x)表示所述待分类文本属于文本类别yi的概率，P(yi)表示文本类别yi的先验概率，aj表示所述待分类文本中第j个关键特征词，m表示待分类文本中关键特征词的个数，P(aj)表示第j个关键特征词在文本类别yi下的权重，P(x)表示所述待分类文本的先验概率，at表示所述待分类文本中第t个非关键特征词，n表示待分类文本中的非关键特征词的个数，P(at|yi)表示第j个关键特征词在文本类别yi下的条件概率。6.一种文本分类装置，其特征在于，包括：第一确定模块，用于针对待分类文本中的每个关键特征词，根据样本库中词类别对应的样本特征词，确定该关键特征词对应...

【专利技术属性】
技术研发人员：李探，温旭，张智敏，常卓，王树伟，花少勇，张伟，闫清岭，
申请(专利权)人：腾讯科技北京有限公司，
类型：发明
国别省市：北京,11