【技术实现步骤摘要】
文本分类方法、装置、计算机设备及存储介质
本申请涉及到计算机领域,特别是涉及到文本分类方法、装置、计算机设备及存储介质。
技术介绍
文本分类是对大量杂乱文档进行类别划分,在文本检索领域具有重要作用。因此,对文本进行分类划分,有助于用户快速选择自己需要的领域内的信息文档。目前,对于样本不均衡的中文多分类任务,如财政领域的政策分类,使用单一分类标准的机器学习方法进行文本分类,无法避免单个分类算法本身的缺陷,难以达到理想的准确分类效果,且数据在不断增长的过程中分类精准度更差,不能满足用户的使用需求。
技术实现思路
本申请的主要目的为提供文本分类方法,旨在解决现有文本分类基于一种分类方法分类不准确的技术问题。本申请提出一种文本分类方法,方法包括:获取Bayes分类模型根据第一文本输出的第一分类信息,获取神经网络分类模型根据所述第一文本输出的第二分类信息;若所述第一分类信息与所述第二分类信息不相同,则根据所述第一文本的数据量,确定所述Bayes分类模型对应的第一权重,以及所述神经网络分类模型
【技术保护点】
1.一种文本分类方法,其特征在于,方法包括:/n获取Bayes分类模型根据第一文本输出的第一分类信息,获取神经网络分类模型根据所述第一文本输出的第二分类信息;/n若所述第一分类信息与所述第二分类信息不相同,则根据所述第一文本的数据量,确定所述Bayes分类模型对应的第一权重,以及所述神经网络分类模型对应的第二权重;/n计算所述Bayes分类模型对所述第一文本的第一分类评价值,以及所述神经网络分类模型对所述第一文本的第二分类评价值;/n判断所述第一分类评价值是否大于所述第二分类评价值;/n若是,则将所述第一分类评价值对应的所述第一类目,作为所述第一文本对应的分类类目。/n
【技术特征摘要】
1.一种文本分类方法,其特征在于,方法包括:
获取Bayes分类模型根据第一文本输出的第一分类信息,获取神经网络分类模型根据所述第一文本输出的第二分类信息;
若所述第一分类信息与所述第二分类信息不相同,则根据所述第一文本的数据量,确定所述Bayes分类模型对应的第一权重,以及所述神经网络分类模型对应的第二权重;
计算所述Bayes分类模型对所述第一文本的第一分类评价值,以及所述神经网络分类模型对所述第一文本的第二分类评价值;
判断所述第一分类评价值是否大于所述第二分类评价值;
若是,则将所述第一分类评价值对应的所述第一类目,作为所述第一文本对应的分类类目。
2.根据权利要求1所述的文本分类方法,其特征在于,所述获取Bayes分类模型根据第一文本输出的第一分类信息的步骤,包括:
根据公式:获得所述第一文本对应的第一分类信息,其中,P(doc|ci)=x1P(word1|ci)x2P(word2|ci)...xmP(wordm|ci),xi=len(wordi)sim(wordi,wordaj),len(wordi)表示wordi的字符长度,sim(wordi,wordaj)表示wordi,wordaj之间的向量相似度,wordaj表示第a类目下的第j个词。
3.根据权利要求2所述的文本分类方法,其特征在于,所述根据公式:获得所述第一文本对应的第一分类信息的步骤,包括:
根据预构建的短语字典树以及预设分词器,对所述第一文本进行分词处理;
根据第一分词对应的第一字符长度值以及第一词向量,得到所述第一分词相对于指定类目的归类概率,其中,所述指定类目包含于所有的预设类目中;
根据所述第一分词相对于所述指定类目的归类概率的计算过程,得到所述第一文本相对于所述指定类目的归类概率P(ca)P(doc|ca);
根据各所述预设类目的先验概率以及条件概率的乘积将所述第一文本分别相对于各所述预设类目的概率进行归一化;
选择归一化值最大的第一类目,作为所述第一文本对应的类目,并将所述第一文本对应所述第一类目的归一化值以及所述第一类目作为所述第一分类信息。
4.根据权利要求3所述的文本分类方法,其特征在于,所述根据预构建的短语字典树以及预设分词器,对所述第一文本进行分词处理的步骤之前,包括:
通过依次计算指定文本中相邻词的互信息值,其中,x,y为指定文本中相邻两个词,P(X,Y)表示组和出现的概率,P(X)和P(Y)分别表示两个词单独出现的概率,所述指定文本包含于语料库中所有语料文本中;
通过N-Gram计算所述指定文本中所述相邻词组成短语的短语概率;
将所述互信息值与所述短语概率相加,得到所述相邻词构成所述短语的评价分值;
判断所述评价分值是否大于预设阈值;
若是,则判定所述相邻词构成所述短语;
根据所述指定文本中的短语确定过程,获取所述语料库中所有语料文本中的短语;
将所述语料库中所有语料文本中的短语构建成所述短语字典树。
5.根据权利要求3所述的文本分类方法,其特征在于,所述根据第一分词对应的第一字符长度值以及第一词向量,得到所述第一分词相对于指定类目的归类概率的步骤,包括:
将所述第一分词的字符长度与第一关键词相比较,得到所述第一字符长度值,计算...
【专利技术属性】
技术研发人员:李钢,
申请(专利权)人:平安科技深圳有限公司,
类型:发明
国别省市:广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。