【技术实现步骤摘要】
文本分类方法、装置、终端设备及存储介质
本申请属于人工智能
,尤其涉及一种文本分类方法、装置、终端设备及存储介质。
技术介绍
目前,文本分类是人工智能领域重要的一个方面,文本分类作为信息处理的重要任务,其目的在于自动分类无标签文档到预定的类别集合中,解决信息杂乱的现象。在现有的文本分类方法中,通常都是采用现有的快速文本分类器模型或卷积神经网络模型对文本进行分类。然而,通过训练神经网络模型对文本进行分类,其训练神经网络模型需要花费大量的时间,而且在对文本进行更为精细的分类时,其分类准确率低。
技术实现思路
本申请实施例提供了一种文本分类方法、装置、终端设备及存储介质,可以解决现有技术中通过神经网络模型对文本进行分类时,对文本分类准确率低的问题。第一方面,本申请实施例提供了一种文本分类方法,包括:获取文本节点结构图,所述文本节点结构图包含多个文本节点,每个文本节点分别对应一个待分类文本,且两两文本节点之间通过节点线进行连接;提取每个所述待分类文本的文本特征,并根据所述文本特征分别 ...
【技术保护点】
1.一种文本分类方法,其特征在于,包括:/n获取文本节点结构图,所述文本节点结构图包含多个文本节点,每个文本节点分别对应一个待分类文本,且两两文本节点之间通过节点线进行连接;/n提取每个所述待分类文本的文本特征,并根据所述文本特征分别计算所述两两文本节点之间的相似距离;/n根据所述相似距离,对所述文本节点结构图中的节点线进行过滤,得到包含所述每个文本节点和剩余节点线的目标文本节点结构图;/n基于社区发现算法和所述剩余节点线,对所述目标文本节点结构图中的待分类文本进行分类,得到多个待分类文本的目标分组。/n
【技术特征摘要】
1.一种文本分类方法,其特征在于,包括:
获取文本节点结构图,所述文本节点结构图包含多个文本节点,每个文本节点分别对应一个待分类文本,且两两文本节点之间通过节点线进行连接;
提取每个所述待分类文本的文本特征,并根据所述文本特征分别计算所述两两文本节点之间的相似距离;
根据所述相似距离,对所述文本节点结构图中的节点线进行过滤,得到包含所述每个文本节点和剩余节点线的目标文本节点结构图;
基于社区发现算法和所述剩余节点线,对所述目标文本节点结构图中的待分类文本进行分类,得到多个待分类文本的目标分组。
2.如权利要求1所述的文本分类方法,其特征在于,所述待分类文本包含多个文本分词,所述文本特征由所述多个文本分词的词向量组成,所述相似距离包括欧几里得距离;所述提取每个所述待分类文本的文本特征,并根据所述文本特征分别计算所述两两文本节点之间的相似距离,包括:
提取每个所述待分类文本中多个文本分词的词向量,并确定所述多个文本分词分别在各自对应的所述待分类文本中的词顺序;
针对任一两两文本节点,根据所述待分类文本中相同词顺序的词向量,计算每个所述文本分词的欧几里得距离,并将每个所述文本分词的欧几里得距离进行加和得到所述两两文本节点之间的欧几里得距离。
3.如权利要求1或2所述的文本分类方法,其特征在于,所述根据所述相似距离,对所述文本节点结构图中的节点线进行过滤,得到包含所述每个文本节点和剩余节点线的目标文本节点结构图,包括:
针对任一相似距离,判断所述相似举例是否小于或等于预设阈值;
若判定所述相似距离小于或等于预设阈值,则删除小于或等于预设阈值的所述相似距离对应的节点线;以及,
若判定所述相似距离大于预设阈值,则保留大于预设阈值的所述相似距离对应的节点线;
基于剩余节点线和所述多个文本节点,生成所述目标文本节点结构图。
4.如权利要求1所述的文本分类方法,其特征在于,所述基于社区发现算法和所述剩余节点线,对所述目标文本节点结构图中的待分类文本进行分类,得到多个待分类文本的目标分组,包括:
将所述目标文本节点结构图中所述每个文本节点均作为单独的节点分组;
对于任一节点分组,每次将所述任一节点分组与任一相邻的节点分组融合得到多种分组模块,每种分组模块包括所述任一节点分组与其中一个相邻节点分组融合组成的节点分组,以及其余单独的节点分组;
分别计算所述每种分组模块的分组模块度,所述分组模块度用于表示所述分组模块的分类效果;
在所述多种分组模块中,将所述分组模块度的最大值对应的分组模块作为当前目标分组模块,并判断所述当前目标分组模块是否小于或等于上一目标分组模块的分组模块度;
若判定所述当前目标分组模块的分组模块度小于或等于上一目标分组模块的分组模块度,则将所述上一目标分组模块作为所述多个待分类文本的目标分组;
若判定所述当前目标分组模块的分组模块度大于上一目标分组模块的分组模块度,则针对所述当前目标分组模块中的每个节点分组,再次执行所述将所述任一节点分组与任一相邻的节点分组融合得到多种分组模块的步骤,直至得到每个待分类文本的目标分组。
<...
【专利技术属性】
技术研发人员:马龙,梁宸,周元笙,蒋佳惟,陈思姣,李炫,
申请(专利权)人:平安科技深圳有限公司,
类型:发明
国别省市:广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。