基于深度学习的文本分类系统及方法技术方案

本发明专利技术公开了基于深度学习的文本分类系统及方法，包括文本源获取模块、文本源输入模块、规范化处理模块、文本预处理模块、训练文本模块、测试文本模块、特征提取降维单元、特征权重计算单元、训练文本特征权重计算、训练文本特征向量、测试文本特征权重计算、测试文本特征向量和分类模块，其特征在于：所述文本预处理模块包括新词添加单元、分词单元、无用词清除单元和全文索引建立单元，所述分类模块包括分类判定单元和分类器，本发明专利技术通过基于深度学习的文本分类系统和方法，实现了对高维文本数据的降维作用，且通过对文本进行分词，并对无用词进行清除，能够提取更加准确的特征，提高了分类的精准度。了分类的精准度。了分类的精准度。

【技术实现步骤摘要】
基于深度学习的文本分类系统及方法


[0001]本专利技术涉及文本分类
，具体是基于深度学习的文本分类系统及方法。

技术介绍

[0002]随着网络技术的快速发展，海量的信息资源以文本的形式存在。人们迫切的希望能从爆炸式的信息浪潮中快速有效的找到自己感兴趣的内容。文本分类作为信息处理的重要研究方向，是解决文本信息发现的常用方法，深度学习，是一种无监督的特征学习和特征层次结构学习方法，无监督学习方法一般是通过重构原始输入数据来实现特征提取的特征学习方法，近几年来在机器学习领域比较热门，其本质是通过使用大量的训练数据以及构建出含多个隐藏层的网络结构模型，从而去学习更加抽象的高级特征。
[0003]为了能够将深度学习中的神经网络算法应用到文本分类当中，首先要做的事就是将文本表示成计算机容易处理的形式，然而，针对海量数据，特征高维性给文本分类带来诸多问题，无法满足人们对获取有用知识的需求，现有的处理方式存在一定的不足，为此，我们提出基于深度学习的文本分类系统及方法对现有技术进行完善。

技术实现思路

[0004]本专利技术的目的在于提供基于深度学习的文本分类系统及方法，以解决上述
技术介绍
中提出的问题。
[0005]为实现上述目的，本专利技术提供如下技术方案：
[0006]基于深度学习的文本分类系统，包括文本源获取模块、文本源输入模块、规范化处理模块、文本预处理模块、训练文本模块、测试文本模块、特征提取降维单元、特征权重计算单元、训练文本特征权重计算、训练文本特征向量、测试文本特征权重计算、测试文本特征向量和分类模块，所述文本预处理模块包括新词添加单元、分词单元、无用词清除单元和全文索引建立单元，所述分类模块包括分类判定单元和分类器。
[0007]作为本专利技术进一步的方案：所述文本源获取模块用于对文本初始源件进行获取，所述文本源输入模块用于将输入初始源文本，所述规范化处理模块用于将源文件进行整合成符合规范的文本，所述文本预处理模块通过新词添加单元用于进行新特征词的添加，所述分词单元用于进行分词并将分词后的文本集合特征分类至训练文本模块和测试文本模块中，所述无用词清除单元用于对无用和停用的词进行清除，所述全文索引建立单元对训练文本集合和测试文本集合建立全文索引，所述训练文本模块用于获得训练文本集合，所述测试文本模块用于获得测试文本集合，所述特征提取降维单元利用特征提取方法进行特征降维，所述特征权重计算单元用于对训练集合和测试集合中的文本进行特征加权，所述分类模块用于对测试集中的文本进行分类，所述分类器通过运行相应的分类算法对训练集合和测试集合中的文本进行分类，所述分类判定单元用于对分类结果和分类性能进行判定。
[0008]基于深度学习的文本分类方法，其方法步骤如下：
[0009]S1：文本源的获取、输入和规范化处理；
[0010]S2：文本预处理；
[0011]S3：特征降维及文本特征向量中的特征项集合；
[0012]S4：训练集合和测试集合中的文本进行特征加权；
[0013]S5：对训练集合和测试集合中文本进行分类处理。
[0014]作为本专利技术再进一步的方案：所述S1中，通过文本源获取模块获取源文本，并通过文本源输入模块将最初的源文本传输至规范化处理模块中，通过规范化处理模块将接收到的最初源文本进行处理，使其符合模型的文本处理形式。
[0015]作为本专利技术再进一步的方案：所述S2中，对文本进行预处理，对训练文本集合和测试文本集合分别建立全文索引，进而分别得到训练集合索引和测试集合索引，在建立索引过程中，利用分词单元对文本集合中的训练文本集合和测试文本集合进行分词，分别获得训练文本集合的原始特征词集合和测试文本集合的原始特征词集合，并分别对应传输至训练文本模块和测试文本模块。
[0016]作为本专利技术再进一步的方案：所述S3中，通过特征提取降维单元利用特征提取方法进行特征降维，通过对索引的查询功能来对特征提取方法中的数据进行统计，代入计算后，按特征评价值的高低进行降序排列，选取出具有最好类别效果的特征，构成表示文本特征向量中的特征项集合。
[0017]作为本专利技术再进一步的方案：所述S4中，通过对训练文本模块和测试文本模块中的训练集合和测试集合中的文本进行特征加权，并通过空间特征向量表示，通过训练文本特征向量和测试文本特征向量中的特征项为文本特征提取处理的特征项集合，对每个文本利用自定义对索引的查询功能，获得特征项对应该文本和相应类别中的分布情况统计。
[0018]作为本专利技术再进一步的方案：所述S5中，通过分类器运行相应的分类算法来进行分类，将表示训练集合和测试集合中所有文本的空间特征向量作为输入数据，对训练集合和测试集合中的文本进行分类，完成分类后，且通过分类判定单元进行分类性能的评判。
[0019]与现有技术相比，本专利技术的有益效果是：
[0020]1、本专利技术通过基于深度学习的文本分类系统和方法，实现了对高维文本数据的降维作用，且通过对文本进行分词，并对无用词进行清除，能够提取更加准确的特征，提高了分类的精准度，同时通过设置新词添加单元用于进行新词添加，满足对新词的迭代更换，提升模型训练效果和效率，同时通过对训练集合和测试集合中的文本进行特征加权获得特征项对应该文本和相应类别中的分布情况统计，进而提升文本分类识别准确度，具有较好的应用前景。
附图说明
[0021]图1为基于深度学习的文本分类系统及方法的结构框图。
[0022]图2为基于深度学习的文本分类方法的方法流程框图。
[0023]图3为基于深度学习的文本分类系统中文本预处理模块的结构框图。
[0024]图4为基于深度学习的文本分类系统及方法中分类模块的结构框图。
具体实施方式
[0025]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0026]请参阅图1～4，本专利技术实施例中，基于深度学习的文本分类系统，包括文本源获取模块、文本源输入模块、规范化处理模块、文本预处理模块、训练文本模块、测试文本模块、特征提取降维单元、特征权重计算单元、训练文本特征权重计算、训练文本特征向量、测试文本特征权重计算、测试文本特征向量和分类模块，所述文本预处理模块包括新词添加单元、分词单元、无用词清除单元和全文索引建立单元，所述分类模块包括分类判定单元和分类器，所述文本源获取模块用于对文本初始源件进行获取，所述文本源输入模块用于将输入初始源文本，所述规范化处理模块用于将源文件进行整合成符合规范的文本，所述文本预处理模块通过新词添加单元用于进行新特征词的添加，所述分词单元用于进行分词并将分词后的文本集合特征分类至训练文本模块和测试文本模块中，所述无用词清除单元用于对无用和停用的词进行清除，所述全文索引建立单元对训练文本集本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度学习的文本分类系统，包括文本源获取模块、文本源输入模块、规范化处理模块、文本预处理模块、训练文本模块、测试文本模块、特征提取降维单元、特征权重计算单元、训练文本特征权重计算、训练文本特征向量、测试文本特征权重计算、测试文本特征向量和分类模块，其特征在于：所述文本预处理模块包括新词添加单元、分词单元、无用词清除单元和全文索引建立单元，所述分类模块包括分类判定单元和分类器。2.根据权利要求1所述的基于深度学习的文本分类系统，其特征在于：所述文本源获取模块用于对文本初始源件进行获取，所述文本源输入模块用于将输入初始源文本，所述规范化处理模块用于将源文件进行整合成符合规范的文本，所述文本预处理模块通过新词添加单元用于进行新特征词的添加，所述分词单元用于进行分词并将分词后的文本集合特征分类至训练文本模块和测试文本模块中，所述无用词清除单元用于对无用和停用的词进行清除，所述全文索引建立单元对训练文本集合和测试文本集合建立全文索引，所述训练文本模块用于获得训练文本集合，所述测试文本模块用于获得测试文本集合，所述特征提取降维单元利用特征提取方法进行特征降维，所述特征权重计算单元用于对训练集合和测试集合中的文本进行特征加权，所述分类模块用于对测试集中的文本进行分类，所述分类器通过运行相应的分类算法对训练集合和测试集合中的文本进行分类，所述分类判定单元用于对分类结果和分类性能进行判定。3.基于深度学习的文本分类方法，其特征在于：其方法步骤如下：S1：文本源的获取、输入和规范化处理；S2：文本预处理；S3：特征降维及文本特征向量中的特征项集合；S4：训练集合和测试集合中的文本进行特征加权；S5：对训练集合和测试集合中文本进行分类处理。4.根据权利要求3所述的基于深度学习的文本分...

【专利技术属性】
技术研发人员：梅亮，
申请(专利权)人：梅亮，
类型：发明
国别省市：