一种搜索引擎中基于类中心压缩变换的文本聚类方法技术

本发明专利技术公开了一种搜索引擎中基于类中心压缩变换的文本聚类方法，该方法利用改进的tf-idf公式计算文本集中每个文档的词汇权重，计算初始类中心，挖掘同义词组和共现高频词组，计算词汇中心，依据初始类中心与各文档的相似度进行初次分类；根据标题词汇，文章长度，同义词，共现关联词等信息，压缩中心词汇，使得同一个词汇只出现在与其相似高的一些类中心里，利用新的聚类中心对文档集进行重新聚类。计算每个类的核心相似度，对最大的类进行分裂，对较小的类进行合并以产生新的类。对压缩，聚类，分裂操作进行迭代，直到类的个数收敛，且同一个类中的文本与类中心相似度到达一定阈值。本发明专利技术聚类精度明显高于传统的KMeans，DBSCAN等方法。

【技术实现步骤摘要】

本专利技术属于文本挖掘，机器学习研究的
，特别涉及，通过结合同义词组，共现关联词组，词汇中心，类中心，标题内容，文档长度等多种因素，对文本集进行反复的聚类、分裂迭代方法来提高聚类精度。该方法适用于搜索引擎，信息检索系统。
技术介绍
在现实世界中，文本是信息最重要的载体，事实上，研究表明信息有80%包含在文本文档中。特别是在互联网上，文本数据广泛地存在于各种形式，如新闻报道、电子图书、研究论文、数字图书馆、网页、电子邮件等等。文本聚类技术可以应用于信息过滤、个性化的信息推荐，使人们能够准确地检索到所需要的信息，缩短信息检索的时间。同时，文本聚类是 不需训练集即可划分出类属的一种方法，它能够有效解决文本的自动划分问题。文本聚类由于不需要预先对文本手工标注类别，因此具有一定的灵活性和较高的自动化处理能力，已经成为对文本信息进行有效地组织、摘要和导航的重要手段。目前已有的文本聚类方法大部分是基于VSM(文本向量模型)模型来计算文本与文本之间的相似度，在构造文本向量的时候假设词语之间是互相独立的。这种方法忽略了同一篇文档词语和词语之间的关联性，不同文档词语和词语之间的潜在联系等。传统的本文档来自技高网...

【技术保护点】
一种搜索引擎中基于类中心压缩变换的文本聚类方法，其特征在于：该方法包括以下步骤：步骤1、对聚类文本集中的每一个文本进行分词；步骤2、去除停用词，过滤影响因子较小的词；步骤3、计算每个文本中每个词出现的次数tf；步骤4、计算词语的反文本频率idf；步骤5、挖掘同义词组；步骤6、挖掘共现高频词组，即同时出现在多个不同文本中的词组对；步骤7、根据同义词组和高频共现词组，产生原始的类中心，每个类中心由一系列高频词汇组成，统计高频词汇的tf和idf，标记高频词汇所属的类中心；步骤8、计算每个文本的内容长度，提取文章的标题，对标题进行分词；如果没有标题，则标题title设为空；提取段首词语与段尾词汇并加以...

【技术特征摘要】

【专利技术属性】
技术研发人员：欧阳元新，谢舒翼，刘文琦，熊璋，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：