一种基于全覆盖粒计算的K‑medoids文本聚类方法技术
【技术实现步骤摘要】
一种基于全覆盖粒计算的K-medoids文本聚类方法
本专利技术涉及全覆盖粒计算和文本挖掘技术，特别是涉及全覆盖粒计算的粒化以及文本聚类的方法。
技术介绍
互联网快速发展带来的信息过载、缺乏结构性等问题，使得人们很难在海量的信息中快速、准确地获取用户感兴趣的、潜在有用的内容，依靠手工对这些信息进行处理是不可能的。目前，绝大多数的网络信息都表现为文本形式，文本数据作为非结构化的数据，不像结构化的数据便于处理，因此大大降低了文本数据的利用率，而且大多数传统的信息检索技术不能处理海量的文本数据。数据挖掘是一门从大量有效数据中挖掘隐藏信息的有效技术，文本挖掘则是对文本信息进行数据挖掘的过程，随着文本数据的增长，文本挖掘成为数据挖掘领域中一个重要的研究方向，文本聚类是文本挖掘的预处理步骤，是文本进一步挖掘与分析的关键环节。文本聚类主要是对样本文档集计算相似性，并根据相似性程度将样本划分成若干类簇，同类簇的文档间相似性较大，不同内簇间的文档相似性则较小。文本聚类一直是国内外研究学者关注的热点、难点问题，研究已经取得巨大的成果，但是还是存在一系列亟待解决的关键问题，如样本的词向...
【技术保护点】
一种基于全覆盖粒计算的K‑medoids文本聚类方法，其特征在于包括下述内容：(1)对文本进行预处理，包括中文分词，去停用词；(2)对文本进行特征提取，设置高频词与低频词阈值，滤除区分度不够的高频词和代表性不强的低频词，然后利用TF‑IDF算法建立词向量空间模型；(3)对文本进行聚类，首先利用Single‑Pass对文本进行粗聚类，利用全覆盖粒计算理论的粒度重要性概念计算初始聚类中心候选集，然后基于密度算法和最大最小距离算法计算初始聚类中心，最后利用k‑medoids算法进行文本聚类。
【技术特征摘要】
1.一种基于全覆盖粒计算的K-medoids文本聚类方法，其特征在于包括下述内容：(1)对文本进行预处理，包括中文分词，去停用词；(2)对文本进行特征提取，设置高频词与低频词阈值，滤除区分度不够的高频词和代表性不强的低频词，然后利用TF-IDF算法建立词向量空间模型；(3)对文本进行聚类，首先利用Single-Pass对文本进行粗聚类，利用全覆盖粒计算理论的粒度重要性概念计算初始聚类中心候选集，然后基于密度算法和最大最小距离算法计算初始聚类中心，最后利用k-medoids算法进行文本聚类。2.根据权利要求1所述的一种基于全覆盖粒计算的K-medoids文本聚类方法，其特征在于对文本进行特征提取中的滤除区分度不够的高频词和代表性不强的低频词，具体操作包括以下步骤：假设词j的频率为m，M1为低频词频率，M2为高频词频率，若M1<m<M2则保留该词，否则剔除，达到降维的目的。3.根据权利要求1所述的一种基于全覆盖粒计算的K-medoids文本聚类方法，其特征在于对文本进行聚类中的single-pass粗聚类，包括以下步骤：(1)从文档集n中输入第一篇文档d1作为第一类中的中心，n为正整数；(2)输入第二篇文档与第一篇文档做相似性处理，得到相似结果θ，若θ＞σ，则第二篇分到第一类中并重新计算中心，否则第二篇作为新的一类；(3)输入第i篇文档，分别与已有类别中的中心文档做相似性处理，得到与di相似度最大的类别m且记录相似结果θ，若θ＞σ，则di分配到类别m中并重新计算中心，否则成为新的一类；(4)重复第三步，直至最后一篇文档分配类别，即整个聚类过程结束。4.根据权利要求1所述的一种基于全覆盖粒计算的K-medoids文本聚类方法，其特征在于对文本进行聚类中的全覆盖粒计算理论的粒度重要性概念，具体如下：设是非空论域U上的一个全覆盖，全覆盖P＝{Cj:j＝1,…,n}，定义粒Gx的中心、全覆盖粒C的中心、P的全覆盖粒度熵分别为：centerC(x)＝∩{NC(x)|x∈NC(x),NC(x)∈Gx}center(C)＝{centerC(x)|x∈U}
【专利技术属性】
技术研发人员：谢珺，邹雪君，杨云云，续欣莹，
申请(专利权)人：太原理工大学，
类型：发明
国别省市：山西,14
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。