一种基于术语频率和卡方统计的文本分类特征选择方法技术

本发明专利技术提供一种基于术语频率和卡方统计的文本分类特征选择方法，包括如下步骤：对数据集预处理；把每一个数据对象转换为特征空间的向量；分别计算每个术语在每个文本分类中的最大术语频率和平均术语频率；根据平均术语频率计算术语在每个类中的分布差异度；将每个术语的最大术语频率和分布差异度与传统的卡方统计公式相结合，计算每个术语在每个类中的权重，并取最大值为术语权重；将每个术语权重降序排序，选出权重值最大的前N个术语作为特征。本发明专利技术通过对传统的卡方统计进行改进，使在某类出现频率较高的或类内分布均匀的特征项对类别区分的贡献度得到体现，并修正了传统卡方统计方法偏向于低频词的不足。

【技术实现步骤摘要】
【专利摘要】本专利技术提供，包括如下步骤：对数据集预处理；把每一个数据对象转换为特征空间的向量；分别计算每个术语在每个文本分类中的最大术语频率和平均术语频率；根据平均术语频率计算术语在每个类中的分布差异度；将每个术语的最大术语频率和分布差异度与传统的卡方统计公式相结合，计算每个术语在每个类中的权重，并取最大值为术语权重；将每个术语权重降序排序，选出权重值最大的前N个术语作为特征。本专利技术通过对传统的卡方统计进行改进，使在某类出现频率较高的或类内分布均匀的特征项对类别区分的贡献度得到体现，并修正了传统卡方统计方法偏向于低频词的不足。【专利说明】
本专利技术属于文本挖掘与信息检索领域，具体涉及的是一种基于术语频率和卡方统 计的文本分类特征选择方法。
技术介绍
文本分类（TextClassification或TextCategorization)是预先设定的类别集 合，根据文本内容确定文本所属类型。在文本分类中，通常用向量空间模型作为文本的表示 模型，该模型是应用效果最好的文本表示模型之一；文本中的词或词组作为特征，但是在大 量的特征中，存在很多冗余特征和噪声特征，而庞大的特征空间维数会降低分类器的性能 和泛化能力，产生"过学习"现象。同时，处理高维向量需要极高的时间复杂度，进而会产生 "维数灾难"。因此，我们需要通过特征降维，来提高分类器的效率和精度，特征降维分为特 征选择和特征提取。 特征选择是目前最常用的降维方法，其本质是从一个高维空间根据某种准则变换 到一个较低维的空间，并且使得该低维空间有比较好的类别可分性，从而提高分类器的分 类效率和精度。比较常用的特征选择方法主要有文档频率（documentfrequency,DF)、互 信息（mutualinformation，MI)、期望交叉熵（expectedcrossentropy，ECE)、卡方统计 (Chi-squarestatistic，CHI)、信息增益（informationgain，IG)等；近年来国内外学者 还提出了其他的特征选择方法，例如，张玉芳等人提出了综合比率（CR)方法，通过把数据 集分成正类和负类，综合考虑特征项在正类和负类中的分布，结合四种衡量特征类别区分 能力的指标，构造了CR特征选择方法来选择特征；冯霞等人提出了基于假设检验的选择方 法，利用特征与文档类在term-category四格表中相互独立与互不相关等价的性质来选择 特征。美国卡内基梅隆大学的Yang教授针对文本分类问题，在分析比较了DF、MI、IG、CHI 等方法后，得出IG和CHI方法分类效果相对较好的结论，并且，CHI和IG在多次的实验中 表现出了良好的准确性。但是上述这些特征选择方法都具有缺陷，比如卡方统计方法对低 频词的倚重大，不能很好地过滤低频词中的噪音词。
技术实现思路
我们通过分析发现，现有卡方统计方法只考虑了特征词的文档频率，并没有考虑 特征的术语词频，所以夸大了低频术语的作用。例如传统卡方统计方法只统计文档中是否 出现术语t，并没有考虑术语t在文档中出现的次数，致使传统方法更倾向于选择文档频率 高的特征，忽略了文档频率较低但是词频较高的词汇的贡献度，此外，传统卡方统计方法没 有考虑术语的分布差异度的问题。基于上述问题，本专利技术公开了一种基于术语频率和卡方 统计的文本分类特征选择方法，利用最大术语频率来修正传统卡方统计方法对术语频率低 但文档频率高的术语的偏袒；同时利用平均术语频率和统计学上的标准方差的方法，来修 正传统卡方统计方法未考虑分布差异度的缺陷。 为了达到上述目的，本专利技术提供如下技术方案： -种基于术语频率和卡方统计的文本分类特征选择方法，包括如下步骤： 步骤（1)，对语料库数据集进行预处理； 步骤（2)，对经过步骤（1)处理得到的数据集中的对象根据向量空间模型均表示 为向量形式，得到数据对象向量集合D= ，类标签集合C= dj表示语料库数据集中的一个文档（Kj<N)，ck表示语料库数据集中的一个类； 步骤（3)，计算术语&在文本分类ck中的最大术语频率1 【权利要求】1. ，其特征在于，包括如下步 骤： 步骤（1)，对语料库数据集进行预处理； 步骤（2)，对经过步骤（1)处理得到的数据集中的对象根据向量空间模型均表示为向 量形式，得到数据对象向量集合D = {屯，d2, . . . dN}，类标签集合C = {cp c2, . . . c|e|}, dj表 示语料库数据集中的一个文档（1 < j < N)，ck表示语料库数据集中的一个类； 步骤（3)，计算术语&在文本分类ck中的最大术语频率和平均术语频率$ ; 步骤（4)，通过下式计算术语^在^类中的分布差异度：其中，a表示一个很小的实数； 步骤（5)，利用步骤（3)和步骤（4)得到的最大术语频率及分布差异度，通过下式计算 该术语&在ck类中的权重：步骤（6)，计算得到该术语^在每个类中的权重，通过下式取权重最大值为术语&在 语料库数据集中的权重：步骤（7)，计算得到每一个术语在语料库数据集中的权重，并降序排列，选出值最大的 前N个术语作为特征。2. 根据权利要求1所述的基于术语频率和卡方统计的文本分类特征选择方法，其特征 在于：所述步骤（1)对语料库数据集进行预处理时包括去停用词、中文分词步骤。3. 根据权利要求2所述的基于术语频率和卡方统计的文本分类特征选择方法，其特征 在于：所述去停用词步骤采用由百度停用词列表、哈工大停用词表和四川大学机器智能实 验室停用词库3个词库结合得到的停用表进行去停用词操作。4. 根据权利要求2所述的基于术语频率和卡方统计的文本分类特征选择方法，其 特征在于：所述中文分词步骤采用中国科学院计算技术研究所研制的汉语词法分析系统 ICTCLAS进行中文分词操作。5. 根据权利要求1?3中任意一项所述的于术语频率和卡方统计的文本分类特征选择 方法，其特征在于，所述术语频率平均术语频率_通过下式计算：其中，tfu为术语ti在属于ck类的各个文档4中的术语频率。【文档编号】G06F17/30GK104346459SQ201410629761【公开日】2015年2月11日 申请日期:2014年11月10日 优先权日:2014年11月10日 【专利技术者】马廷淮, 金传鑫, 侯荣涛, 田伟, 薛羽 申请人:南京信息工程大学本文档来自技高网...

【技术保护点】
一种基于术语频率和卡方统计的文本分类特征选择方法，其特征在于，包括如下步骤：步骤(1)，对语料库数据集进行预处理；步骤(2)，对经过步骤(1)处理得到的数据集中的对象根据向量空间模型均表示为向量形式，得到数据对象向量集合D＝{d1,d2,...dN}，类标签集合C＝{c1,c2,...c|C|}，dj表示语料库数据集中的一个文档(1≤j≤N)，ck表示语料库数据集中的一个类；步骤(3)，计算术语ti在文本分类ck中的最大术语频率和平均术语频率；步骤(4)，通过下式计算术语ti在ck类中的分布差异度:V(ti,ck)=1Nk-1Σj=1Nk(tfij-tf‾i)2+α]]>其中，α表示一个很小的实数；步骤(5)，利用步骤(3)和步骤(4)得到的最大术语频率及分布差异度，通过下式计算该术语ti在ck类中的权重：ICHI(ti,ck)=log(1+tfimax)×χ2(ti,ck)V(ti,ck),]]>其中，χ2(ti,ck)=N×(AD-CB)2(A+C)×(B+D)×(A+B)&times;(C+D);]]>步骤(6)，计算得到该术语ti在每个类中的权重，通过下式取权重最大值为术语ti在语料库数据集中的权重：ICHI(ti)=maxk=1|c|{ICHI(ti,ck)};]]>步骤(7)，计算得到每一个术语在语料库数据集中的权重，并降序排列，选出值最大的前N个术语作为特征。...

【技术特征摘要】

【专利技术属性】
技术研发人员：马廷淮，金传鑫，侯荣涛，田伟，薛羽，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：江苏;32