一种基于观点的文本分类方法技术

本发明专利技术公开了一种基于观点的文本分类方法，具体步骤包括：（100）主题段的划分；（200）语句主观性的判别；（300）观点句识别；（400）观点句相似度计算；（500）观点句聚类。通过上述方式，本发明专利技术一种基于观点的文本分类方法，该方法可以实现动态的、语义的、低维高效的文本分类，使网络文本信息处理更符合人的认知过程，更能满足实际应用的需求。

【技术实现步骤摘要】
-种基于观点的文本分类方法
本专利技术涉及文本挖掘和情感计算
，尤其是涉及一种基于观点的文本分类 方法。
技术介绍
随着Web2. 0技术的发展，网络社区、博客和论坛给网络用户提供了更宽广的平台 来交流信息和表达意见，商业机构可W通过网络调查客户对产品的评论来了解客户意见并 进行市场调查与分析，对产品进行在线跟踪，不断赶紧产品性能和售后服务，培育潜在的消 费群体，同时消费者也可W通过浏览某产品的用户评价信息来选择是否购买该产品，政府 部口可W网络论坛来了解人们对某个政策法规或者时事的看法及时的了解民众对社会管 理者的社会政治态度并作出科学合理的决策，因此，如何快速，有效处理和分析该些主观性 的评论文本，了解其他人的想法和对事物的观点和态度是网络文本信息处理领域待解决的 重要问题之一。 所谓观点，是指一个人对某事物的想法和理解，观点并非是事实，因为观点既没有 得到验证，也没有得到证明和确认，如果一个观点后来能够得到证明和确认，那它就不再是 一个观点，而变成一个事实，根据Kim和化vy对观点的定义；观点由四个要素组成：即主 题、持有者、陈述、情感，该四个元素之间存在着内在的联系，即观点的持有者针对某主题发 表了具有情感的意见陈述。 作为一个新兴的研究领域，观点挖掘研究引起NLP研究界的广泛关注，近年来， NLP相关的一些国际会议都设有专题来讨论观点挖掘问题，众多的研究成果可W分为两大 类；文档级(粗粒度）观点挖掘和句子级（中粒度）观点挖掘。 粗粒度观点挖掘将评价文本划分为支持、反对和中立H大类，粗粒度观点挖掘虽 然可W看做文本分类，但与传统的面向主题的文本分类有很大的不同，在传统面向主题的 文本分类中，与主题相关的词非常重要；而在粗粒度观点挖掘中，表明褒义或眶义观点的情 感词最有用。 粗粒度观点挖掘不能发现用户喜欢与不喜欢的具体细节，例如用户可能对一款数 码相机的外形设计满意，但是对其电池的使用寿命却不太满意，在很多时候仅仅是该种总 体上的判断还不够，因为人们对于某一话题进行观点和态度表达的时候除了对总体上的评 价外，往往还包括了对其中某个部分或者特性的评价。 中粒度观点挖掘主要是应用于对事物特性发表观点的抽取，该方法进入到语句层 次，W便能够提取观点的具体细节，当然该里的事物可W是一个产品、一种服务、一个人、一 个组织、一个事件等，例如该台照相机的电池寿命太短该句话，用户评价的产品特征是该 款相机的电池寿命，并且该用户给出的结论（观点）是消极的。 无论是粗粒度观点挖掘还是中粒度观点挖掘，像美国先打伊拉克和伊拉克先 打美国两种不同的观点都会归类为相同的一类，因为它们是W词为基本特征，并没有用到 语义特征(观点)，细粒度观点挖掘是按观点将文本或句子分类，类别的数量是动态的，因为 不同的人对同一事物有不同的看法，不仅仅是赞成、反对和中立，由于细粒度观点挖掘无法 得到一个通用的语料库，所W基于观点的文本分类是观点聚类。 提出基于观点的文本分类的另一个动机是在过去的几十年中，语义计算、情感计 算有了长足的发展，动态文本分类、基于语义的文本分类、多技术综合的文本分类、低维高 效的文本分类有着迫切的应用需求。
技术实现思路
本专利技术主要解决的技术问题是提供，该方法可W实 现动态的、语义的、低维高效的文本分类，使网络文本信息处理更符合人的认知过程，更能 满足实际应用的需求。 为解决上述技术问题，本专利技术采用的一个技术方案是：一种基于观点的文本分类 方法，具体步骤包括： (100)主题段的划分：首先输入文本，通过本文档来自技高网...

【技术保护点】
一种基于观点的文本分类方法，其特征在于，具体步骤包括：（100）主题段的划分：首先输入文本，通过(1£i,j£n)计算文本中每两个段落之间的语义相似度，然后逐个找出主题发生转换的段落候选点 Pk1,Pk2,……,Pkr, 若Pkr满足，，，则确定为主题段落的划分候选点，继续处理下一个候选点，如果全部主题段落划分候选点都处理完毕则结束，若不满足，判断是否满足，若满足，则认为为主题段落划分候选点，并继续处理下一个主题段落划分候选点，若不满足，则判断主题段落划分候选点的下一个段落是否满足，认为不是划分段，直至全部主题段落划分候选点处理完毕则结束，确定文本中的主题段落划分点，将文本中的所有自然段落合并为若干个主题段，即文本可以表示为D=S1ÈS2È……ÈSn，Sn表示主题段；其中，（，），F(Pi)= (Wi1,Wi2,……,Wij,……,Wik) 为段落特征向量，Wij表示文本特征词列表中第j个元素在段落i中的权值，权值根据词语在该段出现的频率计算，k为特征向量元素的个数，文本特征向量 F(D)=(W1,W2,……,Wl) ，Wl表示文本特征词列表中第l个元素在全文中的权值，权值根据词语在文本中出现的频率计算，是第r个主题段落划分候选点的段落的下标；（200）语句主观性的判别：采用CHI统计方法分别对主观文本和客观文本进行2‑POS主观模式提取，首先对训练语料库中的句子进行分词和词性标注，然后构造2‑POS 统计语言模型，最后根据公式（1）分别为主、客观模式集合中的每个2‑POS类型计算CHI统计量，并依据CHI值排序，（1）其中表示属于类ci的句子中包含第k个2‑POS模式句子数，表示不属于类ci的句子中包含第k个2‑POS模式句子数，表示属于类ci的句子中不包含第k个2‑POS模式句子数，表示既不属于类ci也不包含第k个2‑POS模式句子数，N表示语料中的句子总数；利用统计方法在康奈尔大学提供的影评数据集上获得主观规则；所述主观模式和所述主观规则统称为主观线索，首先根据公式（2）计算主观线索Clue权重，Wight(Clue)=Max(CHI值/最大CHI值，置信度*falg)             （2）其中flag=1，则主观线索为主观句置信度，否则flag=0；然后跟据主观线索密度定义公式（3）计算主观线索密度：（3）其中，句子包含的主观线索词总数为N，相邻的两个主观线索词wi和wi+1之间的非主观线索词数量表示为Distance(wi,wi+1)，关键词wi+1在句子中的权重表示为Score(wi+1);根据公式（4）采用tf‑idf方法计算主观线索词的权重:（4）其中，df(wi)表示包含词wi的句子数，|S|是总句子数，wi在句子Sj中出现的次数表示为tf(wi,Sj)；句子是主观性句子的可能性大小与SD(S)值的大小成正比关系；（300）观点句识别：观点句不同于主观句，是主观句子集，观点句识别首先要构造观点词语字典，然后利用观点词语字典对句子出现的观点词语进行统计，将统计的结果，利用ID3算法生成决策树，从而用于观点句的识别；（400）观点句相似度计算：首先进行观点抽取，根据步骤（100）对主题聚类，然后对同一主题，抽取描述主题的属性，对同一属性评价的褒贬词类别即为观点词，最后根据公式（5）计算词语的权重，（5）其中，k 表示句子中出现的词类数，ni表示句中 i 类词的个数，gi表示第i 个观点的权重。...

【技术特征摘要】
1. 一种基于观点的文本分类方法，其特征在于，具体步骤包括： (I O O ) 主题段的划分：首先输入文本，通过(I ￡i，j ￡n)计算文本中每两个段落之间的语义相似度， 然后逐个找出主题发生转换的段落候选点Pkl，Pk2,……，Pt，若P t满足,矣-1^>1, ,则确定辱为主题段落的划分候选点，继续处理下一个候 选点，如果全部主题段落划分候选点都处理完毕则结束，若不满足，判断巧M是否满足，若满足，则认为为主题段落划分候选点，并继续处理下一个主题 段落划分候选点，若不满足，则判断主题段落划分候选点的下一个段落是否满足，认为&不是划分段，直至全部主题段落划分候选点处理完毕则结 束，确定文本中的主题段落划分点，将文本中的所有自然段落合并为若干个主题段，即文本 可以表示为D=S1Ss2J:......￡sn，Sn表示主题段； 其中，(WillWi2,……，……，Wik)为段落特征向量，Wu表示文本特征词列表中第j个元素在段 落i中的权值，权值根据词语在该段出现的频率计算，k为特征向量元素的个数，文本特征 向量F(D) = ^W2,......,W1)，W1表示文本特征词列表中第1个元素在全文中的权值，权值 根据词语在文本中出现的频率计算，*^是第r个主题段落划分候选点的段落的下标； (200)语句主观性的判别：采用CHI统计方法分别对主观文本和客观文本进行2-P0S主 观模式提取，首先对训练语料库中的句子进行分词和词性标注，然后构造2-POS统计语言 模型，最后根据公式（1)分别为主、客观模式集合中的每个2-POS类型计算CHI统计量，并 依据CHI值排序，其中表示属于类Ci的句子中包含第k个2-POS模式句子数， 表示不属于类Ci的句子中包含第k个2-POS模式句子数，表 示属于类Ci的句子中不包含第k个2-POS模式句子数，表示既不属于类Ci也不包含第k个2-POS模式句子数，N表示语料中的句子总数； 利用统计方法在康奈尔大学提供的影评数据集上获得主观规则； 所述主观模式和所述主观规则统称为主观线索，首先根据公式（2)计算主观线索Clue 权重， Wight (Clue) =Max (CHI 值 / 最大 CHI 值，置信度 *falg) (2) 其中flag=l，则主观线索为主观句置信度，否则flag=0 ; 然后跟据主观线索密度定义公式（3)计算主观线索密度：其中，句子包含的主观线索词总数为见相邻的两个主观线索词^和wi+1之间的非主观 线索词数量表示为(Jfi, ri+1)，关键词ri+1在句子中的权重表示为(ri+1); 根据公式（4)采用dWW/方法计算主观线索词的权重：其中，表示包含词的句子数，是总句子数，在句子幻中出现的次数表 示为; 句子是主观性句子的可能性大小与SD(S)值的大小成正比关系； (300)观点句识别：观点句不同于主观句，是主观句子集，观点句识别首先要构造观点 词语字典，然后...

【专利技术属性】
技术研发人员：程实，何海棠，沈学华，程显毅，施佺，
申请(专利权)人：南通大学，
类型：发明
国别省市：江苏;32