一种判定评论文本极性的方法及其应用技术

本发明专利技术公布了一种判定评论文本极性的方法，所述方法可以应用于网络舆情监控。将评论文本用汉语分词工具进行分词和词性标注；根据词性标注结果，选出形容词集合；对形容词集合中的单词分别进行形容词极性判定；比较正极性单词的个数与负极性单词的个数：如果正极性单词的个数大于负极性单词的个数，则判定该评论文本为正面评价；如果正极性单词的个数等于负极性单词的个数，则判定该评论文本为中立评价；如果正极性单词的个数小于负极性单词的个数，则判定该评论文本为负面评价。本工作主要从语言学的角度来考察极性的非对称性，并将这些非对称性应用到自然语言处理的情感分析中。“不”、“有点”两个极性指示器具有充分的语言学解释。

【技术实现步骤摘要】

本专利技术提供ー种判定评论文本的极性的方法，具体涉及ー种形容词的极性判定方法，属于计算语言学领域，该方法可以应用于网络舆情监控。
技术介绍
网络舆情监测是ー项重要的工作。对于网上发布的各种新闻事件所产生的影响进行分析，有助于及时正确地进行相应处理。在很多情况下，针对某个新闻事件，我们希望了解究竟是正面评价多还是负面评价多。比如，以下一则新闻(见图1，详见http://edU.sina. com. cn/gaokao/2012-06-28/1700346332. shtml)引起了网民的热烈评论。·为了获得正负面评论的比例，传统的作法是采用人工分析。比如说，根据人工阅读判断得知，对该新闻中“文史哲祸害社会”论调的态度分布分别是66%不同意、24%同意，此外10%持中立态度。人工对评论文本进行极性分类的准确度较高，但是极为耗时，不利于大批量的文本处理。本文提出的方法，首先对评论文本中出现的形容词进行极性判定，然后再根据判定的结果对热点新闻的评论文本进行极性判定，确定该评论文本是正面评论、负面评论还是中性评论。需要指出，本文采用的方法，完全自动完成，适合大批量文本处理。本专利技术中用来判断形容词极性的方法与已有授权专利《一种词汇语义褒贬获得方法、系统及装置》(申请号200710099802. 2)在总体框架上类似。该专利和本文都采用了Turney所提出的用互信息值对单词极性判定的框架(PMI-IR)。本专利技术方法与该专利有三点不同I.已有专利中的方法用到了搜索引擎中的AND运算符，而本申请专利的方法不需要使用AND运算符。可以排除诸如“美丽但骄傲”、“悲伤和欢乐”等噪声。因为，对于AND运算符来说，这些极性相反的单词(“美丽”为正极性，“骄傲”为负极性；“悲伤”为负极性，“欢乐”为正极性)都是影响最終結果的噪声。因此本专利技术方法能够获得更高的准确度。2.本方法是从语言分析的实际出发，考虑到了形容词和其它词性的差异，也说明本方法更加有针对性。3.本申请专利选择的极性指示器为“不”和“有点”，而不需要如该专利中根据经验选择PWords (正极性范例词集合)和NWords (负极性范例词集合),这种根据经验进行的选择容易带来结果的不确定性。
技术实现思路
本专利技术的目的是提供一种新的方法，能够自动判定评论文本的极性。
技术实现思路
包括两部分判定形容词的极性和判定评论文本的极性。其中，形容词极性的判定是评论文本极性判定的基础环节。本专利技术提供的技术方案如下 ー种判定形容词极性的方法，其特征是，对于给定形容词word，判断其极性的步骤如下I)在搜索引擎中用精确匹配模式查找“不word”，记下返回结果数目，得到hits ( “不 word”)；2)在搜索引擎中用精确匹配模式查找“有点word”，记下返回结果数目，得到hits ( “有点 word”)；3)在搜索引擎中用精确匹配模式查找“不”，记下返回结果数目，得到hits( “不，，)；4)在搜索引擎中用精确匹配模式查找“有点”，记下返回结果数目，得到hits ( “有点，，)；5)计算 word 的极性 SO-PMI-IR SQ-PMl-IR(Word) = tog. hits(-4word-)hits(-YL'n6)若极性SO-PMI-IR(word) > 0,则word为正极性,否则word为负极性；其中,hits (query)是提交查询串query到搜索引擎后返回的命中记录数，即返回结果数目。所述的判定形容词极性的方法，其特征是，为了避免运算溢出，当出现命中记录数为零时，用0.01替换。本专利技术同时提供ー种判定评论文本极性的方法，其特征是，对于给定的评论文本，判定其极性的步骤如下a)将评论文本用汉语分词工具进行分词和词性标注；b)根据词性标注结果，选出形容词集合；c)用上面所述的方法对形容词集合中的单词分别进行形容词极性判定；d)比较正极性单词的个数与负极性单词的个数如果正极性单词的个数大于负极性单词的个数，则判定该评论文本为正面评价；如果正极性单词的个数等于负极性单词的个数，则判定该评论文本为中立评价；如果正极性单词的个数小于负极性单词的个数，则判定该评论文本为负面评价。所述的判定评论文本极性的方法，其特征是，所述汉语分词工具为中国科学院计算技术研究所汉语词法分析系统ICTCLAS。上面所述方法可以应用于网络舆情监控，方法为，对于带有用户评论功能的某一条网络新闻，执行如下步骤对于该新闻的每一条用户评论，用上面所述的方法自动判别所述用户评论文本的极性；展示所述网络新闻的用户评论的极性(即正面评价、中立评价、负面评价)情況。所述的网络舆情监控方法，其特征是，展示的内容包括正面评价、中立评价以及负面评价的数量和/或百分比；展示方式为文本或者图形(如柱状图、饼状图等)。所述的网络舆情监控方法，其特征是，展示的对象为普通读者，展示的位置为该网络新闻页面。所述的网络舆情监控方法，其特征是，展示的对象为舆情监控部门。所述的网络舆情监控方法，其特征是，对于已经计算过极性的用户评论，其极性结果自动保存；当有新的用户评论产生时，仅计算新的评论的极性，并更新展示結果。所述的网络舆情监控方法，其特征是，所用到的分词、单词极性判定、评论文本极性判定、以及最后的展示均由计算机程序自动完成。本工作主要从语言学的角度来考察极性的非対称性，并将这些非对称性应用到自然语言处理的情感分析中。“不”、“有点”两个极性指示器具有充分的语言学解释。附图说明图I实施例用图新闻截图。图2本专利技术中判定评论文本极性的流程图。图3本专利技术中判定形容词极性的流程图。·图4实施例用图新闻评论文本。图5实施例用图标注結果。具体实施例方式针对判定形容词的极性和判定评论文本的极性两个部分，分别采用例子进行说明，以便理解具体实施过程。A.判定评论文本的极性 针对图I中的新闻，假设有评论文本如图4。判定该评论文本极性的流程图如图2所示。具体实施过程如下步骤ー将其中的文字用ICTCLAS (中国科学院计算技术研究所汉语词法分析系统 Institute ofComputing Technology,Chinese Lexical Analysis Systemノ进オ丁分词ネロ词性标注后得到结果如图5所示(换用其它合理完善的汉语词法分析系统进行分词和词性标注也可以，本专利技术并不仅限于ICTCLAS)；步骤ニ 在图5所示结果中，/a为形容词的词性标记，根据词性选出形容词集合为“少”、“浅薄”、“狂妄”、“科学”。步骤三对以上四个单词分别进行形容词极性判定(见B判定形容词的极性)，得到的结果为I个正极性(“科学”)和3个负极性(“少”，“浅薄”，“狂妄”)。步骤四由于正极性单词的个数小于负极性单词的个数，因此判定该评论是对新闻中“文史哲祸害社会”论调的负面评价。通过自动的页面抽取工具，对该新闻已有的152条评论进行抽取，并按照上面的方法进行自动分析，得到的结果是负面评价121，正面评价19，中立评价8 ;人工统计的结果是负面评价119，正面评价18，中立评价15 ;由此可以看出使用本专利技术所得结果和人工统计结果基本吻合。这说明本文提出的方法具有较强的实用性，且能够极大地节省人工成本。需要注意，有一些评论文本经过ICTCLAS分词和词性标注后，本文档来自技高网...

【技术保护点】
一种判定形容词极性的方法，其特征是，对于给定形容词word，判断其极性的步骤如下：1)在搜索引擎中用精确匹配模式查找“不word”，记下返回结果数目，得到hits(“不word”)；2)在搜索引擎中用精确匹配模式查找“有点word”，记下返回结果数目，得到hits(“有点word”)；3)在搜索引擎中用精确匹配模式查找“不”，记下返回结果数目，得到hits(“不”)；4)在搜索引擎中用精确匹配模式查找“有点”，记下返回结果数目，得到hits(“有点”)；5)计算word的极性SO？PMI？IR：6)若极性SO？PMI？IR(word)>0，则word为正极性，否则word为负极性；其中，hits(query)是提交查询串query到搜索引擎后返回的命中记录数，即返回结果数目。FDA00001910474900011.jpg

【技术特征摘要】

【专利技术属性】
技术研发人员：徐戈，王厚峰，
申请(专利权)人：北京大学，
类型：发明
国别省市：