一种热点话题识别追踪方法及系统技术方案

本发明专利技术公开了一种热点话题识别追踪方法及系统，采用了层次分析法和熵值法，通过对识别的话题进行评价，使热点话题的指标得到了量化，达到了科学定量评价的技术效果，具有识别准确率高的优势，和有效筛选热点话题的意义。减少了对人工干预的依赖，运用计算机处理的公正性，在判断某一个话题是否为热点话题时最大限度地减少了人工的干预。用本文的热点话题发现方法能较好地得到一段时间中各个领域的热点话题。基于关注度的热点话题排名较客观地反映出了这段时间中反响比较大的话题。

【技术实现步骤摘要】
一种热点话题识别追踪方法及系统
本公开涉及数据挖掘
，具体涉及一种热点话题识别追踪方法及系统。
技术介绍
话题的识别与跟踪的研究始于1996年，强调了对新信息的发现能力，关心涉及特定的话题而不是广泛的主题类别的信息，处理的对象是随时间变化的文本信息。这项技术目的是帮助人们解决信息过载的问题，通过对大量的文本信息进行挖掘分析将话题报告组织起来以比较友好的方式呈现给用户。基本的流程如图1所示。现有技术中，在语料的采集和话题识别方面，主要使用爬虫技术从网页上爬取所需网页，然后对网页内容进行加工清洗得到可以分析的文本语料库，然后使用聚类算法实现对话题的识别。这种技术相对比较成熟，但是在热点话题识别方面缺乏科学的定量分析方法，导致热点话题识别不够准确。
技术实现思路
鉴于上述问题，提出了本公开以便提供一种克服上述问题或者至少部分地解决上述问题的热点话题识别追踪方法及系统。根据本公开的一个方面，提供了一种热点话题识别追踪方法，其包括：利用网络爬虫爬取网页，并对爬取的网页进行清洗抽取网页正文内容，建立文本语料库；将所述文本语料库中文本进行向量化处理，得到可供分析的文本数据，以向量空间模型为基础进本文档来自技高网...

【技术保护点】
一种热点话题识别追踪方法，其特征在于，包括：利用网络爬虫爬取网页，并对爬取的网页进行清洗抽取网页正文内容，建立文本语料库；将所述文本语料库中文本进行向量化处理，得到可供分析的文本数据，以向量空间模型为基础进行聚类得到话题列表；利用熵值法和层次分析法，计算选取热点话题相关一级指标和二级指标，建立综合评价模型；根据所述综合评价模型，分别计算所述话题中各个话题得分，识别出热点话题。

【技术特征摘要】
1.一种热点话题识别追踪方法，其特征在于，包括：利用网络爬虫爬取网页，并对爬取的网页进行清洗抽取网页正文内容，建立文本语料库；将所述文本语料库中文本进行向量化处理，得到可供分析的文本数据，以向量空间模型为基础进行聚类得到话题列表；利用熵值法和层次分析法，计算选取热点话题相关一级指标和二级指标，建立综合评价模型；根据所述综合评价模型，分别计算所述话题中各个话题得分，识别出热点话题。2.如权利要求1所述的方法，其特征在于，所述方法还包括：根据每个所述热点话题的话题发展曲线，在话题各个阶段发生、发展、平稳的相关文档中取得与所述话题的平均向量相似度最高的文字文档作为所述话题的相关文档和话题描述。3.如权利要求1所述的方法，其特征在于，所述建立文本语料库，具体包括：对网络爬虫爬取的不规范网页标记进行处理，根据网页的格式用正则表达式对噪音信息进行初步过滤；基于标签密度的方式来抽取网页中的正文；若读取到一个结束标记，则检查与起始标记之间中文字符的比例，若未达到阈值，则将起始标记与结束标记之间的所有内容包含标记全部去掉；基于DOM文档对象模型提取出网页内容，将HTML内的转义符进行替换，并将叶子内容合并，得到正文内容抽取的文本文件，建立文本语料库。4.如权利要求1所述的方法，其特征在于，所述将所述文本语料库中文本进行向量化处理，包括：一篇文档S表示为一个向量：Si＝(w1，i，w2，i，...，wn，j)其中，Wk，i表示第i个文档中第k个索引项的权重，n是文档中索引项的总数。5.如权利要求4所述的方法，其特征在于，所述向量空间模型，包括：经过文本的向量化之后，对所述文本向量进行计算处理；采用向量空间模型中通用公式计算文档之间的相似度；所述文档相似性计算公式为：sim(di，dj)＝D(di，dj)；其中，D(di，dj)为文档之间的cosine相似值，计算方式如下：其中，和分别表示文档i和文档j向量的模，wk，j表示第i篇文档中第k个索引项的权重，t是两篇文档中不同索引项的总数。6.如权利要求5所述的方法，其特征在于，所述以向量空间模型为基础进行聚类得到话题列表中的聚类算法，包括：当文档Di到来时，对Di进行向量表示，并创建一个包含Di的类Gj；对于Gj中的每一个微类Cn，如果Cn中的文档数m<＝600，计算Di与Cn中所有文档的相似度；如果m>600，计算Di与Cn中文档集合{Dm-600...Dm-1}中所有文档的相似度，并计...

【专利技术属性】
技术研发人员：任东英，朱瑾鹏，
申请(专利权)人：北京数洋智慧科技有限公司，
类型：发明
国别省市：北京,11