基于云计算的互联网信息监测系统技术方案

本实用新型专利技术提出一种基于云计算的互联网信息监测系统，其包括若干用户终端、采集任务协调器和数据协调器。用户终端与互联网相连，其中每个用户终端又进一步包括搜索单元和数据管理单元。搜索单元用于对互联网站点进行监测和采集。数据管理单元用于对采集得到的互联网信息进行管理。采集任务协调器与所有的搜索单元相连，用于将各个用户需要遍历的互联网站点汇总为一个总的采集范围，并进行划分后，将相应的搜索范围信息分配给各个搜索单元。数据协调器与所有的搜索单元及所有的数据管理单元相连，用于将所有的搜索单元采集到的数据进行汇总，并根据各个用户的需要，分配传输到各个数据管理单元中。本实用新型专利技术具有实时性高的优点。（*该技术在2020年保护过期，可自由使用*）

【技术实现步骤摘要】

本技术涉及一种网络技术，特别涉及一种基于云计算的互联网信息监测系 统。
技术介绍
随着互联网的快速发展，网络媒体作为一种新的信息传播形式，已深入人们的日 常生活。网友言论活跃已达到前所未有的程度，不论是国内还是国际重大事件，都能马上形 成网上舆论，通过这种网络来表达观点、传播思想，进而产生巨大的舆论压力，达到任何部 门、机构都无法忽视的地步。可以说，互联网已成为思想文化信息的集散地和社会舆论的放 大器。为了迎合对互联网上信息快速搜集的需要，因而出现了一种互联网信息实时监测 系统。互联网信息实时监测系统是一种在基础计算硬件和计算资源的基础上，应用特定的 信息采集软件，将互联网上用户感兴趣的内容采集下来，并实现存储和管理的一种系统。系 统可以为实时垂直搜索引擎、互联网舆论监测(舆情监测)、商业品牌评论调研、企事业危 机管理、社会突发公共事件等应用提供解决方案。其可以通过对网页内容的自动采集处理、 敏感词过滤、智能聚类分类、主题检测、专题聚焦、统计分析的系统，实现对相关网络监督管 理的需要，并最终形成简报、专报、分析报告、移动快报等，为决策层全面掌握信息动态，做 出正确引导，提供分析依据。目前，市场上的互联网信息实时监测系统的设计采用的是传统的软硬件系统思 路。一个厂商会为一个客户提供一套计算硬件、一套搜索软件和一套管理软件，而且整个系 统由该用户独占，和其他用户没有关系。如图1所示，其为现有的一种互联网信息实时监测系统的结构示意图。用户终端 10通过宽带等硬件设施连接到互联网13上，终端10包括有搜索单元11和数据管理单元 12，搜索单元11从互联网站点中采集相关的信息，并传输给数据管理单元12，由数据管理 单元12汇总形成用户指定形式的信息数据。这种互联网信息实时监测系统可以自主地对网络信息进行监测，并按照用户的需 要有针对性地采集信息，可以大大节约用户遍历网络站点所需要的时间。但是，现有的互联 网信息实时监测系统也存在着一些缺陷由于各个用户所使用的系统和计算资源是相互独立的，而单个用户不可能承担实 时遍历整个互联网的硬件投入(实际一套系统一般仅包括若干台服务器，例如3-5台)，因 而大大限制了单个用户对信息的采集范围。并且有限的计算资源也使系统对网络站点的遍 历时间过长，导致信息的实时性不高，这就从根本上降低了系统的服务质量。
技术实现思路
本技术的目的是提出一种基于云计算的互联网信息监测系统，以解决现有的 互联网信息监测系统采集范围小、实时性不高的问题。本技术提出一种基于云计算的互联网信息监测系统，用于对互联网信息进行 实时采集，包括若干用户终端、采集任务协调器和数据协调器。用户终端与互联网相连，用 于对互联网信息进行实时监测和采集，并对采集到的信息进行规划和管理。其中，每个用户 终端又进一步包括搜索单元和数据管理单元。搜索单元用于对互联网站点进行监测和采 集。数据管理单元用于对采集得到的互联网信息进行管理。采集任务协调器与所有的搜索 单元相连，用于将各个用户需要遍历的互联网站点汇总为一个总的采集范围，并进行划分 后，将相应的搜索范围信息分配给各个搜索单元。数据协调器与所有的搜索单元及所有的 数据管理单元相连，用于将所有的搜索单元采集到的数据进行汇总，并根据各个用户的需 要，分配传输到各个数据管理单元中。依照本技术较佳实施例所述的基于云计算的互联网信息监测系统，采集任务 协调器还包括独有采集目标反馈子单元，其与所有的搜索单元相连，用于对各个用户的信 息采集范围进行分析，并将用户独有的采集站点信息反馈给相应的搜索单元，以由搜索单 元从独有采集站点处采集的信息，直接导入本地的数据管理单元中。相对于现有技术，本技术的有益效果是本技术可以将各个用户的采集 计算资源进行的统一管理，在逻辑上将它们集中起来(在物理上可以是集中的、也可以是 分布式的)，实现有效协同工作，共同承担巨大的采集搜索计算任务。从而，从本质上提高系 统的实时性。当然，实施本技术的任一产品并不一定需要同时达到以上所述的所有优点。附图说明图1为现有的一种互联网信息实时监测系统的结构示意图；图2为本技术基于云计算的互联网信息监测系统的一种实施例结构图；图3为本技术采集任务协调器的一种实施例结构图；图4为本技术基于云计算的互联网信息监测系统的工作过程流程图；图5为本技术处理独有的采集目标时的一种实施例流程图。具体实施方式本技术所述的云计算(Cloud Computing)，是指IT基础设施以及服务的交付 和使用模式，用户通过网络以按需、易扩展的方式获得所需的资源和服务。这种资源和服务 一般是和软件、互联网相关的。在技术本质上，它是并行计算(Parallel Computing)、分布 式计算(Distributed Computing)和网格计算(Grid Computing)的发展。本技术通过云计算的思想，重新设计互联网信息监测系统的底层构架，实现 计算资源的共享，从而提高实际系统的实时性。以下结合附图，具体说明本技术。请参见图2，其为本技术基于云计算的互联网信息监测系统的一种实施例结 构图。其包括若干用户终端20、采集任务协调器24和数据协调器25。用户终端20和互联 网23相连，用于对互联网23信息进行实时监测和采集，并对采集到的信息进行规划和管 理。其中，每个用户终端20又进一步包括搜索单元21和数据管理单元22。搜索单元21用 于对互联网23站点进行监测和采集，数据管理单元22用于对用户需要的互联网23信息进行管理。采集任务协调器24与所有的搜索单元21相连，用于将各个用户终端20需要遍历 的互联网站点汇总为一个总的采集范围，并进行划分后，将相应的搜索范围信息分配给各 个搜索单元21。数据协调器25与所有的搜索单元21及所有的数据管理单元22相连，用于 将所有的搜索单元21采集到的数据进行汇总，并根据各个用户的需要，分配传输到各个数 据管理单元22中。采集任务协调器24和数据协调器25是整个系统的运转枢纽，它们的工 作都可以通过互联网远程实现(当然，托管到厂商的集中机房也是可以的)。各个用户终端20的采集范围是由用户指定的互联网站点，例如，论坛、博客和新 闻站点。一般地，在互联网实时监测系统中，论坛和博客等Web2.0由于其用户参与度高和 交互性好的特点而成为主要监测目标。用户终端20会事先将各自的采集范围通过互联网 23发送给采集任务协调器24。然后采集任务协调器24会将各个用户终端20的采集范围 进行汇总。汇总后总的采集范围即是所有参与系统协作的用户终端20的采集范围的并集。例如，用户1的采集范围是集合C1，用户2的采集范围的集合C2，那么用户1和用 户2总的采集范围就是C = C1 U C2之后，采集任务协调器24会将总的采集范围进行重新划分，并分配给各个用户终 端20的搜索单元21。值得注意的是，采集任务协调器24向各个用户终端20分配采集任务 时，需要考虑各个用户终端20采集资源的容量(即用户终端20的硬件计算能力、带宽大小 等)，从而最终达到计算的均衡性。接着各个用户终端20的搜索单元21根据分配到的采集范围，对相应的互联网站 点进行实时采集，然后将采本文档来自技高网...

【技术保护点】
一种基于云计算的互联网信息监测系统，用于对互联网信息进行实时采集，其特征在于，包括：　　若干用户终端，与互联网相连，用于对互联网信息进行实时监测和采集，并对采集到的信息进行规划和管理，其中，每个用户终端又进一步包括：　　一搜索单元，用于对互联网站点进行监测和采集；　　一数据管理单元，用于对用户需要的互联网信息进行管理；　　一采集任务协调器，与所有的搜索单元相连，用于将各个用户需要遍历的互联网站点汇总为一个总的采集范围，并进行划分后，将相应的搜索范围信息分配给各个搜索单元；一数据协调器，与所有的搜索单元及所有的数据管理单元相连，用于将所有的搜索单元采集到的数据进行汇总，并根据各个用户的需要，分配传输到各个数据管理单元中。

【技术特征摘要】

【专利技术属性】
技术研发人员：翁时锋，张长水，
申请(专利权)人：翁时锋，宁波大象信息技术有限公司，
类型：实用新型
国别省市：31[中国|上海]