【技术实现步骤摘要】
本专利技术涉及计算机网络的数据采集系统，尤其是针对具有海量数据的数据库的 智能化采集。
技术介绍
云计算(cloud computing)，分布式计算技术的一种，其最基本的概念，是透过网 络将庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多部服务器所组成的庞 大系统经搜寻、计算分析之后将处理结果回传给用户。透过这项技术，网络服务提供者可以 在数秒之内，达成处理数以千万计甚至亿计的信息，达到和“超级计算机”同样强大效能的 网络服务。一个基于云计算技术的计算机集群称为“云”。云计算具有以下特占.^ \\\ ·(1)超大规模。“云”具有相当的规模，企业私有云一般拥有数百上千台服务器。“云” 能赋予用户前所未有的计算能力；(2)虚拟化。云计算支持用户在任意位置、使用各种终端获取应用服务。所请求的资 源来自“云”，而不是固定的有形的实体。应用在“云”中某处运行，但实际上用户无需了解、 也不用担心应用运行的具体位置；(3)高可靠性。“云”使用了数据多副本容错、计算节点同构可互换等措施来保障服务 的高可靠性，使用云计算比使用本地计算机可靠；(4)通用性。云计算不针对特...
【技术保护点】
一种基于云计算系统的智能数据采集系统，部署在云计算系统中，其特征是：所述系统包括分别部署在云计算系统主节点和从节点的主节点子系统和从节点系统，其中，所述主节点子系统包括：连接智能库模块：主要用于前台连接，包括：提供预连接的ＳＱＬ语句，生成预连接任务化参数，生成前台连接任务化参数；处理智能库模块：用于选择数据的处理方式，定义统一的数据格式，确定数据内容的筛选策略，生成数据处理任务化参数；生成数据处理任务输出；存储智能库模块：用于选择后台存储的策略，生成预存储任务化参数，生成存储任务化参数；生成后台预存储任务输出；智能分析决策模块：主要用于调用所述连接智能库模块、处理智能库模块...
【技术特征摘要】
一种基于云计算系统的智能数据采集系统，部署在云计算系统中，其特征是所述系统包括分别部署在云计算系统主节点和从节点的主节点子系统和从节点系统，其中，所述主节点子系统包括连接智能库模块主要用于前台连接，包括提供预连接的SQL语句，生成预连接任务化参数，生成前台连接任务化参数；处理智能库模块用于选择数据的处理方式，定义统一的数据格式，确定数据内容的筛选策略，生成数据处理任务化参数；生成数据处理任务输出；存储智能库模块用于选择后台存储的策略，生成预存储任务化参数，生成存储任务化参数；生成后台预存储任务输出；智能分析决策模块主要用于调用所述连接智能库模块、处理智能库模块、处理智能库模块，分别生成针对从节点的预连接任务、预处理任务、预存储任务，提交给云计算辅助管理主节点模块；接收云计算辅助管理主节点模块的预连接反馈信息，包括预连接信息、预处理信息、预存储信息，根据该反馈信息生成数据采集任务，或者用户报告，提交云计算辅助管理主节点模块；云计算辅助管理主节点模块是主节点子系统与云计算系统的接口界面，用于接收用户提交的数据采集任务，提交给智能分析决策模块，然后接受智能分析决策模块的任务输出，通过给云计算系统提交给从节点的云计算辅助管理从节点模块； 所述从节点子系统包括前台连接模块用于通过JDBC接口连接前台的各种异构数据库，并反馈前台连接信息；数据处理模块根据前台预连接的信息为各种异构数据库的表生成相应的数据表格处理类和函数，对采集的数据进行必要的处理，包括数据格式转化、文本处理，并反馈数据处理信息；后台存储模块实现将经过预处理的数据，存储到云计算系统的文件系统中，或者通过JDBC接口存储到新建数据库中，并反馈存储信息；云计算辅助管理从节点模块是从节点子系统与云计算系统的接口界面，用于接收云计算辅助管理主节点模块的预连接任务、预处理任务、预存储任务，数据采集任务，调用所述前台连接模块、数据处理模块、后台存储模块，并将各种反馈信息通过云计算系统返回给云计算辅助管理主节点模块。2.—种权利要求1所述的基于云计算网络的智能数据采集系统的数据采集方法，其特 征在于，包括以下步骤步骤1 云计算辅助管理主节点模块接收用户提交的一个数据采集请求，提交给智能 分析决策模块；步骤2 智能分析决策模块调用连接智能库模块，生成预连接任务输出到云计算辅助 管理主节点模块；步骤3 云计算辅助管理主节点模块将预连接任务通过云计算系统提交...
【专利技术属性】
技术研发人员：王芙蓉，伍海浪，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：83[中国|武汉]
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。