一种数据采集控制的方法及系统技术方案

本发明专利技术涉及数据采集控制技术领域，公开了一种数据采集控制的方法及系统，包括步骤：在所述采集平台管理模块中创建初始任务，形成所述初始任务的初始任务列表；根据所述初始任务列表，为每一个所述初始任务建立运行服务器；读取所述初始任务列表，并将所述初始任务列表存储到所述采集进程控制模块中，构成执行任务列表；对所述执行任务列表进行优先级排序；顺序在所述执行任务对应的所述任务服务器中执行所述执行任务。解决了现有的信息采集系统中，配置任务繁琐，人员无法同时监控所有在执行的任务，并且对任务的执行顺序不能做到实时的优化的技术问题。

A method and system of data acquisition and control

【技术实现步骤摘要】
一种数据采集控制的方法及系统
本专利技术涉及数据采集控制
，更具体地说，它涉及一种数据采集控制的方法及系统。
技术介绍
目前各种不同的用于存储业务和数据的平台被开发出来，中小型企业为了兼顾到不同平台的业务和数据，一般都是同时使用不同的平台维护自己的业务和数据。现有技术中，中小型企业一般借助各平台维护自己的业务和数据，由于数据的分散使得中小型企业对自己的数据的维护成本增大，因此中小型企业采用信息采集的方式帮助企业降低运营的成本。现有的信息采集系统的功能都只是对数据的采集和存储，手动配置采集的时间和采集任务的分布，给采集任务的分配带来繁琐的工作，要考虑自身服务器采集时的压力，也要考虑采集平台能够承受的压力。现有的信息采集系统中，存在配置任务繁琐，人员无法同时监控所有在执行任务的状态，并且对任务的执行顺序不能做到实时的优化的问题。
技术实现思路
针对上述问题，本专利技术的目的在于提供一种，其具有采集任务配置简单化，并且能实时监控所有任务的状态并实时做出优化方案的优点。>本专利技术的上述专本文档来自技高网...

【技术保护点】
1.一种数据采集控制的方法，其特征在于，包括以下步骤：/nS1：建立采集平台管理模块，在所述采集平台管理模块中创建初始任务，形成所述初始任务的初始任务列表；/nS2：根据所述初始任务列表，为每一个所述初始任务建立运行服务器；/nS3：建立采集进程控制模块，读取所述初始任务列表，并将所述初始任务列表存储到所述采集进程控制模块中，构成执行任务列表；/nS4：建立采集进程优化模块，对所述执行任务列表进行优先级排序；/nS5：根据S4中排序后的所述执行任务列表，顺序在所述执行任务对应的所述任务服务器中执行所述执行任务。/n

【技术特征摘要】
1.一种数据采集控制的方法，其特征在于，包括以下步骤：
S1：建立采集平台管理模块，在所述采集平台管理模块中创建初始任务，形成所述初始任务的初始任务列表；
S2：根据所述初始任务列表，为每一个所述初始任务建立运行服务器；
S3：建立采集进程控制模块，读取所述初始任务列表，并将所述初始任务列表存储到所述采集进程控制模块中，构成执行任务列表；
S4：建立采集进程优化模块，对所述执行任务列表进行优先级排序；
S5：根据S4中排序后的所述执行任务列表，顺序在所述执行任务对应的所述任务服务器中执行所述执行任务。


2.根据权利要求1所述的数据采集控制的方法，其特征在于，在步骤S1中，还包括，建立任务基本信息库，所述任务基本信息库中存储任务的基本信息，包括任务唯一标识，任务上次耗时，任务最迟时间，任务自定权重，任务最终权重，任务对应平台，运行服务器编号在内的字段。


3.根据权利要求1所述的数据采集控制的方法，其特征在于，在步骤S4中，还包括，获取所述执行任务的所述运行服务器上的任务状态，排除所述任务状态为执行完成的所述执行任务，对剩余所述执行任务进行优先级排序。


4.根据权利要求2所述的数据采集控制的方法，其特征在于，还包括建立采集耗时统计模块，记录下执行所述执行任务的耗时，更新到所述任务上次耗时字段中。


5.根据权利要求2所述的数据采集控制的方法，其特征在于，对所述执行任务列表进行优先级排序，具体过程为：
计算所述任务最终权重，计算公式为：
若当前时间距离所述任务最迟时间的剩余时间，不足所述任务上次耗时，则finalWeight＝weight*100+timeFly+1000；
否则finalWeight＝weight*100+timeFly；
其中，timeFly为所述任务上次耗时，weight为所述任务自定权重，finalWeight...

【专利技术属性】
技术研发人员：祝刚，张启科，孙字弋，
申请(专利权)人：北京众信易保科技有限公司，
类型：发明
国别省市：北京;11