一种数据的采集方法、采集器、任务管理中心以及系统技术方案

本申请提供一种数据的采集方法、采集器、任务管理中心以及系统。方法包括：在所述采集器处于空闲状态时，访问所述任务管理中心上的任务队列，获取所述任务队列中与所述采集器的最大处理能力匹配的采集任务；执行所述采集任务，采集对应的被采集对象的数据；将所述数据发送给目标设备。通过任务管理中心将任务加入到任务队列，采集器一旦处于空闲便从任务队列中抢占与自身最大的处理能力匹配的任务，使得采集器随时都在以最大负荷来执行采集任务，故最大限度的提高采集器的采集效率。此外，在采集器为多个情况下，由于每个采集器均以最大负荷来运行，故还实现了负荷的均衡。

【技术实现步骤摘要】
一种数据的采集方法、采集器、任务管理中心以及系统
本申请涉及数据处理领域，具体而言，涉及一种数据的采集方法、采集器、任务管理中心以及系统。
技术介绍
在目前的数据采集技术中，大部分的采集方式还是基于任务管理中心将采集任务分发给具体的采集通道或采集器来完成，以使采集通道或采集器执行被分发的任务，从而完成对相应数据的采集。现有的这种数据采集方式虽然能够实现的数据采集，但采集效率不够高，无法最大限度的提高采集通道或采集器的采集效率。
技术实现思路
本申请实施例的目的在于提供一种数据的采集方法、采集器、任务管理中心以及系统，用以最大限度的提高采集器的采集效率。第一方面，本申请实施例提供了一种数据的采集方法，应用于与任务管理中心连接的采集器，所述方法包括：在所述采集器处于空闲状态时，访问所述任务管理中心上的任务队列，获取所述任务队列中与所述采集器的最大处理能力匹配的采集任务；执行所述采集任务，采集对应的被采集对象的数据；将所述数据发送给目标设备。在本申请实施例中，通过任务管理中心将任务加入到任务队列，采集器一旦处于空闲便从任务队列中抢占与自身最大的处理能力匹配的任务，使得采集器随时都在以最大负荷来执行采集任务，故最大限度的提高采集器的采集效率。此外，在采集器为多个情况下，由于每个采集器均以最大负荷来运行，故还实现了负荷的均衡。结合第一方面，在第一种可能的实现方式中，访问任务管理中心上的任务队列，包括：访问所述任务管理中心上任务类型与所述采集器的采集类型匹配的所述任务队列。在本申请实施例中，通过访问任务类型与采集器的采集类型匹配的任务队列，采集器获取并执行的采集任务是符合自身处理能力的任务，以进一步提高采集器的处理效率。结合第一方面，在第二种可能的实现方式中，确定所述采集器是否处于空闲状态的步骤，包括：获取所述采集器当前已获取的且未执行完成的采集任务的任务数量；判断所述任务数量是否低于预设的数量阈值，其中，低于所述数量阈值表示所述采集器处于空闲状态，而不低于所述数量阈值则表示所述采集器不处于空闲状态。在本申请实施例中，通过判断任务数量是否低于预设的数量阈值的方式可以快速便捷确定出自身是否空闲。结合第一方面，在第三种可能的实现方式中，所述方法还包括：在获取到所述采集任务时，向所述任务管理中心发送任务获取指示，以使所述任务管理中心根据所述任务获取指示将所述采集任务从所述任务队列中删除。在本申请实施例中，任务管理中心难以主动去感知采集任务被哪个采集器获取。在这种情况下，通过采集器在第一时间主动告知任务管理中心，可使得任务管理中心可以实时的调整任务队列，避免由于同一采集任务被多个采集器获取而造成的资源浪费。结合第一方面，在第四种可能的实现方式中，所述方法还包括：在所述采集任务开始执行时，向所述任务管理中心发送任务执行指示，以使所述任务管理中心根据所述任务执行指示记录所述采集任务开始执行的时间；在所述采集任务执行完成时，向所述任务管理中心发送任务完成指示，以使所述任务管理中心根据所述任务完成指示记录所述采集任务执行完成的时间。在本申请实施例中，若任务管理中心主动去感知采集任务执行情况会极大的消耗任务管理中心的资源。因此，通过采集器第一时间将采集任务在什么时候开始以及什么时候结束告知任务管理中心，其在实现任务管理中心感知各采集任务的执行情况的基础上，还有效降低任务管理中心的资源消耗。第二方面，本申请实施例提供了一种数据的采集方法，应用于任务管理中心，所述任务管理中心与采集器连接，所述方法包括：获取待执行的采集任务；将所述采集任务加入到所述任务管理中心的任务队列中，以使所述采集器在处于空闲状态时，所述采集器通过访问所述任务队列而获取与所述采集器的最大处理能力匹配的所述采集任务。在本申请实施例中，通过任务管理中心将任务加入到任务队列，采集器一旦处于空闲便从任务队列中抢占与自身最大的处理能力匹配的任务，使得采集器随时都在以最大负荷来执行采集任务，故最大限度的提高采集器的采集效率。此外，在采集器为多个情况下，由于每个采集器均以最大负荷来运行，故还实现了负荷的均衡。结合第二方面，在第一种可能的实现方式中，获取待执行的采集任务，包括：通过将待执行的总任务分割，获得分割出的所述采集任务。在本申请实施例中，通过将总任务分割成各采集指标对应的采集任务，可以实现同一总任务下的各采集指标可以由各采集器抢占执行，从而最大程度的保障了同一总任务的多项采集指标在采集时的无序性，使得总任务的负荷能够无序的被各采集器分担。结合第二方面，在第一种可能的实现方式中，将所述采集任务加入到所述任务管理中心的任务队列中，包括：将所述采集任务加入到任务类型与所述采集任务的类型匹配所述的任务队列中。在本申请实施例中，通过将采集任务加入到任务类型与该采集任务的类型匹配的任务队列中，使得采集任务可以被有序的分类下发到对应队列，以便采集器可以按队列来获取匹配的任务，进一步提高采集任务的处理效率。结合第二方面，在第一种可能的实现方式中，所述任务管理中心还与备用采集器连接，所述方法还包括：确定所述任务队列中的任务数量大于阈值数量的状态持续预设时长，控制所述备用采集器执行所述任务队列中的任务。在本申请实施例中，通过协调备用的备用采集器来处理任务，可以有效避免任务的积压。第三方面，本申请实施例提供了一种采集器，所述采集器与任务管理中心连接，所述采集器包括：任务获取模块，用于在所述采集器处于空闲状态时，访问所述任务管理中心上的任务队列，获取所述任务队列中与所述采集器的最大处理能力匹配的采集任务；任务执行模块，用于执行所述采集任务，采集对应的被采集对象的数据；将所述数据发送给目标设备。结合第三方面，在第一种可能的实现方式中，所述任务获取模块，用于访问所述任务管理中心上任务类型与所述采集器的采集类型匹配的所述任务队列。结合第三方面，在第二种可能的实现方式中，所述任务获取模块，用于获取所述采集器当前已获取的且未执行完成的采集任务的任务数量；判断所述任务数量是否低于预设的数量阈值，其中，低于所述数量阈值表示所述采集器处于空闲状态，而不低于所述数量阈值则表示所述采集器不处于空闲状态。结合第三方面，在第三种可能的实现方式中，所述任务执行模块，还用于在获取到所述采集任务时，向所述任务管理中心发送任务获取指示，以使所述任务管理中心根据所述任务获取指示将所述采集任务从所述任务队列中删除。结合第三方面，在第四种可能的实现方式中，所述任务执行模块，还用于在所述采集任务开始执行时，向所述任务管理中心发送任务执行指示，以使所述任务管理中心根据所述任务执行指示记录所述采集任务开始执行的时间；所述任务执行模块，还用于在所述采集任务执行完成时，向所述任务管理中心发送任务完成指示，以使所述任务本文档来自技高网...

【技术保护点】
1.一种数据的采集方法，其特征在于，应用于与任务管理中心连接的采集器，所述方法包括：/n在所述采集器处于空闲状态时，访问所述任务管理中心上的任务队列，获取所述任务队列中与所述采集器的最大处理能力匹配的采集任务；/n执行所述采集任务，采集对应的被采集对象的数据；/n将所述数据发送给目标设备。/n

【技术特征摘要】
1.一种数据的采集方法，其特征在于，应用于与任务管理中心连接的采集器，所述方法包括：
在所述采集器处于空闲状态时，访问所述任务管理中心上的任务队列，获取所述任务队列中与所述采集器的最大处理能力匹配的采集任务；
执行所述采集任务，采集对应的被采集对象的数据；
将所述数据发送给目标设备。


2.根据权利要求1所述的数据的采集方法，其特征在于，访问任务管理中心上的任务队列，包括：
访问所述任务管理中心上任务类型与所述采集器的采集类型匹配的所述任务队列。


3.根据权利要求1所述的数据的采集方法，其特征在于，确定所述采集器是否处于空闲状态的步骤，包括：
获取所述采集器当前已获取的且未执行完成的采集任务的任务数量；
判断所述任务数量是否低于预设的数量阈值，其中，低于所述数量阈值表示所述采集器处于空闲状态，而不低于所述数量阈值则表示所述采集器不处于空闲状态。


4.根据权利要求1所述的数据的采集方法，其特征在于，所述方法还包括：
在获取到所述采集任务时，向所述任务管理中心发送任务获取指示，以使所述任务管理中心根据所述任务获取指示将所述采集任务从所述任务队列中删除。


5.根据权利要求1所述的数据的采集方法，其特征在于，所述方法还包括：
在所述采集任务开始执行时，向所述任务管理中心发送任务执行指示，以使所述任务管理中心根据所述任务执行指示记录所述采集任务开始执行的时间；
在所述采集任务执行完成时，向所述任务管理中心发送任务完成指示，以使所述任务管理中心根据所述任务完成指示记录所述采集任务执行完成的时间。


6.一种数据的采集方法，其特征在于，应用于任务管理中心，所述任务管理中心与采集器连接，所述方法包括：
获取待执行的采集任务；
将所述采集任务加入到所述任务管理中心的任务队列中，以使所述采集器在处于空...

【专利技术属性】
技术研发人员：王锋，朱容庆，孙金城，黄哲，
申请(专利权)人：南京星邺汇捷网络科技有限公司，
类型：发明
国别省市：江苏;32