一种数据采集器故障恢复后的工作控制方法技术

本发明专利技术提供了一种数据采集器故障恢复后的工作控制方法，控制中心发现一个新数据采集器登录，则选举出一个在正常工作的资源分配数据采集器进行资源分配；通过对应的数据库查询目前正常工作的数据采集器及正在采集的数据源，抽取数据源分配给所述新数据采集器，在对应数据库中更新数据采集器和数据源的对应关系；被抽取了数据源的数据采集器定时监测数据库中是否有需要断开的数据源，如果有，则断开数据源；新数据采集器定时监测数据库中是否有需要新分配的数据源，如果有，启动数据采集线程进行数据采集。本发明专利技术方案能够在不需要停止或者重启任意一台机器的情况下，实现数据源分配到所有的数据采集器上。

【技术实现步骤摘要】
一种数据采集器故障恢复后的工作控制方法
本专利技术涉及一种数据采集器故障恢复后的工作控制方法，特别是涉及一种适用于拉取型数据采集器的采集器故障恢复后的工作控制方法。
技术介绍
目前拉取型数据采集器（拉取型数据采集器是指数据采集器主动向数据源拉取数据，拉取方式可以是访问数据源的数据库或者通过其他通讯方式拉取数据。）故障恢复后或者发生的故障无法解决而需要新增加数据采集器，需要停止或者重启任意一台机器来实现数据源分配到所有的数据采集器上，即数据采集器的水平扩展。
技术实现思路
本专利技术要解决的技术问题是提供一种数据采集器故障恢复后的工作控制方法，该方法能够在不需要停止或者重启任意一台机器，就可以实现数据源分配到所有的数据采集器上；本专利技术第二个要解决的技术问题是在保证数据采集器故障恢复后，或者需要新增加数据采集器时，将数据采集器的数据源的采集工作自动均衡分配到所有数据采集器上的自动均衡方法；本专利技术第三个要解决的技术问题是提供一种便于故障问题原因排查的方法。本专利技术采用的技术方案如下：一种数据采集器故障恢复后的工作控制方法，具体方法为：如果控制中心发现一个没有分配数据源的新数据采集器登录，则选举出处于在线状态的其他一个数据采集器，作为进行数据源分配处理的资源分配数据采集器；控制中心下发资源分配通知给所述资源分配数据采集器；所述资源分配数据采集器收到资源分配任务通知后，通过对应的数据库查询目前正常工作的数据采集器及正在采集的数据源，抽取数据源分配给所述新数据采集器，在对应数据库中更新数据采集器和数据源的对应关系，并向控制中心汇报资源分配完毕，将资源分配方式报告给控制中心；被抽取了数据源的数据采集器定时监测数据库中是否有需要断开的数据源，如果有，则断开数据源；所述新数据采集器定时监测数据库中是否有需要新分配的数据源，如果有，启动数据采集线程进行数据采集。数据采集器与控制中心建立TCP长连接，建立连接后，并登录到控制中心，登录时上传采集器的ID和采集器的组ID并向控制中心汇报与该采集器链接的所有数据源ID。选举资源分配数据采集器时，只要按照设定的选举规则，从在线正常工作状态的数据采集器中能唯一选举出一个数据采集器，作为资源分配数据采集器即可。由于数据源的分配工作只是更新所述其所对应的数据库中数据采集器和数据源的对应关系，因此，还需要分配完成后，一方面，被抽取了数据源的数据采集器定时监测数据库中是否有需要断开的数据源，如果有，则断开数据源；另一方面，所述新数据采集器定时监测数据库中是否有需要新分配的数据源，如果有，启动数据采集线程进行数据采集，建立与被分配的数据源之间的链接，完成数据源采集工作。本专利技术方案能够在不需要停止或者重启任意一台机器的基础上，就可以实现数据源分配到所有的数据采集器上。所述方法还包括：建立数据采集器组，数据采集器登录控制中心时上传该数据采集器所在的组ID，实现数据采集器的分组管理。所述方法还包括：建立数据采集器组时，对于同一业务类型的数据源，其数据采集器建立在同一组，使得分组责任明确。所述方法还包括：所选举的资源分配数据采集器，与新数据采集器在同一组中。所述方法还包括：每一个数据采集器组对应一个数据库，方便分组管理。所述方法还包括：所选举的资源分配数据采集器为在线状态的数据采集中ID号最大或最小的数据采集器。所述方法还包括：所述新数据采集器定时监测数据库中是否有需要新分配的数据源时，如果有，首先根据心跳机制判断数据源是否被其他采集器正在采集，如果没有被采集，再启动数据采集线程进行数据采集。数据采集器每隔一个设定时间阈值T1，向数据库更新与数据源链接的心跳时间，只要心跳时间不超出所设定的时间距离阈值T2，则说明数据采集器在正常工作。所述方法还包括：分配日志数据库，控制中心下发资源分配通知给所述资源分配数据采集器，并向日志数据库记录日志，内容包括所处理的任务类型及所选举的数据采集器；所述资源分配数据采集器将资源分配方式报告给控制中心后，控制中心向日志数据库记录该日志，以此便于故障问题原因排查。所述方法还包括：资源分配数据采集器在进行资源分配时，根据当前处于工作状态的所有数据采集器以及所有需要采集的数据源，根据平均分配原则，抽取适当的数据源分配给所述新数据采集器，实现资源的均衡分配。所述方法还包括：抽取数据源中ID号最大或最小的数据源分配给所述新数据采集器。与现有技术相比，本专利技术的有益效果是：1、解决了拉取式数据采集器故障节点恢复后，在不重启或停止任意一台机器的前提下，完成资源的分配，保证了数据的完整性，并可以实现采集器的水平扩展；2、对于某个数据采集器故障恢复或加入新的数据采集器时，被采集的数据源的自动均衡分配上，本方案得到了很好的解决；3、通过数据采集器与数据源的心跳机制保证了一个数据源同一时刻只能有一个采集器与之相链接；4、引入了组的机制，即保证了同一个组内的数据采集器才能进行资源均衡；5、控制中心作为数据采集器的核心组件，统一进行新增采集器的发现并且引入了选举机制，选择进行资源分配和均衡的唯一采集器；6、控制中心记录了故障发生和处理的日志，能够给系统管理员在进行故障排查提供了参考。附图说明图1为本专利技术其中一实施例的结构示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。本说明书（包括摘要和附图）中公开的任一特征，除非特别叙述，均可被其他等效或者具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。具体实施例1一种数据采集器故障恢复后的工作控制方法，具体方法为：如果控制中心发现一个没有分配数据源的新数据采集器登录（如图1所示，例如c2），则选举出处于在线状态的其他一个数据采集器，作为进行数据源分配处理的资源分配数据采集器；控制中心下发资源分配通知给所述资源分配数据采集器；所述资源分配数据采集器收到资源分配任务通知后，通过对应的数据库查询目前正常工作的数据采集器（c1和c3）及正在采集的数据源（s1到s6），抽取数据源分配给所述新数据采集器，在对应数据库中更新数据采集器和数据源的对应关系，并向控制中心汇报资源分配完毕，将资源分配方式报告给控制中心；被抽取了数据源的数据采集器（c1和c3）定时监测数据库中是否有需要断开的数据源，如果有，则断开数据源；所述新数据采集器（c2）定时监测数据库中是否有需要新分配的数据源，如果有，启动数据采集线程进行数据采集。数据采集器与控制中心建立TCP长连接，建立连接后，并登录到控制中心，登录时上传采集器的ID和采集器的组ID并向控制中心汇报与该采集器链接的所有数据源ID。选举资源分配数据采集器时，只要按照设定的选举规则，从在线正常工作状态的数据采集器中能唯一选举出一个数据采集器，作为资源分配数据采集器即可。由于数据源的分配工作只是更新所述其所对应的数据库中数据采集器和数据源的对应关系，因此，还需要分配完成后，一方面，被抽取了数据源的数据采集器定时监测数据库中是否有需要断开的数据源，如果有，则断开数据源；另一方面，所述新数据采集器定时监测数据库中是否有需要新分配的数据源，如果有，启动数据采集本文档来自技高网...

【技术保护点】
一种数据采集器故障恢复后的工作控制方法，具体方法为：如果控制中心发现一个没有分配数据源的新数据采集器登录，则选举出处于在线状态的其他一个数据采集器，作为进行数据源分配处理的资源分配数据采集器；控制中心下发资源分配通知给所述资源分配数据采集器；所述资源分配数据采集器收到资源分配任务通知后，通过对应的数据库查询目前正常工作的数据采集器及正在采集的数据源，抽取数据源分配给所述新数据采集器，在对应数据库中更新数据采集器和数据源的对应关系，并向控制中心汇报资源分配完毕，将资源分配方式报告给控制中心；被抽取了数据源的数据采集器定时监测数据库中是否有需要断开的数据源，如果有，则断开数据源；所述新数据采集器定时监测数据库中是否有需要新分配的数据源，如果有，启动数据采集线程进行数据采集。

【技术特征摘要】
1.一种数据采集器故障恢复后的工作控制方法，具体方法为：如果控制中心发现一个没有分配数据源的新数据采集器登录，则选举出处于在线状态的其他一个数据采集器，作为进行数据源分配处理的资源分配数据采集器；控制中心下发资源分配通知给所述资源分配数据采集器；所述资源分配数据采集器收到资源分配任务通知后，通过对应的数据库查询目前正常工作的数据采集器及正在采集的数据源，抽取数据源分配给所述新数据采集器，在对应数据库中更新数据采集器和数据源的对应关系，并向控制中心汇报资源分配完毕，将资源分配方式报告给控制中心；被抽取了数据源的数据采集器定时监测数据库中是否有需要断开的数据源，如果有，则断开数据源；所述新数据采集器定时监测数据库中是否有需要新分配的数据源，如果有，启动数据采集线程进行数据采集。2.根据权利要求1所述的数据采集器故障恢复后的工作控制方法，所述方法还包括：建立数据采集器组，数据采集器登录控制中心时上传该数据采集器所在的组ID。3.根据权利要求2所述的数据采集器故障恢复后的工作控制方法，所述方法还包括：建立数据采集器组时，对于同一业务类型的数据源，其数据采集器建立在同一组。4.根据权利要求2或3所述的数据采集器故障恢复后的工作控制方法，所述方法还包括：所选举的资源分配数据采集器，与新数据采集器在同一组中。5.根据权利要求4所述的数据采集...

【专利技术属性】
技术研发人员：林康，游浣权，侯啸建，
申请(专利权)人：北京科来数据分析有限公司，
类型：发明
国别省市：北京,11