分布式数据系统的数据采集方法及分布式数据系统技术方案

本发明专利技术公开了一种数据采集方法和分布式数据系统，分布式数据系统包括多个相互通信连接的数据中心和各个数据中心下属的远程终端，数据中心包括管理数据中心和辅助数据中心，该数据采集方法包括：管理数据中心将采集各个远程终端上传数据的数据采集任务动态分配给各个辅助数据中心执行；当管理数据中心发生故障时，提取当前管理数据中心运行中生成的替换者信息，并将替换者信息对应的辅助数据中心作为新的管理数据中心；新的管理数据中心对发生故障的数据中心进行修复，并向预设维护端输出事件提示。本发明专利技术提高了数据中心执行数据采集任务的稳定性，进而保证了采集的目标数据的采集过程顺畅，保证了采集的目标数据的完整性。

【技术实现步骤摘要】

本专利技术涉及分布式系统
，尤其涉及一种分布式数据系统的数据采集方法及分布式数据系统。
技术介绍
现实中，每时每刻都产生大量的数据，有些需要分析，有些需要存储，所有的这些需要处理的数据数量是庞大，具有相似性的，所以需要对这些大数据进行分析处理，采集需要的数据。在现有技术中，一般是数据中心基于数据采集机对远程终端生成的目标数据(例如性能数据、告警数据、流量数据、业务数据等)进行采集，数据采集机的可靠性是采集完整的目标数据、减少人工检查目标数据完备性工作量的重要前提和保证；但是，由于目前的数据采集机本身是不可靠的，当数据采集机发生故障时，将会造成数据采集过程缓慢或中断，容易引起采集的目标数据出现严重不完整的技术问题。
技术实现思路
本专利技术的主要目的在于提供一种分布式数据系统的数据采集方法及分布式数据系统，旨在解决现有技术容易出现采集的目标数据出现严重不完整的技术问题的技术问题。为实现上述目的，本专利技术提供的一种分布式数据系统的数据采集方法，所述分布式数据系统包括多个相互通信连接的数据中心和各个数据中心下属的远程终端，数据中心包括管理数据中心和辅助数据中心，该分布式数据系统的数据本文档来自技高网...

【技术保护点】
一种分布式数据系统的数据采集方法，其特征在于，所述分布式数据系统包括多个相互通信连接的数据中心和各个数据中心下属的远程终端，数据中心包括管理数据中心和辅助数据中心，该分布式数据系统的数据采集方法包括：管理数据中心将采集各个远程终端上传数据的数据采集任务动态分配给各个辅助数据中心执行，其中一个远程终端对应一个数据采集任务；当管理数据中心发生故障时，提取当前管理数据中心运行中生成的替换者信息，并将替换者信息对应的辅助数据中心作为新的管理数据中心；新的管理数据中心对发生故障的数据中心进行修复，并向预设维护端输出事件提示。

【技术特征摘要】
1.一种分布式数据系统的数据采集方法，其特征在于，所述分布式数据系统包括多个相互通信连接的数据中心和各个数据中心下属的远程终端，数据中心包括管理数据中心和辅助数据中心，该分布式数据系统的数据采集方法包括：管理数据中心将采集各个远程终端上传数据的数据采集任务动态分配给各个辅助数据中心执行，其中一个远程终端对应一个数据采集任务；当管理数据中心发生故障时，提取当前管理数据中心运行中生成的替换者信息，并将替换者信息对应的辅助数据中心作为新的管理数据中心；新的管理数据中心对发生故障的数据中心进行修复，并向预设维护端输出事件提示。2.如权利要求1所述的分布式数据系统的数据采集方法，其特征在于，所述新的管理数据中心对发生故障的数据中心进行修复，并向预设维护端输出事件提示的步骤包括：新的管理数据中心使用预存的正确程序内容对发生故障的数据中心的程序内容进行数据修复；若未检测到发生故障的数据中心基于进行数据修复后的程序发送的响应消息，则复位重启所述发生故障的数据中心；若检测到复位重启后的发生故障的数据中心发送的响应消息，则判定所述发生故障的数据中心发生软件失效，输出第一事件提示；若未检测到复位重启后的发生故障的数据中心发送的响应消息，则判定所述发生故障的数据中心发生硬件失效，输出第二事件提示。3.如权利要求1或2所述的分布式数据系统的数据采集方法，其特征在于，所述管理数据中心将采集各个远程终端上传数据的数据采集任务动态分配给各个辅助数据中心执行的步骤包括：管理数据中心将采集各个远程终端上传数据的数据采集任务平均分配给各个辅助数据中心执行；管理数据中心每间隔预设时长获取一次各个辅助数据中心处理数据采集任务的硬件负荷，将该硬件负荷作为参考硬件负荷；管理数据中心根据所述参考硬件负荷，动态调整各个辅助数据中心执行的数据采集任务。4.如权利要求1所述的分布式数据系统的数据采集方法，其特征在于，所述管理数据中心根据所述参考硬件负荷，动态调整各个辅助数据中心执行的数据采集任务的步骤包括：管理数据中心根据所述参考硬件负荷，选出硬件负荷最高的极大辅助数据中心和硬件负荷最低的极小辅助数据中心，其中将极大辅助数据中心的硬件负荷作为极大硬件负荷，将极小辅助数据中心的硬件负荷作为极小硬件负荷；管理数据中心计算所述极大硬件负荷与极小硬件负荷的负荷差值；若所述负荷差值大于负荷阈值，则管理数据中心从所述极大辅助数据中心回收一个或多个数据采集任务，并将回收的数据采集任务再分配给极小辅助数据中心。5.如权利要求4所述的分布式数据系统的数据采集方法，其特征在于，管理数据中心统计每个数据采集任务经历回收和再分配的调整次数，所述管理数据中心从所述极大辅助数据中心回收一个或多个数据采集任务，并将回收的数据采集任务再分配给极小辅助数据中心的步骤包括：管理数据中心从所述极大辅助数据中心回收一个或多个调整次数小于次数阈值的数据采集任务，将该数据采集任务作为待分配任务；管理数据中心...

【专利技术属性】
技术研发人员：张锐，
申请(专利权)人：深圳市永兴元科技有限公司，
类型：发明
国别省市：广东;44