一种大数据集群管理方法和装置制造方法及图纸

一种大数据集群管理方法和装置，包括数据处理分析系统、数据收集系统和节点检测维护系统，且数据处理分析系统分别与数据收集系统和节点检测维护系统通讯连接，数据收集系统和节点检测维护系统通讯连接；资源收集服务器与数据储存库通讯连接；故障警示模块分别与节点反馈模块和自动维护模块通讯连接；数据处理分析系统包括调度策略执行器和智能防采集模块，调度策略执行器与智能防采集模块通讯连接。本发明专利技术通过节点检测维护系统，定时的对节点进行检查，防止节点卡死不工作时占用资源，以及对节点进行自动恢复，更加智能化；同时通过异常行为检测系统对输入数据和网络进行检查筛选，防止病毒以及脚本的运行，提高系统的自我防御能力。力。力。

【技术实现步骤摘要】
一种大数据集群管理方法和装置


[0001]本专利技术涉及计算机大数据
，尤其涉及一种大数据集群管理方法和装置。

技术介绍

[0002]作为大数据系统，常常涉及多个服务器或者服务器集群，而这些服务器或者服务器集群之间的核心配置信息往往都是相同的。现有的解决方案，一个是系统管理员手动一个机器一个机器或者一个集群一个集群的配置，另一个是搭建一个配置服务(例如etcd/zookeeper)，主动推送到服务器或者各个服务器被动拉取配置信息；第一点也是最重要的一条就是风险，表面上看我们使用集群调度系统降低了集群的风险，因为单个的节点挂了并不会影响整个集群的运行。我们只需要找到单个节点挂掉的原因进行修复，或者等待系统自动重启就好了。系统宕机的风险被均摊了，但问题是均摊风险其实本身就是很危险的事情，它也意味着风险的聚集。第二个不足是系统目前还不够智能，比如某个节点卡死了，没有挂一直占着资源。第三点集群里被人为安置了一些非法的脚本，比如黑客的入侵脚本，或者是挖矿脚本等等，因为资源都是系统调度的，人工很少干预，不能及时发现脚本或者病毒，自我防御效果较差；为解本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大数据集群管理方法和装置，其特征在于，包括数据处理分析系统、数据收集系统和节点检测维护系统，且数据处理分析系统分别与数据收集系统和节点检测维护系统通讯连接，数据收集系统和节点检测维护系统通讯连接；其中，数据收集系统包括数据储存库和资源收集服务器，资源收集服务器与数据储存库通讯连接；节点检测维护系统包括节点反馈模块、故障警示模块和自动维护模块，故障警示模块分别与节点反馈模块和自动维护模块通讯连接；数据处理分析系统包括调度策略执行器和智能防采集模块，调度策略执行器与智能防采集模块通讯连接；其中，还包括异常行为检测系统；异常行为检测系统设置在资源收集服务器和数据储存库之间；数据储存库，用于储存数量庞大，种类多样且含有不同价值密度的数据；资源收集服务器，用于收集互联网上各种各样的数据，并将数据传输给数据库进行储存；节点反馈模块，用于定期向节点服务器发送信号并接受其反馈信号，根据反馈信息来判断节点设备工作情况；自动维护模块，用于发送指令并通过相应程序对宕机的节点进行维护修复；节点警示模块，用于收集节点反馈模块的信息，当收到节点宕机信息时，发送信号给自动维护模块进行维护，并将故障信息发送给主控制系统；当收到节点正常工作信息后保持待机模式；调度策略执行器，用于对数据储存库内不同质量和数量的数据进行管理；智能防采集模块，用于自动识别多种验证码和代理IP，并根据相应的验证信息提供相应的数据和文件；异常行为检测系统，用于检测数据和网络中的异常情况。2.根据权利要求1所述的一种大数据集群管理方法和装置，其特征在于，还包括多组节点管理设备，且节点管理设备上设有用于储存数据的容器；多组节点管理设备分别与资源收集服务器通讯连接。3.根据权利要求1所述的一种大数据集群管理方法和装置，其特征在于，异常行为检测系统包括入侵数据库、比对模块、自动检测模块和自动警示模块；入侵数据库，用于储存入侵过的病毒案例以及解决方法；自动检测模块，用于检测数据和网络在信息交换时是否有病毒和非法脚本；自动警示模块，用于向下一级发送危险警示信号；比对模块，用于对入侵病毒的种类与入侵数据库进行比对，当与入侵数据库内新型比对成功的直接使用相应程序进行消灭，当比对不成功时，发送信息给自动警示模块。4.根据权利要求3所述的一种大数据集群管理方法和装置，其特征在于，自动检测模块包括漏洞扫描、木马扫描、内容监控和数据加密；漏洞扫描，...

【专利技术属性】
技术研发人员：何怀文，程东，李瑞芳，肖涛，黄敏，
申请(专利权)人：电子科技大学中山学院，
类型：发明
国别省市：