一种大数据集群的运行维护方法及装置制造方法及图纸

本发明专利技术公开的属于大数据处理技术领域，具体为一种大数据集群的运行维护方法及装置，该大数据集群的运行维护方法如下：步骤一：将数据进行整合存储；步骤二：通过软件制作管理点；步骤三：数据管理终端直接管理数据管理点S1、......、数据管理点Sn；步骤四：数据管理单元内的异常状态获取单元直接对数据存储点A、数据存储点B、数据存储点C、......、数据存储点N进行异常信息检测；步骤五：出现错误时，根据异常状态获取单元获取的数据错误位置，通过系统自检的方式，智能查找错误地区，并通过数据处理单元对错误存储位置进行操作更改，减少人工操作。

Operation and maintenance method and device of big data cluster

【技术实现步骤摘要】
一种大数据集群的运行维护方法及装置
本专利技术涉及大数据处理
，具体为一种大数据集群的运行维护方法及装置。
技术介绍
大数据，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据处理依赖众多服务，如HDFS(分布式文件系统)、YARN(资源管理系统)、Spark(分布式内存计算框架)、HBASE(分布式面向列的数据库)、HIVE(基于hadoop的数据仓库工具)等等。由于网络震荡、电压不稳、资源抢占、误操作等原因都可能造成某些组件挂掉，需要维护人员定期巡检平台运行情况，发现异常需要排除程序错误后启动挂掉的服务，如果启动不及时可能会出现业务数据积压，甚至影响业务的运行，给大数据平台稳定运行带来了极大挑战，且在对大数据进行维护时，需要人工对所有的数据进行检查，如果出现某个位置的错误，需要对数据进行一级一级的排查，造成人工的排查强度增加，且容易出现漏查的情况发生，造成工作量增加。
技术实现思路
本部分的目的在于概述本本文档来自技高网...

【技术保护点】
1.一种大数据集群的运行维护方法，其特征在于：该大数据集群的运行维护方法如下：/n步骤一：将数据进行整合存储，分为数据存储点A、数据存储点B、数据存储点C、......、数据存储点N；/n步骤二：通过软件制作管理点，对数据存储点进行分类管理，分别标注为数据管理点S1、......、数据管理点Sn；/n步骤三：数据管理终端直接管理数据管理点S1、......、数据管理点Sn；/n步骤四：数据管理单元内的异常状态获取单元直接对数据存储点A、数据存储点B、数据存储点C、......、数据存储点N进行异常信息检测；/n步骤五：出现错误时，根据异常状态获取单元获取的数据错误位置，数据管理终端内的数据处理...

【技术特征摘要】
1.一种大数据集群的运行维护方法，其特征在于：该大数据集群的运行维护方法如下：
步骤一：将数据进行整合存储，分为数据存储点A、数据存储点B、数据存储点C、......、数据存储点N；
步骤二：通过软件制作管理点，对数据存储点进行分类管理，分别标注为数据管理点S1、......、数据管理点Sn；
步骤三：数据管理终端直接管理数据管理点S1、......、数据管理点Sn；
步骤四：数据管理单元内的异常状态获取单元直接对数据存储点A、数据存储点B、数据存储点C、......、数据存储点N进行异常信息检测；
步骤五：出现错误时，根据异常状态获取单元获取的数据错误位置，数据管理终端内的数据处理单元直接访问该数据存储点进行处理。


2.根据权利要求1所述的一种大数据集群的运行维护方法，其特征在于：所述步骤二中的数据管理点S1、......、数据管理点Sn受步骤一中数据存储点A、数据存储点B、数据存储点C、......、数据存储点N影响，具体如下：
方案一：当数据存储点A、数据存储点B、数据存储点C、......、数据存储点N的数量为偶数时，采用2-1的方式进行管理，即数据存储点A、数据存储点B被数据管理点S1管理，数据存储点C、数据存储点D被数据管理点S2管理，数据存储点N-1、数据存储点N被数据管理点Sn管理；
方案二：当数据存储点A、数据存储点B、数据存储点C、......、数据存储点N的数量为奇数时，采用3-1的方式进行管理，即数据存储点A、数据存储点B、数据存储点C被数据管理点S1管理，数...

【专利技术属性】
技术研发人员：杜淑颖，
申请(专利权)人：徐州生物工程职业技术学院，
类型：发明
国别省市：江苏;32