一种大数据集群的运行维护方法及装置制造方法及图纸

本发明专利技术公开的属于大数据处理技术领域，具体为一种大数据集群的运行维护方法及装置，该大数据集群的运行维护方法如下：步骤一：将数据进行整合存储；步骤二：通过软件制作管理点；步骤三：数据管理终端直接管理数据管理点S1、......、数据管理点Sn；步骤四：数据管理单元内的异常状态获取单元直接对数据存储点A、数据存储点B、数据存储点C、......、数据存储点N进行异常信息检测；步骤五：出现错误时，根据异常状态获取单元获取的数据错误位置，通过系统自检的方式，智能查找错误地区，并通过数据处理单元对错误存储位置进行操作更改，减少人工操作。

Operation and maintenance method and device of big data cluster

【技术实现步骤摘要】
一种大数据集群的运行维护方法及装置
本专利技术涉及大数据处理
，具体为一种大数据集群的运行维护方法及装置。
技术介绍
大数据，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据处理依赖众多服务，如HDFS(分布式文件系统)、YARN(资源管理系统)、Spark(分布式内存计算框架)、HBASE(分布式面向列的数据库)、HIVE(基于hadoop的数据仓库工具)等等。由于网络震荡、电压不稳、资源抢占、误操作等原因都可能造成某些组件挂掉，需要维护人员定期巡检平台运行情况，发现异常需要排除程序错误后启动挂掉的服务，如果启动不及时可能会出现业务数据积压，甚至影响业务的运行，给大数据平台稳定运行带来了极大挑战，且在对大数据进行维护时，需要人工对所有的数据进行检查，如果出现某个位置的错误，需要对数据进行一级一级的排查，造成人工的排查强度增加，且容易出现漏查的情况发生，造成工作量增加。
技术实现思路
本部分的目的在于概述本专利技术的实施方式的一些方面以及简要介绍一些较佳实施方式。在本部分以及本申请的说明书摘要和专利技术名称中可能会做些简化或省略以避免使本部分、说明书摘要和专利技术名称的目的模糊，而这种简化或省略不能用于限制本专利技术的范围。鉴于上述和/或现有大数据维护方法和装置中存在的问题，提出了本专利技术。因此，本专利技术的目的是提供一种大数据集群的运行维护方法及装置，能够实现对大数据进行整合，在出现错误时，可以实现阶梯式的查找，减少错误查找时间，提高查找效率，减少工作量。为解决上述技术问题，根据本专利技术的一个方面，本专利技术提供了如下技术方案：一种大数据集群的运行维护方法及装置，该大数据集群的运行维护方法如下：步骤一：将数据进行整合存储，分为数据存储点A、数据存储点B、数据存储点C、......、数据存储点N；步骤二：通过软件制作管理点，对数据存储点进行分类管理，分别标注为数据管理点S1、......、数据管理点Sn；步骤三：数据管理终端直接管理数据管理点S1、......、数据管理点Sn；步骤四：数据管理单元内的异常状态获取单元直接对数据存储点A、数据存储点B、数据存储点C、......、数据存储点N进行异常信息检测；步骤五：出现错误时，根据异常状态获取单元获取的数据错误位置，数据管理终端内的数据处理单元直接访问该数据存储点进行处理。作为本专利技术所述的一种大数据集群的运行维护方法的一种优选方案，其中：所述步骤二中的数据管理点S1、......、数据管理点Sn受步骤一中数据存储点A、数据存储点B、数据存储点C、......、数据存储点N影响，具体如下：方案一：当数据存储点A、数据存储点B、数据存储点C、......、数据存储点N的数量为偶数时，采用2-1的方式进行管理，即数据存储点A、数据存储点B被数据管理点S1管理，数据存储点C、数据存储点D被数据管理点S2管理，数据存储点N-1、数据存储点N被数据管理点Sn管理；方案二：当数据存储点A、数据存储点B、数据存储点C、......、数据存储点N的数量为奇数时，采用3-1的方式进行管理，即数据存储点A、数据存储点B、数据存储点C被数据管理点S1管理，数据存储点D、数据存储点E、数据存储点F被数据管理点S2管理，数据存储点N-2、数据存储点N-1、数据存储点N被数据管理点Sn管理，在产生余数时，再次增加一个数据管理点对余数进行管理。作为本专利技术所述的一种大数据集群的运行维护方法的一种优选方案，其中：所述步骤四中的异常状态获取单元和步骤五中的数据处理单元均安装在数据管理终端内，所述步骤四中异常状态获取单元的异常状态监控及获取方法如下：步骤一：通过数据管理终端进行数据备份；步骤二：通过备份的数据得到数据的正常值；步骤三：通过异常状态获取单元对正常值和当前值进行比较；步骤四：根据比较的值的相同点进行异常状态的获取。作为本专利技术所述的一种大数据集群的运行维护方法的一种优选方案，其中：所述步骤五中的数据处理单元的具体处理方式如下：步骤一：根据异常状态获取单元获取到的信息进行位置确认；步骤二：根据确认的位置通过数据处理单元进行位置追踪；步骤三：在追踪到异常状态的位置后，进行数据修补，即将当前状态值修改成数据管理终端记录的正常值。作为本专利技术所述的一种大数据集群的运行维护装置的一种优选方案，其中：包括数据管理终端，所述数据管理终端由数据处理单元、异常状态获取单元、数据存储单元和数据管理单元组成，所述数据存储单元输出连接异常状态获取单元和数据管理单元，所述异常状态获取单元和数据管理单元输出连接数据管理终端，所述数据管理终端输出连接数据处理单元，所述数据处理单元输出连接数据存储单元。与现有技术相比：在对大数据进行维护时，需要人工对所有的数据进行检查，如果出现某个位置的错误，需要对数据进行一级一级的排查，造成人工的排查强度增加，且容易出现漏查的情况发生，造成工作量增加，本申请文件中，通过系统自检的方式，智能查找错误地区，并通过数据处理单元对错误存储位置进行操作更改，减少人工操作。附图说明为了更清楚地说明本专利技术实施方式的技术方案，下面将结合附图和详细实施方式对本专利技术进行详细说明，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：图1为本专利技术一种大数据集群的运行维护方法及装置的系统结构示意图。具体实施方式为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图对本专利技术的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本专利技术，但是本专利技术还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本专利技术内涵的情况下做类似推广，因此本专利技术不受下面公开的具体实施方式的限制。其次，本专利技术结合示意图进行详细描述，在详述本专利技术实施方式时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本专利技术保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术的实施方式作进一步地详细描述。本专利技术提供一种大数据集群的运行维护方法及装置，请参阅图1，该大数据集群的运行维护方法如下：步骤一：将数据进行整合存储，分为数据存储点A、数据存储点B、数据存储点C、......、数据存储点N；步骤二：通过软件制作管理点，对数据存储点进行分类管理，分别标注为数据管理点S1、......、数据管理点Sn；步骤三：数据管理终端直接管理数据管理点S1、......、数据管理点Sn；步骤四：数据管理单元内的异常状态获取单元直接对数据本文档来自技高网...

【技术保护点】
1.一种大数据集群的运行维护方法，其特征在于：该大数据集群的运行维护方法如下：/n步骤一：将数据进行整合存储，分为数据存储点A、数据存储点B、数据存储点C、......、数据存储点N；/n步骤二：通过软件制作管理点，对数据存储点进行分类管理，分别标注为数据管理点S1、......、数据管理点Sn；/n步骤三：数据管理终端直接管理数据管理点S1、......、数据管理点Sn；/n步骤四：数据管理单元内的异常状态获取单元直接对数据存储点A、数据存储点B、数据存储点C、......、数据存储点N进行异常信息检测；/n步骤五：出现错误时，根据异常状态获取单元获取的数据错误位置，数据管理终端内的数据处理单元直接访问该数据存储点进行处理。/n

【技术特征摘要】
1.一种大数据集群的运行维护方法，其特征在于：该大数据集群的运行维护方法如下：
步骤一：将数据进行整合存储，分为数据存储点A、数据存储点B、数据存储点C、......、数据存储点N；
步骤二：通过软件制作管理点，对数据存储点进行分类管理，分别标注为数据管理点S1、......、数据管理点Sn；
步骤三：数据管理终端直接管理数据管理点S1、......、数据管理点Sn；
步骤四：数据管理单元内的异常状态获取单元直接对数据存储点A、数据存储点B、数据存储点C、......、数据存储点N进行异常信息检测；
步骤五：出现错误时，根据异常状态获取单元获取的数据错误位置，数据管理终端内的数据处理单元直接访问该数据存储点进行处理。


2.根据权利要求1所述的一种大数据集群的运行维护方法，其特征在于：所述步骤二中的数据管理点S1、......、数据管理点Sn受步骤一中数据存储点A、数据存储点B、数据存储点C、......、数据存储点N影响，具体如下：
方案一：当数据存储点A、数据存储点B、数据存储点C、......、数据存储点N的数量为偶数时，采用2-1的方式进行管理，即数据存储点A、数据存储点B被数据管理点S1管理，数据存储点C、数据存储点D被数据管理点S2管理，数据存储点N-1、数据存储点N被数据管理点Sn管理；
方案二：当数据存储点A、数据存储点B、数据存储点C、......、数据存储点N的数量为奇数时，采用3-1的方式进行管理，即数据存储点A、数据存储点B、数据存储点C被数据管理点S1管理，数...

【专利技术属性】
技术研发人员：杜淑颖，
申请(专利权)人：徐州生物工程职业技术学院，
类型：发明
国别省市：江苏;32