基于分布式集群的数据处理方法与系统技术方案

本发明专利技术涉及基于分布式集群的数据处理方法与系统，同个数据分区下的所有数据块的各个备份数据中，以数据分区为单位，第一个备份数据存储在所在的数据节点内，其他各备份数据分别存储在其他数据节点中数据分区最少的两个数据节点内，分别称为第一和第二备份节点；当数据分区服务器发生宕机或不提供服务时，转移数据分区到数据分区较少的数据节点内。在发生节点故障导致分区转移后，为转移后的分区提供服务的分区服务器仍从本地获取数据，而不从通过网络从其他节点获取数据，实现数据分区不通过网络仍能访问数据，提高分区服务器节点故障后的分布式数据库的访问效率，解决了分布式数据库除了主压缩方法以外缺乏提高本地化率手段的问题。

【技术实现步骤摘要】
基于分布式集群的数据处理方法与系统
本专利技术涉及基于分布式集群的数据处理方法与系统。
技术介绍
随着大数据技术的飞速发展，分布式集群的规模被不断的扩展，集群中的数据节点也在不断的增多，集群中发生故障转移的概率也就越来越大。如何确保在发生故障转移后集群能够快速且高效的继续提供服务成为分布式集群工作者所关注的重要方面。同样在故障转移之后能够保证集群提供的服务性能也是亟待解决的问题。分布式数据库采用数据分区来管理智能电表中的数据，数据分区底层使用分布式文件系统来存储数据。通常情况下，一个节点包括有若干个数据分区，每个数据分区中包括有若干个数据块。分布式文件系统默认每个数据块有三个备份，由于分布式文件系统客户端本身的特性问题，数据分区所在的节点作为一个分布式文件系统客户端存放数据，所以第一份备份的所有文件都在本节点存储，这样也就能保证初始创建的数据分区的本地化率属性为1。但是第二和第三份备份的所有块是散乱的存放在不同的节点上，一旦数据分区发生了转移，数据分区访问本身数据的时候大部分的数据将会通过网络传输从其他节点获取。虽然数据分区所在的节点上发生故障之后，能够快速的转移，从而不影响集群服务本文档来自技高网...

【技术保护点】
一种基于分布式集群的数据处理方法，其特征在于，同个数据分区下的所有数据块的各个备份数据中，以数据分区为单位，第一个备份数据存储在所在的数据节点内，其他各备份数据分别存储在其他数据节点中数据分区最少的两个数据节点内，分别称为第一备份节点和第二备份节点；当数据分区服务器发生宕机或不提供服务时，转移数据分区到第一备份节点和第二备份节点中数据分区较少的数据节点内。

【技术特征摘要】
1.一种基于分布式集群的数据处理方法，其特征在于，同个数据分区下的所有数据块的各个备份数据中，以数据分区为单位，第一个备份数据存储在所在的数据节点内，其他各备份数据分别存储在其他数据节点中数据分区最少的两个数据节点内，分别称为第一备份节点和第二备份节点；当数据分区服务器发生宕机或不提供服务时，转移数据分区到第一备份节点和第二备份节点中数据分区较少的数据节点内。2.根据权利要求1所述的基于分布式集群的数据处理方法，其特征在于，在数据分区转移之后，在没有当前数据分区备份数据的各数据节点中找到数据分区最少的数据节点，作为补全目标节点，以数据分区为单位将当前数据分区的所有数据块的备份数据存储到所述补全目标节点内。3.根据权利要求1或2所述的基于分布式集群的数据处理方法，其特征在于，如果在其他数据节点中找不到数据分区最少的两个数据节点，那么，在其他数据节点中随机选择两个数据节点。4.一种基于分布式...

【专利技术属性】
技术研发人员：王少鹏，张展国，贺彪，李洪普，郭祥汝，杨迎春，丁博，张晓波，茹东武，岳振亚，徐大青，
申请(专利权)人：许继集团有限公司，国家电网公司，许昌许继软件技术有限公司，
类型：发明
国别省市：河南,41