一种分布式数据处理方法、数据中心及其系统技术方案

本发明专利技术公开了一种分布式数据处理方法、数据中心及数据集群系统，其中，分布式数据处理方法，包括：数据中心获取原始数据；数据中心对所述原始数据进行切片处理，生成至少两个数据块，对每个数据块进行加密处理，生成N个子数据块，N为大于2的正整数，对N个子数据块进行纠删处理，生成M份子数据，其中，M为大于N的正整数，所述M份子数据中的N份子数据可用于还原为原始数据，将所述M份子数据中至少N份子数据存储于所述数据中心，剩余子数据存储于分布式数据集群系统的其他数据中心。通过本发明专利技术实施例的方法可以实现数据中心之间数据的安全备份。

【技术实现步骤摘要】
一种分布式数据处理方法、数据中心及其系统
本专利技术涉及存储
，具体涉及分布式数据处理方法、数据中心及其系统。
技术介绍
现在很多大中型企业，有许多物理位置分离数据中心，这些数据中心的数据需要进行存储和备份管理，现有技术中，数据中心更多的是本地做备份，备份技术也只是简单的拷贝到另外的硬盘和磁带中，很显然这样的方式，存在着较大的数据丢失风险；数据管理混乱，无法控制；而且多个异地的数据中心的数据流通也存在问题，如何在有效的利用现有资源的情况下，又可以实现分布式的存储，中心数据中心控制管理，既能够提供安全可控的存储，又能提高数据中心之间的传输效率，给企业节省成本，是许多企业迫切需求的。
技术实现思路
本专利技术提供一种分布式数据处理方法、数据中心及其系统，用于实现数据中心之间数据的安全备份。本专利技术提供的一种分布式数据处理方法，包括：数据中心获取原始数据，数据中心对所述原始数据进行切片处理，生成至少两个数据块。对每个数据块进行加密处理，生成N个子数据块，其中，N为大于2的正整数，对N个子数据块进行纠删处理，生成M份子数据，其中，M为大于N的正整数，M份子数据中的N份子数据可用于还原为原始数据，将M份子数据中至少N份子数据存储于数据中心，剩余子数据存储于分布式数据集群系统的其他数据中心。本专利技术还提供的一种数据中心，包括至少一个服务器，所述服务器包括：获取单元，用于获取原始数据或从其他数据中心获取子数据；切片单元，用于对所述原始数据进行切片处理，生成至少两个数据块，加密单元，用于对所述每个数据块进行加密处理，生成N个子数据块，其中，N为大于2的正整数纠删单元，用于对所述N个子数据块进行纠删处理，生成M份子数据，其中，所述M份子数据中的N份子数据可用于还原为原始数据，M为大于N的正整数，存储单元，用于存储所述M份子数据中的至少N份子数据，或者，存储从其他数据中心获取的子数据；发送单元，用于将所述M-N份子数据发送至其他数据中心。本专利技术还提供一种一种分布式数据集群系统，包括，中心数据中心及从数据中心，其特征在于，所述中心数据中心及从数据中心分别包括至少一个服务器，所述服务器包括：获取单元，用于获取原始数据或从其他数据中心获取子数据；切片单元，用于对所述原始数据进行切片处理，生成至少两个数据块，加密单元，用于对所述每个数据块进行加密处理，生成N个子数据块，其中，N为大于2的正整数，纠删单元，用于对所述N个子数据块进行纠删处理，生成M份子数据，其中，所述M份子数据中的N份子数据可用于还原为原始数据，M为大于N的正整数，存储单元，用于存储所述M份子数据中的至少N份子数据，或者，存储从其他数据中心获取的子数据；发送单元，用于将所述M-N份子数据发送至其他数据中心。本专利技术实施例中，通过将原始数据进行切片、加密、纠删处理生成可以还原为原始数据的多份子数据，并且，将可以还原为原始数据的部分子数据存储于本地数据中心，其他子数据存储于数据集群中的其他数据中心，当需要还原原始数据中，首先可以从本地数据中心获取所需要的子数据，如果本地数据中心的子数据无法还原为原始数据，则可以从数据集群系统的其他数据中心获取所需要的子数据，利用本专利技术实施例的方法，一方面，首先从本地获得还原原始数据的子数据，保证了还原原妈数据的效率，另一方面，通过将可以还原为原始数据的子数据存储于数据集群中的其他数据中心，保证了数据存储的安全性。此外，在本专利技术实施例中，通过将数据中心分为中心数据中心与从数据中心，并在数据不需要备份保存时，将从数据中心的数据迁移至中心数据中心，保证了数据的安全性和鲁棒性，同时，选择中心数据中心与从数据中收传输数据的在带宽比较闲的时机，进行数据传输，有效地利用了企业的带宽，避免影响企业的正常业务。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。图1是本专利技术实施例分布式数据处理方法流程图；图2是本专利技术实施例数据中心服务器结构示意图；图3是本专利技术实施例分布式数据集群系统结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。请结合参看图1，本专利技术实施例提供一种分布式数据处理方法，通过将原始数据进行处理，并将处理后的可还原为原始数据的子数据存储于不同的数据中心，实现数据的安全可靠备份。本专利技术实施例的方法包括：步骤101，数据中心获取原始数据。在本专利技术实施例中，数据中心可以包括至少一个服务器，数据中心通过服务器获取原始数据，这些原始数据可以是用户通过网络连接或本地连接上传的文件或数据包等。步骤103，数据中心对所述原始数据进行切片处理，生成至少两个数据块。在本专利技术实施例中，数据中心的服务器获取到原始数据后，可以根据预先设定的大小，将原始数据进行切片处理，生成至少两个数据块。数据中心服务器对原始数据进行切片处理可以采用现有的切片算法。步骤105，对每个数据块进行加密处理，生成N个子数据块，其中，N为大于2的正整数。在本专利技术实施例中，数据中心的服务器对生成的至少两个数据块进行加密处理，每个数据块可以被分成N个子数据块，其中，N为大于2的正整数。数据中心服务器对数据块进行加密处理可以采用现有的加密算法。步骤107，对N个子数据块进行纠删处理，生成M份子数据，其中，M为大于N的正整数，M份子数据中的N份子数据可用于还原为原始数据。在本专利技术实施例中，数据中心的服务器采用纠删算法对N个子数据块进行纠删处理，生成M份子数据，其中，M为大于N的正整数，M份子数据中的N份子数据可用于还原为原始数据。步骤109，将M份子数据中至少N份子数据存储于数据中心，剩余子数据存储于分布式数据集群系统的其他数据中心。在本专利技术实施例中，数据中心的服务器将M份子数据中的至少N份子数据存储，并将剩余的子数据通过数据集群系统的网络连接发送至其他数据中心的服务器，由其他数据中心进行存储，其中，剩余的M-N份子数据，可以存储于数据集群系统中的多个其他数据中心。可选地，在本专利技术实施例中，当数据集群系统的任意一个数据中心的服务器收到还原原始数据的请求时，接收还原原始数据请求的数据中心的服务器可以利用自身存储的子数据进行纠删处理，还原得到原始数据，如果还原原始数据失败，则可以从集群系统中存储有子数据的其他数据中心获取还原原始数据所需要的子数据，并进行纠删处理，还原得到原始数据。可选地，在本专利技术实施例中，将获取原始数据的数据中心或存储有最多份子数据的数据中心设置为中心数据中心，所述集群系统中的其他数据中心为从数据中心，当中心数据中心与从数据中心进行数据传输时，可以选择带宽比较闲的时候进行数据传输。可选地，在本专利技术实施例中，所述中心数据中心与从数据中心进行子数据传输，主要包括：中心数据中心获取从数据中心不再保存的子数据，或者，中心数据中心将子数据存储于从数据中心本文档来自技高网...

【技术保护点】
一种分布式数据处理方法，其特征在于，包括：数据中心获取原始数据；所述数据中心对所述原始数据进行切片处理，生成至少两个数据块，对所述每个数据块进行加密处理，生成N个子数据块，N为大于2的正整数，对所述N个子数据块进行纠删处理，生成M份子数据，其中，M为大于N的正整数，所述M份子数据中的N份子数据可用于还原为原始数据，将所述M份子数据中至少N份子数据存储于所述数据中心，剩余子数据存储于分布式数据集群系统的其他数据中心。

【技术特征摘要】
1.一种分布式数据处理方法，其特征在于，包括：数据中心获取原始数据；所述数据中心对所述原始数据进行切片处理，生成至少两个数据块，对每个数据块进行加密处理，生成N个子数据块，N为大于2的正整数，对所述N个子数据块进行纠删处理，生成M份子数据，其中，M为大于N的正整数，所述M份子数据中的N份子数据可用于还原为原始数据，将所述M份子数据中至少N份子数据存储于所述数据中心，剩余子数据存储于分布式数据集群系统的其他数据中心；所述集群系统中的任意数据中心接收还原原始数据的请求，所述接收还原原始数据请求的数据中心利用自身存储的子数据进行纠删处理，还原得到原始数据，如果还原原始数据失败，则从集群系统中存储有子数据的其他数据中心获取还原原始数据所需要的子数据，并进行纠删处理，还原得到原始数据；将所述获取原始数据的数据中心或存储有最多份子数据的数据中心设置为中心数据中心，所述集群系统中的除中心数据中心以外的数据中心为从数据中心，所述方法进一步包括：所述中心数据中心与从数据中心在带宽比较闲的时候进行子数据的传输；所述中心数据中心与从数据中心进行子数据传输，包括：中心数据中心获取从数据中心不再保存的子数据，或者，中心数据中心将子数据存储于从数据中心。2.一种分布式数据集群系统，包括，中心数据中心及从数据中心，其特征在于，所述中心数据中心及从数据中心分别包括至少一个服务器，所述服务器包括：获取单元，用于获取原始数据或从其他数据中心获取子数据...

【专利技术属性】
技术研发人员：罗代均，
申请(专利权)人：深圳市中博科创信息技术有限公司，
类型：发明
国别省市：