分布式数据处理方法及数据中心技术

技术编号:13378090 阅读:111 留言:0更新日期:2016-07-21 04:37
本发明专利技术公开了一种分布式数据处理方法和数据中心,该方法包括:在数据中心接收到原始数据时,对原始数据进行数据切片处理以获取多个切片数据;数据中心基于预设的随机数发生器生成一个随机数,将该随机数作为当前随机数;数据中心将当前随机数发送至分布式数据系统中各个数据节点;数据中心根据当前随机数、预存密钥和预置加密算法,对各个切片数据进行加密,以获取密文切片数据;数据中心根据当前随机数,将密文切片数据分发至对应的数据节点存储。本发明专利技术防止无权限方随意截获和破解密文切片数据,保证分布式数据系统切片数据的信息安全性。

【技术实现步骤摘要】

本专利技术涉及分布式数据系统
,尤其涉及一种分布式数据处理方法及数据中心。
技术介绍
随着信息化的深入开展,各行各业的业务系统所产生的数据越来越多,由于传统的集中式数据系统方案(集中式数据系统是指为待存储的数据制定一个特定的存取区域,将所有数据都存取在该存取区域中)将所有的数据均存在数据中心主机上以供集中提取数据,若数据中心主机出故障,则整个系统无法存储和提取数据,即集中式数据系统方案相较于分布式数据系统方案,数据稳定性较低,故而分布式数据系统应运而生。现行的分布式系统对于大数据的存储一般流程是:在数据中心对原始数据进行切片处理,在对原始数据的切片完成后,将切片后的切片数据同步到分布式数据系统其它各个数据节点(即相对于数据中心的其它从数据中心),但是,由于分布式数据系统具有较高的开放性,切片数据从数据中心同步到数据节点的过程中,切片数据容易被截获或破解,无权限方可以提取多个切片数据还原得到对应的原始数据,从而造成分布式数据系统切片数据的信息安全问题。
技术实现思路
本专利技术的主要目的在于提供一种分布式数据处理方法及数据中心,旨在解决现有分布式数据系统的切片数据信息安全问题。为实现上述目的,本专利技术提供的一种分布式数据处理方法,所述分布式数据处理方法包括:在数据中心接收到原始数据时,对所述原始数据进行数据切片处理以获取多个切片数据;数据中心基于预设的随机数发生器生成一个随机数,将该随机数作为当前随机数;数据中心将当前随机数发送至分布式数据系统中各个数据节点;数据中心根据当前随机数、预存密钥和预置加密算法,对各个切片数据进行加密,以获取密文切片数据;数据中心根据当前随机数,将所述密文切片数据分发至对应的数据节点存储。优选地,所述在数据中心接收到原始数据时,对所述原始数据进行数据切片处理以获取多个切片数据的步骤包括:在数据中心接收到原始数据时,数据中心解析获取的原始数据,以获取该原始数据的数据参数;数据中心根据所述数据参数和数据中心性能,将对原始数据进行切片的任务划分为多个子切片任务;数据中心将所述子切片任务中预设比例的外调子切片任务分配给分布式数据系统中数据中心之外的数据节点;数据中心执行所述子切片任务中未分配的自留子切片任务,保存对应的第一切片数据,并获取数据节点执行所述外调子切片任务得到的第二切片数据,其中切片数据包括第一切片数据和第二切片数据。优选地,所述数据中心执行所述子切片任务中未分配的自留子切片任务,保存对应的第一切片数据,并获取数据节点执行所述外调子切片任务得到的第二切片数据的步骤之后还包括:数据中心实时公布第一切片数据和第二切片数据,以供分布式数据系统的客户端访问。优选地,所述数据中心实时公布第一切片数据和第二切片数据,以供分布式数据系统的客户端访问的步骤之后还包括:当接收到客户端发送的数据请求时,数据中心根据所述第一切片数据和所述当前随机数,解密还原得到所述数据请求对应的目标数据;若还原得到所述目标数据失败,则数据中心提取第二切片数据,并根据第一切片数据、第二切片数据和所述当前随机数,解密还原得到所述目标数据。优选地,所述数据中心根据当前随机数,将所述密文切片数据分发至对应的数据节点存储的步骤包括:数据中心将所述当前随机数与各个数据节点的存储识别码进行匹配,其中存储识别码是唯一标识数据节点的编码,且当前随机数与存储识别码格式相同;数据中心将所述密文切片数据分发至与当前随机数匹配度大于预设匹配度的存储识别码所对应的数据节点中。本专利技术还提供一种数据中心,所述数据中心包括:切片模块,用于在数据中心接收到原始数据时,对所述原始数据进行数据切片处理以获取多个切片数据;随机数模块,用于基于预设的随机数发生器生成一个随机数,将该随机数作为当前随机数;第一发送模块,用于将当前随机数发送至分布式数据系统中各个数据节点;加密模块,用于根据当前随机数、预存密钥和预置加密算法,对各个切片数据进行加密,以获取密文切片数据;第二发送模块,用于根据当前随机数,将所述密文切片数据分发至对应的数据节点存储。优选地,所述切片模块包括:解析单元,用于在数据中心接收到原始数据时,解析获取的原始数据,以获取该原始数据的数据参数;任务划分单元,用于根据所述数据参数和数据中心性能,将对原始数据进行切片的任务划分为多个子切片任务;任务分配单元,用于将所述子切片任务中预设比例的外调子切片任务分配给分布式数据系统中数据中心之外的数据节点;任务执行单元,用于执行所述子切片任务中未分配的自留子切片任务,保存对应的第一切片数据,并获取数据节点执行所述外调子切片任务得到的第二切片数据,其中切片数据包括第一切片数据和第二切片数据。优选地,所述数据中心还包括:公布模块,用于数据中心实时公布第一切片数据和第二切片数据,以供分布式数据系统的客户端访问。优选地,所述数据中心还包括:第一还原模块,用于当接收到客户端发送的数据请求时,根据所述第一切片数据和所述当前随机数,解密还原得到所述数据请求对应的目标数据;第二还原模块,用于若还原得到所述目标数据失败,则提取第二切片数据,并根据第一切片数据、第二切片数据和所述当前随机数,解密还原得到所述目标数据。优选地,所述第二发送模块包括:匹配单元,用于将所述当前随机数与各个数据节点的存储识别码进行匹配,其中存储识别码是唯一标识数据节点的编码,且当前随机数与存储识别码格式相同;分发单元,用于将所述密文切片数据分发至与当前随机数匹配度大于预设匹配度的存储识别码所对应的数据节点中。本专利技术通过将原始数据切片为多个切片数据,然后根据生成的当前随机数、预存密钥和预置加密算法,对各个切片数据进行加密以得到密文切片数据,实现切片数据以密文形式在数据中心和数据节点之间传输,从而防止无权限方随意截获和破解密文切片数据,保证分布式数据系统切片数据的信息安全性;同时,数据中心根据当前随机数,将密文切片数据随机分发至对应的数据节点存储,在数据存储位置上提高切片数据的安全性。附图说明图1为本专利技术分布式数据处理方法第一实施例的流程示意图;图2为本专利技术分布式数据处理方法第二实施例中在数据中心接收到原始数据时,对原始数据进行数据切片处理以获取多个切片数据的细化流程示意图;图3为本专利技术分布式数据处本文档来自技高网...

【技术保护点】
一种分布式数据处理方法,其特征在于,所述分布式数据处理方法包括:在数据中心接收到原始数据时,对所述原始数据进行数据切片处理以获取多个切片数据;数据中心基于预设的随机数发生器生成一个随机数,将该随机数作为当前随机数;数据中心将当前随机数发送至分布式数据系统中各个数据节点;数据中心根据当前随机数、预存密钥和预置加密算法,对各个切片数据进行加密,以获取密文切片数据;数据中心根据当前随机数,将所述密文切片数据分发至对应的数据节点存储。

【技术特征摘要】
1.一种分布式数据处理方法,其特征在于,所述分布式数据处理方法包
括:
在数据中心接收到原始数据时,对所述原始数据进行数据切片处理以获
取多个切片数据;
数据中心基于预设的随机数发生器生成一个随机数,将该随机数作为当
前随机数;
数据中心将当前随机数发送至分布式数据系统中各个数据节点;
数据中心根据当前随机数、预存密钥和预置加密算法,对各个切片数据
进行加密,以获取密文切片数据;
数据中心根据当前随机数,将所述密文切片数据分发至对应的数据节点
存储。
2.如权利要求1所述的分布式数据处理方法,其特征在于,所述在数据
中心接收到原始数据时,对所述原始数据进行数据切片处理以获取多个切片
数据的步骤包括:
在数据中心接收到原始数据时,数据中心解析获取的原始数据,以获取
该原始数据的数据参数;
数据中心根据所述数据参数和数据中心性能,将对原始数据进行切片的
任务划分为多个子切片任务;
数据中心将所述子切片任务中预设比例的外调子切片任务分配给分布式
数据系统中数据中心之外的数据节点;
数据中心执行所述子切片任务中未分配的自留子切片任务,保存对应的
第一切片数据,并获取数据节点执行所述外调子切片任务得到的第二切片数
据,其中切片数据包括第一切片数据和第二切片数据。
3.如权利要求2所述的分布式数据处理方法,其特征在于,所述数据中
心执行所述子切片任务中未分配的自留子切片任务,保存对应的第一切片数
据,并获取数据节点执行所述外调子切片任务得到的第二切片数据的步骤之

\t后还包括:
数据中心实时公布第一切片数据和第二切片数据,以供分布式数据系统
的客户端访问。
4.如权利要求3所述的分布式数据处理方法,其特征在于,所述数据中
心实时公布第一切片数据和第二切片数据,以供分布式数据系统的客户端访
问的步骤之后还包括:
当接收到客户端发送的数据请求时,数据中心根据所述第一切片数据和
所述当前随机数,解密还原得到所述数据请求对应的目标数据;
若还原得到所述目标数据失败,则数据中心提取第二切片数据,并根据
第一切片数据、第二切片数据和所述当前随机数,解密还原得到所述目标数
据。
5.如权利要求1至4任意一项所述的分布式数据处理方法,其特征在于,
所述数据中心根据当前随机数,将所述密文切片数据分发至对应的数据节点
存储的步骤包括:
数据中心将所述当前随机数与各个数据节点的存储识别码进行匹配,其
中存储识别码是唯一标识数据节点的编码,...

【专利技术属性】
技术研发人员:张锐
申请(专利权)人:深圳市永兴元科技有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1