基于云链融合的分布式数据存储管理方法、装置及系统制造方法及图纸

技术编号:32917708 阅读:12 留言:0更新日期:2022-04-07 12:08
本发明专利技术公开了一种基于云链融合的分布式数据存储管理方法,属于数据管理技术领域,包括:数据分类存储步骤和数据访问步骤,其中数据分类存储步骤包括:(S1)在原始数据上传时,根据数据所有者预先制定的数据分类策略,确定待上传的原始数据所属的数据域;数据分类策略用于根据数据属性确定数据在云端所属的数据域;一个数据所有者存储在一个云计算平台中的同类原始数据信息属于同一个数据域;(S2)将原始数据存储至数据域所对应的云计算平台,并生成相应的关键元数据;关键元数据用于记录原始数据在云端的定位信息;(S3)将所生成的关键元数据存储到区块链上。本发明专利技术能够克服对单一云服务提供商的依赖,提高多源异构数据存储的安全性。全性。全性。

【技术实现步骤摘要】
基于云链融合的分布式数据存储管理方法、装置及系统


[0001]本专利技术属于数据管理
,更具体地,涉及一种基于云链融合的分布式数据存储管理方法、装置及系统。

技术介绍

[0002]随着互联网、物联网、车联网等技术的迅猛发展,以网络数据、媒体数据、日志数据为代表的多源异构数据成为人民生活和经济发展的重要组成部分,考虑到多源异构数据的来源多样性、类型异构性以及应用环境的复杂性等特点,需要对其进行安全可靠的存储与管理。
[0003]在云数据环境中,数据存储的方案通常是将数据外包给云数据服务提供商,并由云服务提供商对其数据进行存储和管理,但是该解决方案中数据所有者和服务器不在同一个信任域中,服务器由云数据服务提供商直接控制,用户无法控制服务器。而且外包数据通常由单个云服务提供商存储,并进行统一管理,而同一个云服务提供商的数据管理方法往往是针对特定类型的数据,这使得在多源异构数据场景下难以实现对数据的有效存储管理。因此,在云数据环境中,传统的数据管理方法已经无法解决多源异构数据的存储管理问题。
[0004]近几年,针对云数据中心化的计算和存储管理模式存在的不适应性,基于去中心化区块链技术的数据管理机制应运而生。区块链技术为解决安全互信难题提供了一种新的研究思路。区块链是用加密的链式区块结构来验证与存储数据,并基于分布式节点的共识算法来生成和更新数据,使用智能合约(一种自动化脚本)来编程和操作数据的一种全新的去中心化的分布式计算范式。它采用密码学方法而非中心机构来建立节点间的信任关系,从而形成去中心化的分布式架构;其次,区块链借助分布式系统各结点的工作量证明等共识算法形成的强大计算力来抵御外部攻击,只有攻破超过51%的节点才能篡改信息,在一个足够大的区块链系统中,篡改信息的成本极高,从而保证了区块链数据的不可篡改和不可伪造。但是区块链技术应用需求较为单一,对于云环境中数据种类众多、用户安全需求复杂、共享需求多样等特殊性,现有区块链技术难以满足这些方面的要求。
[0005]总的来说,当前如何对多源异构数据进行安全可靠的存储与管理的相关研究还不够深入,已有的解决方案能在一定程度上解决大数据的分布式存储与管理,但是无法解决多云协作之下对多源异构数据的管理,且数据存储安全性受限。

技术实现思路

[0006]针对现有技术的缺陷和改进需求,本专利技术提供了一种基于云链融合的分布式数据存储管理方法、装置及系统,其目的在于,克服对单一云服务提供商的依赖,提高多源异构数据存储的安全性。
[0007]为实现上述目的,按照本专利技术的一个方面,提供了一种基于云链融合的分布式数据存储管理方法,包括:数据分类存储步骤;
[0008]数据分类存储步骤包括:
[0009](S1)在原始数据上传时,根据数据所有者预先制定的数据分类策略,确定待上传的原始数据所属的数据域;
[0010]数据分类策略用于根据数据属性确定数据在云端所属的数据域;一个数据所有者存储在一个云计算平台中的同类原始数据信息属于同一个数据域;
[0011](S2)将原始数据存储至数据域所对应的云计算平台,并生成相应的关键元数据;
[0012]关键元数据用于记录原始数据在云端的定位信息;
[0013](S3)将所生成的关键元数据存储到区块链上。
[0014]进一步地,本专利技术提供的基于云链融合的分布式数据存储管理方法,还包括:数据访问步骤;
[0015]数据访问步骤包括:
[0016](T1)在数据使用者请求访问数据时,从请求中提取数据关键字;
[0017]数据关键字为关键元数据的键,与关键元数据一一对应;
[0018](T2)根据数据关键字从区块链中查找关键元数据,若查找成功,则转入步骤(T3);否则,返回访问失败的信息,并转入步骤(T4);
[0019](T3)从查找到的关键元数据中获取原始数据在云端的定位信息,并根据该定位信息在云端查找相应的原始数据,若查找成功,则将查找到的原始数据返回给数据使用者,并转入步骤(T4);否则,返回访问失败的信息,并转入步骤(T4);
[0020](T4)访问结束。
[0021]进一步地,数据访问步骤还包括:
[0022]在数据使用者接收到返回的原始数据后,利用关键元数据验证所获取的原始数据是否未被篡改。
[0023]进一步地,数据属性包括数据类型。
[0024]进一步地,数据属性还包括数据的安全划分。
[0025]按照本专利技术的另一个方面,提供了一种基于云链融合的分布式数据存储管理装置,包括:数据分类存储设备;
[0026]数据分类存储设备包括:数据分类模块和数据存储模块;
[0027]数据分类模块,用于存储数据所有者预先制定的数据分类策略;数据分类策略用于根据数据属性确定数据在云端所属的数据域;一个数据所有者存储在一个云计算平台中的同类原始数据信息属于同一个数据域;
[0028]数据分类模块,还用于在原始数据上传时,根据数据所有者预先制定的数据分类策略,确定待上传的原始数据所属的数据域,之后触发数据存储模块;
[0029]数据存储模块,用于将原始数据存储至数据域所对应的云计算平台,并生成相应的关键元数据;关键元数据用于记录原始数据在云端的定位信息;
[0030]数据存储模块,还用于将所生成的关键元数据存储到区块链上。
[0031]进一步地,本专利技术提供的基于云链融合的分布式数据存储管理装置,还包括:数据访问设备;
[0032]数据访问设备包括:数据访问接口、第一数据访问模块、第二数据访问控制模块;
[0033]数据访问接口,用于接收数据使用者发送的数据访问请求,并从请求中提取数据
关键字,之后触发第一数据访问模块;数据关键字为关键元数据的键,与关键元数据一一对应;
[0034]数据访问接口,还用于向数据使用者返回访问结果;
[0035]第一数据访问模块,用于根据数据关键字从区块链中查找关键元数据,若查找成功,则触发第二数据访问控制模块,若查找不成功,则通过数据访问接口返回访问失败的信息;
[0036]第二数据访问控制模块,用于从关键元数据中获取原始数据在云端的定位信息,并根据该定位信息在云端查找相应的原始数据,若查找成功,则通过数据访问接口将查找到的原始数据返回给数据使用者;若查找不成功,则通过数据访问接口返回访问失败的信息。
[0037]按照本专利技术的又一个方面,提供了一种分布式数据存储管理系统,包括:云计算平台、区块链以及本专利技术提供的基于云链融合环境的分布式数据存储管理器。
[0038]在一些可选的实施例中,区块链为Hyperledger Fabric。
[0039]总体而言,通过本专利技术所构思的以上技术方案,在原始数据上传时,依据数据所有者预先制定的数据分类策略对数据进行分类,并依据分类结果将原始数据存储到对应的数据域中,对于同一个数据所有者而言,其不同的数据域对应不同的云计算平台,因此,本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种基于云链融合的分布式数据存储管理方法,其特征在于,包括:数据分类存储步骤;所述数据分类存储步骤包括:(S1)在原始数据上传时,根据数据所有者预先制定的数据分类策略,确定待上传的原始数据所属的数据域;所述数据分类策略用于根据数据属性确定数据在云端所属的数据域;一个数据所有者存储在一个云计算平台中的同类原始数据信息属于同一个数据域;(S2)将原始数据存储至数据域所对应的云计算平台,并生成相应的关键元数据;所述关键元数据用于记录原始数据在云端的定位信息;(S3)将所生成的关键元数据存储到区块链上。2.如权利要求1所述的基于云链融合的分布式数据存储管理方法,其特征在于,还包括:数据访问步骤;所述数据访问步骤包括:(T1)在数据使用者请求访问数据时,从请求中提取数据关键字;所述数据关键字为关键元数据的键,与关键元数据一一对应;(T2)根据所述数据关键字从所述区块链中查找关键元数据,若查找成功,则转入步骤(T3);否则,返回访问失败的信息,并转入步骤(T4);(T3)从查找到的关键元数据中获取原始数据在云端的定位信息,并根据该定位信息在云端查找相应的原始数据,若查找成功,则将查找到的原始数据返回给数据使用者,并转入步骤(T4);否则,返回访问失败的信息,并转入步骤(T4);(T4)访问结束。3.如权利要求2所述的基于云链融合的分布式数据存储管理方法,其特征在于,所述数据访问步骤还包括:在数据使用者接收到返回的原始数据后,利用关键元数据验证所获取的原始数据是否未被篡改。4.如权利要求1~3任一项所述的基于云链融合的分布式数据存储管理方法,其特征在于,所述数据属性包括数据类型。5.如权利要求4所述的基于云链融合的分布式数据存储管理方法,其特征在于,所述数据属性还包括数据的安全划分。6.一种基于云链融合的分布式数据存储管理装置,其特征在于,包括:数据分类存储设备;所述数据分类存储设备包括:数据分类模...

【专利技术属性】
技术研发人员:李瑞轩李水祥辜希武李玉华刘奇张瑜田纹龙
申请(专利权)人:华中科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1