【技术实现步骤摘要】
本申请涉及区块链，尤其涉及一种数据处理方法、系统、装置、计算设备集群、计算机可读存储介质、计算机程序产品。
技术介绍
1、区块链(blockchain)技术是利用块链式数据结构来验证和存储数据，利用分布式节点共识算法来生成和更新数据，利用密码学的方式保证数据传输和访问的安全，以及利用由自动化脚本代码组成的智能合约来编程和操作数据的一种去中心化架构与计算范式。
2、基于区块链技术构建的网络称作区块链网络，区块链网络中的节点共同维护分布式账本，该分布式账本作为存储载体，一般存储键值或关系数据等一系列简单数据结构。随着区块链广泛应用于金融、能源、政务、航空、农业、民生、物流等行业，与行业相关的数据，如视频、音频、图像等富媒体数据或者建模文件等大数据，对高可靠性的链上存储的需求日益增长。
3、如果将上述富媒体数据或大数据直接上链，将占用大量的链上资源。基于此，业界提出了链上存储与链下存储结合的存储方式。具体地，将富媒体数据或大数据存储到链下的存储系统，同时将上述数据的哈希值上链。如此，用户可以通过获取链上的哈希值，以及从链下的存储系统中获取数据，计算数据的哈希值，将链上的哈希值与链下计算得到的哈希值进行比较，从而保证数据一致性。
4、然而，客户端、传输网络、存储网络等可能存在稳定性和安全性风险，由此可以导致数据不一致、数据被篡改等问题，难以满足业务需求。
技术实现思路
1、本申请提供了一种数据处理方法，该方法通过引入分布式数据管理系统对数据的上传、下载等
2、第一方面，本申请提供一种数据处理方法。该方法应用于分布式数据管理系统，分布式数据管理系统包括多个数据管理装置。多个数据管理装置中的第一数据管理装置对应区块链网络的第一区块链节点，多个数据管理装置中的第二数据管理装置对应区块链网络的第二区块链节点。第一数据管理装置挂载的存储和第二数据管理装置挂载的存储，用于形成区块链网络的存储资源池。
3、其中，多个数据管理装置中的目标数据管理装置可以接收数据操作请求，数据操作请求用于对目标数据进行输入输出io操作，然后目标数据管理装置根据数据操作请求，从区块链网络获取目标数据的多个数据分片的存储地址，根据多个数据分片的存储地址在存储资源池对所述目标数据进行io。
4、在该方法中，存储资源池由分布式数据管理系统进行管理，所有与存储资源池的交互(如对目标数据进行io操作)均需分布式数据管理系统中的数据管理装置进行处理，并由数据管理装置将io操作的目标数据的存储地址也进行上链。即使客户端、传输网络、存储网络因稳定性或安全性问题导致数据不一致，也可以基于链上存储的数据副本的存储地址进行数据恢复，保障数据一致性，提升了数据的安全性、可用性、可访问性。此外，该方法将io操作的相关信息上链，也可以实现操作可追溯。
5、在一些可能的实现方式中，数据操作请求为写请求，写请求用于将写入目标数据，也即上传目标数据。相应地，目标数据管理装置可以根据数据操作请求，基于区块链网络的智能合约获取分配策略，然后目标数据管理装置根据该分配策略，从存储资源池为目标数据的多个数据分片分配存储资源，获得多个数据分片的存储地址。目标数据管理装置可以根据至少一个数据分片的存储地址，将多个数据分片写入存储资源池，并将多个数据分片的存储地址存储至所述区块链网络的分布式账本。
6、该方法为区块链网络提供分布式数据管理系统，通过分布式数据管理系统中的数据管理装置确定分配策略，按照分配策略分散存储目标数据的多个数据分片，满足分布式管理需求，避免集中管理中出现的管理者作恶风险，构造可信体系。
7、在一些可能的实现方式中，目标数据管理装置可以根据分配策略，结合各个存储的容量、带宽及历史故障记录中的至少一种，确定不同存储资源的权重，基于权重为数据分片分配存储资源，从而获得各数据分片的存储地址。通过按照上述方法确定的存储地址，存储目标数据的数据分片，可以减少数据存储和读取时间，并且减少存储空间浪费。
8、在一些可能的实现方式中，分布式数据管理系统在上传数据过程中，目标数据管理装置还可以根据数据操作请求，基于区块链网络的智能合约获取分片策略。然后目标数据管理装置可以根据分片策略，获得分片算法、分片数量和每个数据分片的副本数量。相应地，目标数据管理装置在进行io时，可以根据所述分片算法、分片数量，对所述目标数据进行分片，获得所述目标数据的多个数据分片，然后根据多个数据分片中每个数据分片的各个副本的存储地址，将每个数据分片的各个副本写入所述存储资源池，并将每个数据分片的各个副本的存储地址存储至所述区块链网络的分布式账本。
9、该方法通过按照区块链网络中获取的分片策略对目标数据进行切分，获得多个数据分片，然后将多个数据分片分布式地存储在存储资源池，如此可以提高目标数据的存储(上传)或读取(下载)效率。
10、在一些可能的实现方式中，每个数据分片包括多个副本，即使数据分片的若干副本丢失或被删除、被篡改，也能基于其他副本恢复数据。目标数据管理装置在将数据分片的各个副本写入所述存储资源池时，可以将每个数据分片的多个副本写入存储资源池的不同类型存储介质。如此，即使某种或某些类型的存储介质发生故障，也能够通过其他类型存储介质所存储的副本恢复数据，提高了存储可靠性，保障了数据安全。
11、在一些可能的实现方式中，数据分片的副本数量等于区块链节点数量。也即，针对目标数据的每个数据分片，目标数据管理装置可以在区块链网络的各个区块链节点所对应的数据管理装置所挂载的存储均存储一个副本，从而达到如同将数据分片存储在区块链网络上的效果，而且无需大量占用区块链网络的链上存储资源，通过较低的存储成本保障了存储可靠性。
12、在一些可能的实现方式中，目标数据管理装置还可以确定目标数据的哈希值、多个数据分片中每个数据分片的哈希值、目标数据的数据属性中的至少一个。其中，数据属性可以包括创建者、创建时间、主题中的一个或多个。然后目标数据管理装置可以将目标数据的哈希值、多个数据分片中每个数据分片的哈希值、目标数据的数据属性中的至少一个存储至区块链网络的分布式账本。
13、如此，在查询数据时，可以支持根据目标数据的哈希值、数据分片的哈希值、目标数据的数据属性进行数据查询，一方面可以加快查询效率，另一方面，可以保障查询准确度。
14、在一些可能的实现方式中，数据操作请本文档来自技高网...
【技术保护点】
1.一种数据处理方法，其特征在于，应用于分布式数据管理系统，所述分布式数据管理系统包括多个数据管理装置；所述多个数据管理装置中的第一数据管理装置对应区块链网络的第一区块链节点，所述多个数据管理装置中的第二数据管理装置对应区块链网络的第二区块链节点；所述第一数据管理装置挂载的存储和所述第二数据管理装置挂载的存储，用于形成所述区块链网络的存储资源池；所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述数据操作请求为写请求，所述目标数据管理装置根据所述数据操作请求，从所述区块链网络获取所述目标数据的多个数据分片的存储地址，包括：
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
4.根据权利要求3所述的方法，其特征在于，每个数据分片包括多个副本；
5.根据权利2至4任一项所述的方法，其特征在于，所述方法还包括：
6.根据权利要求1所述的方法，其特征在于，所述数据操作请求为读请求，所述目标数据管理装置根据所述数据操作请求，从所述区块链网络获取所述目标数据的多个数据分片的存储地址，包括:
7.根据权
8.根据权利要求6所述的方法，其特征在于，所述目标数据管理装置对所述多个数据分片进行聚合，获得所述目标数据，包括：
9.根据权利要求1至8任一项所述的方法，其特征在于，所述方法还包括：
10.根据权利要求1至8任一项所述的方法，其特征在于，所述方法还包括：
11.一种分布式数据管理系统，其特征在于，所述分布式数据管理系统包括多个数据管理装置；所述多个数据管理装置中的第一数据管理装置对应区块链网络的第一区块链节点，所述多个数据管理装置中的第二数据管理装置对应区块链网络的第二区块链节点；所述第一数据管理装置挂载的存储和所述第二数据管理装置挂载的存储，用于形成所述区块链网络的存储资源池；
12.根据权利要求11所述的系统，其特征在于，所述数据操作请求为写请求，所述目标数据管理装置具体用于：
13.根据权利要求12所述的系统，其特征在于，所述目标数据管理装置还用于：
14.根据权利要求13所述的系统，其特征在于，每个数据分片包括多个副本；
15.根据权利12至14任一项所述的系统，其特征在于，所述目标数据管理装置还用于：
16.根据权利要求11所述的系统，其特征在于，所述数据操作请求为读请求，所述目标数据管理装置具体用于:
17.根据权利要求16所述的系统，其特征在于，所述目标数据管理装置还用于：
18.根据权利要求16所述的系统，其特征在于，所述目标数据管理装置具体用于：
19.根据权利要求11至18任一项所述的系统，其特征在于，所述目标数据管理装置还用于：
20.根据权利要求11至18任一项所述的系统，其特征在于，所述目标数据管理装置还用于：
21.一种数据管理装置，其特征在于，所述数据管理装置对应区块链网络中的区块链节点，所述数据管理装置挂载的存储和分布式数据管理系统中其他数据管理装置挂载的存储，用于形成所述区块链网络的存储资源池，所述数据管理装置包括：
22.一种计算设备集群，其特征在于，所述计算设备集群包括至少一台计算设备，所述至少一台计算设备包括至少一个处理器和至少一个存储器，所述至少一个存储器中存储有计算机可读指令；所述至少一个处理器执行所述计算机可读指令，以使得所述计算设备集群执行如权利要求1至10中任一项所述的方法。
23.一种计算机可读存储介质，其特征在于，包括计算机可读指令；所述计算机可读指令用于实现权利要求1至10任一项所述的方法。
24.一种计算机程序产品，其特征在于，包括计算机可读指令；所述计算机可读指令用于实现权利要求1至10任一项所述的方法。
...【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于分布式数据管理系统，所述分布式数据管理系统包括多个数据管理装置；所述多个数据管理装置中的第一数据管理装置对应区块链网络的第一区块链节点，所述多个数据管理装置中的第二数据管理装置对应区块链网络的第二区块链节点；所述第一数据管理装置挂载的存储和所述第二数据管理装置挂载的存储，用于形成所述区块链网络的存储资源池；所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述数据操作请求为写请求，所述目标数据管理装置根据所述数据操作请求，从所述区块链网络获取所述目标数据的多个数据分片的存储地址，包括：
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
4.根据权利要求3所述的方法，其特征在于，每个数据分片包括多个副本；
5.根据权利2至4任一项所述的方法，其特征在于，所述方法还包括：
6.根据权利要求1所述的方法，其特征在于，所述数据操作请求为读请求，所述目标数据管理装置根据所述数据操作请求，从所述区块链网络获取所述目标数据的多个数据分片的存储地址，包括:
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
8.根据权利要求6所述的方法，其特征在于，所述目标数据管理装置对所述多个数据分片进行聚合，获得所述目标数据，包括：
9.根据权利要求1至8任一项所述的方法，其特征在于，所述方法还包括：
10.根据权利要求1至8任一项所述的方法，其特征在于，所述方法还包括：
11.一种分布式数据管理系统，其特征在于，所述分布式数据管理系统包括多个数据管理装置；所述多个数据管理装置中的第一数据管理装置对应区块链网络的第一区块链节点，所述多个数据管理装置中的第二数据管理装置对应区块链网络的第二区块链节点；所述第一数据管理装置挂载的存储和所述第二数据管理装置挂载的存储，用于形成所述区块链网络的存储资源...
【专利技术属性】
技术研发人员：张子怡，曲强，杨锐捷，杜明晓，
申请(专利权)人：华为云计算技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。