一种基于区块链的分布式存储网络数据同步方法技术

本发明专利技术提供了一种基于区块链的分布式存储网络数据同步方法，属于数据存储技术领域，其利用区块链技术和分布存储技术相结合，对数据节点的变化进行元数据更新，在进行数据上链时进行元数据的隐藏处理，实现了数据同步存储的安全性、高效性和准确性。高效性和准确性。高效性和准确性。

【技术实现步骤摘要】
一种基于区块链的分布式存储网络数据同步方法


[0001]本专利技术属于数据存储
，具体涉及一种基于区块链的分布式存储网络数据同步方法。

技术介绍

[0002]由于分布式存储系统的高效性、数据共享等优点，在目前社会实践和工业生产的过程中得到了广泛的应用。而数据同步技术就是指将数据库站点之间的数据的更新能够在分布式存储系统中得到同步，让数据能够分布存放，从而让系统对外能够进行分布式处理的一种技术。这种处理方式通过将允许使用的应用程序透明地对分布存放的数据进行存取，能够让用户在使用的过程中感觉这些数据是存放在统一的服务器上，因而用户的体验感在一定程度上得到了提升。
[0003]分布式同步的方法有很多，通常的同步方法可分为；主从同步备份、主从异步备份和对等同步。主从同步备份的主要步骤在主数据节点更新完数据后需要同步到备用节点后才反馈结果给用户，在同步备份期间对用户请求是阻塞的，其优点是保证了数据的强一致性，缺点是牺牲了高可用性，系统长时间无法对外提供服务。主从异步备份的主要步骤在主节点更新完数据后，主节点即可反馈结果给用户，然后异步地同步备用节点，主节点收到写请求即开始执行，从节点收到写请求就转发给主节点，并不等待同步，优点是保证了数据的高可用性，延迟较小，缺点是牺牲了强一致性，不同节点数据会出现不一致。基于主从的备份，整个过程都需要主节点长期可用，一旦主节点出现问题，系统将长期不可用；但如果能采用去中心化设计，整个分布式系统不存在中心节点，系统中的任意节点的失效的影响都是短期且影响范围较小的，不会存在单一的性能瓶颈和单点故障。
[0004]对等同步的云存储技术运用对等网来构建云系统的底层覆盖网络，具有扩展性好、成本低等优点，但由于对等网络中的节点存在信任度低等问题，并且，简单的对等存储网络节点既要拥有对海量数据的存储与传输能力，又需要满足参与网络治理与调度的高计算能力，这意味着其对计算资源和存储资源的要求都较高。此外，针对需要动态存储的数据文件， 需要反复进行刷新(Refresh)操作，这也增加了网络治理与调度的难度。如何能够进一步提高数据同步存储的安全性、高效性和准确性，是当前数据分布式存储所面临的一个主要问题。

技术实现思路

[0005]针对现有技术存在的以上问题，本专利技术提供了一种基于区块链的分布式存储网络数据同步方法，目的是为了依托于区块链节点的信息进行数据交换，动态调整数据同步的节点范围，提升计算以及存储的利用率，实现安全、高效和准确的数据同步存储。
[0006]为了实现上述目的，本专利技术采用以下技术方案：一种基于区块链的分布式存储网络数据同步方法，其包括以下步骤：A、区块链节点的组网：将各区块链节点通过P2P协议进行组网，保证各区块链节点
之间能相互通讯；B、数据节点与区块链节点的链接：将各数据节点分别与各区块链节点中的至少一个节点建立通讯，然后将所述各数据节点的信息注册至对应的区块链节点；C、数据的元数据上链：当有数据保存至某个数据节点后，所述某个数据节点会将该数据的元数据信息发送至与其链接的区块链节点，以进行上链处理；D、数据的元数据全局同步：接收到来自所述某个数据节点的元数据信息的区块链节点将所述元数据信息封装成一条消息，广播至整个区块链网络中，消息最终被记录至预定高度的区块链区块中；E、数据请求：数据使用方链接某数据节点，并告知与其链接的数据节点需要获取的位于区块链上的数据ID；F、请求数据的元数据获取：与数据使用方链接的数据节点从区块链节点处同步获取位于区块链上的所述数据ID相对应的最新的元数据；G、数据文件同步：如果数据节点发现元数据已发生变化，则进行数据文件同步，即，从最新区块的元数据记录更新元数据至本地，同时与元数据记录的源数据节点ID通讯，并通过P2P协议，同步整个区块链网络的内容，若数据节点发现元数据未发生变更且已有对应数据，则直接提供数据服务；H、数据的元数据更新信息上链：当数据节点的元数据发生变更，会通过链接的区块链节点发送元数据变更的消息；I、区块链节点通知链接数据节点变更：区块链节点收到元数据发生变更的消息后，会转发至与其相链接的数据节点，如果与其相链接数据节点未包含此条数据则忽略，否则会执行F和G步完成数据更新。与现有技术相比，本专利技术至少具备以下有益效果：各个数据节点依托于区块链节点的信息进行数据交换，将数据的分布式计算与存储、传输相分离，并且能够灵活的根据数据访问模式动态调整数据同步的节点范围，提升计算以及存储的利用率。同时基于区块链技术在很大程度上使数据的安全性、完整性和抗抵赖性得到了保证；将网络维护（更新）、数据寻址以及数据存储相分离，能极大的提高了数据同步效率。数据的元数据以及寻址信息的同步依赖于区块链的全局同步能很好的做到数据的完整性和不可篡改性。数据文件的同步基于存储节点点对点的传输，能降低不必要的传输过程，同时减少中间过程不必要的存储。数据的请求会通过区块链节点完成数据节点的寻址与通讯，能快捷的完成数据异步同步。区块链节点以及数据存储节点均采用去中心化的对等网络，避免单一节点造成的性能瓶颈和单点故障的发生概率，保证高可用性。对上链的元数据进行数据隐藏，极大的提高了数据存储的安全性。
附图说明
[0007]图1是本专利技术基于区块链的分布式存储网络数据同步方法所采用的系统架构示意图；图2是本专利技术所采用的数据节点的基本架构示意图。
具体实施方式
[0008]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0009]如图1至图2所示，本专利技术提供了一种基于区块链的分布式存储网络数据同步方法，其包括以下步骤：A、区块链节点的组网：将各区块链节点通过P2P协议进行组网，保证各区块链节点之间能相互通讯；B、数据节点与区块链节点的链接：将各数据节点分别与各区块链节点中的至少一个节点建立通讯，然后将所述各数据节点的数据节点ID、存储容量等信息注册至对应的区块链节点；C、数据的元数据上链：当有数据保存至某个数据节点后，所述某个数据节点会将该数据的元数据信息发送至与其链接的区块链节点，以进行上链处理，所述元数据信息包括数据ID、源数据节点ID（源数据节点即最初存储相关数据的节点）、数据大小、数据类型、数据更新时间等基础信息；D、数据的元数据全局同步：接收到来自所述某个数据节点的元数据信息的区块链节点将所述元数据信息封装成一条消息，广播至整个区块链网络中，消息最终被记录至预定高度的区块链区块中；E、数据请求：数据使用方链接某数据节点，并告知与其链接的数据节点需要获取的位于区块链上的数据ID；F、请求数据的元数据获取：与数据使用方链接的数据节点从区块链节点处同步获取位于区块链上的所述数据ID相对应的最新的元数据；G、数据文件同步：如果数据节点发现元数据已发生变化，则进行数据文件同步，即，从本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于区块链的分布式存储网络数据同步方法，其特征在于，该方法包括以下步骤：A、区块链节点的组网：将各区块链节点通过P2P协议进行组网，保证各区块链节点之间能相互通讯；B、数据节点与区块链节点的链接：将各数据节点分别与各区块链节点中的至少一个节点建立通讯，然后将所述各数据节点的信息注册至对应的区块链节点；C、数据的元数据上链：当有数据保存至某个数据节点后，所述某个数据节点会将该数据的元数据信息发送至与其链接的区块链节点，以进行上链处理；D、数据的元数据全局同步：接收到来自所述某个数据节点的元数据信息的区块链节点将所述元数据信息封装成一条消息，广播至整个区块链网络中，消息最终被记录至预定高度的区块链区块中；E、数据请求：数据使用方链接某数据节点，并告知与其链接的数据节点需要获取的位于区块链上的数据ID；F、请求数据的元数据获取：与数据使用方链接的数据节点从区块链节点处同步获取位于区块链上的所述数据ID相对应的最新的元数据；G、数据文件同步：如果数据节点发现元数据已发生变化，则进行数据文件同步，即，从最新区块的元数据记录更新元数据至本地，同时与元数据记录的源数据节点ID通讯，并通过P2P协议，同步整个区块链网络的内容，若数据节点发现元数据未发生变更且已有对应数据，则直接提供数据服务；H、数据的元数据更新信息上链：当数据节点的元数据发生变更，会通过链接的区块链节点发送元数据变更的消息；I、区块链节点通知链接数据节点变更：区块链节点收到元数据发生变更的消息后，会转发至与其相链接的数据节点，如果与其相链接数据节点未包含此条数据则忽略，否则会执行F和G步完成数据更新。2.如权利要求1所述的一种基于区块链的分布式存储网络数据同步方法，其特征在于，所述方法还包...

【专利技术属性】
技术研发人员：王帅，赵磊，黄瑞，
申请(专利权)人：四川蜀天信息技术有限公司，
类型：发明
国别省市：