一种分布式系统中的数据读写方法技术方案

本发明专利技术提供了一种分布式系统中的数据读写方法，本发明专利技术将数据集合G中的数据D的树结构分成N棵子树，依次写入内存的上述缓存区，再对缓存区中的多个子树合并成数据D的完整树结构，缩小了传输过程和写入内存中的数据量，提高了传输和读写速率。

A method of data reading and writing in a distributed system

The invention provides a data reading and writing method in a distributed system. The invention divides the tree structure of data D in the data set G into the N tree, writes the caching area of the memory in turn, and then merge the multiple sub trees into the complete tree structure of the data D in the cache area, and reduce the transmission process and the amount of data in the memory. The transmission and read - write rate is improved.

【技术实现步骤摘要】
一种分布式系统中的数据读写方法
本专利技术属于数据共享领域，尤其涉及分布式系统中的数据读写方法。
技术介绍
近年来随着网络技术的发展，分布式技术得到了深入的研究和广泛的应用，分布式系统中的各个计算机都存储有数据，数据可以在各个计算机之间进行共享和交换。现有的数据交换方式，通常是在数据请求方和数据提供方之间直接进行数据交换，这对作为数据提供方的服务器的读写和传输速度要求很高，但是对于硬盘读写速度通常比较慢，影响服务器自身的数据处理。基于上述问题，现在亟需一种新的分布式系统中的数据读写方法，减轻数据提供方服务器的处理负载，提高系统数据交换速度。
技术实现思路
为了解决现有技术中的上述问题，本专利技术提出了一种分布式系统中的数据读写方法。本专利技术采用的技术方案如下：一种分布式系统中的数据读写方法，分布式系统中包括多个节点，所述数据以树结构存储，其特征在于，该方法包括如下步骤：(1)节点A向节点B发送数据集合G的数据交换请求，数据集合G以树结构存储在节点B中；(3)节点B将数据集合G中的数据D的树结构分成N棵子树，依次发送给节点A；(4)节点A将接收的N棵子树依次写入其内存预设的缓存区；(5)节点A对缓存区中的多个子树合并成数据D的完整树结构；(6)重复上述步骤(3)-(5)，将数据集合G中的数据的树结构依次进行子树分解、写入缓存区和完整树合并，直至数据集合G中的所有数据均完成上述分解、写入和合并操作。本专利技术的有益效果包括：本申请将数据集合G中的数据D的树结构分成N棵子树，依次写入内存的上述缓存区，再对缓存区中的多个子树合并成数据D的完整树结构，缩小了传输过程和写入内存中的数据量，提高了传输和读写速率。【附图说明】此处所说明的附图是用来提供对本专利技术的进一步理解，构成本申请的一部分，但并不构成对本专利技术的不当限定，在附图中：图1是本专利技术系统的结构图。图2是本专利技术分布式系统中的数据读写方法的流程图。【具体实施方式】下面将结合附图以及具体实施例来详细说明本专利技术，其中的示意性实施例以及说明仅用来解释本专利技术，但并不作为对本专利技术的限定。参见附图1，是本专利技术所应用的系统，在一个实施例中，系统为分布式系统，该系统包括一个控制节点和多个计算节点。在其他实施方式中，也可以是云系统等多节点系统。参见附图2，实施例1，分布式系统中的数据读写方法，分布式系统中包括多个节点，所述数据以树结构存储，该方法包括如下步骤：(1)节点A向节点B发送数据集合G的数据交换请求，数据集合G以树结构存储在节点B中；(3)节点B将数据集合G中的数据D的树结构分成N棵子树，依次发送给节点A；(4)节点A将接收的N棵子树依次写入其内存预设的缓存区；(5)节点A对缓存区中的多个子树合并成数据D的完整树结构；(6)重复上述步骤(3)-(5)，将数据集合G中的数据的树结构依次进行子树分解、写入缓存区和完整树合并，直至数据集合G中的所有数据均完成上述分解、写入和合并操作。实施例2，该方法包括如下步骤：(1)节点A向节点B发送数据集合G的数据交换请求。在一个实施方式中，所述数据集合G中包括若干数据D，其中数据D以树结构存储在节点B中，节点A为数据请求节点，节点B为数据发送节点；(2)从其他节点中选择一个节点C作为缓存节点，在一个实施方式中，选择一个当前运行负载最低的一个节点作为缓存节点，以便最低限度降低对其他节点运行的影响，然后在缓存节点内存中划分一个区域作为共享数据交换的缓冲区；(3)将数据集合G中的数据D的树结构分成N棵子树，依次写入内存的上述缓存区；(4)对缓存区中的多个子树合并成数据D的完整树结构；(5)重复上述步骤(3)(4)，将数据集合G中的数据的树结构依次进行子树分解、写入缓存区和完整树合并；(6)监控缓冲区中存储的数据量是否超过缓存阈值，如果超过缓存阈值，则将缓存区中存储的数据集合E传送给节点A，并将缓冲区中存储的数据量删除；(7)节点A接收上述传送的数据集合E并存储在其内存中；(8)如果数据集合E是数据集合G的子集，再继续执行上述步骤(5)-(7)，如果数据集合E和数据集合G相同，则执行步骤(9)-(12)；(9)节点A为防止数据丢失，需要将数据存储在暂时持久化磁盘，在节点A硬盘中划分一块区域作为暂时持久化区域；(10)将数据集合E中的数据F的树结构分成M棵子树，依次写入上述暂时持久化区域；(11)对暂时持久化区域中的子树合并处理成数据F的完整树结构；(12)重复上述步骤(10)(11)，将数据集合E中的数据的树结构依次进行子树分解、写入缓存区和完整树合并。通过上述方法，本专利技术将数据集合G中的数据D的树结构分成N棵子树，依次写入内存的上述缓存区，再对缓存区中的多个子树合并成数据D的完整树结构，缩小了传输过程和写入内存中的数据量，提高了传输和读写速率。以上所述仅是本专利技术的较佳实施方式，故凡依本专利技术专利申请范围所述的构造、特征及原理所做的等效变化或修饰，均包括于本专利技术专利申请范围内。本文档来自技高网...

【技术保护点】
1.一种分布式系统中的数据读写方法，分布式系统中包括多个节点，所述数据以树结构存储，其特征在于，该方法包括如下步骤：(1)节点A向节点B发送数据集合G的数据交换请求，数据集合G以树结构存储在节点B中；(3)节点B将数据集合G中的数据D的树结构分成N棵子树，依次发送给节点A；(4)节点A将接收的N棵子树依次写入其内存预设的缓存区；(5)节点A对缓存区中的多个子树合并成数据D的完整树结构；(6)重复上述步骤(3)‑(5)，将数据集合G中的数据的树结构依次进行子树分解、写入缓存区和完整树合并，直至数据集合G中的所有数据均完成上述分解、写入和合并操作。

【技术特征摘要】
1.一种分布式系统中的数据读写方法，分布式系统中包括多个节点，所述数据以树结构存储，其特征在于，该方法包括如下步骤：(1)节点A向节点B发送数据集合G的数据交换请求，数据集合G以树结构存储在节点B中；(3)节点B将数据集合G中的数据D的树结构分成N棵子树，依次发送给节点A；...

【专利技术属性】
技术研发人员：曾飞传，徐凤桐，安西民，
申请(专利权)人：航天星图科技北京有限公司，
类型：发明
国别省市：北京,11