基于分布式存储机制实现按需构建应用程序访问数据副本的系统及方法技术方案

本发明专利技术涉及一种基于分布式存储机制实现按需构建应用程序访问数据副本的系统及方法，其中该基于分布式存储机制实现按需构建应用程序访问数据副本的系统包括应用程序数据访问控制模块、应用程序本地节点模块和数据存储控制模块。采用该基于分布式存储机制实现按需构建应用程序访问数据副本的系统及方法，当增量数据同步子模块与后端存储子模块中的数据同步之后，数据块将永久保持同步状态，因此当应用程序再次发送访问请求数据时，该应用程序可以完全依赖应用程序本地节点模块中本地副本的数据内容，不仅可明显地预防网络抖动，还使应用程序的请求数据不会因为网络丢包而被搁置同时可减小网络带宽占用以及降低数据访问延时，具有更广泛的应用范围。

System and method of building application program access data copy on demand based on distributed storage mechanism

The invention relates to a system for realizing distributed storage mechanism based on on-demand building applications to access a copy of the data and methods, including the distributed storage mechanism to implement the access control module, application local node module and the data storage control module application data according to the system need to build applications to access a copy of the data based on. A system and method for the implementation of distributed storage system based on on-demand building applications to access a copy of the data, when the incremental data synchronization module and back-end storage module in data synchronization, data block will be permanently synchronized, so when the application again send access request data, the data content of the application can be completely a local copy of the application on the local node module, not only can significantly prevent the network jitter, the request data application will not be shelved because of packet loss and reduce the network bandwidth usage and reduce data access latency and has wider application range.

【技术实现步骤摘要】
基于分布式存储机制实现按需构建应用程序访问数据副本的系统及方法
本专利技术涉及计算机
，尤其涉及分布式存储领域，具体是指一种基于分布式存储机制实现按需构建应用程序访问数据副本的系统及方法。
技术介绍
分布式存储系统为满足安全性，数据一般有冗余，也就是具有N(N>1)份副本，经典应用部署结构里，应用程序所在节点和存储节点往往是分离的集群，即使在超融合架构里，应用程序节点和存储节点虽然共处同一个集群，但是因为分布式系统的随机散乱分布特点，应用程序所在物理节点和数据块实际存放节点也往往不同。为了满足应用层的数据请求，应用程序节点的请求需要跨越网络层到达数据块实际存放节点，然后进行传统的存储介质访问得到数据内容，最后再通过网络层传输回应用程序所在节点，这就不可避免地造成了分布式存储的访问延时增大、网络抖动敏感等问题。
技术实现思路
本专利技术的目的是克服了上述现有技术的缺点，提供了一种能够实现有效预防网络抖动并减小网络带宽占用和降低数据访问延时的基于分布式存储机制实现按需构建应用程序访问数据副本的系统及方法。为了实现上述目的，本专利技术的基于分布式存储机制实现按需构建应用程序访问数据副本的系统及方法如下：该基于分布式存储机制实现按需构建应用程序访问数据副本的系统，其主要特点是，所述的系统包括：应用程序数据访问控制模块，用于拦截应用程序向分布式存储系统发送的数据访问请求，并根据该数据访问请求进行数据分块处理、进行本地数据副本的判断处理和数据访问构建处理；应用程序本地节点模块，与所述的应用程序数据访问控制模块相连接，用于存储所述的应用程序数据访问控制模块所构建的本地数据副本；分布式系统数据存储控制模块，通过网络与所述的应用程序数据访问控制模块相连接，用于与该应用程序数据访问控制模块相配合进行数据同步处理。该基于分布式存储机制实现按需构建应用程序访问数据副本的系统的应用程序数据访问控制模块包括：数据访问请求拦截子模块，用于拦截所述的数据访问请求并对该数据访问请求中传送的数据进行分块；本地数据访问仲裁子模块，用于判断该数据访问请求拦截子模块分块后的数据是否存在于所述的应用程序本地节点模块中；增量数据同步子模块，通过网络与所述的数据存储控制模块相连接，用于根据所述的应用程序本地节点模块中按需构建的本地数据副本的更新信息向所述数据存储控制模块推送数据更新信息。该基于分布式存储机制实现按需构建应用程序访问数据副本的系统的分布式系统数据存储控制模块中具有后端存储同步子模块，该后端存储同步子模块通过网络与所述的应用程序数据访问控制模块相连接，用于所述的分布式系统数据存储控制模块和应用程序数据访问控制模块之间的数据同步处理。该基于上述系统实现按需构建应用程序访问的数据副本的方法，其主要特点是，所述的方法包括以下步骤：(1)分布式存储系统接收应用程序发送的数据访问请求；(2)所述的应用程序数据访问控制模块拦截该数据访问请求，并根据该数据访问请求进行数据分块处理；(3)所述的应用程序数据访问控制模块根据该分块后的数据进行本地数据副本的判断处理；(4)所述的应用程序数据访问控制模块根据所述的数据访问请求对所述的应用程序本地节点模块中的本地数据副本进行数据访问构建处理。该实现按需构建应用程序访问的数据副本的方法的应用程序数据访问控制模块包括数据访问请求拦截子模块，所述的步骤(2)具体为：所述的数据访问请求拦截子模块拦截所述的数据访问请求并对该数据访问请求中传送的数据进行分块。该实现按需构建应用程序访问的数据副本的方法的应用程序数据访问控制模块还包括本地数据访问仲裁子模块，所述的步骤(3)包括以下步骤：(3.1)所述的本地数据访问仲裁子模块接收该分块后的数据，并判断所述的应用程序本地节点模块中是否存在对应可用的本地数据副本；(3.2)若所述的应用程序本地节点模块中存在可用的本地数据副本，则返回存在可用的本地数据副本的结果；否则返回不存在可用的本地数据副本的结果。该实现按需构建应用程序访问的数据副本的方法的步骤(4)包括以下步骤：(4.1)若返回结果为不存在可用的本地数据副本，则继续步骤(4.2)；否则进入步骤(4.3)；(4.2)根据分布式系统中的数据副本在该应用程序本地节点模块中进行本地数据副本的创建；(4.3)判断所述的数据访问请求类型，若该数据访问请求类型为读请求，则所述的应用程序数据访问控制模块直接读取该应用程序本地节点模块中存在的本地数据副本，并结束整个过程，否则进入步骤(4.4)；(4.4)根据该数据访问请求将相应的数据更新信息写入到所述的应用程序本地节点模块中的本地数据副本中；(4.5)所述的应用程序数据访问控制模块通过与所述的分布式系统数据存储控制模块之间的交互，对所述的应用程序本地节点模块中的本地数据副本与分布式系统中的数据副本进行同步。该实现按需构建应用程序访问的数据副本的方法的应用程序数据访问控制模块包括增量数据同步子模块，所述的数据存储控制模块包括后端存储同步子模块，所述的步骤(4.5)包括以下步骤：(4.5.1)将所述的应用程序本地节点模块中的本地数据副本的数据更新信息推送到所述的增量数据同步子模块中；(4.5.2)所述的增量数据同步子模块将所述的数据更新信息推送到该后端存储同步子模块中；(4.5.3)所述的后端存储同步子模块根据所述的数据更新信息对分布式系统中的数据副本进行数据更新操作。附图说明图1为本专利技术的基于分布式存储机制实现按需构建应用程序访问的数据副本的系统及方法的流程示意图。图2为本专利技术的基于分布式存储机制实现按需构建应用程序访问的数据副本的系统及方法的各模块组成的架构示意图。图3为现有技术中应用程序访问分布式系统的流程示意图。具体实施方式为了能够更清楚地描述本专利技术的
技术实现思路
，下面结合具体实施例来进行进一步的描述。本专利技术的基于分布式存储机制实现按需构建应用程序访问数据副本的系统及方法如下：该基于分布式存储机制实现按需构建应用程序访问数据副本的系统，其主要特点是，所述的系统包括：应用程序数据访问控制模块，用于拦截应用程序向分布式存储系统发送的数据访问请求，并根据该数据访问请求进行数据分块处理、进行本地数据副本的判断处理和数据访问构建处理；应用程序本地节点模块，与所述的应用程序数据访问控制模块相连接，用于存储所述的应用程序数据访问控制模块所构建的本地数据副本；分布式系统数据存储控制模块，通过网络与所述的应用程序数据访问控制模块相连接，用于与该应用程序数据访问控制模块相配合进行数据同步处理。该基于分布式存储机制实现按需构建应用程序访问数据副本的系统的应用程序数据访问控制模块包括：数据访问请求拦截子模块，用于拦截所述的数据访问请求并对该数据访问请求中传送的数据进行分块；本地数据访问仲裁子模块，用于判断该数据访问请求拦截子模块分块后的数据是否存在于所述的应用程序本地节点模块中；增量数据同步子模块，通过网络与所述的数据存储控制模块相连接，用于根据所述的应用程序本地节点模块中按需构建的本地数据副本的更新信息向所述数据存储控制模块推送数据更新信息。该基于分布式存储机制实现按需构建应用程序访问数据副本的系统的分布式系统数据存储控制模块中具有后端存储同步子模块，该后端存储同步子模块通过网络与所述的应用程本文档来自技高网...

【技术保护点】
一种基于分布式存储机制实现按需构建应用程序访问数据副本的系统，其特征在于，所述的系统包括：应用程序数据访问控制模块，用于拦截应用程序向分布式存储系统发送的数据访问请求，并根据该数据访问请求进行数据分块处理、进行本地数据副本的判断处理和数据访问构建处理；应用程序本地节点模块，与所述的应用程序数据访问控制模块相连接，用于存储所述的应用程序数据访问控制模块所构建的本地数据副本；分布式系统数据存储控制模块，通过网络与所述的应用程序数据访问控制模块相连接，用于与该应用程序数据访问控制模块相配合进行数据同步处理。

【技术特征摘要】
1.一种基于分布式存储机制实现按需构建应用程序访问数据副本的系统，其特征在于，所述的系统包括：应用程序数据访问控制模块，用于拦截应用程序向分布式存储系统发送的数据访问请求，并根据该数据访问请求进行数据分块处理、进行本地数据副本的判断处理和数据访问构建处理；应用程序本地节点模块，与所述的应用程序数据访问控制模块相连接，用于存储所述的应用程序数据访问控制模块所构建的本地数据副本；分布式系统数据存储控制模块，通过网络与所述的应用程序数据访问控制模块相连接，用于与该应用程序数据访问控制模块相配合进行数据同步处理。2.根据权利要求1所述的基于分布式存储机制实现按需构建应用程序访问数据副本的系统，其特征在于，所述的应用程序数据访问控制模块包括：数据访问请求拦截子模块，用于拦截所述的数据访问请求并对该数据访问请求中传送的数据进行分块；本地数据访问仲裁子模块，用于判断该数据访问请求拦截子模块分块后的数据是否存在于所述的应用程序本地节点模块中；增量数据同步子模块，通过网络与所述的数据存储控制模块相连接，用于根据所述的应用程序本地节点模块中按需构建的本地数据副本的更新信息向所述数据存储控制模块推送数据更新信息。3.根据权利要求1所述的基于分布式存储机制实现按需构建应用程序访问数据副本的系统，其特征在于，所述的分布式系统数据存储控制模块中具有后端存储同步子模块，该后端存储同步子模块通过网络与所述的应用程序数据访问控制模块相连接，用于所述的分布式系统数据存储控制模块和应用程序数据访问控制模块之间的数据同步处理。4.一种基于权利要求1所述的系统实现按需构建应用程序访问的数据副本的方法，其特征在于，所述的方法包括以下步骤：(1)分布式存储系统接收应用程序发送的数据访问请求；(2)所述的应用程序数据访问控制模块拦截该数据访问请求，并根据该数据访问请求进行数据分块处理；(3)所述的应用程序数据访问控制模块根据该分块后的数据进行本地数据副本的判断处理；(4)所述的应用程序数据访问控制模块根据所述的数据访问请求对所述的应用程序本地节点模块中的本地数据副本进行数据访问构建处理。5.根据权利要求4所述的实现按需构建应用程序访问的数据副本的方法，其特征在于，所述的...

【专利技术属性】
技术研发人员：道格拉斯·艾伦·瓦尔特，余超凡，朱仁琪，
申请(专利权)人：云巅上海网络科技有限公司，
类型：发明
国别省市：上海,31