一种基于分布式存储系统的条带卷实现方法及其存储架构技术方案

本发明专利技术公开了一种基于分布式存储系统的条带卷实现方法及其存储架构，具体包括：预先将所述存储主机抽象成N个用于承载数据的组件，并将所述组件划分成若干固定大小的存储块；所述N个组件为条带宽度，所述存储块的存储空间为条带深度，条带宽度乘以条带深度等于条带卷大小；当应用主机接收到的读写请求需跨条带卷读写时，则将同一组件中连续的数据进行合并，通过一次网络请求并发读写。本发明专利技术不仅节约了系统资源与网络带宽，且由于将整块组件中连续的数据整合，使得普通磁盘在大部分情况下都是顺序读写，带来更好的系统性能。

A method and storage architecture of strip roll based on distributed storage system

The invention discloses a concrete implementation method and includes the volume storage architecture with distributed storage system based on the pre storage host for supporting data abstracted into N components, and the components are divided into several blocks of fixed size; the N component for the strip width. The storage space of the storage block for stripe depth, band width by band band depth equal to the volume size; when receiving the application host read and write requests to cross strip roll when reading and writing, will be combined with continuous data of the same component, through a network of concurrent read and write requests. The invention not only saves the system resources and network bandwidth, but also integrates the continuous data in the whole module, making the common disk read and write in most cases, resulting in better system performance.

【技术实现步骤摘要】
一种基于分布式存储系统的条带卷实现方法及其存储架构
本专利技术涉及信息存储
，尤其涉及的是一种基于分布式存储系统的条带卷实现方法及其存储架构。
技术介绍
ServerSAN至今并未有一个公认的定义，它是一个进化中的概念，许多人认为其将可能是未来存储的发展趋势。VeSpaceServerSAN支持三种不同类型数据分布的卷：1.线性分布；2.条带分布；3.纠删码分布；本专利技术专利是针对第2中条带分布，类似于传统单机存储的RAID0。由于VeSpaceServerSAN是分布式系统，条带分布卷的数据是需要通过网络传输。传统的单机的机制并未考虑网络的因素，本专利技术的切片与合并方法，能提升网络性能，增加系统的负载能力。因此，现有技术还有待于改进和发展。
技术实现思路
本专利技术要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于分布式存储系统的条带卷实现方法及其存储架构，旨在提出一种适用于分布式存储系统的数据分布方式，针对基于网络的数据传输，达到节约CPU资源、网络带宽、磁盘顺序写的目标。本专利技术解决技术问题所采用的技术方案如下：一种基于分布式存储系统的条带卷实现方法，其中，具体步骤包括：A、预先将所述存储主机抽象成N个用于承载数据的组件，并将所述组件划分成若干固定大小的存储块；所述N个组件为条带宽度，所述存储块的存储空间为条带深度，条带宽度乘以条带深度等于条带卷大小；B、当应用主机接收到的读写请求需跨条带卷读写时，则将同一组件中连续的数据进行合并，通过一次网络请求并发读写。其中，所述分布式存储系统包括应用主机、策略主机与存储主机。其中，所述存储块的大小为2kb的次方。其中，所述步骤B具体为：B1、应用主机将接收到的写入数据以条带深度为大小、切片成多个第一数据块；当所述写入数据大于条带卷时，将预存入同一组件中的多个第一数据块合并为第二数据块，并将所述第二数据块并发写入相对应的组件，所述第二数据块为N个；B2、当应用主机接收到的读取数据请求、并且所述读取数据大于条带卷时，则将同一组件中连续的数据合并为第三数据进行读取，所述第三数据块为N个。其中，所述应用主机与组件通过TCP连接。其中，当读写数据请求小于条带深度时，仅需读写对应的单个组件；当读写数据请求大于条带深度、小于等于条带卷时，则需处理单个条带内所涉及的多个组件；当读写数据请求大于条带卷时，则需执行1个以上的满条带卷读写。一种存储架构，包括：应用主机、策略主机、存储主机；所述存储架构中存储有计算机程序，该计算机程序被应用主机和/或策略主机执行时实现以上所述基于分布式存储系统的条带卷实现方法的步骤。本专利技术的有益效果：本专利技术所述一种基于分布式存储系统的条带卷实现方法及其存储架构，旨在提出一种适用于分布式存储系统的数据分布方式，针对基于网络的数据传输，通过将数据切片达到多个后端节点并行写入的效果，通过将数据合并达到多个连续位置的数据块整合仅需一次网络请求即可发送完成，达到节约CPU资源、网络带宽、磁盘顺序写的目标。附图说明图1是本专利技术一种存储架构较佳实施例的架构模块图。图2是本专利技术一种基于分布式存储系统的条带卷实现方法较佳实施例的条带卷划分结构图。图3是本专利技术一种基于分布式存储系统的条带卷实现方法较佳实施例的条带卷数据存放示意图。图4是本专利技术一种基于分布式存储系统的条带卷实现方法较佳实施例的数据切片示意图。具体实施方式为使本专利技术的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本专利技术进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。本专利技术实施例提供了一种基于分布式存储系统的条带卷实现方法，请参见图1-4，如图所示，其采用应用主机-策略主机-存储主机的处理架构；其中存储主机由多个物理磁盘组成。具体包括如下步骤：A、预先将所述存储主机抽象成N个用于承载数据的组件，并将所述组件划分成若干固定大小的存储块；所述N个组件为条带宽度，所述存储块的存储空间为条带深度，条带宽度乘以条带深度等于条带卷大小。进一步的，所述存储块的大小为2kb的次方。具体实施例中，所述应用主机：管理虚拟磁盘的生命周期，完成数据接收、缓存、转发等功能。本专利技术主要是涉及应用主机的条带化数据的处理流程，处理流程由独立的micocontroller处理，多个虚拟磁盘之间不受影响。所述策略主机：承担应用VeSpaceServerSAN的元数据管理，资源调度，存储策略控制，完成整个分布式系统的协调与控制。所述存储主机：VeSpaceServerSAN存储系统中，存储主机用于管理物理磁盘，将物理存储资源抽象成多个组件，用于承载来至虚拟磁盘的数据。VeSpaceServerSAN存储系统生成的虚拟磁盘与真实的物理磁盘，在用户视角是完全相同的，用户无需区别二者。与物理磁盘相同，虚拟磁盘的读写请求经过操作系统的存储IO栈，最终转化为Data，Length，Offset。其中，所述Data：对于写请求表示需要写入的数据的缓冲区；对于读请求表示从磁盘读取数据的缓冲区；所述Length:Data为缓冲区长度；所述Offset：需要读写虚拟磁盘的偏移位置。B、当应用主机接收到的读写请求需跨条带卷读写时，则将同一组件中连续的数据进行合并，通过一次网络请求并发读写。所述步骤B具体为：B1、应用主机将接收到的写入数据以条带深度为大小、切片成多个第一数据块；当所述写入数据大于条带卷时，将预存入同一组件中的多个第一数据块合并为第二数据块，并将所述第二数据块并发写入相对应的组件，所述第二数据块为N个；B2、当应用主机接收到的读取数据请求、并且所述读取数据大于条带卷时，则将同一组件中连续的数据合并为第三数据进行读取，所述第三数据块为N个。进一步的，所述应用主机与组件通过TCP连接。其中，当读写数据请求小于条带深度时，仅需读写对应的单个组件；当读写数据请求大于条带深度、小于等于条带卷时，则需处理单个条带内所涉及的多个组件；当读写数据请求大于条带卷时，则需执行1个以上的满条带卷读写。具体实施例中，对于分布式存储系统IO请求需要经过网络，多次的网络请求会造成性能的损耗。VeSpaceServerSAN的条带卷会将跨条带卷的请求IO合并，达到节约CPU资源、网络带宽、磁盘顺序写的目标。如图3所示，假设写入80KB数据，虚拟磁盘的微控制器将其切成16KB大小的数据块ABCDE，并发通过网络将5块数据存到5个组件中，理论速度是之前的5倍。假设写入的数据是160KB，切分数据后数据块为ABCDEFGHIJ两个条带，通过两次网络请求将数据发送到组件中落盘。根据图3中展示，数据块A与数据块F在组件中是连续的，以此类推B和G，C和H，...都是连续的。于是VeSpaceServerSAN条带卷微控制器将组件中连续的数据块合并成一个数据，不仅节省了网络带宽，利用了普通磁盘的顺序操作性能高的特点。对于条带越小，写入数据块越大的情况，这种条带方式性能越好。如图4所示，为本专利技术的VeSpaceServerSAN切片示意图；该切片方式，可以使用少量的CPU时间，完成数据切片与合并，并不会对系统性能造成影响。以条带深度为16K为例，写入一个较大的数据块，比如1MB。请求参数为：data，length，offset。假本文档来自技高网...

【技术保护点】
一种基于分布式存储系统的条带卷实现方法，其特征在于，具体步骤包括：A、预先将所述存储主机抽象成N个用于承载数据的组件，并将所述组件划分成若干固定大小的存储块；所述N个组件为条带宽度，所述存储块的存储空间为条带深度，条带宽度乘以条带深度等于条带卷大小；B、当应用主机接收到的读写请求需跨条带卷读写时，则将同一组件中连续的数据进行合并，通过一次网络请求并发读写。

【技术特征摘要】
1.一种基于分布式存储系统的条带卷实现方法，其特征在于，具体步骤包括：A、预先将所述存储主机抽象成N个用于承载数据的组件，并将所述组件划分成若干固定大小的存储块；所述N个组件为条带宽度，所述存储块的存储空间为条带深度，条带宽度乘以条带深度等于条带卷大小；B、当应用主机接收到的读写请求需跨条带卷读写时，则将同一组件中连续的数据进行合并，通过一次网络请求并发读写。2.根据权利要求1所述的条带卷实现方法，其特征在于，所述分布式存储系统包括应用主机、策略主机与存储主机。3.根据权利要求1所述的条带卷实现方法，其特征在于，所述存储块的大小为2kb的次方。4.根据权利要求1所述的条带卷实现方法，其特征在于，所述步骤B具体为：B1、应用主机将接收到的写入数据以条带深度为大小、切片成多个第一数据块；当所述写入数据大于条带卷时，将预存入同一组件中的多个第一数据块合并...

【专利技术属性】
技术研发人员：张朝潞，
申请(专利权)人：深圳市云舒网络技术有限公司，
类型：发明
国别省市：广东,44