一种分布式块存储的读写方法、装置、电子设备及介质制造方法及图纸

本申请公开了一种分布式块存储的读写方法、装置、电子设备及介质，包括：对高速缓存设备进行信息配置，根据配置信息挂载分布式块存储到指定设备，绑定高速缓存设备和分布式块存储的关系，其中，多个分布式块存储绑定一个高速缓存设备。获取读写数据请求时，采集请求相关信息，依据该请求相关信息与优先读写条件进行读写数据，其中，优先写入条件为优先将数据存储于高速缓存设备，优先读取条件为优先将后端存储集群中的指定数据存储于高速缓存设备中读取。由此，通过对多个块存储共同部署一个高速缓存设备以控制成本，由高速缓存设备的性能降低时延和提高IOPS同时，通过优先读写条件降低时延和提高IOPS。降低时延和提高IOPS。降低时延和提高IOPS。

A reading and writing method, device, electronic device and medium of distributed block storage

【技术实现步骤摘要】
一种分布式块存储的读写方法、装置、电子设备及介质


[0001]本申请涉及分布式存储
，特别是涉及一种分布式块存储的读写方法、装置、电子设备及介质。

技术介绍

[0002]随着信息化技术的不断发展，用户对于存储的需求越来越高，在分布式块存储集群中，为了有大容量的存储空间，往往采用低速缓存设备进行存储，例如，串口硬盘(SATA)，采用SATA盘进行存储时，往往时延较长，此外，由于受限于磁盘旋转速度，SATA盘每秒进行读写操作的次数(Input/Output Operations Per Second，简称IOPS)较差。
[0003]为了降低时延和提高IOPS性能，对各分布式块存储分别部署高速缓存设备(例如，固态硬盘(SDD)或NVME设备等)，由于高速缓存设备的性能进而实现降低时延和提高IOPS性能的目的，然而使用较多的高速缓存设备会带来成本的提升。
[0004]由此可见，如何在保证成本的前提下，降低存储的读写数据时延和提高IOPS性能，是本领域技术人员亟待解决的问题。

技术实现思路

[0005]本申请的目的是提供一种分布式块存储的读写方法、装置、电子设备及介质，通过对多个分布式块存储绑定一个高速缓存设备控制成本的同时，由高速缓存设备的性能降低数据读写的时延和提高IOPS性能，并根据优先读写条件进行数据读写以提高存储的性能。
[0006]为解决上述技术问题，本申请提供一种分布式块存储的读写方法，包括：
[0007]对高速缓存设备进行信息配置；
[0008]根据信息配置所得到的配置信息挂载分布式块存储到指定设备；
[0009]绑定所述高速缓存设备与所述分布式块存储的映射关系，其中，多个所述分布式块存储绑定一个所述高速缓存设备；
[0010]在获取写入数据请求和/或读取数据请求的情况下，采集请求相关信息；
[0011]依据所述请求相关信息与优先写入条件和/或优先读取条件进行数据写入和/或数据读取；其中，所述优先写入条件为优先将数据存储于所述高速缓存设备，所述优先读取条件为优先将后端存储集群中的指定数据存储于所述高速缓存设备中读取。
[0012]优选地，所述请求相关信息包括写入数据内容、写入最小分配单元、写入起始偏移量和写入结束偏移量，则依据所述请求相关信息与优先写入条件进行数据写入包括：
[0013]根据所述写入最小分配单元、所述写入起始偏移量和所述写入结束偏移量进行段切分以确定对齐写数据和非对齐写数据；
[0014]判断所述高速缓存设备中是否存在当前段，若存在，将所述写入数据内容存储于所述高速缓存设备，若不存在，根据所述高速缓存设备的剩余存储空间确定所述齐写数据和所述非对齐写数据的存储位置；
[0015]其中，所述当前段为所述写入起始偏移量和所述写入结束偏移量对应的待存储
段。
[0016]优选地，所述根据所述写入最小分配单元、所述写入起始偏移量和所述写入结束偏移量进行段切分以确定对齐写数据和非对齐写数据包括：
[0017]确定所述写入起始偏移量和所述写入结束偏移量是否均为所述写入最小分配单元的整数倍；
[0018]若为整数倍，则将所述写入起始偏移量和所述写入结束偏移量间对应的数据记为所述对齐写数据；
[0019]若不为整数倍，则分别获取所述写入起始偏移量和所述写入结束偏移量的对齐值，并依据所述写入起始偏移量、所述写入结束偏移量、所述写入起始偏移量的对齐值和所述写入结束偏移量的对齐值确定所述对齐写数据和所述非对齐写数据；
[0020]其中，所述写入起始偏移量的对齐值为对所述写入起始偏移量除以所述写入最小分配单元得到的值向上取整后乘以所述写入最小分配单元的值，所述写入结束偏移量的对齐值为对所述写入结束偏移量除以所述写入最小分配单元得到的值向下取整后乘以所述写入最小分配单元的值。
[0021]优选地，所述根据所述高速缓存设备的剩余存储空间确定所述齐写数据和所述非对齐写数据的存储位置包括：
[0022]若所述剩余存储空间大于等于对齐写阈值时，所述齐写数据和所述非对齐写数据均存储于所述高速缓存设备；
[0023]若所述剩余存储空间大于等于非对齐写阈值且小于所述对齐写阈值时，所述齐写数据存储于所述后端存储集群，所述非对齐写数据存储于所述高速缓存设备；
[0024]若所述剩余存储空间小于所述非对齐写阈值时，所述齐写数据和所述非对齐写数据均存储于所述后端存储集群。
[0025]优选地，在依据所述请求相关信息与优先写入条件进行数据写入之后还包括：
[0026]删除所述高速缓存设备中与所述后端存储集群中相同的数据；
[0027]判断所述高速缓存设备是否满足预设条件，若满足，将所述高速缓存设备中的指定数据保存至所述后端存储集群。
[0028]优选地，所述请求相关信息包括读取数据内容、读取最小分配单元、读取起始偏移量和读取结束偏移量，则依据所述请求相关信息与优先读取条件进行数据读取包括：
[0029]判断所述高速缓存设备中是否完全存在所述读取数据内容；
[0030]若完全存在，则从所述高速缓存设备中读取所述读取数据内容；
[0031]若部分存在，则分别从所述高速缓存设备和所述后端存储集群中读取所述读取数据内容；
[0032]若完全不存在，判断所述读取数据内容对应的段热度是否大于段热度阈值，若不大于，则从所述后端存储集群中读取所述读取数据内容，若大于，根据所述读取最小分配单元、所述读取起始偏移量和所述读取结束偏移量进行段切分以确定对齐读数据和非对齐读数据，并根据所述高速缓存设备的剩余存储空间确定所述齐读数据和所述非对齐读数据的读取位置；其中，所述段热度为段对应的数据的使用频率。
[0033]优选地，所述根据所述读取最小分配单元、所述读取起始偏移量和所述读取结束偏移量进行段切分以确定对齐读数据和非对齐读数据包括：
[0034]确定所述读取起始偏移量和所述读取结束偏移量是否为所述读取最小分配单元的整数倍；
[0035]若为整数倍，则将所述读取起始偏移量和所述读取结束偏移量间对应的数据记为所述对齐读数据；
[0036]若不为整数倍，则分别获取所述读取起始偏移量和所述读取结束偏移量的对齐值，并依据所述读取起始偏移量、所述读取结束偏移量、所述读取起始偏移量的对齐值和所述读取结束偏移量的对齐值确定所述对齐读数据和所述非对齐读数据；
[0037]其中，所述读取起始偏移量的对齐值为对所述读取起始偏移量除以所述读取最小分配单元得到的值向上取整后乘以所述读取最小分配单元的值，所述读取结束偏移量的对齐值为对所述读取结束偏移量除以所述读取最小分配单元得到的值向上取整后乘以所述读取最小分配单元的值。
[0038]优选地，所述根据所述高速缓存设备的剩余存储空间确定所述齐读数据和所述非对齐读数据的读取位置包括：
[0039]若所述剩余存储空间大于等于对齐读阈值时，将所述齐读数据和所述非对齐读数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式块存储的读写方法，其特征在于，包括：对高速缓存设备进行信息配置；根据信息配置所得到的配置信息挂载分布式块存储到指定设备；绑定所述高速缓存设备与所述分布式块存储的映射关系，其中，多个所述分布式块存储绑定一个所述高速缓存设备；在获取写入数据请求和/或读取数据请求的情况下，采集请求相关信息；依据所述请求相关信息与优先写入条件和/或优先读取条件进行数据写入和/或数据读取；其中，所述优先写入条件为优先将数据存储于所述高速缓存设备，所述优先读取条件为优先将后端存储集群中的指定数据存储于所述高速缓存设备中读取。2.根据权利要求1所述的分布式块存储的读写方法，其特征在于，所述请求相关信息包括写入数据内容、写入最小分配单元、写入起始偏移量和写入结束偏移量，则依据所述请求相关信息与优先写入条件进行数据写入包括：根据所述写入最小分配单元、所述写入起始偏移量和所述写入结束偏移量进行段切分以确定对齐写数据和非对齐写数据；判断所述高速缓存设备中是否存在当前段，若存在，将所述写入数据内容存储于所述高速缓存设备，若不存在，根据所述高速缓存设备的剩余存储空间确定所述齐写数据和所述非对齐写数据的存储位置；其中，所述当前段为所述写入起始偏移量和所述写入结束偏移量对应的待存储段。3.根据权利要求2所述的分布式块存储的读写方法，其特征在于，所述根据所述写入最小分配单元、所述写入起始偏移量和所述写入结束偏移量进行段切分以确定对齐写数据和非对齐写数据包括：确定所述写入起始偏移量和所述写入结束偏移量是否均为所述写入最小分配单元的整数倍；若为整数倍，则将所述写入起始偏移量和所述写入结束偏移量间对应的数据记为所述对齐写数据；若不为整数倍，则分别获取所述写入起始偏移量和所述写入结束偏移量的对齐值，并依据所述写入起始偏移量、所述写入结束偏移量、所述写入起始偏移量的对齐值和所述写入结束偏移量的对齐值确定所述对齐写数据和所述非对齐写数据；其中，所述写入起始偏移量的对齐值为对所述写入起始偏移量除以所述写入最小分配单元得到的值向上取整后乘以所述写入最小分配单元的值，所述写入结束偏移量的对齐值为对所述写入结束偏移量除以所述写入最小分配单元得到的值向下取整后乘以所述写入最小分配单元的值。4.根据权利要求3所述的分布式块存储的读写方法，其特征在于，所述根据所述高速缓存设备的剩余存储空间确定所述齐写数据和所述非对齐写数据的存储位置包括：若所述剩余存储空间大于等于对齐写阈值时，所述齐写数据和所述非对齐写数据均存储于所述高速缓存设备；若所述剩余存储空间大于等于非对齐写阈值且小于所述对齐写阈值时，所述齐写数据存储于所述后端存储集群，所述非对齐写数据存储于所述高速缓存设备；若所述剩余存储空间小于所述非对齐写阈值时，所述齐写数据和所述非对齐写数据均
存储于所述后端存储集群。5.根据权利要求1至4任意一项所述的分布式块存储的读写方法，其特征在于，在依据所述请求相关信息与优先写入条件进行数据写入之后还包括：删除所述高速缓存设备中与所述后端存储集群中相同的数据；判断所述高速缓存设备是否满足预设条件，若满足，将所述高速缓存设备中的指定数据保存至所述后端存储集群。6.根据权利要求1所述的分布式块存储的读写方法，其特征在于，所述请求相关信息包括读取数据内容、读取最小分配单元、读取起始偏移量和读取结束偏移量，则依据所述请求相关信息与优先读取条件进行数据读取包括：判断所述高速缓存设...

【专利技术属性】
技术研发人员：王韵清，高传集，王腾飞，李超，孙思清，
申请(专利权)人：浪潮云信息技术股份公司，
类型：发明
国别省市：