一种分布式块存储的数据写入方法及装置制造方法及图纸

本发明专利技术公开了一种分布式块存储的数据写入方法及装置，接收当前端提交的IO请求；对待写入数据进行哈希处理，将待写入数据映射到集群的节点上；集群的节点作为主节点，将待写入数据顺序放入主节点对应的NVRAM数据队列中，并将待写入数据备份后推送到副本节点上；主节点以及副本节点的NVRAM数据队列按照预设时间将数据写入后端SSD中。本发明专利技术所提供的分布式块存储的数据写入方法及装置，采用掉电不丢数据的非易失性内存NVRAM，能够在保证数据安全的同时，向上层应用提供等效于内存的性能，降低了IO时延的同时，也保证了带宽稳定和数据安全。

【技术实现步骤摘要】

本专利技术涉及存储服务器
，特别是涉及一种分布式块存储的数据写入方法及装置。
技术介绍
随着网络应用的迅速发展，网络信息数据量越来越大，PB级别的海量数据存储变得越来越重要。传统意义的本地磁盘存储方式已不能满足现有应用的大容量、高可靠性、高性能以及横向扩展等要求，为满足这些新要求，基于网络的分布式块存储系统得到了广泛重视。目前针对分布式块存储的主流应用方式一般为虚拟机以及数据库等应用，它们的IO基本特点是轻量、随机、需要即时响应、偶尔会产生突发IO等等，这就要求存储能够做到低时延、带宽稳定，同时确保数据的安全。传统的优化方案一般都会顾此失彼，只能在某些比较保守的场景下提供较高性能。
技术实现思路
本专利技术的目的是提供一种分布式块存储的数据写入方法及装置，以解决分布式存储不能兼顾低延迟与高带宽的问题。为解决上述技术问题，本专利技术提供一种分布式块存储的数据写入方法，包括：接收当前端提交的IO请求；对待写入数据进行哈希处理，将所述待写入数据映射到集群的节点上；所述集群的节点作为主节点，将所述待写入数据顺序放入所述主节点对应的NVRAM数据队列中，并将所述待写入数据备份后推送到副本节点上；所述主节点以及所述副本节点的NVRAM数据队列按照预设时间将数据写入后端SSD中。可选地，在所述将所述待写入数据备份后推送到副本节点上之后还包括：所述副本节点进行入队操作后将状态值反馈至所述主节点，将确认字符返回至前端应用，以判断写入操作是否成功。可选地，所述主节点以及所述副本节点的NVRAM数据队列按照预设时间将数据写入后端SSD中包括：数据写入的位置按照一致性哈希的原则确定。可选地，还包括：接收当前端提交的读取请求；根据哈希原则确定待读取数据的存储位置；根据所述存储位置获取数据，并将所述数据返回至前端。可选地，还包括：对所述后端SSD中的数据进行监控，当有数据删除时，将与删除数据相邻的前后两段数据进行合并。本专利技术还提供了一种分布式块存储的数据写入装置，包括：请求接收模块，用于接收当前端提交的IO请求；卷服务模块，用于对待写入数据进行哈希处理，将所述待写入数据映射到集群的节点上；区块服务模块，用于将所述集群的节点作为主节点，将所述待写入数据顺序放入所述主节点对应的NVRAM数据队列中，并将所述待写入数据备份后推送到副本节点上；写入模块，用于所述主节点以及所述副本节点的NVRAM数据队列按照预设时间将数据写入后端SSD中。可选地，还包括：判断模块，用于在将所述待写入数据备份后推送到副本节点上之后，所述副本节点进行入队操作后将状态值反馈至所述主节点，将确认字符返回至前端应用，以判断写入操作是否成功。可选地，所述写入模块具体为：数据写入的位置按照一致性哈希的原则确定的模块。可选地，还包括：读取模块，用于接收当前端提交的读取请求；根据哈希原则确定待读取数据的存储位置；根据所述存储位置获取数据，并将所述数据返回至前端。可选地，还包括：监控模块，用于对所述后端SSD中的数据进行监控，当有数据删除时，将与删除数据相邻的前后两段数据进行合并。本专利技术所提供的分布式块存储的数据写入方法及装置，接收当前端提交的IO请求；对待写入数据进行哈希处理，将待写入数据映射到集群的节点上；集群的节点作为主节点，将待写入数据顺序放入主节点对应的NVRAM数据队列中，并将待写入数据备份后推送到副本节点上；主节点以及副本节点的NVRAM数据队列按照预设时间将数据写入后端SSD中。本专利技术所提供的分布式块存储的数据写入方法及装置，采用掉电不丢数据的非易失性内存NVRAM，能够在保证数据安全的同时，向上层应用提供等效于内存的性能，降低了IO时延的同时，也保证了带宽稳定和数据安全。附图说明为了更清楚的说明本专利技术实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术所提供的分布式块存储的数据写入方法的一种具体实施方式的流程图；图2为本专利技术所提供的分布式块存储的数据写入方法的另一种具体实施方式的流程图；图3为本专利技术实施例提供的分布式块存储的数据写入装置的结构框图；图4为本专利技术所提供的分布式块存储的数据写入装置的系统架构示意图。具体实施方式为了使本
的人员更好地理解本专利技术方案，下面结合附图和具体实施方式对本专利技术作进一步的详细说明。显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术所提供的分布式块存储的数据写入方法的一种具体实施方式的流程图如图1所示，该方法包括：步骤S101：接收当前端提交的IO请求；步骤S102：对待写入数据进行哈希处理，将所述待写入数据映射到集群的节点上；步骤S103：所述集群的节点作为主节点，将所述待写入数据顺序放入所述主节点对应的NVRAM数据队列中，并将所述待写入数据备份后推送到副本节点上；步骤S104：所述主节点以及所述副本节点的NVRAM数据队列按照预设时间将数据写入后端SSD中。本专利技术所提供的分布式块存储的数据写入方法，接收当前端提交的IO请求；对待写入数据进行哈希处理，将待写入数据映射到集群的节点上；集群的节点作为主节点，将待写入数据顺序放入主节点对应的NVRAM数据队列中，并将待写入数据备份后推送到副本节点上；主节点以及副本节点的NVRAM数据队列按照预设时间将数据写入后端SSD中。本专利技术所提供的分布式块存储的数据写入方法，采用掉电不丢数据的非易失性内存NVRAM，能够在保证数据安全的同时，向上层应用提供等效于内存的性能，降低了IO时延的同时，也保证了带宽稳定和数据安全。在上述实施例的基础上，本专利技术所提供的分布式块存储的数据写入方法中，在所述将所述待写入数据备份后推送到副本节点上之后还可以包括：所述副本节点进行入队操作后将状态值反馈至所述主节点，将确认字符返回至前端应用，以判断写入操作是否成功。本专利技术所提供的分布式块存储的数据写入方法的另一种具体实施方式的流程图如图2所示，该方法包括：步骤S201：当前端提交IO请求；假设为4KB的写入操作；步骤S202：数据会先经过卷服务模块，进行哈希处理之后，将数据映射到集群的某一节点上，沿万兆网络提交给对应节点(即主节点)的区块服务模块；步骤S203：区块服务模块接收数据之后，将数据顺序放入主节点的NVRAM数据队列中，同时根据副本设置，将数据原样复制一份推送到另一个节点(即副本节点)上。副本节点做相同的入队操作之后，反馈给主节点状态值，主节点将状态值返回给前端的卷服务模块，解析之后进而返回给前端应用(或者虚拟机)一个ACK，以此判断写入操作是否成功；步骤S204：主和副本节点的NVRAM中数据队列会定时以1MB为单位向后端的SSD刷新，数据所在的位置按照一致性哈希的原则确定。这样通过变小文件的随机写为大块的顺序写来提升带宽性能，至此，写入操作完成。在上述任一实施例的基础上，本专利技术所提供的分布式块存储的数据写入方法还可以进一步包括读取数据的过程，还过程包括：接收当前本文档来自技高网...

【技术保护点】
一种分布式块存储的数据写入方法，其特征在于，包括：接收当前端提交的IO请求；对待写入数据进行哈希处理，将所述待写入数据映射到集群的节点上；所述集群的节点作为主节点，将所述待写入数据顺序放入所述主节点对应的NVRAM数据队列中，并将所述待写入数据备份后推送到副本节点上；所述主节点以及所述副本节点的NVRAM数据队列按照预设时间将数据写入后端SSD中。

【技术特征摘要】
1.一种分布式块存储的数据写入方法，其特征在于，包括：接收当前端提交的IO请求；对待写入数据进行哈希处理，将所述待写入数据映射到集群的节点上；所述集群的节点作为主节点，将所述待写入数据顺序放入所述主节点对应的NVRAM数据队列中，并将所述待写入数据备份后推送到副本节点上；所述主节点以及所述副本节点的NVRAM数据队列按照预设时间将数据写入后端SSD中。2.如权利要求1所述的分布式块存储的数据写入方法，其特征在于，在所述将所述待写入数据备份后推送到副本节点上之后还包括：所述副本节点进行入队操作后将状态值反馈至所述主节点，将确认字符返回至前端应用，以判断写入操作是否成功。3.如权利要求2所述的分布式块存储的数据写入方法，其特征在于，所述主节点以及所述副本节点的NVRAM数据队列按照预设时间将数据写入后端SSD中包括：数据写入的位置按照一致性哈希的原则确定。4.如权利要求1至3任一项所述的分布式块存储的数据写入方法，其特征在于，还包括：接收当前端提交的读取请求；根据哈希原则确定待读取数据的存储位置；根据所述存储位置获取数据，并将所述数据返回至前端。5.如权利要求4所述的分布式块存储的数据写入方法，其特征在于，还包括：对所述后端SSD中的数据进行监控，当有数据删除时，将与删除数据相邻的前后两段数据进行合并。6.一种分布式块存储的数...

【专利技术属性】
技术研发人员：魏盟，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南;41