存储空间的部署方法及装置制造方法及图纸

本发明专利技术涉及分布式存储技术领域，提供一种存储空间的部署方法及装置，所述方法包括：将预先创建的虚拟数据优化器VDO模块加载至存储节点的操作系统内核；从预先创建的第一配置文件中读取待创建的VDO卷的配置参数，其中，配置参数包括待创建的VDO卷的名称、块设备的名称及预设路径；通过VDO模块提供的VDO创建命令，基于VDO卷的名称、块设备的名称及预设路径，在块设备上部署VDO卷，以使写入VDO卷的数据进行重删和压缩后存储至块设备。与现有技术相比，本发明专利技术在部署分布式存储系统时，引入VDO模块，解决了多次IO流中重复用户数据无法有效压缩的问题，从而极大地提高了存储空间的利用率。

【技术实现步骤摘要】
存储空间的部署方法及装置
本专利技术涉及分布式存储
，具体而言，涉及一种存储空间的部署方法及装置。
技术介绍
随着大规模分布式存储系统的普及，处理海量数据的上层应用的大量涌现，存储使用场景对于存储介质和存储软件都提出了容量上的更高要求。用户需要存储TB(存储单位)级别甚至PB(存储单位)级别的数据。这样的背景下，充分发挥用户已有的存储介质的容量，提高存储空间的利用效率，甚至虚拟出更大的容量，具有非常重要的经济价值。现有技术中通常在分布式存储系统中的存储节点上的块设备层和存储服务提供层之间部署BlueStore存储引擎，通过BlueStore存储引擎，采用数据压缩工具对用户数据进行压缩后再通过块设备层将压缩后的数据保存至存储节点上，一定程度上可以提高存储节点上存储空间的利用率。但是，通过BlueStore只能对一次IO流中的用户数据进行压缩，对于多次IO流中存在重复用户数据的场景，BlueStore无法进行有效压缩，因而会出现巨大的存储空间浪费。
技术实现思路
本专利技术实施例的目的在于提供一种存储空间的部署方法及装置，通过在部署分布式存储系统时，引入虚拟数据优化器(VirtualDataOptimizer，VDO)，先在块设备上部署VDO卷，然后再基于VDO卷部署BlueStore，由于VDO可以针对块设备进行压缩、去重和优化整理存储空间的功能，因此，解决了多次IO流中重复用户数据无法有效压缩的问题，从而极大地提高了存储空间的利用率。为了实现上述目的，本专利技术实施例采用的技术方案如下：第一方面，本专利技术实施例提供了一种存储空间的部署方法，应用于分布式存储系统中的存储节点，所述方法包括：将预先创建的虚拟数据优化器VDO模块加载至存储节点的操作系统内核，其中，VDO模块用于将接收到的数据进行重删和压缩；从预先创建的第一配置文件中读取待创建的VDO卷的配置参数，其中，配置参数包括待创建的VDO卷的名称、块设备的名称及预设路径；通过VDO模块提供的VDO创建命令，基于VDO卷的名称、块设备的名称及预设路径，在块设备上部署VDO卷，以使写入VDO卷的数据进行重删和压缩后存储至块设备。第二方面，本专利技术实施例还提供了一种存储空间的部署装置，应用于分布式存储系统中的存储节点，所述装置包括加载模块、读取模块、和部署模块。其中，加载模块用于将预先创建的虚拟数据优化器VDO模块加载至存储节点的操作系统内核，其中，VDO模块用于将接收到的数据进行重删和压缩；读取模块用于从预先创建的第一配置文件中读取待创建的VDO卷的配置参数，其中，配置参数包括待创建的VDO卷的名称、块设备的名称及预设路径，部署模块用于通过VDO模块提供的VDO创建命令，基于VDO卷的名称、块设备的名称及预设路径，在块设备上部署VDO卷，以使写入VDO卷的数据进行重删和压缩后存储至块设备。相对现有技术，本专利技术实施例提供的一种存储空间的部署方法及装置，首先，在部署分布式存储系统时，将预先创建的虚拟数据优化器VDO模块加载至存储节点的操作系统内核，其中，VDO模块用于将接收到的数据进行重删和压缩；然后，从预先创建的第一配置文件中读取待创建的VDO卷的配置参数，其中，配置参数包括待创建的VDO卷的名称、块设备的名称及预设路径，最后，通过VDO模块提供的VDO创建命令，基于VDO卷的名称、块设备的名称及预设路径，在块设备上部署VDO卷，以使写入VDO卷的数据进行重删和压缩后存储至块设备。与现有技术相比，本专利技术实施例通过在部署分布式存储系统时，引入VDO模块，先在块设备上部署VDO卷，然后再基于VDO卷部署BlueStore，由于VDO模块可以针对块设备进行压缩、去重和优化整理存储空间的功能，因此，解决了多次IO流中重复用户数据无法有效压缩的问题，从而极大地提高了存储空间的利用率。为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举实施例，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1示出了本专利技术实施例提供的存储节点的方框示意图。图2示出了本专利技术实施例提供的Ceph系统的OSD节点中的数据存储层次示例图。图3示出了本专利技术实施例提供的存储空间的部署方法流程图。图4示出了本专利技术实施例提供的VDO卷与块设备中的数据对照示例图。图5示出了本专利技术实例提供的地址映射表的示例图。图6示出了本专利技术实施例提供的ceph系统结合VDO结合部署后的OSD节点中的数据存储层次示例图。图7示出了本专利技术实施例提供的存储空间的部署装置的方框示意图。图标：100-存储节点；101-存储器；102-通信接口；103-处理器；104-总线；200-存储空间的部署装置；201-加载模块；202-读取模块；203-部署模块；204-接收模块；205-配置模块；206-激活模块；207-消除模块。具体实施方式下面将结合本专利技术实施例中附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本专利技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本专利技术的实施例的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施例。基于本专利技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本专利技术的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。请参照图1，图1示出了本专利技术实施例提供的存储节点100的方框示意图。存储节点100可以是，但不限于，主机、虚拟机、实体服务器、实体服务器上的虚拟机等能提供与所述服务器或者虚拟机有相同功能的实体或者虚拟的服务端。存储节点100的操作系统可以是，但不限于，Windows系统、Linux系统等。所述存储节点100包括存储器101、通信接口102、处理器103和总线104，所述存储器101、通信接口102和处理器103通过总线104连接，处理器103用于执行存储器101中存储的可执行模块，例如计算机程序。其中，存储器101可能包含高速随机存取存储器(RAM：RandomAccessMemory)，也可能还包括非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器。通过至少一个通信接口102(可以是有线或者无线)实现该存储节点100与至少一个其他存储节点100、以及外部存储设备之间的通信连接。总线104可以是ISA总线、PCI总线或EISA总线等。图1中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。其中，存储器101用于存储程序，例如图7所示的存储空间的部署装置200。该存储空间的部署装置200包括至少一个可以软件或固件(firmware)的形式本文档来自技高网...

【技术保护点】
1.一种存储空间的部署方法，其特征在于，应用于分布式存储系统中的存储节点，所述方法包括：将预先创建的虚拟数据优化器VDO模块加载至所述存储节点的操作系统内核，其中，所述VDO模块用于将接收到的数据进行重删和压缩；从预先创建的第一配置文件中读取待创建的VDO卷的配置参数，其中，所述配置参数包括待创建的VDO卷的名称、块设备的名称及预设路径；通过所述VDO模块提供的VDO创建命令，基于所述VDO卷的名称、所述块设备的名称及所述预设路径，在所述块设备上部署VDO卷，以使写入所述VDO卷的数据进行重删和压缩后存储至所述块设备。

【技术特征摘要】
1.一种存储空间的部署方法，其特征在于，应用于分布式存储系统中的存储节点，所述方法包括：将预先创建的虚拟数据优化器VDO模块加载至所述存储节点的操作系统内核，其中，所述VDO模块用于将接收到的数据进行重删和压缩；从预先创建的第一配置文件中读取待创建的VDO卷的配置参数，其中，所述配置参数包括待创建的VDO卷的名称、块设备的名称及预设路径；通过所述VDO模块提供的VDO创建命令，基于所述VDO卷的名称、所述块设备的名称及所述预设路径，在所述块设备上部署VDO卷，以使写入所述VDO卷的数据进行重删和压缩后存储至所述块设备。2.如权利要求1所述的存储空间的部署方法，其特征在于，所述在所述块设备上部署VDO卷的步骤，包括：通过所述VDO模块提供的VDO创建命令，基于所述VDO卷的名称、所述块设备的名称及所述预设路径，在所述块设备的所述预设路径下创建VDO卷；通过所述VDO模块对所述块设备与创建的VDO卷之间的地址映射表进行初始化；通过所述VDO模块对所述创建的VDO卷进行初始化。3.如权利要求1所述的存储空间的部署方法，其特征在于，所述方法还包括：通过所述VDO模块对所述VDO卷中的零区块进行消除。4.如权利要求1所述的存储空间的部署方法，其特征在于，所述分布式存储系统还包括管理节点，所述在所述块设备上部署VDO卷的步骤之后，所述方法还包括：接收所述管理节点发送的预先保存后端存储引擎配置项及存储节点配置项的第二配置文件；依据所述后端存储引擎配置项及存储节点配置项在所述VDO卷上依次配置后端存储引擎及所述存储节点；通过激活配置后的所述存储节点启动所述存储节点的存储进程，以使所述存储节点对外提供带重删和压缩功能的数据存储服务。5.如权利要求4所述的存储空间的部署方法，其特征在于，当所述后端存储引擎为BlueStore时，所述后端存储引擎配置项包括元数据区配置项及日志区配置项，所述在所述VDO卷上配置后端存储引擎的步骤包括：依据所述元数据区配置项在所述VDO卷中预留元数据区，其中，所述元数据区用于存储所述BlueStore的元数据；依据所述日志区配置项在所述VDO卷中预留日志区，其中，所述日志区用于存储所述BlueStore的日志数据。6.一...

【专利技术属性】
技术研发人员：张松，
申请(专利权)人：新华三技术有限公司成都分公司，
类型：发明
国别省市：四川,51