一种并发创建对象存储设备的分布式存储方法及系统技术方案

本发明专利技术公开了一种并发创建对象存储设备的分布式存储方法及系统，其通过主存储设备管理模块设置与每个存储主机ID一一对应的对象存储设备ID序列，生成为与多个存储设备管理模块一一对应的创建需求子消息，存储设备管理模块接收并解析创建需求子消息，依据存储主机ID从ID管理数据库中获取对应的对象存储设备ID序列，依据待创建对象存储设备个数和ID序列的占用情况生成对象存储设备创建消息，存储主机接收对应的对象存储设备消息，并依据该消息创建对象存储设备，通过Manager与节点交互实现多节点并发创建osd，不会造成osd_id冲突，大幅度提高osd创建效率，缩短部署时间。缩短部署时间。缩短部署时间。

【技术实现步骤摘要】
一种并发创建对象存储设备的分布式存储方法及系统


[0001]本专利技术属于分布式存储
，更具体地，涉及一种并发创建对象存储设备的分布式存储方法及系统。

技术介绍

[0002]Ceph，一个开源的分布式存储系统，可同时提供块、文件、对象接口，Ceph中承载数据的对象存储设备(Object Storage Device，简称osd)，一般可由一块机械盘构成，也可由一个RAID组构成，它的主要功能是存储数据、复制数据、平衡数据、恢复数据等，与其它OSD间进行心跳检查等，并将一些变化情况上报给Ceph Monitor。一般情况下一块硬盘对应一个OSD，由OSD来对硬盘存储进行管理，当然一个分区也可以成为一个OSD。
[0003]ceph分布式存储系统中，由于在创建osd时需要向控制节点申请id号，在不同节点并发创建osd会存在osd_id重发引发冲突的问题，也就是说多个osd可能会申请到同一个id。因而，目前创建osd只能采用串行方式，然而，采用串行创建osd的方式效率很低，只能逐台节点逐个osd的创建，如果规模较大的情况下，创建osd将是一个非常耗时的过程。

技术实现思路

[0004]针对现有技术的至少一个缺陷或改进需求，本专利技术提供了一种并发创建对象存储设备的分布式存储方法及系统，旨在解决分布式存储中并发创建对象存储设备会引起id重复的技术问题。
[0005]为实现上述目的，按照本专利技术的一个方面，提供了一种并发创建对象存储设备的分布式存储方法，该方法包括：
[0006]主存储设备管理模块设置与每个存储主机ID一一对应的对象存储设备ID序列，将与每个存储主机ID一一对应的对象存储设备ID序列存储于ID管理数据库，并在ID管理数据库中标记ID序列的占用情况；
[0007]主存储设备管理模块接收对象存储设备的批量创建需求消息，依据待创建对象存储设备个数生成为与多个存储设备管理模块一一对应的创建需求子消息，创建需求子消息包括存储主机ID及对应的待创建对象存储设备个数；
[0008]存储设备管理模块接收并解析创建需求子消息，依据存储主机ID从ID管理数据库中获取对应的对象存储设备ID序列，依据待创建对象存储设备个数和ID序列的占用情况生成对象存储设备创建消息，对象存储设备创建消息包括存储主机ID、待创建对象存储设备个数和待创建对象存储设备对应的ID，将对象存储设备消息下发给对应的主机；
[0009]存储主机接收对应的对象存储设备消息，并依据该消息创建对象存储设备；
[0010]存储设备管理模块接收主机反馈的对象存储设备创建回复消息，依据对象存储设备创建回复消息更新ID管理数据库。
[0011]作为本专利技术的进一步改进，多个存储设备管理模块以虚拟机或者容器的方式全部运行在一台管理主机，或者一个存储设备管理模块单独运行于一台管理主机上。
[0012]作为本专利技术的进一步改进，所有存储设备管理模块之间互通心跳消息，每个存储设备管理模块上都保存有集群中其他存储设备管理模块的心跳消息。
[0013]作为本专利技术的进一步改进，对象存储设备ID序列为预设个数的连续ID序列。
[0014]作为本专利技术的进一步改进，每个存储主机上部署有一个终端程序，该终端程序用于接收存储设备管理模块的操作指令并向存储设备管理模块反馈存储主机上对象存储设备的状态。
[0015]为实现上述目的，按照本专利技术的另一个方面，提供了一种并发创建对象存储设备的分布式存储系统，其特征在于，该系统包括：
[0016]主存储设备管理模块，用于设置与每个存储主机ID一一对应的对象存储设备ID序列，将与每个存储主机ID一一对应的对象存储设备ID序列存储于ID管理数据库，并在ID管理数据库中标记ID序列的占用情况；接收对象存储设备的批量创建需求消息，依据待创建对象存储设备个数生成为与多个存储设备管理模块一一对应的创建需求子消息后，创建需求子消息包括存储主机ID及对应的待创建对象存储设备个数；
[0017]存储设备管理模块，用于接收并解析创建需求子消息，依据存储主机ID从ID管理数据库中获取对应的对象存储设备ID序列，依据待创建对象存储设备个数和ID序列的占用情况生成对象存储设备创建消息，对象存储设备创建消息包括存储主机ID、待创建对象存储设备个数和待创建对象存储设备对应的ID，将对象存储设备消息下发给对应的存储主机；接收主机反馈的对象存储设备创建回复消息，依据对象存储设备创建回复消息更新ID管理数据库；
[0018]存储主机，接收对应的对象存储设备消息，并依据该消息创建对象存储设备。
[0019]作为本专利技术的进一步改进，多个存储设备管理模块以虚拟机或者容器的方式全部运行在一台管理主机，或者一个存储设备管理模块单独运行于一台管理主机上。
[0020]作为本专利技术的进一步改进，所有存储设备管理模块之间互通心跳消息，每个存储设备管理模块上都保存有集群中其他存储设备管理模块的心跳消息。
[0021]作为本专利技术的进一步改进，对象存储设备ID序列为预设个数的连续ID序列。
[0022]作为本专利技术的进一步改进，每个存储主机上部署有一个终端程序，该终端程序用于接收存储设备管理模块的操作指令并向存储设备管理模块反馈存储主机上对象存储设备的状态。
[0023]总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
[0024]本专利技术提供的一种并发创建对象存储设备的分布式存储方法及系统，通过主Manager根据节点数量给每台节点在配置文件或数据库中记录节点OSD_ID范围，省去了申请osd_id的流程，缩短了创建路径；将osd信息以主机为单位分发给DManager集群中的其他Manager，通过Manager与节点交互实现多节点并发创建osd，不会造成osd_id冲突，大幅度提高osd创建效率，缩短部署时间。以10节点，每节点10个osd为例，采用本申请的方法创建osd的效率最多可提升100倍，从而分布式管理集群DManager可以最大程度的在大规模场景中发挥负载均衡的作用，并且具备高可用特性。
附图说明
[0025]图1是本专利技术实施例提供的一种并发创建对象存储设备的分布式存储方法的示意图；
[0026]图2是本专利技术实施例提供的存储设备管理模块与host之间交互的示意图。
具体实施方式
[0027]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。此外，下面所描述的本专利技术各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0028]图1是本专利技术实施例提供的一种并发创建对象存储设备的分布式存储方法的示意图。如图1所示，一种并发创建对象存储设备的分布式存储方法，该方法包括如下步骤：
[0029]选取任意一个存储设备管理模块(Manager)作为主存储设备管理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种并发创建对象存储设备的分布式存储方法，其特征在于，该方法包括：主存储设备管理模块设置与每个存储主机ID一一对应的对象存储设备ID序列，将与每个存储主机ID一一对应的对象存储设备ID序列存储于ID管理数据库，并在ID管理数据库中标记ID序列的占用情况；主存储设备管理模块接收对象存储设备的批量创建需求消息，依据待创建对象存储设备个数生成为与多个存储设备管理模块一一对应的创建需求子消息，创建需求子消息包括存储主机ID及对应的待创建对象存储设备个数；存储设备管理模块接收并解析创建需求子消息，依据存储主机ID从ID管理数据库中获取对应的对象存储设备ID序列，依据待创建对象存储设备个数和ID序列的占用情况生成对象存储设备创建消息，对象存储设备创建消息包括存储主机ID、待创建对象存储设备个数和待创建对象存储设备对应的ID，将对象存储设备消息下发给对应的主机；存储主机接收对应的对象存储设备消息，并依据该消息创建对象存储设备；存储设备管理模块接收主机反馈的对象存储设备创建回复消息，依据对象存储设备创建回复消息更新ID管理数据库。2.如权利要求1所述的一种并发创建对象存储设备的分布式存储方法，其中，多个存储设备管理模块以虚拟机或者容器的方式全部运行在一台管理主机，或者一个存储设备管理模块单独运行于一台管理主机上。3.如权利要求1所述的一种并发创建对象存储设备的分布式存储方法，其中，所有存储设备管理模块之间互通心跳消息，每个存储设备管理模块上都保存有集群中其他存储设备管理模块的心跳消息。4.如权利要求1所述的一种并发创建对象存储设备的分布式存储方法，其中，所述对象存储设备ID序列为预设个数的连续ID序列。5.如权利要求1所述的一种并发创建对象存储设备的分布式存储方法，其中，每个存储主机上部署有一个终端程序，该终端程序用于接收存储设备管理模块的操作指令并向存储设备管理模块反馈存储主机上对象存储设备的状态。6.一...

【专利技术属性】
技术研发人员：汤鸿飞，
申请(专利权)人：烽火通信科技股份有限公司，
类型：发明
国别省市：