分布式存储集群的数据写入方法、装置、设备和介质制造方法及图纸

本发明专利技术公开了一种分布式存储集群的数据写入方法、装置、设备和介质。其中方法包括对接收到的待写入数据进行分片处理，得到待写入数据分片，待写入数据分片的数量为大于或者等于1的正整数；确定待写入数据分片的目标对象存储设备；计算待写入数据分片的大小和目标对象存储设备的已用存储空间之和；若待写入数据分片的大小和目标对象存储设备的已用存储空间之和符合预设条件，则从分布式存储集群中选取待写入数据分片的新目标对象存储设备，以将待写入数据分片写入到新目标对象存储设备中。本发明专利技术实现在任意对象存储设备的存储空间使用率达到使用率上限时，使得分布式存储集群能够继续执行数据写入操作，保证数据业务的正常运行，提高了用户体验。

【技术实现步骤摘要】
分布式存储集群的数据写入方法、装置、设备和介质
本专利技术实施例涉及计算机
，尤其涉及一种分布式存储集群的数据写入方法、装置、设备和介质。
技术介绍
现有监控部署需要配套大量后端存储设备，存储采集的监控数据。而分布式存储集群可以通过多个对象存储设备(ObjectStorageDevice，简称OSD)对外提供存储服务，且具备易扩展、单点故障不丢失数据、故障恢复快等优势，因此分布式存储集群可在监控领域中大量部署。具体的，分布式存储集群的基本框图可如图1所示，其中调度层主要负责确定业务层下发的写IO分配至对象存储设备组(ObjectStorageDeviceGroup，简称OSDG)层中哪一OSDG，然后通过OSDG层确定与OSDG对应的OSD列表，其中一个OSDG由多个OSD组成。也就是说，调度层与OSDG层决定了数据的分布，确保数据能够均衡存储至分布式存储集群中的每个OSD中。如图1所示分布式存储集群的底层是由多个存储节点组成，每个存储节点中包括多个OSD，且每个OSD对应一个硬盘或者一个磁盘阵列。其中，多个OSD分为一个主OSD本文档来自技高网...

【技术保护点】
1.一种分布式存储集群的数据写入方法，其特征在于，所述方法包括：/n对接收到的待写入数据进行分片处理，得到待写入数据分片，所述待写入数据分片的数量为大于或者等于1的正整数；/n确定所述待写入数据分片的目标对象存储设备；/n计算所述待写入数据分片的大小和所述目标对象存储设备的已用存储空间之和；/n若所述待写入数据分片的大小和所述目标对象存储设备的已用存储空间之和符合预设条件，则从分布式存储集群中选取所述待写入数据分片的新目标对象存储设备，以将所述待写入数据分片写入到新目标对象存储设备中。/n

【技术特征摘要】
1.一种分布式存储集群的数据写入方法，其特征在于，所述方法包括：
对接收到的待写入数据进行分片处理，得到待写入数据分片，所述待写入数据分片的数量为大于或者等于1的正整数；
确定所述待写入数据分片的目标对象存储设备；
计算所述待写入数据分片的大小和所述目标对象存储设备的已用存储空间之和；
若所述待写入数据分片的大小和所述目标对象存储设备的已用存储空间之和符合预设条件，则从分布式存储集群中选取所述待写入数据分片的新目标对象存储设备，以将所述待写入数据分片写入到新目标对象存储设备中。


2.根据权利要求1所述的方法，其特征在于，还包括：
若所述待写入数据分片的大小和所述目标对象存储设备的已用存储空间之和不符合预设条件，则将所述待写入数据分片写入到所述目标对象存储设备中。


3.根据权利要求1所述的方法，其特征在于，从分布式存储集群中选取所述待写入数据分片的新目标对象存储设备，包括：
计算所述分布式存储集群中所有对象存储设备的存储空间的平均使用率；
根据所述平均使用率，确定所述待写入数据分片的至少一个候选对象存储设备；
基于预设算法，从所述至少一个候选对象存储设备中，选取所述待写入数据分片的新目标对象存储设备。


4.根据权利要求3所述的方法，其特征在于，根据所述平均使用率，确定所述待写入数据分片的至少一个候选对象存储设备，包括：
将存储空间使用率小于所述平均使用率的对象存储设备，确定为候选对象存储设备。


5.根据权利要求1所述的方法，其特征在于，从分布式存储集群中选取所述待写入数据分片的新目标对象存储设备之后，还包括：
建立目标对象存储设备与新目标对象存储设备之间的映射关系，并根据所述映射关系，对所述目标对象存储设备所属的目标对象存储设备组中的对象存储设备列表进行更新，以得到更新后的目标对象存储设备组；
将所述映射关系及所述更新后的目标对象存储设备组存储至所述分布式存储集群的数据库中。


6.根据权利要求5所述的方法，其特征在于，建立目标对象存储设备与新目标对象存储设备之间的映射关系之后，还包括：
将目标对象存储设备和新目标对象存储设备中的数据迁移至存储空间使用率低于预设阈值的对象存储设备中；
若所述目标对象存储设备和所述新目标对象存储设备中的数据全部迁移至存储空间使用率低于预设阈值的对象存储设备中，则删除所述分布式存储集群的数据库中目标对象存储设备与新目标对象存储设备之间的映射关系，并更新所述目标对象存储设备所属的目标对象存储设备组中的对象存储设备列表。


7.根据权利要求1所述的方法，其特征在于，将所述待写入数据分片写入到新目标对象存储设备中之后，还包括：
对接收到的新待写入数据进行分片处理，并确定新待写入数据分片的目标对象存储设备，所述新待写入数据分片的数量为大于或者等于1的正整数；
若所述目标对象存储设备与其他对象存储设备存在映射关系，则确定映射前的目标对象存储设备中，是否存在所述新待写入数据分片的原始对象数据分片；其中，所述原始对...

【专利技术属性】
技术研发人员：郭永强，陈诗浩，
申请(专利权)人：浙江宇视科技有限公司，
类型：发明
国别省市：浙江;33