一种基于分布式对象存储系统分级迁移优化方法与系统技术方案

本发明专利技术提供了一种基于分布式对象存储系统分级迁移优化方法与系统，本发明专利技术在分布式对象存储系统的分级存储基础上，引入新的逻辑处理模块，各个对象存储网关根据集群配置文件中设置的迁移相关参数，从公共的存储池中读取迁移队列中的数据，优化各个节点的任务以及迁移对象，从而充分发挥存储集群中各个节点迁移数据的性能，进而避免各个节点在同一迁移周期中任务不均的情况，进一步提高用户的使用体验。

A hierarchical migration optimization method and system based on distributed object storage system

【技术实现步骤摘要】
一种基于分布式对象存储系统分级迁移优化方法与系统
本专利技术涉及分布式存储
，特别是一种基于分布式对象存储系统分级迁移优化方法与系统。
技术介绍
分布式对象存储系统，指的是面向非结构化数据的分布式存储。现阶段，越来越多的业务场景需要使用分布式对象存储系统。随着信息化的发展，越来越多的用户，选择将原来保存到数码设备上转移到云端存储上，家庭成员之间相互分享。工业4.0、智能制造、企业上云、大数据、电子政务、NASA卫星中心以及大型的射电望远镜等，越来越多企业和政府单位将数据放在存储集群集中管理。伴随着存储集群中数据量规模愈来愈大，如何基于分布式对象存储集群有限的硬件条件下，充分发挥现有的内存、SSD、HDD等硬件性能，为用户提供更好集群数据读写体验，越来越多的分布式对象存储集群采用了分级存储的策略。在分布式对象存储集群的分级存储中，首先将集群中高速存储介质如RAM(内存)、NVME、SSD存储介质构建高速存储池，以廉价的HDD构建低速归档存储池。相对低速归档池，高速存储池有绝对的性能优势，然而由于价格等因素，实际使用中高速存储池的容量本文档来自技高网...

【技术保护点】
1.一种基于分布式对象存储系统分级迁移优化方法，其特征在于，所述方法包括以下操作：/n启动对象存储网关，从配置文件中加载迁移任务相关的配置参数；/n周期性扫描高速存储池的使用水位，水位到达配置参数中存储的迁移触发水位时，初始化迁移任务，向高速存储池迁移队列添加迁移队列锁，获取要处理的文件在队列的任务标识；/n从迁移队列中依次读取文件信息，将文件信息加入到迁移任务中，并更新迁移任务的待处理文件大小、数量以及切片数；/n当迁移任务待处理文件大小、数量或切片数达到配置参数中的设定阈值，则将任务标识更新到当前文件；/n释放迁移队列锁，并将迁移队列转交给其他网关读取，并开始本网关的数据迁移任务，高速池向...

【技术特征摘要】
1.一种基于分布式对象存储系统分级迁移优化方法，其特征在于，所述方法包括以下操作：
启动对象存储网关，从配置文件中加载迁移任务相关的配置参数；
周期性扫描高速存储池的使用水位，水位到达配置参数中存储的迁移触发水位时，初始化迁移任务，向高速存储池迁移队列添加迁移队列锁，获取要处理的文件在队列的任务标识；
从迁移队列中依次读取文件信息，将文件信息加入到迁移任务中，并更新迁移任务的待处理文件大小、数量以及切片数；
当迁移任务待处理文件大小、数量或切片数达到配置参数中的设定阈值，则将任务标识更新到当前文件；
释放迁移队列锁，并将迁移队列转交给其他网关读取，并开始本网关的数据迁移任务，高速池向低速归档池迁移对象。


2.根据权利要求1所述的一种基于分布式对象存储系统分级迁移优化方法，其特征在于，所述迁移任务相关的配置参数包括存储的迁移触发水位、迁移任务最大文件个数、迁移任务最大文件大小以及迁移线程数目。


3.根据权利要求1所述的一种基于分布式对象存储系统分级迁移优化方法，其特征在于，所述文件信息包括桶名+文件名、文件源数据池、目标数据池以及文件的切片数。


4.根据权利要求2所述的一种基于分布式对象存储系统分级迁移优化方法，其特征在于，所述迁移任务根据迁移线程数目初始化数据迁移线程池。


5.一种基于分布式对象存储系统分级迁移优化系统，其特征在于，所述系统包括：
配置参数加载模块，用于启动对象存储网关，从配置文件中加载迁移任务相关的配置参数；
迁移任务初始化模块，用于周期性扫描高速存储池的使用水位，水位到达配置参数中存储的迁...

【专利技术属性】
技术研发人员：李治鹏，胡永刚，李朋辉，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32