一种基于分布式对象存储系统分级迁移优化方法与系统技术方案

本发明专利技术提供了一种基于分布式对象存储系统分级迁移优化方法与系统，本发明专利技术在分布式对象存储系统的分级存储基础上，引入新的逻辑处理模块，各个对象存储网关根据集群配置文件中设置的迁移相关参数，从公共的存储池中读取迁移队列中的数据，优化各个节点的任务以及迁移对象，从而充分发挥存储集群中各个节点迁移数据的性能，进而避免各个节点在同一迁移周期中任务不均的情况，进一步提高用户的使用体验。

A hierarchical migration optimization method and system based on distributed object storage system

【技术实现步骤摘要】
一种基于分布式对象存储系统分级迁移优化方法与系统
本专利技术涉及分布式存储
，特别是一种基于分布式对象存储系统分级迁移优化方法与系统。
技术介绍
分布式对象存储系统，指的是面向非结构化数据的分布式存储。现阶段，越来越多的业务场景需要使用分布式对象存储系统。随着信息化的发展，越来越多的用户，选择将原来保存到数码设备上转移到云端存储上，家庭成员之间相互分享。工业4.0、智能制造、企业上云、大数据、电子政务、NASA卫星中心以及大型的射电望远镜等，越来越多企业和政府单位将数据放在存储集群集中管理。伴随着存储集群中数据量规模愈来愈大，如何基于分布式对象存储集群有限的硬件条件下，充分发挥现有的内存、SSD、HDD等硬件性能，为用户提供更好集群数据读写体验，越来越多的分布式对象存储集群采用了分级存储的策略。在分布式对象存储集群的分级存储中，首先将集群中高速存储介质如RAM(内存)、NVME、SSD存储介质构建高速存储池，以廉价的HDD构建低速归档存储池。相对低速归档池，高速存储池有绝对的性能优势，然而由于价格等因素，实际使用中高速存储池的容量远远小于低速归档存储池。在使用过程中要当高速存储池中数据达到一定水位时，要通过一定的淘汰算法将高速存储池中最近最少使用的对象，加入到迁移淘汰队列中，然后迁移线程将从迁移队列中获取要迁移的对象进行迁移。然而如果只是基于桶ID+文件名进行简单的分配任务，由于对象大小不同引发条带数据不同，引发文件迁移IO次数不同，从而造成各个业务节点实际任务不均，负载不均衡，甚至影响集群的性能，甚至影响用户体验。
技术实现思路
本专利技术的目的是提供一种基于分布式对象存储系统分级迁移优化方法与系统，旨在解决现有技术中分级存储在迁移时造成任务不均、负载不均衡的问题，实现平衡各个节点迁移数据的性能，提高用户体验。为达到上述技术目的，本专利技术提供了一种基于分布式对象存储系统分级迁移优化方法，所述方法包括以下操作：启动对象存储网关，从配置文件中加载迁移任务相关的配置参数；周期性扫描高速存储池的使用水位，水位到达配置参数中存储的迁移触发水位时，初始化迁移任务，向高速存储池迁移队列添加迁移队列锁，获取要处理的文件在队列的任务标识；从迁移队列中依次读取文件信息，将文件信息加入到迁移任务中，并更新迁移任务的待处理文件大小、数量以及切片数；当迁移任务待处理文件大小、数量或切片数达到配置参数中的设定阈值，则将任务标识更新到当前文件；释放迁移队列锁，并将迁移队列转交给其他网关读取，并开始本网关的数据迁移任务，高速池向低速归档池迁移对象。优选地，所述迁移任务相关的配置参数包括存储的迁移触发水位、迁移任务最大文件个数、迁移任务最大文件大小以及迁移线程数目。优选地，所述文件信息包括桶名+文件名、文件源数据池、目标数据池以及文件的切片数。优选地，所述迁移任务根据迁移线程数目初始化数据迁移线程池。本专利技术还提供了一种基于分布式对象存储系统分级迁移优化系统，所述系统包括：配置参数加载模块，用于启动对象存储网关，从配置文件中加载迁移任务相关的配置参数；迁移任务初始化模块，用于周期性扫描高速存储池的使用水位，水位到达配置参数中存储的迁移触发水位时，初始化迁移任务，向高速存储池迁移队列添加迁移队列锁，获取要处理的文件在队列的任务标识；队列文件读取模块，用于从迁移队列中依次读取文件信息，将文件信息加入到迁移任务中，并更新迁移任务的待处理文件大小、数量以及切片数；位置更新模块，用于当迁移任务待处理文件大小、数量或切片数达到配置参数中的设定阈值，则将任务标识更新到当前文件；数据迁移模块，用于释放迁移队列锁，并将迁移队列转交给其他网关读取，并开始本网关的数据迁移任务，高速池向低速归档池迁移对象。优选地，所述迁移任务相关的配置参数包括存储的迁移触发水位、迁移任务最大文件个数、迁移任务最大文件大小以及迁移线程数目。优选地，所述文件信息包括桶名+文件名、文件源数据池、目标数据池以及文件的切片数。优选地，所述迁移任务根据迁移线程数目初始化数据迁移线程池。本专利技术还提供了一种基于分布式对象存储系统分级迁移优化设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序，以实现所述的基于分布式对象存储系统分级迁移优化方法。本专利技术还提供了一种可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现所述的基于分布式对象存储系统分级迁移优化方法。
技术实现思路
中提供的效果仅仅是实施例的效果，而不是专利技术所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：与现有技术相比，本专利技术在分布式对象存储系统的分级存储基础上，引入新的逻辑处理模块，各个对象存储网关根据集群配置文件中设置的迁移相关参数，从公共的存储池中读取迁移队列中的数据，优化各个节点的任务以及迁移对象，从而充分发挥存储集群中各个节点迁移数据的性能，进而避免各个节点在同一迁移周期中任务不均的情况，进一步提高用户的使用体验。附图说明图1为本专利技术实施例中所提供的一种基于分布式对象存储系统分级迁移优化方法流程图；图2为本专利技术实施例中所提供的数据迁移过程逻辑示意图；图3为本专利技术实施例中所提供的一种基于分布式对象存储系统分级迁移优化系统框图。具体实施方式为了能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本专利技术进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本专利技术的不同结构。为了简化本专利技术的公开，下文中对特定例子的部件和设置进行描述。此外，本专利技术可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本专利技术省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本专利技术。下面结合附图对本专利技术实施例所提供的一种基于分布式对象存储系统分级迁移优化方法与系统进行详细说明。如图1、2所示，本专利技术公开了一种基于分布式对象存储系统分级迁移优化方法，所述方法包括以下操作：启动对象存储网关，从配置文件中加载迁移任务相关的配置参数；周期性扫描高速存储池的使用水位，水位到达配置参数中存储的迁移触发水位时，初始化迁移任务，向高速存储池迁移队列添加迁移队列锁，获取要处理的文件在队列的任务标识；从迁移队列中依次读取文件信息，将文件信息加入到迁移任务中，并更新迁移任务的待处理文件大小、数量以及切片数；当迁移任务待处理文件大小、数量或切片数达到配置参数中的设定阈值，则将任务标识更新到当前文件；释放迁移队列锁，并将迁移队列转交给其他网关读取，并开始本网关的数据迁移任务，高速池向低速归档池迁移对象。本专利技术实施例根据集群配置文件中设置的迁移相关参数，从公共的存储池中读取迁移队列中的数据，通本文档来自技高网...

【技术保护点】
1.一种基于分布式对象存储系统分级迁移优化方法，其特征在于，所述方法包括以下操作：/n启动对象存储网关，从配置文件中加载迁移任务相关的配置参数；/n周期性扫描高速存储池的使用水位，水位到达配置参数中存储的迁移触发水位时，初始化迁移任务，向高速存储池迁移队列添加迁移队列锁，获取要处理的文件在队列的任务标识；/n从迁移队列中依次读取文件信息，将文件信息加入到迁移任务中，并更新迁移任务的待处理文件大小、数量以及切片数；/n当迁移任务待处理文件大小、数量或切片数达到配置参数中的设定阈值，则将任务标识更新到当前文件；/n释放迁移队列锁，并将迁移队列转交给其他网关读取，并开始本网关的数据迁移任务，高速池向低速归档池迁移对象。/n

【技术特征摘要】
1.一种基于分布式对象存储系统分级迁移优化方法，其特征在于，所述方法包括以下操作：
启动对象存储网关，从配置文件中加载迁移任务相关的配置参数；
周期性扫描高速存储池的使用水位，水位到达配置参数中存储的迁移触发水位时，初始化迁移任务，向高速存储池迁移队列添加迁移队列锁，获取要处理的文件在队列的任务标识；
从迁移队列中依次读取文件信息，将文件信息加入到迁移任务中，并更新迁移任务的待处理文件大小、数量以及切片数；
当迁移任务待处理文件大小、数量或切片数达到配置参数中的设定阈值，则将任务标识更新到当前文件；
释放迁移队列锁，并将迁移队列转交给其他网关读取，并开始本网关的数据迁移任务，高速池向低速归档池迁移对象。


2.根据权利要求1所述的一种基于分布式对象存储系统分级迁移优化方法，其特征在于，所述迁移任务相关的配置参数包括存储的迁移触发水位、迁移任务最大文件个数、迁移任务最大文件大小以及迁移线程数目。


3.根据权利要求1所述的一种基于分布式对象存储系统分级迁移优化方法，其特征在于，所述文件信息包括桶名+文件名、文件源数据池、目标数据池以及文件的切片数。


4.根据权利要求2所述的一种基于分布式对象存储系统分级迁移优化方法，其特征在于，所述迁移任务根据迁移线程数目初始化数据迁移线程池。


5.一种基于分布式对象存储系统分级迁移优化系统，其特征在于，所述系统包括：
配置参数加载模块，用于启动对象存储网关，从配置文件中加载迁移任务相关的配置参数；
迁移任务初始化模块，用于周期性扫描高速存储池的使用水位，水位到达配置参数中存储的迁...

【专利技术属性】
技术研发人员：李治鹏，胡永刚，李朋辉，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32