【技术实现步骤摘要】
一种对象存储生命周期管理方法、装置及系统
本专利技术涉及对象存储领域,具体涉及一种对象存储生命周期管理方法、装置及系统。
技术介绍
对象存储会存储海量数据,为降低存储成本,大部分对象存储系统都会设置生命周期管理功能,用于对满足生命周期管理条件的Object进行归档存储(Archive,低频访问存储)或对满足生命管路周期条件的Object直接进行删除。目前对象存储系统中的文件生命周期管理方法主要有两种,一种是面向单个Object的生命周期,在上传时由用户指定过期时间,到期后将不可再访问。另一种是设置整个Bucket(存储空间)的生命周期管理配置,按照配置来过滤与管理该存储空间下的所有Object,对满足配置条件的Object由标准存储(Standard)转化为归档存储或直接进行删除。在实现本专利技术过程中,申请人发现现有技术中至少存在如下问题:在目前的对象存储中,在面对海量文件时对单个Object设置生命周期较为繁琐,因此大多数是针对整个Bucket进行生命周期管理配置。但是各个Bucket下Objec ...
【技术保护点】
1.一种对象存储生命周期的管理方法,其特征在于,所述方法包括:/n服务器从配置中心处拉取所有存储空间对应的生命周期配置信息;所述配置中心存储每一个存储空间对应的生命周期配置信息,所述生命周期配置信息包括过滤条件和执行参数;/n服务器在处理任一存储空间下的对象时,获取该存储空间对应的分布式锁,成功获取分布式锁之后,实时监听配置中心中该存储空间对应的生命周期配置信息的变化情况;/n基于最新的该存储空间对应的生命周期配置信息,按照过滤条件对该存储空间下的对象进行过滤,并对满足过滤条件的对象按照执行参数进行相应处理。/n
【技术特征摘要】
1.一种对象存储生命周期的管理方法,其特征在于,所述方法包括:
服务器从配置中心处拉取所有存储空间对应的生命周期配置信息;所述配置中心存储每一个存储空间对应的生命周期配置信息,所述生命周期配置信息包括过滤条件和执行参数;
服务器在处理任一存储空间下的对象时,获取该存储空间对应的分布式锁,成功获取分布式锁之后,实时监听配置中心中该存储空间对应的生命周期配置信息的变化情况;
基于最新的该存储空间对应的生命周期配置信息,按照过滤条件对该存储空间下的对象进行过滤,并对满足过滤条件的对象按照执行参数进行相应处理。
2.根据权利要求1所述的对象存储生命周期管理方法,其特征在于,所述生命周期配置信息还包括:该生命周期配置信息发生变化后的生效时间;
所述过滤条件包括如下可选字段:前缀名prefix、后缀名suffix、文件类型filetype、过期时间expires、存活时间lifetime;
所述执行参数包括如下可选字段:执行动作action、执行速度speed、停止/开始执行动作stop/start,所述执行动作包括归档存储或删除。
3.根据权利要求2所述的对象存储生命周期管理方法,其特征在于,所述执行速度表示执行动作所需的第一线程数量;
所述对满足过滤条件的对象按照执行参数进行相应处理,具体包括:
根据最新的该存储空间对应的生命周期配置信息内的执行速度将执行动作所需的线程数量调整为所述第一线程数量。
4.根据权利要求2所述的对象存储生命周期管理方法,其特征在于,所述执行参数的可选字段还包括过滤速度,过滤速度表示进行过滤时所需的第二线程数量;
所述按照过滤条件对该存储空间下的对象进行过滤,具体包括:
通过携带过滤条件的线程对该存储空间下的对象进行过滤;以及,根据最新的该存储空间对应的生命周期配置信息内的过滤速度将携带过滤条件的线程数量调整为所述第二线程数量。
5.根据权利要求1所述的对象存储生命周期管理方法,其特征在于,还包括:
在服务器获取该存储空间对应的分布式锁之后,采用该分布式锁锁定相应的存储空间;
当服务器完成对任一存储空间下的对象的处理之后,释放锁定该存储空间的分布式锁;或者,当服务器不能正常运行时释放锁定该存储空间的分布式锁。
6.一种对象存储生命周期管理装置,其特征在于,设置在服务器中,包括:
处理模块,用于从配置中心处拉取所有存储空间对应的生命周期配置信息;所述配置中心存储每一个存储空间对应的生命周期配置信息,所述生命周期配置信息包括过滤条件和执行参数;以及,在处理任一存储空间下的对象时,获取该存储空间对应的分布式锁,成功获取分布式锁之后,启动本模块包括...
【专利技术属性】
技术研发人员:王明哲,邱春武,马根蕾,
申请(专利权)人:新浪网技术中国有限公司,
类型:发明
国别省市:北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。