一种处理对象存储元数据的方法和装置制造方法及图纸

本发明专利技术公开了一种处理对象存储元数据的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：将当前对象存储元数据存储至写入库，当所述写入库写满或发生故障时，将所述写入库降级为只读库；按照设定的时间间隔，将所述只读库中的对象存储元数据合并至稳定库；清空所述只读库，并将清空后的所述只读库作为备用库，当所述写入库写满或发生故障时，将所述备用库作为新的写入库。该实施方式因为采用多个数据库集群互相配合的技术手段，所以克服了当对象数量较多时单机数据库性能不稳定的技术问题，进而达到在对象数量极大的情况下也能稳定处理元数据的技术效果，同时还能达到轻松扩展到支持千亿级别对象的目的。

【技术实现步骤摘要】
一种处理对象存储元数据的方法和装置
本专利技术涉及计算机
，尤其涉及一种处理对象存储元数据的方法和装置。
技术介绍
近几年来，对象存储作为公有云最重要的支撑服务，支撑了直播、点播、图片等多种业务，特别是这几年各种视频类业务的发展，各种视频，图片类的数据越来越多，对象存储需要一个大规模的元数据管理系统来管理元数据。一般来讲，一个对象一般包括对象名字，对象数据(无格式的数据)以及附加在对象上的一些属性(Meta，例如对象的修改时间)。对象存储就是用来存储对象的分布式存储服务。对象的名字、对象的属性以及对象数据存储的位置，就是对象的元数据(即对象存储元数据)。对象存储元数据的访问主要有两种方式，一种是通过对象的名字获取到对象的数据和Meta信息，一种是查询某个对象后面的所有对象。目前常见的方式是使用关系型数据库来管理对象存储元数据，数据库本身技术很成熟且各大公司维护经验丰富，是一种非常适合的元数据存储系统。在实现本专利技术过程中，专利技术人发现现有技术中至少存在如下问题：1.通过关系数据库来管理对象存储元数据，存储的容量严重依赖本文档来自技高网...

【技术保护点】
1.一种处理对象存储元数据的方法，其特征在于，包括：/n将当前对象存储元数据存储至写入库，当所述写入库写满或发生故障时，将所述写入库降级为只读库；/n按照设定的时间间隔，将所述只读库中的对象存储元数据合并至稳定库；/n清空所述只读库，并将清空后的所述只读库作为备用库，当所述写入库写满或发生故障时，将所述备用库作为新的写入库。/n

【技术特征摘要】
1.一种处理对象存储元数据的方法，其特征在于，包括：
将当前对象存储元数据存储至写入库，当所述写入库写满或发生故障时，将所述写入库降级为只读库；
按照设定的时间间隔，将所述只读库中的对象存储元数据合并至稳定库；
清空所述只读库，并将清空后的所述只读库作为备用库，当所述写入库写满或发生故障时，将所述备用库作为新的写入库。


2.根据权利要求1所述的方法，其特征在于，按照设定的时间间隔，将所述只读库中的对象存储元数据合并至稳定库，包括：
按照设定的时间间隔，从当前稳定库中随机选出设定数量的对象存储元数据，并根据所述对象存储元数据计算出拆分点；
根据所述拆分点，生成元数据表和元数据范围记录表；其中，所述元数据范围记录表中记录所述元数据表的存储范围；
基于所述元数据表和所述元数据范围记录表，将所述只读库中的对象存储元数据合并至稳定库。


3.根据权利要求2所述的方法，其特征在于，基于所述元数据表和所述元数据范围记录表，将所述只读库中的对象存储元数据合并至稳定库，包括：
依次遍历读取所述当前稳定库的对象存储元数据和所述只读库的对象存储元数据，并写入到所述元数据表；
所述元数据表和所述元数据范围记录表构成新稳定库；
将所述当前稳定库和所述只读库中的对象存储元数据与所述新稳定库中的对象存储元数据进行离线对比校验；
校验通过后将集群配置中指向当前稳定库的配置，修改为指向新稳定库，并删除当前稳定库。


4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
基于对象名字，查询N个对象名字对应的对象存储元数据；其中，N为正整数；
根据所述对象名字对应的对象存储元数据返回查询结果集合。


5.根据权利要求4所述的方法，其特征在于，查询N个对象名字对应的对象存储元数据，包括：
从写入库、只读库、稳定库中各随机读取N条对象存储元数据，得到三个读取结果集合；
依次根据所述对象名字，归并遍历所述三个读取结果集合；
归并遍历完成后，若所述查询结果集合中的数据量未达到设定阈值，则以最后一个对象名字开始重新执行归并遍历所述三个读取结果集...

【专利技术属性】
技术研发人员：崔灿，蔡庆明，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京;11