【技术实现步骤摘要】
本专利技术涉及新兴信息技术，尤其是涉及一种不同对象存储集群之间同步元数据的方法和系统。
技术介绍
1、分布式对象存储应用非常广泛，具有数据实时存取的优势，但是分布式存储面临一个问题，就是一些比较老旧的存储资源集群可能已经使用时间较长，整体容量已经较满，并且因为硬件、环境等原因无法进行物理上的容量扩展，或者进行物理扩展的成本较高；
2、这时候可以使用纳管的方式将其纳入另外一个本地或者异地的其他新集群进行管理，将流量切换到新集群，新写入的数据可以直接写到新集群，从而使源端存储集群的使用率不再继续上升，读取数据时新集群可以根据特定管理机制依据对象元数据中的存储位置等信息定位数据，判断去老集群还是去新集群获取该数据。
3、上述中的现有技术方案存在以下缺陷：但是这种方式有一个前提条件，那就是新集群必须拥有存在老集群中所有对象的元数据，元数据是对象存储中描述一个对象属性的信息记录，记录了对象的大小，修改时间，存储位置等重要信息，只有拥有了对象的元数据才能对对象进行管理，元数据同步是一个需要时间的过程，在该过程中，源端集群中的...
【技术保护点】
1.一种不同对象存储集群之间同步元数据的方法和系统，包括主系统，其特征在于：所述主系统包括任务管理模块、全量元数据迁移模块和事件通知同步模块；
2.根据权利要求1所述的一种不同对象存储集群之间同步元数据的方法和系统，其特征在于：所述任务管理模块负责元数据同步任务的管理和下发，任务以桶为单位，并对元数据迁移过程中产生的各种信息进行记录。
3.根据权利要求2所述的一种不同对象存储集群之间同步元数据的方法和系统，其特征在于：所述全量元数据迁移模块负责从源端存储集群指定的桶中获取当前所有对象的完整元数据，并且将其同步到目的端集群。
4.根据...
【技术特征摘要】
1.一种不同对象存储集群之间同步元数据的方法和系统，包括主系统，其特征在于：所述主系统包括任务管理模块、全量元数据迁移模块和事件通知同步模块；
2.根据权利要求1所述的一种不同对象存储集群之间同步元数据的方法和系统，其特征在于：所述任务管理模块负责元数据同步任务的管理和下发，任务以桶为单位，并对元数据迁移过程中产生的各种信息进行记录。
3.根据权利要求2所述的一种不同对象存储集群之间同步元数据的方法和系统，其特征在于：所述全量元数据迁移模块负责从源端存储集群指定的桶中获取当前所有对象的完整元数据，并且将其同步到目的端集群。
4.根据权利要求3所述的一种不同对象存储集群之间同步元数据的方法和系统，其特征在于：所述事件通知同步模块负责消费并处理以迁移任务开启为起始时间点对应桶产生的事件通知，将迁移过程中对源端桶内对象进行操作而导致的元数据变化情况同步到目的端集群。
5.根据权利要求4所述的一种不同对象存储集群之间同步元数据的方法和系统，其特征在于：所述s3中监听事件类型分为两类，且两类监听事件类型分别为创建类型和删除类型。
6.根据权利要求5所述的一种不同对象存储集群之间同步元数据的方法和系统，其特征在于：所述创建类型包括对象的普通上传和分片上传，这类事件主要是put和post操作产生的，获取到该类事件后，事件通知同步模块首先会查询目的端集群中该对象的相关元数据，如果查询不到或者查询到的元数据中显示的修改时间早于该事件的时间，那么事件通知同步模块会根据事件中的对象名去调...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。