【技术实现步骤摘要】
元数据的批量更新方法、系统、电子设备及可读存储介质
[0001]本专利技术涉及分布式文件系统领域，特别涉及一种元数据的批量更新方法、系统、电子设备及可读存储介质。
技术介绍
[0002]数字化转型背景下，海量数据不断增长，分布式文件系统已经得到普遍应用，分布式文件系统通常包括主控服务器、存储服务器以及多个客户端，其本质是将大量的文件，均匀分布到多个存储服务器上，具有高扩展性、高可靠性的特点。
[0003]为了提高文件系统性能，对分布式文件系统的操作通常采用聚合追加写的方式，集群被分为缓存池和数据池，客户IO（Input/Output，输入/输出）首先写入到三副本的缓存池，缓存池将写入的IO数据缓存在主OSD（Object
‑
based Storage Device，对象存储设备）的内存中，当前缓存的数据达到内部对象大小或者满条带时，申请一个数据池内部对象，将主OSD缓存的数据写入到数据池，保证数据池的对象一直是追加写。
[0004]客户端写入时的对象称为业务对象，数据池中存储的聚合后的对象称...
【技术保护点】
【技术特征摘要】
1.一种元数据的批量更新方法，应用于分布式文件系统，其特征在于，包括：响应于收到业务更新指令，触发所述业务更新指令对应的线程，对所述线程增加PG锁后执行所述线程对应的第一操作；根据所述第一操作建立内部对象与业务对象的映射；当收到元数据更新回调指令，触发回调线程，对所述回调线程增加PG锁后，遍历所述内部对象映射的所述业务对象以确定待更新元数据；根据所有所述业务对象及其对应的所述待更新元数据，构造一个事务；将所述事务转发至所述待更新元数据对应的目标节点，以使所述目标节点根据所述事务对所述待更新元数据进行下盘操作。2.根据权利要求1所述批量更新方法，其特征在于，遍历所述内部对象映射的所述业务对象以确定待更新元数据之后，还包括：将所有所述待更新元数据写入本地内存；当收到关于所述待更新元数据的操作指令，对所述本地内存中的所述待更新元数据和/或所述目标节点的所述待更新元数据进行相应的第二操作，其中所述本地内存中的所述待更新元数据的操作优先级高于所述目标节点的所述待更新元数据；当收到所述目标节点反馈的下盘成功信息，删除所述本地内存中的所述待更新元数据。3.根据权利要求2所述批量更新方法，其特征在于，所述操作指令为第二操作与当前正在进行的所述线程的第一操作互斥的操作指令。4.根据权利要求2所述批量更新方法，其特征在于，所述当收到关于所述待更新元数据的操作指令，对所述本地内存中的所述待更新元数据和/或所述目标节点的所述待更新元数据进行相应的第二操作的过程，包括：当收到关于所述待更新元数据的读指令，对所述本地内存中的所述待更新元数据和/或所述目标节点的所述待更新元数据进行相应的读操作。5.根据权利要求1所述批量更新方法，其特征在于，所述根据所有所述业务对象及其对应的所述待更新元数据，构造一个事务之后，还包括：根据所有所述业务对象及其对应的所述待更新元数据，创建元数据日志；当任一所述目标节点发生故障，根据所述元数据日志对所述目标节点进行所述元数据日志中记载的操作。6.根据权利要求5所述批量更新方法，其特征在于，所述目标节点包括主节点和备份节点，所述目标节点根据所述事务对所述待更新元数据进行下盘操作的过程，包括：当目标节点为所述备份节点，在所述备份节点上根据所述事务对所述待更新元数据进行下盘操作。7.根据权利要求6所述批量更新方法，其特征在于，当目标节点为所述备份节点，在所述备份节点上根据所述事务对所述待更新元数据进行下盘操作之后，还包括：判断所述备份节点是否存在故障待恢复数据；若是，在所述备份节点删除所述故障待恢复数据。8.根据权利要求7所述批量更新方法，其特征在于，还包括：当收到所有所述备份节点反馈的下盘成功信息，删除所述主节点上关于所有所述备份
节点的故障待恢复记录。9.根据权利要求6所述批量更新方法，其特征在于，所述目标节点根据所述事务对所述待更新元数据进行下盘操作的过程，还包括：当所述目标节点为所述主节点，判断所述主节点是否存在故障待恢复数据；若是，对所述主节点上的所述故障待恢复数据进行恢复，然后在所述主节点上根据所述事务对所述待更新元数据进行下盘操作；若否，在所述...
【专利技术属性】
技术研发人员：李彦博，孙润宇，侯斌，
申请(专利权)人：浪潮电子信息产业股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。