元数据备份方法、装置及设备、存储介质制造方法及图纸

本发明专利技术提供一种元数据备份方法、装置及设备、存储介质，该方法应用于分布式存储系统中的管理节点，所述分布式存储系统还包括存储节点，该方法包括：控制所述分布式存储系统中的各存储节点预留对应的用于备份元数据的存储空间；依据各存储节点预留的存储空间确定虚拟空间池；将所述分布式存储系统中至少一个管理节点存储的元数据备份至所述虚拟空间池。可实现元数据备份，从而缩短元数据恢复所需的时间。

【技术实现步骤摘要】
元数据备份方法、装置及设备、存储介质
本专利技术涉及大数据
，尤其涉及的是一种元数据备份方法、装置及设备、存储介质。
技术介绍
分布式存储系统中，比如云存储系统中，包含多个存储节点和至少一个管理节点，其中，业务数据通常存储在多个存储节点中，业务数据的元数据会存储在管理节点中。分布式存储系统在执行业务过程中，可以根据管理节点中的元数据找到存储节点中相关的业务数据。通常来说，在管理节点发生故障时，可能会导致元数据丢失，在此情况下，需要根据存储节点中的业务数据重新生成元数据，实现元数据的恢复。然而，存储节点中通常会存储大量的业务数据，所以上述方式中，根据业务数据重新生成元数据时，需要重新生成大量的元数据，恢复时间过长。如果可以将管理节点中的元数据进行备份，则不需要根据业务数据重新生成元数据，可以缩短元数据的恢复时间，然而目前并没有对分布式存储系统中的元数据进行备份的相关技术。
技术实现思路
有鉴于此，本专利技术提供一种元数据备份方法、装置及设备、存储介质，可实现元数据备份，从而缩短元数据恢复所需的时间。本专利技术第一方面提供一种元数据备份方法，该方法应用于分布式存储系统中的管理节点，所述分布式存储系统还包括存储节点，该方法包括：控制所述分布式存储系统中的各存储节点预留对应的用于备份元数据的存储空间；依据各存储节点预留的存储空间确定虚拟空间池；将所述分布式存储系统中至少一个管理节点存储的元数据备份至所述虚拟空间池。根据本专利技术的一个实施例，所述控制所述分布式存储系统中的各存储节点预留对应的用于备份元数据的存储空间包括：向所述分布式存储系统中的各存储节点下发预留指令，所述预留指令用于指示预留出用于备份元数据的存储空间，所述预留指令携带预留存储空间信息，以控制所述分布式存储系统中的各存储节点根据所述预留存储空间信息预留出对应的用于备份元数据的存储空间。根据本专利技术的一个实施例，所述预留存储空间信息通过以下步骤获取：接收外部输入的空间划分指令，所述空间划分指令携带所述预留存储空间信息。根据本专利技术的一个实施例，所述将所述分布式存储系统中至少一个管理节点存储的元数据备份至所述虚拟空间池包括：从所述分布式存储系统中的各管理节点存储的元数据中确定需备份的目标元数据；从所述虚拟空间池中选择用于备份所述目标元数据的目标存储空间；将所述目标元数据存储至所述目标存储空间。根据本专利技术的一个实施例，从所述虚拟空间池中选择用于备份所述目标元数据的目标存储空间包括：将所述目标元数据封装成指定格式的目标数据文件；根据所述目标数据文件的大小从所述虚拟空间池中找出至少一个目标存储空间；所有目标存储空间中未被占用的剩余空间大小之和大于或等于所述目标数据文件的大小。根据本专利技术的一个实施例，根据所述目标数据文件的大小从所述虚拟空间池中找出至少一个目标存储空间，包括：检查所述虚拟空间池中所有存储空间的剩余空间大小之和是否小于所述目标数据文件的大小，如果是，从所述虚拟空间池中的各存储空间中查找到存储时间最早的文件并删除，并返回检查所述虚拟空间池中所有存储空间的剩余空间大小之和是否小于所述目标数据文件的大小的步骤；如果否，根据所述目标数据文件的大小从所述虚拟空间池中找出至少一个目标存储空间。根据本专利技术的一个实施例，所述将所述目标元数据存储至所述目标存储空间包括：当目标存储空间的数量等于1时，将所述目标数据文件存储至所述目标存储空间；当目标存储空间的数量大于1时，依据各目标存储空间中未被占用的剩余空间大小将所述目标数据文件分成多个文件块，每一目标存储空间中未被占用的剩余空间大小对应一个文件块，对应的文件块大小等于未被占用的剩余空间大小；将各个文件块分别存储至对应的目标存储空间中。根据本专利技术的一个实施例，存储至所述目标存储空间的目标数据文件或者文件块的文件名包含所述目标数据文件的生成时间；该方法进一步包括：在管理节点存在元数据恢复需求时，从所述虚拟空间池的各存储空间中查找到与所述元数据恢复需求对应、且文件名满足条件的文件，所述条件是指文件名中的生成时间与当前时间之间的时间差最小；从查找到的满足条件的文件中解析出元数据，并将解析出的元数据存储至存在所述元数据恢复需求的管理节点中。本专利技术第二方面提供一种元数据备份装置，该装置应用于分布式存储系统中的管理节点，所述分布式存储系统还包括存储节点，该装置包括：存储空间预留模块，用于控制所述分布式存储系统中的各存储节点预留对应的用于备份元数据的存储空间；虚拟空间池确定模块，用于依据各存储节点预留的存储空间确定虚拟空间池；元数据备份模块，用于将所述分布式存储系统中至少一个管理节点存储的元数据备份至所述虚拟空间池。根据本专利技术的一个实施例，所述存储空间预留模块控制所述分布式存储系统中的各存储节点预留对应的用于备份元数据的存储空间时，具体用于：向所述分布式存储系统中的各存储节点下发预留指令，所述预留指令用于指示预留出用于备份元数据的存储空间，所述预留指令携带预留存储空间信息，以控制所述分布式存储系统中的各存储节点根据所述预留存储空间信息预留出对应的用于备份元数据的存储空间。根据本专利技术的一个实施例，所述预留存储空间信息通过以下模块获取：外部指令输入模块，用于接收外部输入的空间划分指令，所述空间划分指令携带所述预留存储空间信息。根据本专利技术的一个实施例，所述元数据备份模块将所述分布式存储系统中至少一个管理节点存储的元数据备份至所述虚拟空间池时，具体用于：从所述分布式存储系统中的各管理节点存储的元数据中确定需备份的目标元数据；从所述虚拟空间池中选择用于备份所述目标元数据的目标存储空间；将所述目标元数据存储至所述目标存储空间。根据本专利技术的一个实施例，所述元数据备份模块从所述虚拟空间池中选择用于备份所述目标元数据的目标存储空间时，具体用于：将所述目标元数据封装成指定格式的目标数据文件；根据所述目标数据文件的大小从所述虚拟空间池中找出至少一个目标存储空间；所有目标存储空间中未被占用的剩余空间大小之和大于或等于所述目标数据文件的大小。根据本专利技术的一个实施例，根据所述目标数据文件的大小从所述虚拟空间池中找出至少一个目标存储空间，包括：检查所述虚拟空间池中所有存储空间的剩余空间大小之和是否小于所述目标数据文件的大小，如果是，从所述虚拟空间池中的各存储空间中查找到存储时间最早的文件并删除，并返回检查所述虚拟空间池中所有存储空间的剩余空间大小之和是否小于所述目标数据文件的大小的步骤；如果否，根据所述目标数据文件的大小从所述虚拟空间池中找出至少一个目标存储空间。根据本专利技术的一个实施例，所述元数据备份模块将所述目标元数据存储至所述目标存储空间时，具体用于：当目标存储空间的数量等于1时，将所述目标数据文件存储至所述目标存储空间；本文档来自技高网...

【技术保护点】
1.一种元数据备份方法，其特征在于，该方法应用于分布式存储系统中的管理节点，所述分布式存储系统还包括存储节点，该方法包括：/n控制所述分布式存储系统中的各存储节点预留对应的用于备份元数据的存储空间；/n依据各存储节点预留的存储空间确定虚拟空间池；/n将所述分布式存储系统中至少一个管理节点存储的元数据备份至所述虚拟空间池。/n

【技术特征摘要】
1.一种元数据备份方法，其特征在于，该方法应用于分布式存储系统中的管理节点，所述分布式存储系统还包括存储节点，该方法包括：
控制所述分布式存储系统中的各存储节点预留对应的用于备份元数据的存储空间；
依据各存储节点预留的存储空间确定虚拟空间池；
将所述分布式存储系统中至少一个管理节点存储的元数据备份至所述虚拟空间池。


2.如权利要求1所述的元数据备份方法，其特征在于，所述控制所述分布式存储系统中的各存储节点预留对应的用于备份元数据的存储空间包括：
向所述分布式存储系统中的各存储节点下发预留指令，所述预留指令用于指示预留出用于备份元数据的存储空间，所述预留指令携带预留存储空间信息，以控制所述分布式存储系统中的各存储节点根据所述预留存储空间信息预留出对应的用于备份元数据的存储空间。


3.如权利要求2所述的元数据备份方法，其特征在于，所述预留存储空间信息通过以下步骤获取：
接收外部输入的空间划分指令，所述空间划分指令携带所述预留存储空间信息。


4.如权利要求1所述的元数据备份方法，其特征在于，所述将所述分布式存储系统中至少一个管理节点存储的元数据备份至所述虚拟空间池包括：
从所述分布式存储系统中的各管理节点存储的元数据中确定需备份的目标元数据；
从所述虚拟空间池中选择用于备份所述目标元数据的目标存储空间；
将所述目标元数据存储至所述目标存储空间。


5.如权利要求4所述的元数据备份方法，其特征在于，从所述虚拟空间池中选择用于备份所述目标元数据的目标存储空间包括：
将所述目标元数据封装成指定格式的目标数据文件；
根据所述目标数据文件的大小从所述虚拟空间池中找出至少一个目标存储空间；所有目标存储空间中未被占用的剩余空间大小之和大于或等于所述目标数据文件的大小。


6.如权利要求5所述的元数据备份方法，其特征在于，根据所述目标数据文件的大小从所述虚拟空间池中找出至少一个目标存储空间，包括：
检查所述虚拟空间池中所有存储空间的剩余空间大小之和是否小于所述目标数据文件的大小，如果是，从所述虚拟空间池中的各存储空间中查找到存储时间...

【专利技术属性】
技术研发人员：周波，罗旋，
申请(专利权)人：杭州海康威视系统技术有限公司，
类型：发明
国别省市：浙江;33