本发明专利技术公开了一种存储对象备份方法及装置。其中,该方法包括:确定需要进行备份的存储对象,其中,存储对象为预设存储服务系统的对象;通过映射工具读取存储对象的文件结构,其中,文件结构包括存储对象中的操作数据,操作数据的第一格式与预设存储服务系统一一对应;通过模拟接口根据文件结构,确定存储对象的最小文件结构映射层,其中,最小文件结构映射层包括第二格式的最小操作单位的操作数据;通过备份工具通过最小文件结构映射层,读取存储对象,并对存储对象进行备份,其中,备份工具用于对第二格式的对象进行备份。本发明专利技术解决了相关技术中的备份软件,无法对对象直接进行备份,难以满足对象的备份需求的技术问题。难以满足对象的备份需求的技术问题。难以满足对象的备份需求的技术问题。
【技术实现步骤摘要】
存储对象备份方法及装置
[0001]本专利技术涉及网页开发领域,具体而言,涉及一种存储对象备份方法及装置。
技术介绍
[0002]目前能看到的大多数备份软件对对象的备份支持都不足,且大多数都是把对象存储作为备份操作的目标端,即存储位置。但是随着对象存储的大量应用,比如OSS系统,S3系统,且通常作为生产环境的主要数据。作为企业或个人的具有商业价值的重要数据,同样需要有容灾备份的需求。因此,产生了对象备份到其他存储的需求,然而目前支持对象作为备份数据源的容灾软件并不多。
[0003]相关技术中存在中国专利CN112099989A,名称为一种Kubernetes云原生应用灾备、迁移与恢复的方法,此方案通过在kubernetes集群中将应用数据和应用状态通过一个进程OSController整理为集群的备份源数据,并作为数据源输入给Restic工具。由于这里的OSController整合好的数据是传统的文件,因此Restic能把文件备份到上图的Minio,(Minio是另一种存储软件)相当于将集群数据A借助restic转移至存储B的过程。然而这种方式仍然解决不了对象存储作为数据源的场景。只能转化为文件存储备份到对象存储。
[0004]由于对象存储在使用过程中都是以HTTP协议进行通信和传输,而不同传统存储,传统的存储媒介通常都提供POSIX语义进行访问。因此现有技术不能兼容备份源端为对象存储的场景,比如AWS的S3。一般的备份工具,对数据处理都是按照本地文件的方式进行读写,即使是NFS或者CIFS协议,也是先挂载在某个本地路径下,然后进行读写,而对象存储比较特殊,通常并不提供挂载方式读写,因此现有技术不能备份这些对象数据。
[0005]针对上述的问题,目前尚未提出有效的解决方案。
技术实现思路
[0006]本专利技术实施例提供了一种存储对象备份方法及装置,以至少解决相关技术中的备份软件,无法对对象直接进行备份,难以满足对象的备份需求的技术问题。
[0007]根据本专利技术实施例的一个方面,提供了一种存储对象的备份方法,包括:确定需要进行备份的存储对象,其中,所述存储对象为预设存储服务系统的对象;通过映射工具读取所述存储对象的文件结构,其中,所述文件结构包括所述存储对象中的操作数据,所述操作数据的第一格式与所述预设存储服务系统一一对应;通过模拟接口根据所述文件结构,确定所述存储对象的最小文件结构映射层,其中,所述最小文件结构映射层包括第二格式的最小操作单位的操作数据;通过备份工具通过所述最小文件结构映射层,读取所述存储对象,并对所述存储对象进行备份,其中,所述备份工具用于对所述第二格式的对象进行备份。
[0008]可选的,确定需要进行备份的存储对象包括:接收输入的对象链接,其中,所述对象链接用于指示所述存储对象在源端设备的存储位置,所述源端设备存储有所述存储对象;根据所述对象链接确定需要进行备份的存储对象。
[0009]可选的,在确定需要进行备份的存储对象之前,还包括:确定所述存储对象在备份至目标设备的目标位置;通过所述备份工具对所述目标设备的目标位置的存储结构进行初始化。
[0010]可选的,通过映射工具读取所述存储对象的文件结构包括:通过所述映射工具按照预定协议,向存储所述源端设备发送读取请求,其中,所述请求包括所述对象链接;通过所述读取请求读取所述对象链接对应存储位置的存储对象的文件结构;将所述文件结构映射在本地文件系统中。
[0011]可选的,通过模拟接口根据所述文件结构,确定所述存储对象的最小文件结构映射层包括:通过本地文件系统的模拟接口,对映射在本地文件系统中的文件结构进行模拟,得到第二格式的最小文件结构映射层,其中,所述最小操作单位包括读,写,删;将所述最小文件结构映射层关联到本地的临时目录下,其中,所述临时目录用于被所述备份工具读取识别临时目录中的存储对象的最小文件结构。
[0012]可选的,通过备份工具通过所述最小文件结构映射层,读取所述存储对象,并对所述存储对象进行备份包括:通过所述备份工具读取所述临时目录获取所述存储对象的最小文件结构;根据所述最小文件结构将所述存储对象中的所述第一格式的操作数据翻译为所述第二格式,以读取所述存储对象;将所述存储对象通过所述备份工具迁移到所述目标设备的目标位置进行存储。
[0013]可选的,在通过映射工具读取所述存储对象的文件结构之前,还包括:通过容器镜像将备份程序,以及所述备份工具和所述映射工具打包到镜像文件中,其中,所述备份程序用于执行通过映射工具读取所述存储对象的文件结构,通过模拟接口根据所述文件结构,确定所述存储对象的最小文件结构映射层,通过备份工具通过所述最小文件结构映射层,读取所述存储对象,并对所述存储对象进行备份的步骤;在确定需要进行备份的存储对象之后,运行所述备份程序。
[0014]可选的,所述预设存储服务系统为S3存储服务系统,所述备份工具为restic工具,所述映射工具为rclone工具。
[0015]根据本专利技术实施例的另一方面,还提供了一种存储对象的备份装置,包括:确定模块,用于确定需要进行备份的存储对象,其中,所述存储对象为预设存储服务系统的对象;读取模块,用于通过映射工具读取所述存储对象的文件结构,其中,所述文件结构包括所述存储对象中的操作数据,所述操作数据的第一格式与所述预设存储服务系统一一对应;映射模块,用于通过模拟接口根据所述文件结构,确定所述存储对象的最小文件结构映射层,其中,所述最小文件结构映射层包括第二格式的最小操作单位的操作数据;备份模块,用于通过备份工具通过所述最小文件结构映射层,读取所述存储对象,并对所述存储对象进行备份,其中,所述备份工具用于对所述第二格式的对象进行备份。
[0016]根据本专利技术实施例的另一方面,还提供了一种计算机存储介质,所述计算机存储介质包括存储的程序,其中,在所述程序运行时控制所述计算机存储介质所在设备执行上述中任意一项所述的存储对象的备份方法。
[0017]根据本专利技术实施例的另一方面,还提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行上述中任意一项所述的存储对象的备份方法。
[0018]在本专利技术实施例中,采用确定需要进行备份的存储对象,其中,存储对象为预设存
储服务系统的对象;通过映射工具读取存储对象的文件结构,其中,文件结构包括存储对象中的操作数据,操作数据的第一格式与预设存储服务系统一一对应;通过模拟接口根据文件结构,确定存储对象的最小文件结构映射层,其中,最小文件结构映射层包括第二格式的最小操作单位的操作数据;通过备份工具通过最小文件结构映射层,读取存储对象,并对存储对象进行备份,其中,备份工具用于对第二格式的对象进行备份的方式,通过映射工具结合存储对象的文件结构,将存储对象的最小单位操作数据映射为最小文件结构映射层,从而使用备份工具结合最小文件结构映射层对存储对象进行读取和备份,达到了对存储对象进行有效备份的目的,从而实现了满足存储对象的备份需求的技术效果,进而解决了相关技术中的备本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种存储对象的备份方法,其特征在于,包括:确定需要进行备份的存储对象,其中,所述存储对象为预设存储服务系统的对象;通过映射工具读取所述存储对象的文件结构,其中,所述文件结构包括所述存储对象中的操作数据,所述操作数据的第一格式与所述预设存储服务系统一一对应;通过模拟接口根据所述文件结构,确定所述存储对象的最小文件结构映射层,其中,所述最小文件结构映射层包括第二格式的最小操作单位的操作数据;通过备份工具通过所述最小文件结构映射层,读取所述存储对象,并对所述存储对象进行备份,其中,所述备份工具用于对所述第二格式的对象进行备份。2.根据权利要求1所述的方法,其特征在于,确定需要进行备份的存储对象包括:接收输入的对象链接,其中,所述对象链接用于指示所述存储对象在源端设备的存储位置,所述源端设备存储有所述存储对象;根据所述对象链接确定需要进行备份的存储对象。3.根据权利要求2所述的方法,其特征在于,在确定需要进行备份的存储对象之前,还包括:确定所述存储对象在备份至目标设备的目标位置;通过所述备份工具对所述目标设备的目标位置的存储结构进行初始化。4.根据权利要求3所述的方法,其特征在于,通过映射工具读取所述存储对象的文件结构包括:通过所述映射工具按照预定协议,向存储所述源端设备发送读取请求,其中,所述请求包括所述对象链接;通过所述读取请求读取所述对象链接对应存储位置的存储对象的文件结构;将所述文件结构映射在本地文件系统中。5.根据权利要求4所述的方法,其特征在于,通过模拟接口根据所述文件结构,确定所述存储对象的最小文件结构映射层包括:通过本地文件系统的模拟接口,对映射在本地文件系统中的文件结构进行模拟,得到第二格式的最小文件结构映射层,其中,所述最小操作单位包括读,写,删;将所述最小文件结构映射层关联到本地的临时目录下,其中,所述临时目录用于被所述备份工具读取识别临时目录中的存储对象的最小文件结构。6.根据权利要求5所述的方法,其特征在...
【专利技术属性】
技术研发人员:罗海豪,张旭明,王豪迈,胥昕,
申请(专利权)人:星辰天合北京数据科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。