System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 文件备份方法和装置、存储介质及电子设备制造方法及图纸_技高网

文件备份方法和装置、存储介质及电子设备制造方法及图纸

技术编号:41225366 阅读:2 留言:0更新日期:2024-05-09 23:43
本申请公开了一种文件备份方法和装置、存储介质及电子设备,包括:在确定第一文件不属于第一文件列表的情况下,对所述第一文件进行文件特征提取,得到第一文件特征向量,其中,所述第一文件列表中的文件的类别均为待备份文件;在确定第一文件不属于第一文件列表的情况下,对所述第一文件进行文件特征提取,得到第一文件特征向量,其中,所述第一文件列表中的文件的类别均为待备份文件;在确定所述第一文件的类别为所述待备份文件的情况下,将所述第一文件添加至第二文件列表,并对所述第一文件列表和所述第二文件列表中的文件进行备份。

【技术实现步骤摘要】

本申请涉及数据备份领域,具体而言,涉及一种文件备份方法和装置、存储介质及电子设备


技术介绍

1、数据备份在计算和信息
中具有极其重要的意义,它对个人用户、企业和组织来说都至关重要。得益于计算机技术的进步和存储技术的演进,相关技术在过去的几十年里也经历了显著的发展。存储介质方面,经历了从磁带到硬盘、固态硬盘和云存储等的演进。备份任务也越来越自动化与智能化。

2、而在高性能计算场景下,针对超算集群的数据备份,需要考虑到集群规模大、计算密集型等特点,设计合适的数据备份解决方案。但目前尚未提出有效的解决方法。

3、针对相关技术中,针对超算集群的数据备份,系统无法确定需要进行备份的文件,导致关键文件存在丢失风险的问题,尚未提出有效的解决方案。


技术实现思路

1、本申请实施例提供了一种文件备份方法和装置、存储介质及电子设备,以至少解决现有技术中针对超算集群的数据备份,系统无法确定需要进行备份的文件,导致关键文件存在丢失风险的问题。

2、根据本申请实施例的一个实施例,提供了一种文件备份方法,包括:在确定第一文件不属于第一文件列表的情况下,对所述第一文件进行文件特征提取,得到第一文件特征向量,其中,所述第一文件列表中的文件的类别均为待备份文件;在确定第一文件不属于第一文件列表的情况下,对所述第一文件进行文件特征提取,得到第一文件特征向量,其中,所述第一文件列表中的文件的类别均为待备份文件;在确定所述第一文件的类别为所述待备份文件的情况下,将所述第一文件添加至第二文件列表,并对所述第一文件列表和所述第二文件列表中的文件进行备份。

3、在一个示例性实施例中,对所述第一文件进行文件特征提取,得到第一文件特征向量,包括:从所述第一文件的头部中提取第一数量的字节,根据所述第一数量的字节确定第一子向量;以及分别从所述第一文件的头部、中部和尾部提取第二数量的字节,根据所述第二数量的字节分别计算所述头部、所述中部和所述尾部的第一熵值,以及根据所述第一文件的总字节计算所述第一文件的第二熵值,根据所述第一熵值和所述第二熵值确定第二子向量;以及确定所述第一文件中目标字符的比例,根据所述目标字符的比例确定第三子向量;以及根据所述第一文件的文件大小确定第四子向量;根据所述第一子向量、所述第二子向量、所述第三子向量和所述第四子向量确定所述第一文件特征向量。

4、在一个示例性实施例中,通过文件分类模型对所述第一文件特征向量进行分类之前,所述方法还包括:对所述第一文件列表中的多个第二文件进行文件特征提取,得到一组第二文件特征向量;对多个第三文件进行文件特征提取,得到一组第三文件特征向量,其中,所述多个第三文件均不属于所述第一文件列表;根据所述一组第二文件特征向量和所述一组第三文件特征向量训练所述文件分类模型。

5、在一个示例性实施例中,所述方法还包括:在检测到所述第一文件列表已更新的情况下,根据更新后的第一文件列表重新训练所述文件分类模型,得到更新后的文件分类模型;以及根据所述更新后的文件分类模型重新对所述第一文件进行分类,以重新生成所述第二文件列表。

6、在一个示例性实施例中,对所述第一文件列表和所述第二文件列表中的文件进行备份,包括:获取全局配置文件中保存的备份服务器的地址信息和备份时间,其中,所述备份时间用于指示对文件进行备份的时间周期;按照所述备份时间定期遍历客户端中的多个第四文件,在确定所述多个第四文件中的目标文件存在于所述第一文件列表或所述第二文件列表的情况下,按照所述地址信息将所述目标文件备份至所述备份服务器中。

7、在一个示例性实施例中,所述方法还包括:在所述客户端首次启动的情况下,从所述全局配置文件中获取所述备份服务器的路径配置信息,其中,所述路径配置信息用于指示所述备份服务器存储备份文件的存储路径;通过nfs技术将所述路径配置信息挂载至所述客户端,以通过所述客户端访问存储于所述备份服务器的备份文件,其中,所述nfs技术用于远程访问存储路径。

8、在一个示例性实施例中,对所述第一文件进行文件特征提取,得到第一文件特征向量之前,所述方法还包括:根据目标对象的标记操作对客户端中的多个文件进行标记,其中,所述标记操作用于标记待备份文件;根据标记后的文件生成所述第一文件列表。

9、根据本申请实施例的另一个实施例,还提供了一种文件备份装置,包括:提取模块,用于在确定第一文件不属于第一文件列表的情况下,对所述第一文件进行文件特征提取,得到第一文件特征向量,其中,所述第一文件列表中的文件的类别均为待备份文件;分类模块,用于通过文件分类模型对所述第一文件特征向量进行分类,以确定所述第一文件的类别是否为所述待备份文件,其中,所述文件分类模型基于所述第一文件列表训练得到;备份模块,用于在确定所述第一文件的类别为所述待备份文件的情况下,将所述第一文件添加至第二文件列表,并对所述第一文件列表和所述第二文件列表中的文件进行备份。

10、根据本申请实施例的另一方面,还提供了一种计算机可读的存储介质,该计算机可读的存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述文件备份方法。

11、根据本申请实施例的又一方面,还提供了一种电子装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,上述处理器通过计算机程序执行上述的文件备份方法。

12、在本申请实施例中,先确定第一文件是否属于第一文件列表,第一文件列表中的文件均为待备份文件,若第一文件不属于第一文件列表,则对第一文件进行文件特征提取,得到第一文件特征向量;通过文件分类模型对该第一文件特征向量进行分类,确定该第一文件是否为待备份文件,该文件分类模型是基于第一文件列表训练得到的;若确定该第一文件的类别为待备份文件,则将该第一文件添加到第二文件列表中,并对第一文件列表和第二文件列表中的文件进行备份;采用上述方案,基于预先配置的第一文件列表训练出文件分类模型,遍历客户端中的所有文件,依次判定文件是否属于第一文件列表,若不存在则通过文件分类模型进行进一步分类,以确定该文件是否需要进行备份,将最后得到的第一文件列表和第二文件列表中的文件进行备份,从而可以确定出客户端中需要进行备份的文件,进而解决了相关技术中,针对超算集群的数据备份,系统无法确定需要进行备份的文件,导致关键文件存在丢失风险的问题。

本文档来自技高网...

【技术保护点】

1.一种文件备份方法,其特征在于,包括:

2.根据权利要求1所述的文件备份方法,其特征在于,对所述第一文件进行文件特征提取,得到第一文件特征向量,包括:

3.根据权利要求1或2所述的文件备份方法,其特征在于,通过文件分类模型对所述第一文件特征向量进行分类之前,所述方法还包括:

4.根据权利要求3所述的文件备份方法,其特征在于,所述方法还包括:在检测到所述第一文件列表已更新的情况下,根据更新后的第一文件列表重新训练所述文件分类模型,得到更新后的文件分类模型;以及

5.根据权利要求1所述的文件备份方法,其特征在于,对所述第一文件列表和所述第二文件列表中的文件进行备份,包括:

6.根据权利要求5所述的文件备份方法,其特征在于,所述方法还包括:在所述客户端首次启动的情况下,从所述全局配置文件中获取所述备份服务器的路径配置信息,其中,所述路径配置信息用于指示所述备份服务器存储备份文件的存储路径;

7.根据权利要求1所述的文件备份方法,其特征在于,对所述第一文件进行文件特征提取,得到第一文件特征向量之前,所述方法还包括:

8.一种文件备份装置,其特征在于,包括:

9.一种计算机可读的存储介质,其特征在于,所述计算机可读的存储介质包括存储的程序,其中,所述程序运行时执行所述权利要求1至7任一项中所述的方法。

10.一种电子设备,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行所述权利要求1至7任一项中所述的方法。

...

【技术特征摘要】

1.一种文件备份方法,其特征在于,包括:

2.根据权利要求1所述的文件备份方法,其特征在于,对所述第一文件进行文件特征提取,得到第一文件特征向量,包括:

3.根据权利要求1或2所述的文件备份方法,其特征在于,通过文件分类模型对所述第一文件特征向量进行分类之前,所述方法还包括:

4.根据权利要求3所述的文件备份方法,其特征在于,所述方法还包括:在检测到所述第一文件列表已更新的情况下,根据更新后的第一文件列表重新训练所述文件分类模型,得到更新后的文件分类模型;以及

5.根据权利要求1所述的文件备份方法,其特征在于,对所述第一文件列表和所述第二文件列表中的文件进行备份,包括:

6.根据权利要求5所述的文件备份方法,其特征在于,所...

【专利技术属性】
技术研发人员:陈迅苏培峰吴玮
申请(专利权)人:嘉庚创新实验室
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1