存储方法、装置、终端设备及可存储介质制造方法及图纸

技术编号:34623277 阅读:19 留言:0更新日期:2022-08-20 09:30
本申请实施例公开一种存储方法、装置、终端设备及存储方法,该方法应用于管理终端,管理终端与计算终端通信连接;建立计算分配目录,各个计算分配目录包含计算文件;将各个计算文件的复制文件分配至计算终端,以使计算终端得到与各个计算分配目录关联的结果文件;若检测到计算终端的内存占用率大于第一占用率阈值,则确定待删除的目标计算分配目录,并删除目标计算分配目录,以及删除计算终端中与目标计算分配目录关联的结果文件;生成与各个删除的结果文件对应的脚本文件;若检测到计算终端的处理器空闲比例大于比例阈值,则运行各个脚本文件,以使计算终端对删除的结果文件进行恢复。实施本申请实施例,能够提高了高性能计算机群的存储能力。算机群的存储能力。算机群的存储能力。

【技术实现步骤摘要】
存储方法、装置、终端设备及可存储介质


[0001]本申请涉及计算机
,具体涉及一种存储方法、装置、终端设备及可存储介质。

技术介绍

[0002]随着用户对产品的要求不断提高,研发人员对产品进行设计时需要计算的内容大幅增加,而对内容进行计算后得到大量的计算结果,为了保证数据的使用,需要对大量的计算结果进行存储。现有存储方式为在高性能计算机群中采用分布式并行存储方式,但分布式并行存储方式的机制导致了存储能力削减,在高性能计算机群不进行扩容的情况下,不利于大量数据的存储,而扩容则增加了成本。

技术实现思路

[0003]本申请实施例公开了一种存储方法、装置、终端设备及可存储介质,能够在不增加成本的情况下,提高高性能计算机群的存储能力。
[0004]本申请实施例第一方面公开了一种存储方法,该存储方法应用于管理终端,所述管理终端与至少一个计算终端通信连接;
[0005]建立至少一个计算分配目录,各个所述计算分配目录下包含至少一个计算文件;
[0006]将各个所述计算分配目录包含的计算文件的复制文件分配至所述计算终端,以使所述计算终端对各个所述复制文件进行计算,得到与各个所述计算分配目录关联的结果文件;
[0007]若检测到所述计算终端的内存占用率大于第一占用率阈值,则确定待删除的目标计算分配目录,并删除所述目标计算分配目录,以及删除所述计算终端中与所述目标计算分配目录关联的结果文件,以使所述计算终端的内存占用率小于或等于所述第一占用率阈值;
[0008]生成与所述计算终端中各个删除的结果文件对应的脚本文件;
[0009]若检测到所述计算终端的处理器空闲比例大于比例阈值,则运行各个所述脚本文件,以使所述计算终端对所述删除的结果文件进行恢复。
[0010]作为一种可选的实施方式,在本实施例的第一方面中,所述若检测到所述计算终端的处理器空闲比例大于比例阈值,则运行各个所述脚本文件,以使所述计算终端对所述删除的结果文件进行恢复,包括:
[0011]若检测到所述计算终端的处理器空闲比例大于比例阈值,且所述内存占用率小于第二占用率阈值,则运行各个所述脚本文件,以使所述计算终端对所述删除的结果文件逐一进行恢复,直至检测到所述计算终端的处理器空闲比例大于比例阈值,或所述内存占用率大于或等于所述第二占用率阈值。
[0012]作为一种可选的实施方式,在本实施例的第一方面中,所述确定待删除的目标计算分配目录,并删除所述目标计算分配目录,以及删除所述计算终端中与所述目标计算分
配目录关联的结果文件,以使所述计算终端的内存占用率小于或等于所述第一占用率阈值,包括:
[0013]按照各个所述计算分配目录对应的目录建立时间的先后顺序,对各个所述计算分配目录进行排序,得到第一目录排序;
[0014]按照所述第一目录排序依次确定待删除的目标计算分配目录,并删除所述目标计算分配目录,以及删除所述计算终端中与所述目标计算分配目录关联的结果文件,直至所述计算终端的内存占用率小于或等于所述第一占用率阈值。
[0015]作为一种可选的实施方式,在本实施例的第一方面中,在删除所述目标计算分配目录之后,还包括:
[0016]记录删除的所述目标计算分配目录对应的删除时间;
[0017]所述运行各个所述脚本文件,以使所述计算终端对所述删除的结果文件进行恢复,包括:
[0018]按照各个删除的目标计算分配目录对应的删除时间的先后顺序,对各个删除的目标计算分配目录进行排序,得到第二目录排序;
[0019]按照所述第二目录排序依次确定待恢复的目标计算分配目录,并运行所述待恢复的目标计算分配目录关联的结果文件所对应的脚本文件,以使所述计算终端对所述删除的结果文件进行恢复。
[0020]作为一种可选的实施方式,在本实施例的第一方面中,在所述将各个所述计算分配目录包含的计算文件的复制文件分配至所述计算终端,以使所述计算终端对各个所述复制文件进行计算,得到与各个所述计算分配目录关联的结果文件之前,还包括:
[0021]配置各个所述计算文件的预设计算时长,所述预设计算时长指的是所述计算终端对所述计算文件对应的复制文件进行计算的时间长度;
[0022]所述将各个所述计算分配目录包含的计算文件的复制文件分配至所述计算终端,以使所述计算终端对各个所述复制文件进行计算,得到与各个所述计算分配目录关联的结果文件,包括:
[0023]将各个所述计算分配目录包含的计算文件的复制文件分配至所述计算终端,以使所述计算终端根据各个所述复制文件对应的预设计算时长对各个所述复制文件进行计算,得到与各个所述计算分配目录关联的结果文件。
[0024]作为一种可选的实施方式,在本实施例的第一方面中,在所述将各个所述计算分配目录包含的计算文件的复制文件分配至所述计算终端,以使所述计算终端对各个所述复制文件进行计算,得到与各个所述计算分配目录关联的结果文件之后,还包括:
[0025]记录各个所述结果文件的实际计算时长,所述实际计算时长为所述计算终端对所述复制文件进行计算以得到所述结果文件的最短时间长度;
[0026]所述生成与所述计算终端中各个删除的结果文件对应的脚本文件,包括:
[0027]对与所述计算终端中删除的结果文件对应的计算文件的文件名进行解析,以得到与所述删除的结果文件对应的计算文件的计算参数;
[0028]创建各个删除的结果文件对应的脚本文件,并将各个所述删除的结果文件的实际计算时长,以及各个所述删除的结果文件对应的计算文件的计算参数,分别写入各个所述删除的结果文件对应的脚本文件中。
[0029]作为一种可选的实施方式,在本实施例的第一方面中,所述运行各个所述脚本文件,以使所述计算终端对所述删除的结果文件进行恢复,包括:
[0030]运行各个所述脚本文件,以使所述计算终端根据所述脚本文件对应的删除的结果文件的实际计算时长以及所述删除的结果文件对应的计算文件的计算参数,对所述删除的结果文件进行恢复。
[0031]本申请实施例第二方面公开了一种存储装置,包括:
[0032]目录构建模块,用于建立至少一个计算分配目录,各个所述计算分配目录下包含至少一个计算文件;
[0033]文件分配模块,用于将各个所述计算分配目录包含的计算文件的复制文件分配至所述计算终端,以使所述计算终端对各个所述复制文件进行计算,得到与各个所述计算分配目录关联的结果文件;
[0034]文件删除模块,用于若检测到所述计算终端的内存占用率大于第一占用率阈值,则确定待删除的目标计算分配目录,并删除所述目标计算分配目录,以及删除所述计算终端中与所述目标计算分配目录关联的结果文件,以使所述计算终端的内存占用率小于或等于所述第一占用率阈值;
[0035]脚本构建模块,用于生成与所述计算终端中各个删除的结果文件对应的脚本文件;
[0036]文件恢复模块,用于若检测到所述计算终端的处理器空闲比例大于比例阈值,本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种存储方法,其特征在于,应用于管理终端,所述管理终端与至少一个计算终端通信连接;所述方法,包括:建立至少一个计算分配目录,各个所述计算分配目录下包含至少一个计算文件;将各个所述计算分配目录包含的计算文件的复制文件分配至所述计算终端,以使所述计算终端对各个所述复制文件进行计算,得到与各个所述计算分配目录关联的结果文件;若检测到所述计算终端的内存占用率大于第一占用率阈值,则确定待删除的目标计算分配目录,并删除所述目标计算分配目录,以及删除所述计算终端中与所述目标计算分配目录关联的结果文件,以使所述计算终端的内存占用率小于或等于所述第一占用率阈值;生成与所述计算终端中各个删除的结果文件对应的脚本文件;若检测到所述计算终端的处理器空闲比例大于比例阈值,则运行各个所述脚本文件,以使所述计算终端对所述删除的结果文件进行恢复。2.根据权利要求1所述的方法,其特征在于,所述若检测到所述计算终端的处理器空闲比例大于比例阈值,则运行各个所述脚本文件,以使所述计算终端对所述删除的结果文件进行恢复,包括:若检测到所述计算终端的处理器空闲比例大于比例阈值,且所述内存占用率小于第二占用率阈值,则运行各个所述脚本文件,以使所述计算终端对所述删除的结果文件逐一进行恢复,直至检测到所述计算终端的处理器空闲比例大于比例阈值,或所述内存占用率大于或等于所述第二占用率阈值。3.根据权利要求1所述的方法,其特征在于,所述确定待删除的目标计算分配目录,并删除所述目标计算分配目录,以及删除所述计算终端中与所述目标计算分配目录关联的结果文件,以使所述计算终端的内存占用率小于或等于所述第一占用率阈值,包括:按照各个所述计算分配目录对应的目录建立时间的先后顺序,对各个所述计算分配目录进行排序,得到第一目录排序;按照所述第一目录排序依次确定待删除的目标计算分配目录,并删除所述目标计算分配目录,以及删除所述计算终端中与所述目标计算分配目录关联的结果文件,直至所述计算终端的内存占用率小于或等于所述第一占用率阈值。4.根据权利要求3所述的方法,其特征在于,在删除所述目标计算分配目录之后,还包括:记录删除的所述目标计算分配目录对应的删除时间;所述运行各个所述脚本文件,以使所述计算终端对所述删除的结果文件进行恢复,包括:按照各个删除的目标计算分配目录对应的删除时间的先后顺序,对各个删除的目标计算分配目录进行排序,得到第二目录排序;按照所述第二目录排序依次确定待恢复的目标计算分配目录,并运行所述待恢复的目标计算分配目录关联的结果文件所对应的脚本文件,以使所述计算终端对所述删除的结果文件进行恢复。5.根据权利要求1所述的方法,其特征在于,在所述将各个所述计算分配目录包含的计算文件的复制文件分配至所述计算终端,以使所述计算终端对各个所述复制文件进行计算,得到与各个所述计算分配目录关联的结果文件之前,还包括:
配置各个所述计算文件的预设计算时长,所述预设计算时长指的是所述计算终端对...

【专利技术属性】
技术研发人员:林炜彦万绵元肖乐
申请(专利权)人:上海闻泰信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1