System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 存储文件的数据库更新方法、装置、存储介质和电子设备制造方法及图纸_技高网

存储文件的数据库更新方法、装置、存储介质和电子设备制造方法及图纸

技术编号:40704842 阅读:4 留言:0更新日期:2024-03-22 11:04
本申请实施例提供了一种存储文件的数据库更新方法、装置、存储介质和电子设备,其中,该方法包括:从目标数据库中提取每个文件信息中的文件修改信息,其中,文件修改信息用于指示在AI平台上对应的存储文件被修改的频率;从目标数据库中查找文件修改信息满足目标信息条件的目标存储文件所在的目标文件存储目录;提取目标文件存储目录之间所具有的公共存储路径,得到一个或者多个热点父目录;按照第一更新周期对一个或者多个热点父目录进行目标数据库的更新。通过本申请,解决了存储文件的数据库更新效率较低的问题,进而达到提高存储文件的数据库更新效率的效果。

【技术实现步骤摘要】

本申请实施例涉及计算机领域,具体而言,涉及一种存储文件的数据库更新方法、装置、存储介质和电子设备


技术介绍

1、随着人工智能相关产业的蓬勃发展,越来越多的科研企业和高校的研究人员对计算力的要求也是越来越高,ai(artificial intelligence,人工智能)平台的一个核心功能就是管理使用具有海量数据的存储,但是目前对于ai平台连接的目标数据库中文件信息的更新方法比较简单,即通过重复遍历所有存储文件进行文件信息的统计,但是这种方式会不断的消耗存储的资源io(input/output,输入/输出),同时也会不断消耗业务服务的cpu(central processing unit,中央处理器)和内存等资源,使得存储文件的数据库更新效率较低。

2、针对相关技术中,存储文件的数据库更新效率较低等问题,尚未提出有效的解决方案。


技术实现思路

1、本申请实施例提供了一种存储文件的数据库更新方法、装置、存储介质和电子设备,以至少解决相关技术中存储文件的数据库更新效率较低的问题。

2、根据本申请的一个实施例,提供了一种存储文件的数据库更新方法,所述存储文件存储在ai平台上,所述ai平台连接了目标数据库,所述目标数据库中存储了具有对应关系的存储文件和文件信息,所述方法包括:

3、从所述目标数据库中提取每个文件信息中的文件修改信息,其中,所述文件修改信息用于指示在所述ai平台上对应的存储文件被修改的频率;

4、从所述目标数据库中查找所述文件修改信息满足目标信息条件的目标存储文件所在的目标文件存储目录,其中,所述目标信息条件为所述文件修改信息所指示的存储文件被修改的频率高于目标频率阈值,文件信息包括文件存储目录,文件存储目录用于指示对应的存储文件在所述ai平台上的存储路径;

5、提取所述目标文件存储目录之间所具有的公共存储路径,得到一个或者多个热点父目录;

6、按照第一更新周期对所述一个或者多个热点父目录进行所述目标数据库的更新,其中,所述第一更新周期小于第二更新周期,所述第二更新周期是所述ai平台上全量存储文件进行所述目标数据库的更新的周期。

7、在一个示例性实施例中,所述从所述目标数据库中提取每个文件信息中的文件修改信息,包括以下之一:从所述目标数据库中提取每个文件信息中的修改时间字段,其中,所述文件修改信息包括所述修改时间字段,所述修改时间字段用于指示在所述ai平台上对应的存储文件最近被修改的时间;从所述目标数据库中提取每个文件信息中的修改次数字段,其中,所述文件修改信息包括所述修改次数字段,所述修改次数字段用于指示在所述ai平台上对应的存储文件在当前时刻之间的目标时间段内被修改的次数。

8、在一个示例性实施例中,所述从所述目标数据库中提取每个文件信息中的文件修改信息,包括:检测在所述ai平台上是否对全量存储文件进行所述目标数据库的更新;在检测到在所述ai平台上对全量存储文件进行了所述目标数据库的更新的情况下,检测对全量存储文件进行所述目标数据库的更新的更新耗时;在所述更新耗时大于或者等于耗时阈值的情况下,从所述目标数据库中提取每个文件信息中的文件修改信息。

9、在一个示例性实施例中,所述从所述目标数据库中查找所述文件修改信息满足目标信息条件的目标存储文件所在的目标文件存储目录,包括:检测所述文件修改信息的信息类型;获取与所述信息类型匹配的所述目标信息条件;将每个所述文件修改信息与所述目标信息条件进行匹配,得到所述文件修改信息与所述目标信息条件匹配一致的所述目标存储文件;从所述目标存储文件对应的文件信息中提取所述目标文件存储目录。

10、在一个示例性实施例中,所述将每个所述文件修改信息与所述目标信息条件进行匹配,得到所述文件修改信息与所述目标信息条件匹配一致的所述目标存储文件,包括:检测每个修改时间字段与当前时间之间的时间距离,其中,所述文件修改信息包括所述修改时间字段,所述修改时间字段用于指示在所述ai平台上对应的存储文件最近被修改的时间;在所述时间距离小于或者等于目标时间阈值的情况下,确定所述修改时间字段与所述目标信息条件匹配一致;记录与所述目标信息条件匹配一致的所述修改时间字段对应的存储文件作为所述目标存储文件。

11、在一个示例性实施例中,所述提取所述目标文件存储目录之间所具有的公共存储路径,得到一个或者多个热点父目录,包括:创建记录了所述目标文件存储目录的第一目录列表,和用于记录所述热点父目录的第二目录列表,重复执行以下操作,直至所述第一目录列表为空得到的所述第二目录列表作为所述一个或者多个热点父目录:从所述第一目录列表中不放回的取出一个所述目标文件存储目录作为当前存储目录;将所述当前存储目录与所述第二目录列表中所记录的每个存储目录进行比对;在所述当前存储目录中包括了所述第二目录列表中的一个完整的存储目录的情况下,将所述当前存储目录丢弃;在所述第二目录列表中存在一个存储目录包括了完整的所述当前存储目录的情况下,将所述第二目录列表中包括了完整的所述当前存储目录的存储目录替换为所述当前存储目录;在所述第二目录列表中不存在与所述当前存储目录具有交集的存储目录的情况下,将所述当前存储目录存储至所述第二目录列表。

12、在一个示例性实施例中,所述按照第一更新周期对所述一个或者多个热点父目录进行所述目标数据库的更新,包括:按照所述第一更新周期对每个所述热点父目录进行自下而上的目录遍历,得到每个所述热点父目录中的全部热点存储文件对应的热点文件信息;将具有对应关系的热点存储文件和热点文件信息更新至所述目标数据库。

13、根据本申请的另一个实施例,提供了一种存储文件的数据库更新装置,所述存储文件存储在ai平台上,所述ai平台连接了目标数据库,所述目标数据库中存储了具有对应关系的存储文件和文件信息,所述装置包括:

14、第一提取模块,用于从所述目标数据库中提取每个文件信息中的文件修改信息,其中,所述文件修改信息用于指示在所述ai平台上对应的存储文件被修改的频率;

15、查找模块,用于从所述目标数据库中查找所述文件修改信息满足目标信息条件的目标存储文件所在的目标文件存储目录,其中,所述目标信息条件为所述文件修改信息所指示的存储文件被修改的频率高于目标频率阈值,文件信息包括文件存储目录,文件存储目录用于指示对应的存储文件在所述ai平台上的存储路径;

16、第二提取模块,用于提取所述目标文件存储目录之间所具有的公共存储路径,得到一个或者多个热点父目录;

17、更新模块,用于按照第一更新周期对所述一个或者多个热点父目录进行所述目标数据库的更新,其中,所述第一更新周期小于第二更新周期,所述第二更新周期是所述ai平台上全量存储文件进行所述目标数据库的更新的周期。

18、根据本申请的又一个实施例,还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行上述任一项方法实施本文档来自技高网...

【技术保护点】

1.一种存储文件的数据库更新方法,其特征在于,

2.根据权利要求1所述的方法,其特征在于,

3.根据权利要求1所述的方法,其特征在于,

4.根据权利要求1所述的方法,其特征在于,

5.根据权利要求4所述的方法,其特征在于,

6.根据权利要求1所述的方法,其特征在于,

7.根据权利要求1所述的方法,其特征在于,

8.一种存储文件的数据库更新装置,其特征在于,

9.一种计算机可读存储介质,其特征在于,

10.一种电子设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,

【技术特征摘要】

1.一种存储文件的数据库更新方法,其特征在于,

2.根据权利要求1所述的方法,其特征在于,

3.根据权利要求1所述的方法,其特征在于,

4.根据权利要求1所述的方法,其特征在于,

5.根据权利要求4所述的方法,其特征在于,

6.根据权利要求1所述的方...

【专利技术属性】
技术研发人员:姬贵阳
申请(专利权)人:苏州元脑智能科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1