System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 用于缓存数据的方法、装置、电子设备和程序产品制造方法及图纸_技高网

用于缓存数据的方法、装置、电子设备和程序产品制造方法及图纸

技术编号:41376801 阅读:9 留言:0更新日期:2024-05-20 10:20
本公开的实施例涉及用于缓存数据的方法、装置、电子设备和程序产品。该方法包括监测分布式文件系统中的请求,其中分布式文件系统被配置有存储节点以及多个计算节点,并且多个计算节点中的计算节点被配置有加速器资源和存储容器组。该方法还包括响应于请求满足预定条件,在分布式文件系统中增加动态计算节点,并且使用所增加的动态计算节点中的存储容器组来缓存数据。根据本公开的实施例,通过在系统中配置计算节点,存储节点以及动态计算节点,不仅保证了存储系统的稳定性,还提高了系统的灵活性和扩展性,并为用户提供了高效的文件存储和访问体验。

【技术实现步骤摘要】

本公开总体涉及计算机,并且更具体地,涉及缓存数据的方法、装置、电子设备和程序产品。


技术介绍

1、在计算机执行任务的过程中,存储系统发挥着至关重要的作用,它负责保存和管理应用程序运行所需的所有数据。这些数据不仅包括用户生成的文件、图片、视频等,还包括操作系统、应用程序和硬件驱动程序等关键系统文件。例如在利用容器(container)技术来执行模型服务的过程中,模型服务需要加载庞大的模型文件,并且还需要在训练过程中不断保存检查点文件。

2、存储系统对任务执行的影响还体现在数据的访问速度、数据的一致性和数据的可靠性等方面。快速的数据访问速度可以确保任务的高效执行,而数据的一致性和可靠性则可以确保任务结果的准确性和稳定性。例如在模型的推理的过程中,模型会在短时间内生成高质量的响应,需要提高快速的数据访问速度。


技术实现思路

1、本公开的实施例提供了一种用于缓存数据的方法、装置、电子设备和程序产品

2、根据公开的第一方面,提供了一种用于缓存数据的方法。该方法包括监测分布式文件系统中的请求,其中分布式文件系统被配置有存储节点以及多个计算节点,并且多个计算节点中的计算节点被配置有加速器资源和存储容器组。该方法还包括响应于请求满足预定条件,在分布式文件系统中增加动态计算节点。此外,该方法还包括使用所增加的动态计算节点中的存储容器组来缓存数据。

3、在公开的第二方面中,提供了一种用于缓存数据的装置。该装置包括请求监测模块,被配置为监测分布式文件系统中的请求,其中分布式文件系统被配置有存储节点以及多个计算节点,并且多个计算节点中的计算节点被配置有加速器资源和存储容器组。该装置还包括动态计算节点增加模块,被配置为响应于请求满足预定条件,在分布式文件系统中增加动态计算节点。此外,该装置还包括数据缓存模块,被配置为使用所增加的动态计算节点中的存储容器组来缓存数据。

4、在本公开的第三方面中,提供了一种电子设备。该电子设备包括处理器以及与处理器耦合的存储器,存储器具有存储于其中的指令,指令在被处理器执行时,使得电子设备执行根据第一方面的方法。

5、在本公开的第四个方面,提供了一种计算机程序产品。该计算机可读存储介质上存储有计算机可执行指令,其中计算机可执行指令被处理器执行以实现根据第一方面的方法。

6、
技术实现思路
部分是为了以简化的形式来介绍对概念的选择,它们在下文的具体实施方式中将被进一步描述。
技术实现思路
部分无意标识要求保护的主题的关键特征或主要特征,也无意限制要求保护的主题的范围。

本文档来自技高网...

【技术保护点】

1.一种用于缓存数据的方法,包括:

2.根据权利要求1所述方法,还包括:

3.根据权利要求2所述方法,还包括:

4.根据权利要求1所述方法,其中使用所增加的所述动态计算节点中的存储容器组来缓存数据包括:

5.根据权利要求1所述方法,还包括:

6.根据权利要求5所述方法,其中移除所述动态计算节点包括:

7.根据权利要求6所述方法,其中将所述动态计算节点的数据传输至所述计算节点包括:

8.根据权利要求6所述方法,其中将所述动态计算节点的数据传输至所述存储节点包括:

9.根据权利要求1所述方法,还包括:

10.一种用于缓存数据的装置,包括:

11.一种电子设备,包括:

12.一种计算机程序产品,其包括计算机可执行指令,其中所述计算机可执行指令被处理器执行以实现根据权利要求1至9中任一项所述的方法。

【技术特征摘要】

1.一种用于缓存数据的方法,包括:

2.根据权利要求1所述方法,还包括:

3.根据权利要求2所述方法,还包括:

4.根据权利要求1所述方法,其中使用所增加的所述动态计算节点中的存储容器组来缓存数据包括:

5.根据权利要求1所述方法,还包括:

6.根据权利要求5所述方法,其中移除所述动态计算节点包括:

7.根据权利要求6所述方法,其中将所述动态...

【专利技术属性】
技术研发人员:杨子夜
申请(专利权)人:抖音视界有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1