根据本公开的实施例，提供了用于管理应用的方法、装置、设备和存储介质。该方法包括：响应于接收到用于利用计算资源池中的计算节点执行任务的用户请求，确定与用户请求相关联的应用的描述数据，用户请求指定使用应用来执行任务；从计算资源池中确定用于加载应用的应用数据的目标计算节点；以及指示目标计算节点处的预取服务，基于描述数据向目标计算节点加载应用的应用数据。以此方式，可以提高计算节点中的计算资源的利用效率，减少任务执行时间。
【技术实现步骤摘要】
本公开的示例实施例总体涉及计算机，特别地涉及用于管理应用的方法、装置、设备和计算机可读存储介质。
技术介绍
1、目前，语言模型相关技术快速发展。一些云服务提供者开始向不同的租户(to-b业务)提供云服务自己的模型即服务(model as a service，简称maas)。在这种使用场景中，租户不需要构建自己的基础设施(例如，底层基础设施可以是包括各种计算资源如cpu和gpu或其他异构资源的集群)。语言模型的参数大小通常较大，计算资源在加载模型的文件的过程中需要进行等待，导致计算资源浪费。此时，期望解决加载文件导致计算资源浪费的问题。
技术实现思路
1、在本公开的第一方面，提供了一种用于管理应用的方法。该方法包括：响应于接收到用于利用计算资源池中的计算节点执行任务的用户请求，确定与用户请求相关联的应用的描述数据，用户请求指定使用应用来执行任务；从计算资源池中确定用于加载应用的应用数据的目标计算节点；以及指示目标计算节点处的预取服务，基于描述数据向目标计算节点加载应用的应用数据。
>2、在本公开的第二本文档来自技高网...
【技术保护点】
1.一种用于管理应用的方法，包括：
2.根据权利要求1所述的方法，其中所述描述数据指定用于访问所述应用数据的地址，以及向所述目标计算节点加载所述应用数据包括：从所述地址向所述目标计算节点中的共享存储加载所述应用数据中的至少一部分。
3.根据权利要求2所述的方法，进一步包括：
4.根据权利要求3所述的方法，其中所述描述数据进一步指定所述应用数据的大小，以及由所述计算单元执行所述任务包括：响应于确定所述计算节点处的所述应用数据的大小匹配于由所述描述数据指定的所述大小，由所述计算单元执行所述任务。
5.根据权利要求4所述的方法，其中由所述计算单元...
【技术特征摘要】
1.一种用于管理应用的方法，包括：
2.根据权利要求1所述的方法，其中所述描述数据指定用于访问所述应用数据的地址，以及向所述目标计算节点加载所述应用数据包括：从所述地址向所述目标计算节点中的共享存储加载所述应用数据中的至少一部分。
3.根据权利要求2所述的方法，进一步包括：
4.根据权利要求3所述的方法，其中所述描述数据进一步指定所述应用数据的大小，以及由所述计算单元执行所述任务包括：响应于确定所述计算节点处的所述应用数据的大小匹配于由所述描述数据指定的所述大小，由所述计算单元执行所述任务。
5.根据权利要求4所述的方法，其中由所述计算单元执行所述任务进一步包括：响应于确定所述计算节点处的所述应用数据的大小不匹配于由所述描述数据指定的所述大小，基于所述描述数据向所述计算单元加载所述应用数据中的所述至少一部分以外的其他部分。
6.根据权利要求1所述的方法，其中所述计算资源池包括多个计算节点，所述方法在用于管理所述多个计算节点的调度器中被执行，并且确定所述目标计算节点包括：基于所述多个计算节点的任务负载，选择所述目标计算节点。
7.根据权利要求3所述的方法，其中所述预取服务在所述目标计算节点处的第二容器中被启动，并且由所述计算单元执行所述任务包括：由所述第...
【专利技术属性】
技术研发人员：杨子夜，
申请(专利权)人：北京火山引擎科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。