【技术实现步骤摘要】
本申请实施例涉及终端资源调度，尤其涉及一种算法模型的运行方法、算法模型的运行装置、算法模型的运行系统、电子设备以及计算机可读存储介质。
技术介绍
1、相关技术中，算法模型，尤其是人工智能内容生成（ai-generated content，aigc）等大模型，一般是在云端运行。但是通过云端运行算法模型的单一的资源提供方式，会导致云端资源紧张，进而不利于模型运行效率以及运行成本。
技术实现思路
1、本申请提供一种算法模型的运行方法、算法模型的运行装置、算法模型的运行系统、电子设备以及计算机可读存储介质，能够灵活地为算法模型提供计算资源，有利于提升算法模型的运行效率以及减少算法模型的运行成本。
2、第一方面，本申请提供一种算法模型的运行方法，应用于服务器，该方法包括：响应接收到算法模型的运行任务，从多个终端中，确定出可支持上述算法模型运行的终端集合；以及，根据上述终端集合中每个终端当前的运行状态，从上述终端集合中确定出目标终端，以用于运行上述算法模型。
3、本申请实施例提供的算法模型的运行方法中，服务器可以根据终端的运行状态，灵活地确定出为算法模型提供计算资源的目标终端，有利于提升算法模型的运行效率。
4、第二方面，本申请提供了一种算法模型的运行装置，配置于服务器，上述装置包括：终端集合确定模块以及目标终端确定模块；其中，上述终端集合确定模块，用于响应接收到算法模型的运行任务，从多个终端中，确定出可支持上述算法模型运行的终端集合；以及，上述目标终端确定
5、在一些实施例中，基于上述方案，上述算法模型的运行装置还包括：算力匹配模块以及模型运行模块；
6、其中，上述算力匹配模块用于：在上述目标终端确定模块根据上述终端集合中每个终端当前的运行状态，从上述终端集合中确定出目标终端之后，获取上述算法模型的实时性等级和每个上述目标终端对应的模型可用算力；将与上述实时性要求等级相匹配的模型可用算力，确定为目标可用算力；以及，上述模型运行模块用于：通过提供上述目标可用算力的目标终端，运行上述算法模型。
7、在一些实施例中，基于上述方案，上述算法模型的运行装置还包括：请求发送模块；
8、其中，上述请求发送模块用于：在通过上述目标终端运行上述算法模型的过程中，向上述目标终端发送状态获取请求，以使上述目标终端生成上述算法模型的运行状态；以及，上述目标终端确定模块还用于：在第一预设时长内没有接收到上述算法模型的运行状态的情况下，根据上述终端集合中每个终端当前的运行状态，从上述终端集合中重新确定出目标终端，以用于运行上述算法模型。
9、在一些实施例中，基于上述方案，上述运行状态包括：模型运行正常且处于运行状态；上述算法模型的运行装置还包括：确定模块；
10、其中，上述确定模块用于：在接收到上述算法模型的运行状态为模型运行正常且处于运行状态的情况下，确定上述目标终端运行上述算法模型的总时长；上述目标终端确定模块还用于：在上述总时长超过第二预设时长的情况下，根据上述终端集合中每个终端当前的运行状态，从上述终端集合中重新确定出目标终端，以用于运行上述算法模型。
11、在一些实施例中，基于上述方案，上述请求发送模块还用于：在上述总时长未超过上述第二预设时长的情况下，保持通过上述目标终端运行上述算法模型不变，并向上述目标终端发送状态获取请求，以使上述目标终端生成上述算法模型的运行状态。
12、在一些实施例中，基于上述方案，上述运行状态包括：模型运行正常且处于暂停状态；上述确定模块还用于：在接收到上述算法模型的运行状态为模型运行正常且处于暂停状态的情况下，确定上述目标终端是否运行前端任务；上述模型运行模块还用于：在确定上述目标终端运行前端任务且上述前端任务属于目标类型的情况下，保持通过上述目标终端运行上述算法模型不变，并向上述目标终端发送状态获取请求，以使上述目标终端生成上述算法模型的运行状态；其中，上述目标类型为运行时长不超过第三预设时长的类型。
13、在一些实施例中，基于上述方案，上述请求发送模块还用于：在确定上述目标终端运行前端任务且上述前端任务属于目标类型的情况下，至少间隔上述第三预设时长后向上述目标终端发送状态获取请求，以使上述目标终端生成上述算法模型的运行状态；上述目标终端确定模块还用于：若上述运行状态为模型运行正常且处于暂停状态，根据上述终端集合中每个终端当前的运行状态，从上述终端集合中重新确定出目标终端，以用于运行上述算法模型。
14、在一些实施例中，基于上述方案，上述目标终端确定模块还用于：在确定上述目标终端运行前端任务且上述前端任务不属于上述目标类型的情况下，根据上述终端集合中每个终端当前的运行状态，从上述终端集合中重新确定出目标终端，以用于运行上述算法模型。
15、在一些实施例中，基于上述方案，上述目标终端确定模块包括：等级调整子模块和重新确定子模块；其中，上述等级调整子模块用于：增加上述算法模型的实时性等级；以及，上述重新确定子模块用于：根据上述终端集合中每个终端当前的运行状态和上述算法模型当前的实时性等级，从上述终端集合中重新确定出目标终端。
16、在一些实施例中，基于上述方案，上述重新确定子模块具体用于：确定通过上述终端集合中第i个终端运行上述算法模型所要求的最低性能需求，其中i取值为不大于上述终端集合中终端总数的正整数；以及，在上述第i个终端当前的运行状态满足上述最低性能需求，且上述第i个终端对应的模型可用算力与上述算法模型当前的实时性等级相匹配的情况下，确定上述第i个终端。
17、在一些实施例中，基于上述方案，上述上述目标终端确定模块还具体用于：确定通过上述终端集合中第i个终端运行上述算法模型所要求的最低性能需求，其中i取值为不大于上述终端集合中终端总数的正整数；以及，在上述第i个终端当前的运行状态满足上述最低性能需求的情况下，确定上述第i个终端为上述目标终端。
18、本申请实施例提供的算法模型的运行装置，可以根据终端的运行状态，灵活地确定出为算法模型提供计算资源的目标终端，有利于提升算法模型的运行效率以及减少算法模型的运行成本。
19、第三方面，提供了一种终端，包括处理器和存储器。所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，以执行上述第一方面所提供的方法。
20、第四方面，提供了一种芯片，用于实现上述第一方面中任一方面或其各实现方式中的方法。具体地，所述芯片包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行如上述第一方面所提供的方法。
21、第五方面，提供了一种计算机可读存储介质，用于存储计算机程序，所述计算机程序使得计算机执行上述第一方面所提供的方法。
22、第六方面，提供了一种计算机程序产品，包本文档来自技高网...
【技术保护点】
1.一种算法模型的运行方法，其特征在于，应用于服务器，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，在所述根据所述终端集合中每个终端当前的运行状态，从所述终端集合中确定出目标终端之后，所述方法还包括：
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
4.根据权利要求3所述的方法，其特征在于，所述运行状态包括：模型运行正常且处于运行状态；所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
6.根据权利要求3所述的方法，其特征在于，所述运行状态包括：模型运行正常且处于暂停状态；所述方法还包括：
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
8.根据权利要求6所述的方法，其特征在于，所述方法还包括：
9.根据权利要求4或8所述的方法，其特征在于，所述根据所述终端集合中每个终端当前的运行状态，从所述终端集合中重新确定出目标终端，包括：
10.根据权利要求9所述的方法，其特征在于，所述根据所述终端集合中每个终端当前的运行
11.根据权利要求1至8中任意一项所述的方法，其特征在于，所述根据所述终端集合中每个终端当前的运行状态，从所述终端集合中确定出目标终端，包括：
12.一种算法模型的运行装置，其特征在于，配置于服务器，所述装置包括：
13.一种算法模型的运行系统，其特征在于，所述系统包括：服务器和与所述服务器关联的用于提供计算资源的多个终端；
14.一种电子设备，其特征在于，所述电子设备包括：处理器和存储器；
15.一种计算机可读存储介质，其特征在于，用于存储计算机程序；
...【技术特征摘要】
1.一种算法模型的运行方法，其特征在于，应用于服务器，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，在所述根据所述终端集合中每个终端当前的运行状态，从所述终端集合中确定出目标终端之后，所述方法还包括：
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
4.根据权利要求3所述的方法，其特征在于，所述运行状态包括：模型运行正常且处于运行状态；所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
6.根据权利要求3所述的方法，其特征在于，所述运行状态包括：模型运行正常且处于暂停状态；所述方法还包括：
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
8.根据权利要求6所述的方法，其特征在于，所述方法还包括：
9.根据权利要求4或8所述的方法，...
【专利技术属性】
技术研发人员：徐士立，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。