【技术实现步骤摘要】
【国外来华专利技术】
1.本公开涉及设备放置，并且在一些非限制性实施方案或方面中，涉及在设备放置中使用系统机器学习。2.技术考虑机器学习模型(ml模型)广泛用于进行实时预测。在生产中，模型预测可能具有非常严格的服务级别协议要求(例如在10ms内完成99.5％的预测等)。图形处理单元(gpu)可以在减少模型训练时间方面提供显著的性能改进。然而，由于操作重复较少，在没有设备放置优化的情况下，gpu在生产中减少推断时间的效率可能显著较低。例如，对于某些指令，gpu可能较低效(例如gpu上的字符串处理比在cpu上低效等)。此外，与计算时间相比，cpu与gpu之间的数据移动可能花费大量时间。设备放置可以在机器学习模型的等待时间和/或吞吐量方面产生显著差异。例如，在gpu上利用设备放置优化的代替处理(stip)模型可能比不利用设备放置优化的stip模型具有大于五倍的性能改进。然而，由于多个因素在起作用，用于模型性能优化的设备放置问题并不是一项容易的任务，诸如设备之间的数据移动、针对不同操作的gpu操作可用性和/或效率、特定模型的操作之间的关系等。因此，需要自动提供适当利用gpu处理的设备放置优...
【技术保护点】
1.一种计算机实现的方法，包括：
2.如权利要求1所述的计算机实现的方法，其中所述多个操作被聚类成预定数量的操作聚类。
3.如权利要求1所述的计算机实现的方法，其中所述多个操作包括多个不同类型的操作，并且其中将每个操作聚类标记为仅CPU聚类或GPU可用聚类包括在数据库中存储包括被标记为仅CPU操作和GPU可用操作中的一者的所述多个类型的操作中的每个类型的操作的列表。
4.如权利要求1所述的计算机实现的方法，其中与所述至少一个推断样本相关联的所述推断数据包括与在电子支付网络中与商家系统的至少一次交易相关联的交易数据。
5....
【技术特征摘要】
【国外来华专利技术】
1.一种计算机实现的方法，包括：
2.如权利要求1所述的计算机实现的方法，其中所述多个操作被聚类成预定数量的操作聚类。
3.如权利要求1所述的计算机实现的方法，其中所述多个操作包括多个不同类型的操作，并且其中将每个操作聚类标记为仅cpu聚类或gpu可用聚类包括在数据库中存储包括被标记为仅cpu操作和gpu可用操作中的一者的所述多个类型的操作中的每个类型的操作的列表。
4.如权利要求1所述的计算机实现的方法，其中与所述至少一个推断样本相关联的所述推断数据包括与在电子支付网络中与商家系统的至少一次交易相关联的交易数据。
5.如权利要求1所述的计算机实现的方法，其中所述基于时间的参数包括所述第一机器学习模型的吞吐量和所述第一机器学习模型的等待时间中的至少一者。
6.如权利要求1所述的计算机实现的方法，其中使用所述强化学习技术来调整所述模型参数的所述当前值还包括调整所述模型参数的所述当前值以优化目标函数，所述强化学习技术使用从与根据所述放置对所述推断数据的所述处理相关联的所述基于时间的参数中导出的所述奖励。
7.如权利要求6所述的计算机实现的方法，其中优化所述目标函数对以下各项中的一项进行优化：(i)所述第一机器学习模型的针对所述第一机器学习模型的固定吞吐量的等待时间，以及(ii)所述第一机器学习模型的针对所述第一机器学习模型的等待时间上限的吞吐量。
8.一种系统，包括：
9.如权利要求8所述的系统，其中所述多个操作被聚类成预定数量的操作聚类。
10.如权利要求8所述的系统，其中所述多个操作包括多个不同类型的操作，并且其中所述一个或多个计算机被编程为并且/或者被配置成通过在数据库中存储包括被标记为仅cpu操作和gpu可用操作中的一者的所述多个类型的操作中的每个类型的操作的列表而将每个操作聚类标记为仅cpu聚类或gpu可用聚类。
11.如权利要求8所述的系统，其中与所述至少一个推断样本相关联的所述推断数据包括与在电子支付网络中与商家系统的至少一次交易相关联的交易数据。
12.如权利要求8所述的系统，其中所述基于时间的参数包括所述第一机器学习模型的吞吐量和所述第一机器学习模型的等待时间中的至少一者。
13.如权利要求8所述的系统，其...
【专利技术属性】
技术研发人员：Y·程，S·P·汉密尔顿，谷雨，
申请(专利权)人：维萨国际服务协会，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。