【技术实现步骤摘要】
本申请涉及计算机处理，具体涉及一种模型部署方法、装置、电子设备及机器学习推断系统。
技术介绍
1、二手商品在电商平台进行二手交易时，常常需要使用多种机器学习模型进行在线推断，从而完成点击率(click-through-rate，ctr)预估、图像识别、自然语言处理分类等任务。
2、目前，使用机器学习推断系统对模型进行部署并执行推断是必不可少的环节。因此，如何降低推断开销，提升推断过程中对资源的利用率，一直备受人们关注。
技术实现思路
1、有鉴于此，本申请致力于提供一种模型部署方法、装置、电子设备及机器学习推断系统，能够降低推断开销，提升推断过程中对资源的利用率。
2、本申请的第一方面提供一种模型部署方法，应用于机器学习推断系统；所述机器学习推断系统包括第一执行端和第二执行端；所述方法包括：
3、将目标模型部署在所述第一执行端；其中，所述目标模型在所述第一执行端执行的模型开销为第一开销，所述目标模型在所述第二执行端执行的模型开销为第二开销，所述第一开销小于所述第二开销；所述模型开销为所述目标模型的全部算子的开销；
4、从所述目标模型的算子中筛选出部分算子作为目标算子，并将所述目标算子部署到所述第二执行端，使得当前模型开销小于或等于所述第一开销。
5、可选地，所述从所述目标模型的算子中筛选出部分算子作为目标算子，并将所述目标算子部署到所述第二执行端，使得当前模型开销小于或等于所述第一开销，包括：
6、采用模拟退火算
7、将所述优化算子确定为所述目标算子，并将所述目标算子部署到所述第二执行端，使得当前模型开销小于等于所述第一开销。
8、可选地，所述采用模拟退火算法，对部署在所述第一执行端的所述目标模型的算子进行筛选，确定出优化算子，包括：
9、从所述目标模型部署在所述第一执行端的算子中随机抽取第一预设数量的算子，并部署到所述第二执行端；
10、计算当前模型开销，并检测当前模型开销与所述第一开销的差值是否小于第一阈值；
11、若当前模型开销与所述第一开销的差值小于第一阈值，则将当前部署到所述第二执行端的第一预设数量的算子部署回所述第一执行端，并检测当前模型开销与所述第一开销的差值小于第一阈值的连续次数是否达到第一预设次数；若没有达到第一预设次数，则重新执行所述从所述目标模型部署在所述第一执行端的算子中随机抽取第一预设数量的算子，并部署到所述第二执行端的步骤；若达到第一预设次数，则确定当前部署在所述第二执行端的算子为优化算子；
12、若当前模型开销与所述第一开销的差值大于或等于第一阈值，则判断当前模型开销是否大于所述第一开销；若当前模型开销大于所述第一开销，则将当前部署到所述第二执行端的第一预设数量的算子部署回所述第一执行端，并重新执行所述从所述目标模型部署在所述第一执行端的算子中随机抽取第一预设数量的算子，并部署到所述第二执行端的步骤；若当前模型开销小于或等于所述第一开销，则将当前模型开销更新为所述第一开销，并继续执行所述从所述目标模型部署在所述第一执行端的算子中随机抽取第一预设数量的算子，并部署到所述第二执行端的步骤。
13、可选地，所述若达到第一预设次数，则确定当前部署在所述第二执行端的算子为优化算子，包括：
14、若达到第一预设次数，则将当前部署在所述第二执行端的算子确定为第一算子，并将当前模型开销确定为第三开销；
15、从所述第二执行端的算子中随机抽取第二预设数量的算子，并部署到所述第一执行端；
16、计算当前模型开销，并检测当前模型开销与所述第三开销的差值是否小于第二阈值；
17、若当前模型开销与所述第三开销的差值小于第二阈值，则将当前部署到所述第一执行端的第二预设数量的算子部署回所述第二执行端，并检测当前模型开销与所述第三开销的差值小于第二阈值的连续次数是否达到第二预设次数；若没有达到第二预设次数，则重新执行所述从所述第二执行端的算子中随机抽取第二预设数量的算子，并部署到所述第一执行端的步骤；若达到第二预设次数，则确定当前部署在所述第二执行端的算子为优化算子；
18、若当前模型开销与所述第三开销的差值大于或等于第二阈值，则判断当前模型开销是否大于所述第三开销；若当前模型开销大于所述第三开销，则将当前部署到所述第一执行端的第二预设数量的算子部署回所述第二执行端，并重新执行所述从所述第二执行端的算子中随机抽取第二预设数量的算子，并部署到所述第一执行端的步骤；若当前模型开销小于或等于所述第三开销，则将当前模型开销更新为所述第三开销，并继续执行所述从所述第二执行端的算子中随机抽取第二预设数量的算子，并部署到所述第一执行端的步骤。
19、可选地，所述若达到第二预设次数，则确定当前部署在所述第二执行端的算子为优化算子，包括：
20、若达到第二预设次数，则将当前模型开销更新为所述第一开销，并执行所述从所述目标模型部署在所述第一执行端的算子中随机抽取第一预设数量的算子，并部署到所述第二执行端的步骤；
21、在当前模型开销满足预设条件时，将部署在所述第二执行端的算子确定为优化算子；所述预设条件包括：当前模型开销与所述第一开销的差值小于第一阈值的连续次数达到第一预设次数，且当前模型开销与所述第三开销的差值小于第二阈值的连续次数达到第二预设次数。
22、可选地，所述将所述优化算子确定为所述目标算子，包括：
23、获取第三预设次数的优化算子，并确定每次优化算子对应的模型开销；
24、将所述第三预设次数的优化算子中，模型开销最小的优化算子确定为所述目标算子。
25、本申请的第二方面提供一种模型部署装置，包括：
26、第一部署模块，用于将目标模型部署在第一执行端；其中，所述目标模型在所述第一执行端执行的模型开销为第一开销，所述目标模型在第二执行端执行的模型开销为第二开销，所述第一开销小于所述第二开销；所述模型开销为所述目标模型的全部算子的开销；
27、第二部署模块，用于从所述目标模型的算子中筛选出部分算子作为目标算子，并将所述目标算子部署到所述第二执行端，使得当前模型开销小于或等于所述第一开销。
28、本申请的第三方面提供一种电子设备，包括：
29、处理器，以及与所述处理器相连接的存储器；
30、所述存储器用于存储计算机程序；
31、所述处理器用于调用并执行所述存储器中的所述计算机程序，以执行如本申请的第一方面所述的模型部署方法。
32、本申请的第四方面提供一种机器学习推断系统，包括第一执行端、第二执行端和如本申请的第三方面所述的电子设备。
33、本申请的第五方面提供一种存储介质，所述存储介质本文档来自技高网...
【技术保护点】
1.一种模型部署方法，其特征在于，应用于机器学习推断系统；所述机器学习推断系统包括第一执行端和第二执行端；所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述从所述目标模型的算子中筛选出部分算子作为目标算子，并将所述目标算子部署到所述第二执行端，使得当前模型开销小于或等于所述第一开销，包括：
3.根据权利要求2所述的方法，其特征在于，所述采用模拟退火算法，对部署在所述第一执行端的所述目标模型的算子进行筛选，确定出优化算子，包括：
4.根据权利要求3所述的方法，其特征在于，所述若达到第一预设次数，则确定当前部署在所述第二执行端的算子为优化算子，包括：
5.根据权利要求4所述的方法，其特征在于，所述若达到第二预设次数，则确定当前部署在所述第二执行端的算子为优化算子，包括：
6.根据权利要求2所述的方法，其特征在于，所述将所述优化算子确定为所述目标算子，包括：
7.一种模型部署装置，其特征在于，包括：
8.一种电子设备，其特征在于，包括：
9.一种机器学习推断系统，其特征在于，包括
10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现如权利要求1-6任一项所述的模型部署方法的各个步骤。
...【技术特征摘要】
1.一种模型部署方法，其特征在于，应用于机器学习推断系统；所述机器学习推断系统包括第一执行端和第二执行端；所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述从所述目标模型的算子中筛选出部分算子作为目标算子，并将所述目标算子部署到所述第二执行端，使得当前模型开销小于或等于所述第一开销，包括：
3.根据权利要求2所述的方法，其特征在于，所述采用模拟退火算法，对部署在所述第一执行端的所述目标模型的算子进行筛选，确定出优化算子，包括：
4.根据权利要求3所述的方法，其特征在于，所述若达到第一预设次数，则确定当前部署在所述第二执行端的算子为优化算子，包括：
【专利技术属性】
技术研发人员：杨训政，曲虎，单鹏赫，
申请(专利权)人：转转一零二四北京科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。