【技术实现步骤摘要】
本申请涉及计算机处理，具体涉及一种模型部署方法、装置、电子设备及机器学习推断系统。
技术介绍
1、二手商品在电商平台进行二手交易时，常常需要使用多种机器学习模型进行在线推断，从而完成点击率(click-through-rate，ctr)预估、图像识别、自然语言处理分类等任务。
2、目前，使用机器学习推断系统对模型进行部署并执行推断是必不可少的环节。因此，如何降低推断开销，提升推断过程中对资源的利用率，一直备受人们关注。
技术实现思路
1、有鉴于此，本申请致力于提供一种模型部署方法、装置、电子设备及机器学习推断系统，能够降低推断开销，提升推断过程中对资源的利用率。
2、本申请的第一方面提供一种模型部署方法，应用于机器学习推断系统；所述机器学习推断系统包括第一执行端和第二执行端；所述方法包括：
3、将目标模型部署在所述第一执行端；其中，所述目标模型在所述第一执行端执行的模型开销为第一开销，所述目标模型在所述第二执行端执行的模型开销为第二开销，所述第一开销小于...
【技术保护点】
1.一种模型部署方法，其特征在于，应用于机器学习推断系统；所述机器学习推断系统包括第一执行端和第二执行端；所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述从所述目标模型的算子中筛选出部分算子作为目标算子，并将所述目标算子部署到所述第二执行端，使得当前模型开销小于或等于所述第一开销，包括：
3.根据权利要求2所述的方法，其特征在于，所述采用模拟退火算法，对部署在所述第一执行端的所述目标模型的算子进行筛选，确定出优化算子，包括：
4.根据权利要求3所述的方法，其特征在于，所述若达到第一预设次数，则确定当前部署在所述第二执行...
【技术特征摘要】
1.一种模型部署方法，其特征在于，应用于机器学习推断系统；所述机器学习推断系统包括第一执行端和第二执行端；所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述从所述目标模型的算子中筛选出部分算子作为目标算子，并将所述目标算子部署到所述第二执行端，使得当前模型开销小于或等于所述第一开销，包括：
3.根据权利要求2所述的方法，其特征在于，所述采用模拟退火算法，对部署在所述第一执行端的所述目标模型的算子进行筛选，确定出优化算子，包括：
4.根据权利要求3所述的方法，其特征在于，所述若达到第一预设次数，则确定当前部署在所述第二执行端的算子为优化算子，包括：
【专利技术属性】
技术研发人员：杨训政，曲虎，单鹏赫，
申请(专利权)人：转转一零二四北京科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。