【技术实现步骤摘要】
模型切分方法、装置、电子设备及计算机存储介质
[0001]本申请涉及深度学习
,具体而言,本申请涉及一种模型切分方法
、
装置
、
电子设备及计算机存储介质
。
技术介绍
[0002]随着深度学习技术的快速发展,网络模型的结构越来越复杂
。
在模型推理平台上对网络模型进行推理时,网络模型中的各个子结构会涉及数据交互,通常需要对各个子结构进行量化,在各个子结构与另一子结构进行交互时,要对量化后的子结构进行反量化操作,再进行数据交互
。
[0003]现有技术中的方法在一些无需量化或反量化操作的位置添加了量化算子或反量化算子,从而使得模型中子结构的交互的效率较低,花费时间较多,导致资源浪费,使得总体性能较低
。
技术实现思路
[0004]本申请实施例旨在解决现有的多个模型间插入大量非必要的量化与反量化算子浪费资源,花费时间较长,总体性能较低的问题
。
所述技术方案如下:
[0005]第一方面,本申请提供了一种模型切分方法,包括:
[0006]获取多任务模型,将所述多任务模型切分为多个子任务模型;所述每一子任务模型对应一个可选任务的输入标识和输出标识;
[0007]若检测到所述多个子任务模型中任一第一任务模型的输入标识为第二任务模型的输出标识,删除所述第一任务模型和所述第二任务模型的交互信息中的量化算子和反量化算子,得到更新交互信息;
[0008]通过所述各个子任务模型对应的更 ...
【技术保护点】
【技术特征摘要】
1.
一种模型切分方法,其特征在于,包括:获取多任务模型,将所述多任务模型切分为多个子任务模型;所述每一子任务模型对应一个可选任务的输入标识和输出标识;若检测到所述多个子任务模型中任一第一任务模型的输入标识为第二任务模型的输出标识,删除所述第一任务模型和所述第二任务模型的交互信息中的量化算子和反量化算子,得到更新交互信息;通过所述各个子任务模型对应的更新交互信息,运行所述各个子任务模型以处理目标任务,得到目标任务对应的目标结果
。2.
基于权利要求1所述的模型切分方法,其特征在于,所述将所述多任务模型切分为多个子任务模型,包括:确定所述多任务模型中的多个可选任务的输入标识和输出标识;基于所述每一可选任务的输入标识和输出标识确定切分点;基于所述切分点将所述多任务模型切分,得到所述多个子任务模型
。3.
基于权利要求2所述的模型切分方法,其特征在于,所述基于所述每一可选任务的输入标识和输出标识确定切分点,包括:若检测到所述多个可选任务中第一任务的输入标识与第二任务的输出标识相同,则将所述多任务模型中第一任务的输入标识或第二任务的输出标识对应的节点作为所述切分点
。4.
基于权利要求2所述的模型切分方法,其特征在于,所述基于所述切分点将所述多任务模型切分之后,还包括:基于所述每一可选任务的输入标识和输出标识确定所述各个子任务模型之间的连接关系;所述运行所述各个子任务模型处理目标任务,包括:通过所述连接关系运行所述各个子任务模型以处理目标任务
。5.
基于权利要求1所述的模型切分方法,其特征在于,所述运行所述各个子任务模型以处理目标任务,包括:通过所述每一子任务模型分别对应的线程,分别运行所述各个子任务模型以处理目标任务
。6.
基于权利要求1所述的模型切分方法,其特征在于,所述删除所述第一任务模型和所述第二任务模型的交互信息中的量化算子和反量化算子,得到更新交互信息,包括:删除所述交互信息中所述第一任务模型的量化算子,并删除所述交互信息中所述第二任务模型的反量化算子,得到所述更新交互信息
。7...
【专利技术属性】
技术研发人员:干雨稠,张强,
申请(专利权)人:安谋科技中国有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。