【技术实现步骤摘要】
一种模型部署方法、装置、设备及计算机可读存储介质
[0001]本申请涉及人工智能领域，特别涉及一种模型部署方法、装置、设备及计算机可读存储介质。
技术介绍
[0002]随着人工智能(artificial intelligence，AI)的迅速发展，将云侧设备的AI推理模型转移到端侧设备(例如智能手机、平板电脑等)，极大地满足了人们生活中越来越强烈的智能化需求。端侧设备通常具备多个芯片用于不同端侧模型的加载和运行，由于端侧推理模型在不同的芯片上的模型运行性能(即模型运行速度和模型加载速度)具有差异性，为了提升端侧推理模型在端侧设备上的模型运行性能，通常会针对某一推理模型对端侧设备包括的各个芯片进行模型运行性能测试，并根据该性能测试结果选取满足模型运行性能要求的芯片用以部署该推理模型。
[0003]但，采用这样的方法可能会出现不能完全满足该模型性能需求的情况，例如，就某些推理模型而言，中央处理器(Central Processing Unit，CPU)的加载速度快于图形处理器(Graphics Processing Un...
【技术保护点】
【技术特征摘要】
1.一种模型部署方法，其特征在于，所述方法包括：将推理模型切分为多个目标模块；根据目标芯片的数量得到至少一个候选组合，每个所述候选组合包括各个所述目标模块与目标芯片的对应关系，目标芯片的数量为大于1的整数；从所述至少一个候选组合确定一个或多个第一候选组合，所述第一候选组合为所述至少一个候选组合中第一性能指标满足第一性能指标阈值的候选组合；从所述一个或多个第一候选组合中确定第二候选组合，所述第二候选组合为所述一个或多个第一候选组合中第二性能指标最小的第一候选组合。2.根据权利要求1所述方法，其特征在于，所述将推理模型切分为多个目标模块，包括：根据所述推理模型中的各个算子之间的连接结构特性和/或数据传输特性，将所述推理模型切分为多个目标模块。3.根据权利要求1或2所述方法，其特征在于，所述根据目标芯片的数量得到至少一个候选组合，包括：根据目标芯片的数量和所述多个目标模块中各个目标模块之间的连接结构特性和/或数据传输特性，得到至少一个候选组合。4.根据权利要求1～3中任意一项所述方法，其特征在于，所述目标模块包括从所述至少一个候选组合确定一个或多个第一候选组合之前，所述方法还包括：根据各个所述目标模块中的算子在所述目标芯片上的第一性能指标和第二性能指标，确定各个所述目标模块在所述目标芯片上的第一性能指标和第二性能指标；根据每个所述候选组合中的目标模块在所述目标芯片上的第一性能指标和第二性能指标，确定每个所述候选组合的第一性能指标和第二性能指标。5.根据权利要求4所述方法，其特征在于，所述根据各个所述目标模块中的算子在所述目标芯片上的第一性能指标和第二性能指标，确定各个所述目标模块在所述目标芯片上的第一性能指标和第二性能指标，包括：针对各个所述目标模块，若所述目标模块包括的各个算子之间的连接结构特性为并行连接结构，则将第一目标算子在目标芯片上的第一性能指标确定为所述目标模块在所述目标芯片上的第一性能指标，将第二目标算子在目标芯片上的第二性能指标确定为所述目标模块在所述目标芯片上的第二性能指标，所述第一目标算子的第一性能指标为所述目标模块包括的至少一个算子的第一性能指标的最大值，所述第二目标算子的第二性能指标为所述目标模块包括的至少一个算子的第二性能指标的最大值。6.根据权利要求4或5所述方法，其特征在于，根据每个所述候选组合中的目标模块在所述目标芯片上的第一性能指标和第二性能指标，确定每个所述候选组合的第一性能指标和第二性能指标，包括：根据所述每个候选组合包括的目标模块在各个所述目标芯片上的第一性能指标和第二性能指标，以及所述各个所述目标芯片之间的数据传输时间，确定所述每个候选组合的第一性能指标和第二性能指标。7.一种模型部署装置，其特征在于，所述装置包括：切分单元，用于将推理模型切分为多个目标模块；分析单元，用...
【专利技术属性】
技术研发人员：俞清华，江继勇，杨仁志，隋志成，刘默翰，毛峰，周力，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。