部署机器学习模型的方法技术

本公开提供用于在计算机系统中部署机器学习模型的方法

【技术实现步骤摘要】
部署机器学习模型的方法、装置、设备以及存储介质


[0001]本公开的实施例涉及一种面向存算一体系统的流水线感知部署方法
、
装置
、
设备和非暂时性计算机可读介质
。

技术介绍

[0002]随着深度学习在许多现实任务中，如自然语言处理
、
图像生成等领域，取得了瞩目的成就，它正在逐步改变人们的日常工作和生活
。
同时，效果显著的深度学习模型需要强大计算能力的支撑，而传统的基于冯诺依曼架构的计算设备，如
CPU
，
GPU
等，面临存储单元与计算单元分离的问题，无法降低计算的能耗，从而增加了推理深度学习模型的成本
。
存算一体系统相比于传统的计算系统在许多深度学习推理任务中可以获得更高的计算能效比，近几年在国内外被广泛研究，有望应用于许多终端设备中
。
但是随着深度学习模型的结构越来越多样，通过手工的方式将算法部署到存算一体系统中将会带来不可忽略的代价
。

技术实现思路

>[0003]本公开本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种用于在计算机系统中部署机器学习模型的方法，所述方法包括：提取所述机器学习模型的多个计算任务，基于所述计算机系统的硬件特性，将所述计算机系统的多个计算单元分组划分为多个计算单元分组集合，其中，所述多个计算单元分组集合具有不同的计算性能，基于计算量将所述机器学习模型的所述多个计算任务进行排序，针对排序后的多个计算任务中的每一个计算任务，从一个或多个可用计算单元分组中选择具有所需计算性能的一个或多个计算单元分组中的一个计算单元分组，并将所述计算任务映射到所选择的计算单元分组中的计算单元
。2.
根据权利要求1所述的方法，其中，基于所述计算机系统的所述硬件特性，将所述计算机系统的所述多个计算单元分组划分为所述多个计算单元分组集合，包括：基于计算单元分组中所包括的一个或多个计算单元的数量以及所述计算单元分组中所包括的所述一个或多个计算单元对所述计算机系统的存储单元的访问关系，将所述计算机系统的所述多个计算单元分组划分为具有不同计算性能的所述多个计算单元分组集合
。3.
根据权利要求2所述的方法，其中，所述多个计算单元分组集合包括第一计算单元分组集合
、
第二计算单元分组集合和第三计算单元分组集合，其中，所述第一计算单元分组集合中的计算单元分组包括多个第一计算单元，并且所述多个第一计算单元配置为同时分别访问不同的第一存储单元，所述第二计算单元分组集合中的计算单元分组包括多个第二计算单元，并且所述多个第二计算单元配置为分时访问相同的第二存储单元，以及所述第三计算单元分组集合中的计算单元仅包括独立的第三计算单元，并且所述第三计算单元配置为访问第三存储单元
。4.
根据权利要求1所述的方法，其中，所述计算机系统是存算一体系统，并且所述计算单元是存算单元，其中，所述存算单元包括至少一个存算一体阵列以及用于所述至少一个存算一体阵列的外围驱动电路
。5.
根据权利要求4所述的方法，其中，所述机器学习模型是深度学习模型
。6.
根据权利要求5所述的方法，其中，所述多个计算任务中的每一个计算任务包括所述深度学习模型的相邻网络层之间的计算，并且其中，基于所述计算量将所述机器学习模型的所述多个计算任务进行排序，包括：根据所述深度学习模型的相邻网络层之间的计算量，对所述深度学习模型的所述多个计算任务进行排序，其...

【专利技术属性】
技术研发人员：吴华强，喻睿华，高滨，唐建石，钱鹤，
申请(专利权)人：清华大学，
类型：发明
国别省市：