神经网络加速器设计方法及装置制造方法及图纸

技术编号:42382115 阅读:20 留言:0更新日期:2024-08-16 16:10
本发明专利技术提供一种神经网络加速器的设计方法以及装置,所述方法包括:根据硬件模板和硬件设计约束生成硬件设计空间,该硬件设计空间包括多个硬件设计实例;其中,每个硬件设计实例包括用于处理不同的数据流的多个子加速器,每个子加速器由多个芯粒构成;以及针对硬件设计实例:根据确定输入的任务负载模型中每个算子在该硬件设计实例的单个子加速器上的最优调度策略;根据所述最优调度策略和所述任务负载模型,确定将任务负载模型中各个算子映射至该硬件设计实例的各子加速器的最优映射策略;评估各个硬件设计实例对应的最优调度策略和最优映射策略的性能代价,从中选出最优的硬件设计实例。本发明专利技术可以改善神经网络加速器的硬件设计效率。

【技术实现步骤摘要】

本专利技术属于人工智能领域,尤其涉及一种神经网络加速器设计方法及装置


技术介绍

1、本部分的陈述仅仅是为了提供与本申请的技术方案有关的背景信息,以帮助理解,其对于本申请的技术方案而言并不一定构成现有技术。

2、神经网络加速器是一种可以提高神经网络模型训练和推理过程的硬件设备。随着人工智能和机器学习应用的广泛发展,对于执行复杂数学运算的需求日益增长,神经网络加速器可以显著提高计算效率和速度,降低能耗。在神经网络加速器的设计和应用中,数据流和算子扮演着重要的角色。数据流通常指的是数据在神经网络模型中的流动方式。例如,待执行的程序通常以数据流图表征,数据流图描述数据从一个或多个源到一个或多个目的地的转换过程,由一系列的算子(operator)组成,这些算子对输入的数据进行某种计算或转换,然后传递给下一个算子。算子是神经网络加速器中用于执行特定操作的单元,如矩阵乘法、卷积运算、过滤等。在神经网络加速器中,数据流和算子共同决定了模型训练和推理的效率。数据流的设计需要考虑数据如何在算子之间高效传输,而算子则需要针对特定的神经网络操作进行优化,以利用硬件的本文档来自技高网...

【技术保护点】

1.一种神经网络加速器的设计方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,针对输入的任务负载模型中每个算子,分别确定该算子在该硬件设计实例的每个子加速器上的最优调度策略,包括:

3.根据权利要求2所述的方法,其特征在于,在利用模拟器对所述多个调度策略进行代价评估之前,还包括:

4.根据权利要求3所述的方法,其特征在于,所述剪枝处理包括以下至少之一:基于最大化利用率的自动约束方案、对单位因子等价排列的剪枝和基于固定数据流的非单位因子的次优剪枝。

5.根据权利要求2所述的方法,其特征在于,根据每个算子在该硬件设计实例的各个...

【技术特征摘要】

1.一种神经网络加速器的设计方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,针对输入的任务负载模型中每个算子,分别确定该算子在该硬件设计实例的每个子加速器上的最优调度策略,包括:

3.根据权利要求2所述的方法,其特征在于,在利用模拟器对所述多个调度策略进行代价评估之前,还包括:

4.根据权利要求3所述的方法,其特征在于,所述剪枝处理包括以下至少之一:基于最大化利用率的自动约束方案、对单位因子等价排列的剪枝和基于固定数据流的非单位因子的次优剪枝。

5.根据权利要求2所述的方法,其特征在于,根据每个算子在该硬件设计实例的各个子加速器上的最优调度策略和所述任务负载模型,确定将任务负载模型中各个算子映射至该硬件设计实例的各个子加速器的最优映射策略,包括:

6.根据权利要求5所述的方法,其特征在于,根据每个...

【专利技术属性】
技术研发人员:尹宇晨王梦迪王郁杰王颖韩银和
申请(专利权)人:中国科学院计算技术研究所
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1