【技术实现步骤摘要】
加速器运算控制方法、系统、存储介质、装置及设备
[0001]本专利技术涉及人工智能
,尤其涉及一种加速器运算控制方法、系统、存储介质、装置及设备。
技术介绍
[0002]目前,云端和边缘端对AI(Artificial Intelligence,人工智能)芯片的算力都有很高的要求,AI算力通常以乘加计算能力为衡量指标。例如,假设AI芯片内部集成了一个二维(2D)的32行64列的int8乘加运算阵列,芯片主频为1GHz,则该乘加运算阵列的算力为64*32*2*1G=4096G,即4T flops(floatingpoint operations per second,每秒浮点运算次数)的算力。为了使AI芯片达到算力要求,开发商通常会在芯片上集成大量的乘加运算单元,堆积出所需的算力。AI芯片常通过多个core(核心)达到更大的算力。
[0003]对于卷积神经网络(CNN),通常由多个卷积层组成,每个卷积层包含卷积运算、激活运算、池化运算等,乘加运算是主要运算,占总计算量的90%以上。卷积运算的特点:运算类型单一,乘加 ...
【技术保护点】
【技术特征摘要】
1.一种加速器运算控制方法,其特征在于,包括以下步骤:根据加速器所对应的硬件资源对图片数据和模型数据分别进行粒度拆分,得到单位图片数据和单位模型数据;基于卷积原理读取所述单位图片数据和所述单位模型数据,以使所述加速器在卷积运算过程中复用所述单位图片数据和所述单位模型数据。2.根据权利要求1所述的方法,其特征在于,根据加速器所对应的硬件资源对图片数据和模型数据分别进行粒度拆分包括:对所述图片数据的输入通道数进行粒度拆分,得到多个输入通道组;对所述模型数据的卷积核数进行粒度拆分,得到多个卷积核组。3.根据权利要求2所述的方法,其特征在于,使所述加速器在卷积运算过程中复用所述单位图片数据和所述单位模型数据包括:以每个输入通道组和每个卷积核组为单位对所述图片数据和所述模型数据依次进行卷积核复用循环、卷积核数据循环、通道循环、图片数据批次循环和卷积核组循环。4.根据权利要求3所述的方法,其特征在于,所述卷积核复用循环包括:对当前输入通道组的图片数据依次读取,并利用当前卷积核组中的当前卷积核数据对依次读取的图片数据进行卷积计算。5.根据权利要求3所述的方法,其特征在于,所述卷积核数据循环包括:响应于当前卷积核数据计算完成,加载当前卷积核组中的下一个卷积核数据,并对所述下一个卷积核数据进行卷积核复用循环。6.根据权利要求3所述的方法,其特征在于,所述通道循环包括:响应于当前输入通道组的图片数据计算完成,继续计算下一个输入通道组的图片数据,并对所述下一个输入通道组的图片数据依次进行卷积核复用循环和卷积核数据循环。7.根据权利要求3所述的方法,其特征在于,所述图片数据批次循环包括:响应于当前批次的图片数据计算完成,继续计算下一批次图片数据,并对所述下一批次图片数据依次进行卷积核复用循环、卷积核数据循环和通道循环。8.根据权利要求3所述的方法,其特征在于,所述卷积核组循环包括:响应于当前卷积核组计算完成,加载下一个卷积核组,并利用所述下一个卷积核组依次进行卷积核复用循环、卷积核数据循环、通道循环和图片数据批次循环。9.根据权利要求1所述的方法,其特征在于,基于卷积原理读取所述单位图片数据和所述单位模型数据包括:通过运算逻辑发生器基于卷积原理读取所述单位图片数据和所述单位模型数据,并将读取过程封装为逻辑控制包。10.根据权利要求9所述的方法,其特征在于,还包括:通过所述运算逻辑发生器将所述逻辑控制包同时发送至图片数据加载模块和模型数据加载模块;所述图片数据加载模块和所述模型数据加载模块基于接收到的所述逻辑控制包分别从缓存中读取当前待加载的图片数据和模型数据;通过所述图片数据加载模块和所述模型数据加载模块基于所述逻辑控制包中的边界条件将所述当前待加载的图片数据和模型数据对齐,并同步加载至乘加运算阵列进行乘加
运算。11.根据权利要求10所述的方法,其特征在于,所述边界条件包括多个边界信号,所述多个边界信号随时钟周期进行更新;所述多个边界信号包括卷积...
【专利技术属性】
技术研发人员:贾兆荣,
申请(专利权)人:苏州浪潮智能科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。