当前位置: 首页 > 专利查询>英特尔公司专利>正文

用于平衡权重中的稀疏性以用于加速深度神经网络的系统和方法技术方案

技术编号:40537791 阅读:20 留言:0更新日期:2024-03-01 14:00
提供了一种访问DNN中的层序列中的层的权重向量的设备。权重向量包括具有不同值的权重的第一序列。基于权重向量生成位图。位图包括位图元素的第二序列。每个位图元素对应于不同的权重并且具有至少基于对应权重的值而确定的值。第二序列中的每个位图元素的索引匹配第一序列中的对应权重的索引。通过基于位图元素的值重新布置第二序列中的位图元素来生成新的位图。基于新的位图来重新布置权重向量。重新布置的权重向量被划分成子集,所述子集中的每个子集被指配到不同的PE以用于MAC运算。

【技术实现步骤摘要】
【国外来华专利技术】

这个公开一般涉及神经网络,并且更具体地,涉及加速深度神经网络(dnn)。


技术介绍

1、深度神经网络由于其实现高准确度的能力而广泛用于范围从计算机视觉到语音辨别和自然语言处理的各种各样的人工智能应用。然而,高准确度以显著的计算成本为代价出现。dnn具有极高的计算需求,因为每个推断可能要求数亿个mac(乘法-累加)运算以及数亿个滤波器权重被存储以用于分类或检测。因此,需要改进dnn的效率的技术。


技术实现思路

【技术保护点】

1.一种用于平衡深度神经网络(DNN)中的稀疏性的方法,所述方法包括:

2.根据权利要求1所述的方法,其中,所述层与包括激活的第三序列的激活向量关联,所述方法进一步包括:

3.根据权利要求1所述的方法,其中,至少基于所述权重向量生成所述位图包括:

4.根据权利要求3所述的方法,其中,所述位图中的每个相应位图元素对应于所述权重位图中的不同的权重位图元素和所述激活位图中的不同的激活位图元素,所述相应位图元素具有等于所述对应的权重位图元素的值与所述对应的激活位图元素的值的乘积的值。

5.根据权利要求1所述的方法,其中,所述DNN进一步包括在所述序...

【技术特征摘要】
【国外来华专利技术】

1.一种用于平衡深度神经网络(dnn)中的稀疏性的方法,所述方法包括:

2.根据权利要求1所述的方法,其中,所述层与包括激活的第三序列的激活向量关联,所述方法进一步包括:

3.根据权利要求1所述的方法,其中,至少基于所述权重向量生成所述位图包括:

4.根据权利要求3所述的方法,其中,所述位图中的每个相应位图元素对应于所述权重位图中的不同的权重位图元素和所述激活位图中的不同的激活位图元素,所述相应位图元素具有等于所述对应的权重位图元素的值与所述对应的激活位图元素的值的乘积的值。

5.根据权利要求1所述的方法,其中,所述dnn进一步包括在所述序列中的所述层前面的前面层,所述前面层与权重的第三序列关联,所述方法进一步包括:

6.根据权利要求1所述的方法,其中:

7.根据权利要求6所述的方法,其中,基于所述位图元素的所述值重新布置所述第二序列中的所述位图元素包括:

8.根据权利要求6所述的方法,其中,基于所述位图元素的所述值重新布置所述第二序列中的所述位图元素包括:

9.根据权利要求6所述的方法,其中,基于所述位图元素的所述值重新布置所述第二序列中的所述位图元素包括:

10.根据权利要求1所述的方法,其中,基于所述新的位图将所述权重向量指配到所述dnn的所述层中的所述多个处理元件包括:

11.一种或多种非暂时性计算机可读介质,所述非暂时性计算机可读介质存储可执行以执行用于平衡深度神经网络(dnn)中的稀疏性的操作的指令,所述操作包括:

12.根据权利要求11所述的一种或多种非暂时性计算机可读介质,其中,所述层与包括激活的第三序列的激活向量关联,并且所述操作进一步包括:

13.根据权利要求11所述的一种或多种非暂时性计算机可读介质,其中,至少基于所述权重向量生成所述位图包括:

14.根据权利要求13所述的一种...

【专利技术属性】
技术研发人员:A·拉哈D·莫哈帕特拉D·A·马泰库蒂R·JH·宋C·M·布里克
申请(专利权)人:英特尔公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1