【技术实现步骤摘要】
【国外来华专利技术】
这个公开一般涉及神经网络,并且更具体地,涉及加速深度神经网络(dnn)。
技术介绍
1、深度神经网络由于其实现高准确度的能力而广泛用于范围从计算机视觉到语音辨别和自然语言处理的各种各样的人工智能应用。然而,高准确度以显著的计算成本为代价出现。dnn具有极高的计算需求,因为每个推断可能要求数亿个mac(乘法-累加)运算以及数亿个滤波器权重被存储以用于分类或检测。因此,需要改进dnn的效率的技术。
技术实现思路
【技术保护点】
1.一种用于平衡深度神经网络(DNN)中的稀疏性的方法,所述方法包括:
2.根据权利要求1所述的方法,其中,所述层与包括激活的第三序列的激活向量关联,所述方法进一步包括:
3.根据权利要求1所述的方法,其中,至少基于所述权重向量生成所述位图包括:
4.根据权利要求3所述的方法,其中,所述位图中的每个相应位图元素对应于所述权重位图中的不同的权重位图元素和所述激活位图中的不同的激活位图元素,所述相应位图元素具有等于所述对应的权重位图元素的值与所述对应的激活位图元素的值的乘积的值。
5.根据权利要求1所述的方法,其中,所述DN
...【技术特征摘要】
【国外来华专利技术】
1.一种用于平衡深度神经网络(dnn)中的稀疏性的方法,所述方法包括:
2.根据权利要求1所述的方法,其中,所述层与包括激活的第三序列的激活向量关联,所述方法进一步包括:
3.根据权利要求1所述的方法,其中,至少基于所述权重向量生成所述位图包括:
4.根据权利要求3所述的方法,其中,所述位图中的每个相应位图元素对应于所述权重位图中的不同的权重位图元素和所述激活位图中的不同的激活位图元素,所述相应位图元素具有等于所述对应的权重位图元素的值与所述对应的激活位图元素的值的乘积的值。
5.根据权利要求1所述的方法,其中,所述dnn进一步包括在所述序列中的所述层前面的前面层,所述前面层与权重的第三序列关联,所述方法进一步包括:
6.根据权利要求1所述的方法,其中:
7.根据权利要求6所述的方法,其中,基于所述位图元素的所述值重新布置所述第二序列中的所述位图元素包括:
8.根据权利要求6所述的方法,其中,基于所述位图元素的所述值重新布置所述第二序列中的所述位图元素包括:
9.根据权利要求6所述的方法,其中,基于所述位图元素的所述值重新布置所述第二序列中的所述位图元素包括:
10.根据权利要求1所述的方法,其中,基于所述新的位图将所述权重向量指配到所述dnn的所述层中的所述多个处理元件包括:
11.一种或多种非暂时性计算机可读介质,所述非暂时性计算机可读介质存储可执行以执行用于平衡深度神经网络(dnn)中的稀疏性的操作的指令,所述操作包括:
12.根据权利要求11所述的一种或多种非暂时性计算机可读介质,其中,所述层与包括激活的第三序列的激活向量关联,并且所述操作进一步包括:
13.根据权利要求11所述的一种或多种非暂时性计算机可读介质,其中,至少基于所述权重向量生成所述位图包括:
14.根据权利要求13所述的一种...
【专利技术属性】
技术研发人员:A·拉哈,D·莫哈帕特拉,D·A·马泰库蒂,R·JH·宋,C·M·布里克,
申请(专利权)人:英特尔公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。