一种用于神经网络的卷积方法及装置制造方法及图纸

技术编号:26772280 阅读:23 留言:0更新日期:2020-12-18 23:55
本申请实施例提供一种用于神经网络的卷积方法及装置,涉及计算机技术领域,实现避免深度学习过程中的无效操作,以节约处理计算能力以及节省数据带宽。具体包括:对原始数据采样,以获取至少一个采样数据和该原始数据中除采样数据以外的至少一个剩余数据,剩余数据包括待处理剩余数据;当该参考采样数据与该卷积核的卷积结果不满足预设条件时,将该待处理剩余数据与卷积核的卷积结果设置为0。本申请用于卷积计算。

【技术实现步骤摘要】
【国外来华专利技术】一种用于神经网络的卷积方法及装置
本申请涉及计算机
,尤其涉及一种用于神经网络的卷积方法及装置。
技术介绍
神经网络在图像、语音识别等领域有广泛的应用前景,神经网络中的深度学习过程中卷积运算占据总计算量的90%或以上,是最主要的计算量来源。在卷积运算时,由于Relu等激活函数的广泛应用,导致很多卷积运算的最终结果为0。而0值在后续的计算中对结果不会产生任何贡献,顾业界广泛认为计算结果为0的卷积运算在深度学习中是无效操作。无效操作不仅浪费了处理单元的计算能力,无效操作所引起的数据搬移还会导致数据带宽的浪费。
技术实现思路
本申请实施例提供一种用于神经网络的卷积方法及装置,避免深度学习过程中的无效操作,以节约处理计算能力以及节省数据带宽。为达到上述目的,本申请的实施例采用如下技术方案:第一方面,提供一种用于神经网络的卷积方法,该方法可以包括:对原始数据采样,以获取至少一个采样数据和该原始数据中除采样数据以外的至少一个剩余数据,剩余数据包括待处理剩余数据;当该待处理剩余数据的参考采样数据与神经网络中的卷积核的卷积结果满足预设条件时,将该待处理剩余数据与该卷积核进行卷积计算,以获得该待处理剩余数据与该卷积核的卷积结果;当该参考采样数据与该卷积核的卷积结果不满足预设条件时,将该待处理剩余数据与卷积核的卷积结果设置为0。其中,参考采样数据为采样数据中的至少一个数据,且参考采样数据存在于原始数据中的位置与待处理剩余数据存在于原始数据中的位置呈预设位置关系。通过本申请提供的用于神经网络的卷积方法,对参考采样数据与卷积核的卷积结果不满足预设条件的待处理数据,直接将其与该卷积核的卷积结果设置为0,跳略卷积计算步骤,预测性得到卷积结果,而不进行实际计算,节省了处理计算,避免了无效操作;同时,跳略计算步骤则不再加载卷积核相关参数,省略数据搬移节省了数据带宽。其中,待处理数据为至少一个剩余数据中的一个数据。对于每一个待处理数据,均执行相同的过程,以获取其与神经网络中每一个卷积核的卷积结果。该获取过程根据待处理数据的参考采样数据与卷积核的卷积结果是否满足预设条件,进行计算或者预测设置。可选的,参考采样数据可以为采样数据中一个数据或者多个数据,可以根据实际需求配置参考采样数据的数量,本申请对此不进行具体限定。结合第一方面,在一种可能的实现方式中,参考采样数据为采样数据中的一个数据,待处理剩余数据的参考采样数据与神经网络中的卷积核的卷积结果满足预设条件,可以包括:参考采样数据与该卷积核的卷积结果大于0。结合第一方面,在另一种可能的实现方式中,参考采样数据为采样数据中的多个数据,待处理剩余数据的参考采样数据与神经网络中的卷积核的卷积结果满足预设条件,可以包括:多个所述参考采样数据与所述卷积核的卷积结果的平均值大于0;或者,多个参考采样数据与卷积核的卷积结果中的最大值大于0;或者,多个参考采样数据与卷积核的卷积结果中的最小值大于0。可选的,预设条件的内容可以根据实际需求配置,考虑将产生正激励的条件配置为预设条件。其中,对于预设条件中的判断阈值,可以根据实际需求配置,本申请对此不进行具体限定。示例性的,一般情况下,可以将0作为判断阈值(是否产生正激励),此时,将预设条件的内容配置为与阈值0对比。当然,对于产生正激励的判断阈值,也可以把非常接近0的一个负小数(比如-0.002)作为判断阈值,那么预设条件就可以配置为与阈值-0.002对比。需要说明的是,此处对于预设条件的配置过程,均为示例性说明,并不是对此的具体限定。结合第一方面或上述任一种可能的实现方式,在另一种可能的实现方式中,参考采样数据存在于原始数据中的位置与待处理剩余数据存在于原始数据中的位置呈预设位置关系,可以包括:在原始数据中,参考采样数据与待处理剩余数据所处的位置相邻。其中,相邻位置可以根据实际需求配置,本申请对于相邻位置的定义不进行具体限定。示例性的,若原始数据为一帧图像中的像素,相邻位置可以为距离待处理数据K个像素内,待处理数据的参考采样数据可以为采样数据中,距离该待处理数据K个像素内的采样数据。其中,K大于或等于1。示例性的,若原始数据为语音数据,相邻位置可以为待处理数据之前或者之后。相应的,待处理数据的参考采样数据可以为位于待处理数据之前或之后的一个或多个采样数据,或者,待处理数据的参考采样数据可以为位于待处理数据之前的M个采样数据和位于待处理数据之后的N个采样数据。其中,M、N大于或等于1。结合第一方面或上述任一种可能的实现方式,在另一种可能的实现方式中,该神经网络可以包括多个卷积核,本申请提供的用于神经网络的卷积方法还可以包括:将每个采样数据与该神经网络中每个卷积核的卷积结果,以及每个剩余数据与该神经网络中每个卷积核的卷积结果,按照每个采样数据和每个剩余数据存在于原始数据中的位置进行组合,以得到原始数据在神经网络中的卷积结果。需要说明的是,按照卷积计算原理,A×B格式的原始数据,与C×C的卷积核进行卷积运算,得到的卷积结果的格式为(A-C+1)×(B-C+1),因此,卷积运算的输入数据与输出数据的格式可能不同,并不是一一映射的关系。本申请按照原始数据与卷积运算的输出数据的位置是强相关的,描述的组合是指按照位置布局排列分布。结合第一方面或上述任一种可能的实现方式,在另一种可能的实现方式中,原始数据为一帧图像中的像素。对应的,对原始数据采样,以获取至少一个采样数据和原始数据中除采样数据以外的至少一个剩余数据,可以包括:对图像中的像素进行采样,以获得至少一个采样像素集合和至少一个剩余像素集合。对应的,参考采样数据为采样数据中的至少一个数据,且参考采样数据存在于原始数据中的位置与待处理剩余数据存在于原始数据中的位置呈预设位置关系,可以包括:参考采样数据为至少一个采样像素集合中的第一像素集合,待处理剩余数据为至少一个剩余像素集合中的第二像素集合,且在图像中,第一像素集合和第二像素集合相邻。第二方面,提供一种用于神经网络的卷积装置,包括:采样单元,用于对原始数据采样,以获取至少一个采样数据和所述原始数据中除采样数据以外的至少一个剩余数据,剩余数据包括待处理剩余数据;卷积单元,用于将每个采样数据与神经网络中的卷积核进行卷积计算,以获得每个采样数据与卷积核的卷积结果;判断单元,用于判断待处理剩余数据的参考采样数据与神经网络中的卷积核的卷积结果是否满足预设条件;卷积单元还用于,当判断单元判断待处理剩余数据的参考采样数据与神经网络中的卷积核的卷积结果满足预设条件时,将待处理剩余数据与卷积核进行卷积计算,以获得待处理剩余数据与卷积核的卷积结果;设置单元,用于当判断单元判断参考采样数据与卷积核的卷积结果不满足预设条件时,将待处理剩余数据与卷积核的卷积结果设置为0。其中,参考采样数据为采样数据中的至少一个数据,且参考采样数据存在于原始数据中的位置与待处理剩余数据存在于原始数据中的位置呈预设位置关系。通过本申请提供的用于神经网络的卷积装置,对参考采样数据与卷积核的卷积结果不满足预本文档来自技高网...

【技术保护点】
一种用于神经网络的卷积方法,其特征在于,包括:/n对原始数据采样,以获取至少一个采样数据和所述原始数据中除所述采样数据以外的至少一个剩余数据,所述剩余数据包括待处理剩余数据;/n当所述待处理剩余数据的参考采样数据与所述神经网络中的卷积核的卷积结果满足预设条件时,将所述待处理剩余数据与所述卷积核进行卷积计算,以获得所述待处理剩余数据与所述卷积核的卷积结果;/n当所述参考采样数据与所述卷积核的卷积结果不满足所述预设条件时,将所述待处理剩余数据与所述卷积核的卷积结果设置为0;/n其中,所述参考采样数据为所述采样数据中的至少一个数据,且所述参考采样数据存在于所述原始数据中的位置与所述待处理剩余数据存在于所述原始数据中的位置呈预设位置关系。/n

【技术特征摘要】
【国外来华专利技术】一种用于神经网络的卷积方法,其特征在于,包括:
对原始数据采样,以获取至少一个采样数据和所述原始数据中除所述采样数据以外的至少一个剩余数据,所述剩余数据包括待处理剩余数据;
当所述待处理剩余数据的参考采样数据与所述神经网络中的卷积核的卷积结果满足预设条件时,将所述待处理剩余数据与所述卷积核进行卷积计算,以获得所述待处理剩余数据与所述卷积核的卷积结果;
当所述参考采样数据与所述卷积核的卷积结果不满足所述预设条件时,将所述待处理剩余数据与所述卷积核的卷积结果设置为0;
其中,所述参考采样数据为所述采样数据中的至少一个数据,且所述参考采样数据存在于所述原始数据中的位置与所述待处理剩余数据存在于所述原始数据中的位置呈预设位置关系。


根据权利要求1所述的用于神经网络的卷积方法,其特征在于,所述参考采样数据为所述采样数据中的一个数据,所述待处理剩余数据的参考采样数据与所述神经网络中的卷积核的卷积结果满足预设条件,包括:
所述参考采样数据与所述卷积核的卷积结果大于0。


根据权利要求1所述的用于神经网络的卷积方法,其特征在于,所述参考采样数据为所述采样数据中的多个数据,所述待处理剩余数据的参考采样数据与所述神经网络中的卷积核的卷积结果满足预设条件,包括:
多个所述参考采样数据与所述卷积核的卷积结果的平均值大于0;
或者,
多个所述参考采样数据与所述卷积核的卷积结果中的最大值大于0;
或者,
多个所述参考采样数据与所述卷积核的卷积结果中的最小值大于0。


根据权利要求1至3任一项所述的用于神经网络的卷积方法,其特征在于,所述参考采样数据存在于所述原始数据中的位置与所述待处理剩余数据存在于所述原始数据中的位置呈预设位置关系,包括:
在所述原始数据中,所述参考采样数据与所述待处理剩余数据所处的位置相邻。


根据权利要求1至4任一项所述的用于神经网络的卷积方法,其特征在于,所述神经网络包括多个所述卷积核,所述方法还包括:
将每个所述采样数据与每个所述卷积核的卷积结果以及每个所述剩余数据与每个所述卷积核的卷积结果,按照每个所述采样数据和每个所述剩余数据存在于所述原始数据中的位置进行组合,以得到所述原始数据在所述神经网络中的卷积结果。


根据权利要求1至5任一项所述的用于神经网络的卷积方法,其特征在于,所述原始数据为一帧图像中的像素;
对应的,所述对原始数据采样,以获取至少一个采样数据和所述原始数据中除所述采样数据以外的至少一个剩余数据,包括:
对所述图像中的像素进行采样,以获得至少一个采样像素集合和至少一个剩余像素集合;
对应的,所述参考采样数据为所述采样数据中的至少一个数据,且所述参考采样数据存在于所述原始数据中的位置与所述待处理剩余数据存在于所述原始数据中的位置呈预设位置关系,包括:
所述参考采样数据为所述至少一个采样像素集合中的第一像素集合,所述待处理剩余数据为所述至少一个剩余像素集合中的第二像素集合,且在所述图像中,所述第一像素集合和所述第二像素集合相邻。


一种用于神经网络的卷积装置,其特征在于,包括:
采样单元,用于对原始数据采样,以获取至少一个采样数据和所述原始数据中除所述采样数据以外的至少一个剩余数据,所述剩余数据包括待处理剩余数据;
卷积单元,用于将每个所述采样数据与所述神经网络中的卷积核进行卷积计算,以获得每个所述采样数据与所述卷积核的卷积结果;
判断单元,用于判断所述待处理剩余数据的参考采样数据与所述卷积核的卷积结果是否满足预设条件;
所述卷积单元还用于,当所述判断单元判断所述待处理剩余数据的参考采样数据与所述神经网络中的...

【专利技术属性】
技术研发人员:董镇江杨超然刘虎陈海
申请(专利权)人:华为技术有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1