【技术实现步骤摘要】
本公开的实施例涉及一种数据处理方法、数据处理装置、处理器、电子设备和非瞬时性计算机可读存储介质。
技术介绍
1、卷积神经网络(convolutional neural network, cnn)是深度学习领域中主要应用于计算机视觉领域的深度学习算法,在图像识别、语音识别、视频识别、自然语言处理等领域都有广泛的应用。
技术实现思路
1、本公开至少一实施例提供一种数据处理方法,该数据处理方法至少部分地缓解了反向传播运算的性能较低的技术问题,实现了提高反向传播运算的性能,减少缓存的访问,提高缓存的利用率的技术效果。
2、本公开至少一实施例提供一种数据处理方法,用于在反向传播过程中对输入梯度张量和激活张量进行运算操作得到权重梯度张量,所述方法包括:执行多次第一操作得到多个权重梯度子张量,其中,所述权重梯度张量包括高度方向和宽度方向,每个权重梯度子张量为所述权重梯度张量在所述高度方向和所述宽度方向构成的二维矩阵内按照1×n粒度划分出的一个部分,n为大于1的整数;以及将所述多个权重梯度子张
...【技术保护点】
1.一种数据处理方法,用于在反向传播过程中对输入梯度张量和激活张量进行运算操作得到权重梯度张量,所述方法包括:
2.根据权利要求1所述的方法,其中,所述多个第一元素是对所述输入梯度张量按照划分粒度划分得到的多份输入梯度子张量之一中的元素,所述多个第一元素和所述多个第三元素一一对应,
3.根据权利要求1所述的方法,其中,从所述第一缓存中加载所述输入梯度张量的所述多个第一元素和所述激活张量的所述多个第二元素至所述第二缓存,包括:
4.根据权利要求3所述的方法,其中,所述输入梯度张量表示为[N,P,Q,K],P表示高度,Q表示宽度,N表示
...【技术特征摘要】
1.一种数据处理方法,用于在反向传播过程中对输入梯度张量和激活张量进行运算操作得到权重梯度张量,所述方法包括:
2.根据权利要求1所述的方法,其中,所述多个第一元素是对所述输入梯度张量按照划分粒度划分得到的多份输入梯度子张量之一中的元素,所述多个第一元素和所述多个第三元素一一对应,
3.根据权利要求1所述的方法,其中,从所述第一缓存中加载所述输入梯度张量的所述多个第一元素和所述激活张量的所述多个第二元素至所述第二缓存,包括:
4.根据权利要求3所述的方法,其中,所述输入梯度张量表示为[n,p,q,k],p表示高度,q表示宽度,n表示批次数量,k表示输出通道数,所述第一形状尺寸为[k1, d],k1表示所述多个第一元素在输出通道数维度的尺寸,d表示所述多个第一元素在第一通道维度的尺寸,所述第一通道维度为所述输入梯度张量在高度维度、宽度维度和批次数量维度被展开为一维得到,k1小于等于k,
5.根据权利要求4所述的方法,其中,读取所述多个第二元素以获取所述第二操作所需要的多个第三元素,包括:
6.根据权利要求5所述的方法,其中,确定所述多个第二元素的起始位置,包括:
7.根据权利要求6所述的方法,其中,所述权重梯度张量表示为[r, s, k, c],r表示高度,s表示宽度,所述索引为[r1, s1, k2, c2],所述填充参数为(f, g),k2小于k,c2小于c,
8.根据权利要求7所述的方法,其中,...
【专利技术属性】
技术研发人员:请求不公布姓名,请求不公布姓名,请求不公布姓名,请求不公布姓名,
申请(专利权)人:上海壁仞科技股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。