【技术实现步骤摘要】
基于L1范数组归一化的卷积神经网络电路的归一化方法
本专利技术属于低功耗电路设计领域，尤其是针对低功耗的卷积神经网络电路方面，可以用于降低卷积神经网络归一化层的电路功耗，具体公开了基于L1范数组归一化的卷积神经网络电路的归一化方法，属于计算、推算或计数的
技术介绍
深度学习在图片识别、自然语言处理等领域展现出了独特优势，为了追求更高的准确率，神经网络的深度不断增加，但同时训练难度也不断增大，收敛速度越来越慢，并且对学习率等超参数的初始化要求越来越苛刻。近年来，针对此问题提出基于L2范数的批量归一化方法(BatchNormalization)使用L2范数即各元素平方和后开根号的方法计算方差，将神经网络每层的输入归一化为零均值单位方差的正态分布，解决了梯度消失、收敛速度慢等问题，因此批量归一化逐渐成为神经网络的标准配置。近年来，移动端的片上训练专用神经网络芯片成为了研究热点，虽然其满足了隐私性，但片上训练对神经网络的计算量与存储量提出了很苛刻的限制条件。目前，很多专用神经网络芯片只处理前向推理而不涉及反向训练，...
【技术保护点】
1.基于L1范数组归一化的卷积神经网络电路的归一化方法，其特征在于，在通道数维度上对输入数据进行分组，在各组输入数据内进行基于L1范数的组内归一化处理，将各组归一化结果还原至所属通道内进行缩放平移处理。/n
【技术特征摘要】
1.基于L1范数组归一化的卷积神经网络电路的归一化方法，其特征在于，在通道数维度上对输入数据进行分组，在各组输入数据内进行基于L1范数的组内归一化处理，将各组归一化结果还原至所属通道内进行缩放平移处理。
2.根据权利要求1所述基于L1范数组归一化的卷积神经网络电路的归一化方法，其特征在于，在通道数维度上对输入数据进行分组的方法为：将包括四个维度(N,H,W,C)的输入数据划分为五个维度(N,G,H,W,C/G)，N为批样本数大小，H为输入图片高度，W为输入图片宽度，C为输入图片通道数，G为组归一化的分组个数。
3.根据权利要求1所述基于L1范数组归一化的卷积神经网络电路的归一化方法，其特征在于，在各组输入数据内进行基于L1范数的组内归一化处理的方法为：对于第i组输入数据xj，通过表达式计算第i组的归一化结果μi与σi分别为第i组输入数据的均值和方差，ε为防止分母为零的一极小数值。
4.根据权利要求2所述基于L1范数组归一化的卷积神经网络电路的归一化方...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。