数据处理方法和装置、芯片制造方法及图纸

本发明专利技术实施例公开了一种数据处理方法、数据装置及芯片。其中，数据处理方法包括：在对N层神经网络中的第i层网络进行反向处理时，识别该第i层网络是否为线性网络；若该第i层网络为线性网络，通过第i层网络对该第i层网络的输出数据进行逆运算，获得该第i层网络的输入数据；其中，N为大于1的整数，i为整数、且1＜i≤N；通过预设方式，基于该第i层网络的输出相关数据和该第i层网络的输入数据，获取第i‑1层网络的训练数据；其中，i＝N时，第i层网络的输出相关数据为表示第i层网络的输出数据与参考数据之间差异的差异函数；i<N时，第i层网络的输出相关数据为第i层网络的输出数据。本发明专利技术实施例可以节约片上存储资源。

【技术实现步骤摘要】

本专利技术属于数据处理领域，特别是涉及一种数据处理方法和装置、芯片。
技术介绍
近年来随着深度学习技术的飞速发展，深度学习技术中的代表性技术——卷积神经网络(Convolutional Neural Networks，简称CNN)在图像识别、语音识别等模式识别领域得到了广泛地应用。为了缩短图像、语音等识别的时间，需要CNN具有强大的数据处理能力。目前通过增加片上存储资源来提高数据处理的速度已经成为一种趋势。但是片上存储资源是一种非常宝贵的资源，并且片上存储资源的增加是有限制的。CNN对数据的处理过程包括：正向处理过程和反向处理过程两部分。对于图像、语音等的识别来说，只需要对数据进行正向处理，不需要对中间数据进行存储，这样对片上存储资源的要求不高。但是，对CNN的训练过程却需要对数据进行正向处理和反向处理两部分操作，并且正向处理过程中的中间数据都要存储下来，以用于通过反向处理过程对网络参数进行优化。因此，对CNN的训练过程需要占用大量的片上存储资源，可能会导致片上存储资源耗尽，从而影响CNN的数据处理能力。
技术实现思路
本专利技术实施例要解决的一个技术问题是：提供一种数据处理方法和装置本文档来自技高网...

【技术保护点】
一种数据处理方法，其特征在于，包括：在对N层神经网络中的第i层网络进行反向处理时，识别该第i层网络是否为线性网络；若该第i层网络为线性网络，通过第i层网络对该第i层网络的输出数据进行逆运算，获得该第i层网络的输入数据；其中，N为大于1的整数，i为整数、且1＜i≤N；通过预设方式，基于该第i层网络的输出相关数据和该第i层网络的输入数据，获取第i‑1层网络的训练数据；其中，i＝N时，所述第i层网络的输出相关数据为表示第i层网络的输出数据与参考数据之间差异的差异函数；i<N时，所述第i层网络的输出相关数据为第i层网络的输出数据。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：在对N层神经网络中的第i层网络进行反向处理时，识别该第i层网络是否为线性网络；若该第i层网络为线性网络，通过第i层网络对该第i层网络的输出数据进行逆运算，获得该第i层网络的输入数据；其中，N为大于1的整数，i为整数、且1＜i≤N；通过预设方式，基于该第i层网络的输出相关数据和该第i层网络的输入数据，获取第i-1层网络的训练数据；其中，i＝N时，所述第i层网络的输出相关数据为表示第i层网络的输出数据与参考数据之间差异的差异函数；i<N时，所述第i层网络的输出相关数据为第i层网络的输出数据。2.根据权利要求1所述的方法，其特征在于，还包括：获取第N层网络的输出数据与参考数据之间的差异，获得所述差异函数；计算差异函数对第N层网络的输出数据的导数，获得第N层网络输出数据的导数值。3.根据权利要求2所述的方法，其特征在于，还包括：若该第i层网络为非线性网络，从存储单元中获取该第i层网络的输入数据；通过预设方式，基于该第i层网络的输出相关数据和该第i层网络的输入数据，获取第i-1层网络的训练数据。4.根据权利要求3所述的方法，其特征在于，所述识别该第i层网络是否为线性网络包括：基于预先设置的网络类型标识，识别第i层网络是否为线性网络；所述网络类型标识包括非线性网络标识和/或非线性网络；或者识别存储单元中是否存储有所述第i层网络的输入数据；若存储单元中未
\t存储所述第i层网络的输入数据，所述第i层网络为线性网络；否则，若存储单元中存储有所述第i层网络的输入数据，所述第i层网络为非线性网络。5.根据权利要求4所述的方法，其特征在于，所述基于该第i层网络的输出相关数据和该第i层网络的输入数据，获取第i-1层网络的训练数据包括：基于第i层网络输出数据的导数值，计算第i层网络的输出相关数据对第i层网络...

【专利技术属性】
技术研发人员：杨存永，范靖，张力，
申请(专利权)人：北京比特大陆科技有限公司，
类型：发明
国别省市：北京;11