数据处理方法、装置、处理器和存储介质制造方法及图纸

本申请涉及一种数据处理方法、装置、处理器及存储介质，根据有损压缩后获得的第二输入数据进行正向运算，在正向运算结果不满足预设需求时，可以对该神经网络进行训练，直至该神经网络的正向运算结果满足预设需求。本申请通过有损压缩后的第二输入数据对神经网络进行训练，降低神经网络处理过程中数据的访存开销，从而可以提高处理器的性能。

【技术实现步骤摘要】
数据处理方法、装置、处理器和存储介质
本申请涉及计算机
，特别是涉及一种数据处理方法、装置、处理器和存储介质。
技术介绍
随着人工智能技术的快速发展，神经网络在图像、语音以及文字等具有海量数据的领域已经有了广泛而成功的应用。一般地，神经网络运算(如人工神经网络运算)的运算过程往往会涉及较大的数据量，从而神经网络运算的过程中将会存在大量的访存操作，但上述访存操作往往会受到数据访存带宽的限制，访存开销成为机器学习处理器设计中的瓶颈。
技术实现思路
基于此，有必要针对上述技术问题，提供一种能够降低神经网络处理过程中访存开销的数据处理方法、装置、处理器和存储介质。一种数据处理方法，应用于处理器中，所述方法包括如下步骤：获取神经网络的第一输入数据，其中，所述第一输入数据为有损压缩编码后获得的处于压缩状态的数据；对所述第一输入数据进行解压缩，获得所述神经网络的第二输入数据；根据所述第二输入数据进行正向运算，获得正向运算结果；若所述正向运算结果不满足预设需求，则对所述神经网络进行训练，本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，应用于处理器中，所述方法包括如下步骤：/n获取神经网络的第一输入数据，其中，所述第一输入数据为有损压缩编码后获得的处于压缩状态的数据；/n对所述第一输入数据进行解压缩，获得所述神经网络的第二输入数据；/n根据所述第二输入数据进行正向运算，获得正向运算结果；/n若所述正向运算结果不满足预设需求，则对所述神经网络进行训练，直至所述正向运算结果满足预设需求，其中，所述神经网络的初始权值数据为随机数。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于处理器中，所述方法包括如下步骤：
获取神经网络的第一输入数据，其中，所述第一输入数据为有损压缩编码后获得的处于压缩状态的数据；
对所述第一输入数据进行解压缩，获得所述神经网络的第二输入数据；
根据所述第二输入数据进行正向运算，获得正向运算结果；
若所述正向运算结果不满足预设需求，则对所述神经网络进行训练，直至所述正向运算结果满足预设需求，其中，所述神经网络的初始权值数据为随机数。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括如下步骤：
根据所述正向运算结果与预设的目标运算结果，计算损失函数；
若所述损失函数的值大于或等于预设的目标精度，则确定所述正向运算结果不满足所述预设需求；
若所述损失函数的值小于所述预设的目标精度，则确定所述正向运算结果满足所述预设需求。


3.根据权利要求2所述的方法，其特征在于，若所述正向运算结果不满足预设需求，对所述神经网络进行训练，直至所述正向运算结果满足预设需求的步骤，包括：
若所述损失函数的值大于或等于预设的目标精度，则根据所述损失函数进行反向运算，获得梯度值；
根据所述梯度值更新所述神经网络的权值数据，之后，返回根据所述第二输入数据进行正向运算，获得正向运算结果的步骤，直至所述损失函数的值小于预设的目标精度。


4.根据权利要求2所述的方法，其特征在于，所述的根据所述正向运算结果与预设的目标运算结果，计算损失函数的步骤，包括：
对所述正向运算结果进行有损压缩编码后再对所述正向运算结果进行解压缩；
根据解压缩后的正向运算结果与所述预设的目标运算结果，计算损失函数。


5.根据权利要求4所述的方法，其特征在于，若所述正向运算结果不满足预设需求，对所述神经网络进行训练，直至所述正向运算结果满足预设需求的步骤，包括：
若所述损失函数的值大于或等于预设的目标精度，则根据所述损失函数进行反向运算，获得梯度值；
对所述梯度值进行有损压缩编码后再对所述有损压缩编码后的梯度值进行解压缩，根据所述解压缩后获得的梯度值更新所述权值数据；
对所述权值数据进行有损压缩编码后再对所述有损压缩编码后的权值数据进行解压缩；之后，返回根据所述第二输入数据进行正向运算，获得正向运算结果的步骤，直至所述损失函数的值小于预设的目标精度。


6.根据权利要求2所述的方法，其特征在于，所述的根据所述正向运算结果与预设的目标运算结果，计算损失函数的步骤，包括：
将所述正向运算结果与预设的训练数据集进行正向运算，获得收敛结果；
根据所述收敛结果与所述目标运算结果，确定所述损失函数。


7.根据权利要求1所述的方法，其特征在于，所述处理器包含至少两个处理电路，至少两个所述处理电路包括主处理电路和从处理电路；所述的根据所述第二输入数据进行正向运算，获得正向运算结果的步骤，包括：
所述主处理电路将所述第二输入数据的权值数据进行有损压缩编码，并将处于压缩状态的权值数据传送至各个所述从处理电路；
各个所述从处理电路分别对接收到的所述处于压缩状态的权值数据进行解压缩，并根据解压缩后的所述权值数据进行正向运算得到第一中间结果，将所述第一中间结果进行有损压缩编码后传送至所述主处理电路；
所述主处理电路对各个所述从处理电路传送的第一中间结果进行解压缩，并根据解压缩后的第一中间结果获得所述正向运算结果。


8.根据权利要求7所述的方法，其特征在于，所述方法还包括如下步骤：
所述主处理电路根据所述正向运算结果与预设的目标运算结果，计算损失函数；
若所述主处理电路确定所述损失函数的值大于或等于预设的目标精度，则确定所述正向运算结果不满足所述预设需求；
若所述主处理电路确定所述损失函数的值小于所述预设的目标精度，则确定所述正向运算结果满足所述预设需求。


9.根据权利要求8所述的方法，其特征在于，若所述正向运算结果不满足预设需求，则对所述神经网络进行训练，直至所述正向运算结果满足预设需求的步骤，包括：
所述主处理电路在确定所述损失函数的值大于或等于所述目标精度时，所述主处理电路对所述损失函数进行有损压缩编码，并将所述有损压缩编码后获得的处于压缩状态的损失函数传送至各个所述从处理电路；
各个所述从处理电路分别对接收到的所述处于压缩状态的损失函数进行解压缩，并根据解压缩后的所述损失函数进行反向运算得到第二中间结果，将所述第二中间结果进行有损压缩编码后传送至所述主处理电路；
所述主处理电路对各个所述从处理电路传送的第二中间结果进行解压缩，并根据解压缩后的第二中间结果获得所述梯度值；
所述主处理电路根据所述梯度值更新所述第二输入数据的权值数据，之后，返回所述主处理电路将所述第二输入数据的权值数据进行有损压缩，并将处于压缩状态的权值数据传送至各个所述从处理电路的步骤，直至所述损失函数的值小于所述预设的目标精度。


10.根据权利要求1所述的数据处理方法，其特征在于，所述方法还包括如下步骤：
获取所述神经网络的第三输入数据；
对所述第三输入数据进行有损压缩编码，获得所述第一输入数据。


11.根据权利要求8所述的数据处理方法，其特征在于，对所述第三输入数据进行有损压缩编码，获得所述第一输入数据的步骤，包括：
根据预设的目标精度获得目标压缩率；
根据所述目标压缩率对所述第三输入数据进行有损压缩编码，获得所述第一输入数据。


12.根据权利要求1-11任一项所述的方法，其特征在于，所述有损压缩编码包括预测编码、脉冲编码调制、插值法、外推法、变换编码、子带编码、混合编码、矢量量化、分型编码的一种或多种的组合。


13.一种数据处理装置，其特征在于，所述装置包括：
获取模块，获取所述神经网络的第一输入数据，其中，所述第一输入数据为有损压缩编码后获得的处于压缩状态的数据；
解压模块，用于对所述第一输入数据进行解压缩，获得所述神经网络的第二输入数据；
训练模块，用于根据所述第二输入数据进行正向运算，获得正向运算结果；若所述正向运算结果不满足预设需求，则对所述神经网络进行训练，直至所述正向运算结果满足预设需求。


14.一种处理器，其特征在于，包括：
读写电路，用于获取神...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：上海寒武纪信息科技有限公司，
类型：发明
国别省市：上海;31