一种数据处理方法、装置、处理器及计算机可读存储介质制造方法及图纸

本发明专利技术公开了一种数据处理方法、装置、处理器以及计算机可读存储介质。本发明专利技术采用反向移位单元与拟合运算电路配合，快速、高效地处理数据，以满足神经网络对于非线性度的需求，从而提高神经网络对于复杂函数的逼近能力。相较于现有技术单纯仅采用拟合运算电路进行全区间拟合运算以拟合特定函数的函数值的方式，本发明专利技术不仅能够通过减少拟合参数的使用从而减少硬件资源开销，还能够通过减少拟合运算电路匹配拟合参数的时间，从而加快数据处理装置对于数据的处理速度。

A data processing method, device, processor and computer readable storage medium

【技术实现步骤摘要】
一种数据处理方法、装置、处理器及计算机可读存储介质
本专利技术涉及神经网络领域，具体涉及一种数据处理方法、装置、处理器以及计算机可读存储介质。
技术介绍
在神经网络的深度学习应用场景中，我们用神经网络来表述输入与输出之间的复杂关系。用数学语言来说，就是用人工神经网络来实现复杂的函数。神经网络由多层的神经元构成，每个神经元中都有一个激活函数，神经元会同时接收多个输入并将它们统一起来，然后使用激活函数处理后进行输出，使输入与输出之间存在一定的映射关系，如果每个神经元中的激活函数均是线性函数，则输入与输出之间的映射关系均是线性的，那么神经网络只是将多个输入经过线性组合再输出，即神经网络缺乏非线性度，对于复杂函数的逼近能力十分有限。为了让神经网络对于复杂函数的表达能力更加强大，需要引入非线性激活函数进行神经网络的构建。要引入非线性函数用于神经网络，相当于要拟合出非线性函数的函数值。通常来说，现有技术拟合非线性函数的函数值一般采用通用型处理器进行计算，效率低下。即使采用专用的拟合电路，其需要的拟合区间庞大、涉及的拟合参数繁多，导致存储资源开销高、电路面积大，同时其数据处理速度难以满足神经网络的需求。
技术实现思路
针对上述问题，为满足神经网络对于非线性度的需求，以专用电路结合仅配置了特定拟合区间的拟合运算电路的方案替换配置全区间的拟合运算电路方案为基础，提供了一整套提高神经网络数据处理能力的解决措施，显著减少硬件资源的开销。为实现上述目的，根据本专利技术的第一方面，提供一种数据处理方法，该方法应用于神经网络。提供拟合运算电路，拟合运算电路用于调用拟合参数对数据进行拟合运算；提供特定函数定义域内的至少一个特定拟合区间，特定拟合区间对应至少一组拟合参数；提供输入数据x，输入数据x为标准化的浮点数，输入数据x包括有效数字、指数和符号。本专利技术提供的数据处理方法包括以下步骤：步骤S10:获取输入数据x，并基于该输入数据x的有效数字、指数和符号判断输入数据x是否位于特定拟合区间；若输入数据x位于特定拟合区间内，使用拟合运算电路调用拟合参数对输入数据x进行拟合运算得到拟合运算结果，并基于拟合运算结果得到最终运算结果；若输入数据x位于特定拟合区间外，则跳过直接调用拟合运算电路处理输入数据x的步骤，直接执行步骤S20；步骤S20:对输入数据x进行移位处理，得到移位数据x’；移位处理包括，获取移位数据x’的指数t，t为整数，然后计算输入数据x的指数与指数t的差值；之后基于该差值对输入数据x的有效数字进行移位，得到移位数据x’的有效数字；步骤S30:基于移位数据x’获取拟合部x1和非拟合部x2，拟合部x1与非拟合部x2的和等于移位数据x’；其中，拟合部x1的有效数字等于移位数据x’的有效数字的小数部分加上整数r，拟合部x1位于特定拟合区间内；非拟合部x2的有效数字等于移位数据x’的有效数字的整数部分减去整数r；步骤S40:使用拟合运算电路调用拟合参数对拟合部x1进行拟合运算，得到第一运算结果f(x1)；步骤S50:基于非拟合部x2对第一运算结果f(x1)进行反向移位处理得到最终运算结果。本专利技术通过将输入数据x分解为拟合部x1和非拟合部x2，并通过拟合运算电路对拟合部x1进行拟合运算，得到第一运算结果f(x1)，然后基于非拟合部x2对第一运算结果f(x1)进行反向移位处理，以此还原出特定函数的函数拟合值。相比于最接近的现有技术中以覆盖全区间的拟合运算电路进行拟合的具体实现方案，本专利技术以反向移位单元配合仅配置了极小特定拟合区间的拟合运算电路，代替配置了高功耗、多部件的全区间拟合区间的拟合运算电路，以大量减少拟合参数的数量，从而减少硬件资源尤其是存储资源的开销。同时，相较于现有技术，本专利技术提供的仅配置了极小特定拟合区间的拟合运算电路由于拟合参数较少，从而可以缩短拟合运算电路在调用拟合参数时，选择并匹配拟合参数的时间，从而在整体上提高了对于数据的处理速度，该数据处理方法具体应用于神经网络，特别是用于神经网络逼近特定函数的函数值时，使得神经网络对于非线性度的需求得以满足，从而使神经网络对于复杂函数的逼近能力得到进一步提高。优选的，上述特定函数包括指数函数，该指数函数的底数等于2k，k为不等于零的整数。二进制是在计算机程序处理中应用最广泛和常见的情形，当特定函数为底数等于2k的指数函数时，反向移位处理操作简单、易于实现，具有很强的可应用性和推广意义。优选的，上述特定拟合区间包括[-2t+n,2t+m]，n和m均为正整数。在一种优选的实施方式中，上述整数r的取值通常为1。因此，由上述拟合部x1的构建方式可知，拟合部x1的有效数字小于2，拟合部x1的指数等于t，拟合部x1的符号包括正和负两种情形。因此，在本专利技术优选的二进制神经网络处理系统中保持n和m均为正整数的前提下，拟合部x1必定位于特定拟合区间[-2t+n,2t+m]，从而不需要对拟合部x1进行额外处理，即可对其进行拟合运算，从而进一步提高本方法对于数据的处理速度，并仅需存储特定拟合区间[-2t+n,2t+m]对应的拟合参数，减少存储资源的开销。更为优选的，上述特定拟合区间包括第一拟合区间和第二拟合区间，第一拟合区间包括[-2t+n,-2t-p]，第二拟合区间包括[2t-q,2t+m]，p和q均为非负整数。由上述拟合部x1的构建方式可知，拟合部x1的有效数字大于1，拟合部x1的指数等于t，拟合部x1的符号包括正和负两种情形。因此，在p和q均为非负整数的前提下，拟合部x1必定位于第一拟合区间[-2t+n,-2t-p]或第二拟合区间[2t-q,2t+m]，从而更进一步减少拟合参数的数量，以减少存储资源的开销。更为优选的，m和n等于1，p和q等于0。在保证拟合部x1位于特定拟合区间的前提下，将特定拟合区间固定在最方便使用的[-2t+1,2t+1]或[-2t+1,-2t]U[2t,2t+1]，从而将拟合参数的数量减少至局部最优的情形，以减少存储资源的开销。为实现上述目的，根据本专利技术的第二方面，提供一种数据处理装置。提供特定函数对应的至少一个特定拟合区间，特定拟合区间对应至少一组拟合参数；并提供输入数据x，输入数据x为标准化的浮点数，输入数据x包括有效数字、指数和符号。本专利技术提供的数据处理装置包括：判断单元，判断单元用于根据输入数据x的有效数字、指数和符号判断输入数据x是否位于特定拟合区间；移位单元，移位单元与判断单元相连，移位单元用于获取位于特定拟合区间外的输入数据x，并对其进行移位处理，得到移位数据x’；拆分单元，拆分单元与移位单元相连，拆分单元用于获取移位数据x’，并将移位数据x’拆分为拟合部x1和非拟合部x2，拟合部x1与非拟合部x2的和等于移位数据x’；拟合运算电路，拟合运算电路用于接收位于特定拟合区间内的输入数据x，并调用拟合参数对其进行拟合运算得到拟合运算结果；所述拟合运算电路还用于接收拟合部x1，并调用拟合参数对拟合部x1进行拟合运算得到第一运算结果f(x1)；反向移位单元，反向移本文档来自技高网...

【技术保护点】
1.一种数据处理方法，应用于神经网络，提供拟合运算电路，所述拟合运算电路用于调用拟合参数对数据进行拟合运算；提供特定函数定义域内的至少一个特定拟合区间，所述特定拟合区间对应至少一组拟合参数；提供输入数据x，所述输入数据x为标准化的浮点数，所述输入数据x包括有效数字、指数和符号；其特征在于，所述拟合运算电路仅处理所述特定拟合区间内的数据；/n所述数据处理方法包括以下步骤：/n步骤S10:获取所述输入数据x，并基于所述输入数据x的有效数字、指数和符号判断所述输入数据x是否位于所述特定拟合区间；/n若所述输入数据x位于所述特定拟合区间内，使用所述拟合运算电路调用所述拟合参数对所述输入数据x进行拟合运算得到拟合运算结果，并基于所述拟合运算结果得到最终运算结果；/n若所述输入数据x位于所述特定拟合区间外，则跳过直接调用所述拟合运算电路处理所述输入数据x的步骤，直接执行步骤S20；/n步骤S20:对所述输入数据x进行移位处理，得到移位数据x’；所述移位处理包括，获取所述移位数据x’的指数t，t为整数，然后计算所述输入数据x的指数与所述指数t的差值；之后基于所述差值对所述输入数据x的有效数字进行移位，得到所述移位数据x’的有效数字；/n步骤S30:基于所述移位数据x’获取拟合部x...

【技术特征摘要】
1.一种数据处理方法，应用于神经网络，提供拟合运算电路，所述拟合运算电路用于调用拟合参数对数据进行拟合运算；提供特定函数定义域内的至少一个特定拟合区间，所述特定拟合区间对应至少一组拟合参数；提供输入数据x，所述输入数据x为标准化的浮点数，所述输入数据x包括有效数字、指数和符号；其特征在于，所述拟合运算电路仅处理所述特定拟合区间内的数据；
所述数据处理方法包括以下步骤：
步骤S10:获取所述输入数据x，并基于所述输入数据x的有效数字、指数和符号判断所述输入数据x是否位于所述特定拟合区间；
若所述输入数据x位于所述特定拟合区间内，使用所述拟合运算电路调用所述拟合参数对所述输入数据x进行拟合运算得到拟合运算结果，并基于所述拟合运算结果得到最终运算结果；
若所述输入数据x位于所述特定拟合区间外，则跳过直接调用所述拟合运算电路处理所述输入数据x的步骤，直接执行步骤S20；
步骤S20:对所述输入数据x进行移位处理，得到移位数据x’；所述移位处理包括，获取所述移位数据x’的指数t，t为整数，然后计算所述输入数据x的指数与所述指数t的差值；之后基于所述差值对所述输入数据x的有效数字进行移位，得到所述移位数据x’的有效数字；
步骤S30:基于所述移位数据x’获取拟合部x1和非拟合部x2，所述拟合部x1与所述非拟合部x2的和等于所述移位数据x’；其中，所述拟合部x1的有效数字等于所述移位数据x’的有效数字的小数部分加上整数r，所述拟合部x1位于所述特定拟合区间内；所述非拟合部x2的有效数字等于所述移位数据x’的有效数字的整数部分减去整数r；
步骤S40:使用所述拟合运算电路调用所述拟合参数对所述拟合部x1进行拟合运算，得到第一运算结果f(x1)；
步骤S50:基于所述非拟合部x2对第一运算结果f(x1)进行反向移位处理得到最终运算结果。


2.根据权利要求1所述的数据处理方法，其特征在于，所述特定函数包括指数函数，所述指数函数的底数等于2k，k为不等于零的整数。


3.根据权利要求1所述的数据处理方法，其特征在于，所述特定拟合区间包括[-2t+n,2t+m]，n和m均为正整数。


4.根据权利要求3所述的数据处理方法，其特征在于，所述特定拟合区间包括第一拟合区间和第二拟合区间，所述第一拟合区间包括[-2t+n,-2t-p]，...

【专利技术属性】
技术研发人员：杨龚轶凡，郑瀚寻，闯小明，曾昭睿，周远航，
申请(专利权)人：深圳芯英科技有限公司，
类型：发明
国别省市：广东;44