一种数据处理方法、装置、处理器及计算机可读存储介质制造方法及图纸

本发明专利技术公开了一种数据处理方法、装置、处理器以及计算机可读存储介质。本发明专利技术采用函数值映射电路与拟合运算电路配合，快速、高效地处理数据，以满足神经网络对于非线性度的需求，从而提高神经网络对于复杂函数的逼近能力。相较于现有技术单纯仅采用拟合运算电路进行全区间拟合运算以拟合特定函数的函数值的方式，本发明专利技术不仅能够通过减少拟合参数的使用从而减少硬件资源开销，还能够通过减少拟合运算电路匹配拟合参数的时间，从而加快数据处理装置对于数据的处理速度。

A data processing method, device, processor and computer readable storage medium

【技术实现步骤摘要】
一种数据处理方法、装置、处理器及计算机可读存储介质
本专利技术涉及神经网络领域，具体涉及一种数据处理方法、装置、处理器以及计算机可读存储介质。
技术介绍
在神经网络的深度学习应用场景中，我们用神经网络来表述输入与输出之间的复杂关系。用数学语言来说，就是用人工神经网络来实现复杂的函数。神经网络由多层的神经元构成，每个神经元中都有一个激活函数，神经元会同时接收多个输入并将它们统一起来，然后使用激活函数处理后进行输出，使输入与输出之间存在一定的映射关系，如果每个神经元中的激活函数均是线性函数，则输入与输出之间的映射关系均是线性的，那么神经网络只是将多个输入经过线性组合再输出，即神经网络缺乏非线性度，对于复杂函数的逼近能力十分有限。为了让神经网络对于复杂函数的表达能力更加强大，需要引入非线性激活函数进行神经网络的构建。要引入非线性函数用于神经网络，相当于要拟合出非线性函数的函数值。通常来说，现有技术拟合非线性函数的函数值一般采用通用型处理器进行计算，效率低下。即使采用专用的拟合电路，其需要的拟合区间庞大、涉及的拟合参数繁多，导致存储资源开销高、电路面积大，同时其数据处理速度难以满足神经网络的需求。
技术实现思路
针对上述问题，为满足神经网络对于非线性度的需求，以专用电路结合仅配置了特定拟合区间的拟合运算电路的方案替换配置全区间的拟合运算电路方案为基础，提供了一整套提高神经网络数据处理能力的解决措施，显著减少硬件资源的开销。为实现上述目的，根据本专利技术的第一方面，提供一种数据处理方法，该方法应用于神经网络。提供乘法器、拟合运算电路和函数值映射电路，拟合运算电路用于调用拟合参数对数据进行拟合运算；函数值映射电路用于根据索引匹配对应的数值。同时，提供特定函数定义域内的至少一个特定拟合区间，特定拟合区间对应至少一组拟合参数，拟合运算电路仅处理位于特定拟合区间内的数据；并提供输入数据x，输入数据x为标准化的浮点数，输入数据x包括有效数字、指数和符号。本专利技术提供的数据处理方法包括以下步骤：步骤S10:获取上述输入数据x，并根据输入数据x的有效数字、指数和符号判断其是否位于特定拟合区间；若输入数据x位于特定拟合区间内，使用拟合运算电路调用拟合参数对输入数据x进行拟合运算，得到拟合运算结果，并基于所述拟合运算结果得到最终运算结果；若输入数据x位于特定拟合区间外，则跳过直接调用拟合运算电路处理输入数据x的步骤，直接执行步骤S20。步骤S20:对输入数据x进行移位处理，得到移位数据x’。移位处理包括，获取移位数据x’的指数t，t为整数，然后计算输入数据x的指数与指数t的差值，之后基于该差值对输入数据x的有效数字进行移位，得到移位数据x’的有效数字。步骤S30:基于上述移位数据x’获取拟合部x1和非拟合部x2，拟合部x1与非拟合部x2的和等于移位数据x’。其中，拟合部x1的有效数字等于移位数据x’的有效数字的小数部分加上整数r，拟合部x1位于特定拟合区间内；非拟合部x2的有效数字等于移位数据x’的有效数字的整数部分减去整数r。步骤S40:使用拟合运算电路调用拟合参数对拟合部x1进行拟合运算，得到第一运算结果f(x1)；使用函数值映射电路以非拟合部x2为索引查找映射表，获取第二运算结果f(x2)；该映射表包括非拟合部x2以及和非拟合部x2对应的第二运算结果f(x2)。步骤S50:使用乘法器将第一运算结果f(x1)和第二运算结果f(x2)相乘得到最终运算结果。本专利技术通过将输入数据x分解为拟合部x1和非拟合部x2，并通过不同电路分别对拟合部x1和非拟合部x2进行处理。具体的，通过拟合运算电路对拟合部x1进行拟合运算，得到第一运算结果f(x1)；并通过函数值映射电路以非拟合部x2为索引查找映射表，获取第二运算结果f(x2)，然后基于第一运算结果f(x1)和第二运算结果f(x2)还原出特定函数的函数拟合值。相比于最接近的现有技术中以覆盖全区间的拟合运算电路进行拟合的具体实现方案，本专利技术以函数值映射电路配合仅配置了极小特定拟合区间的拟合运算电路，代替配置了高功耗、多部件的全区间拟合区间的拟合运算电路，以大量减少拟合参数的数量，从而减少硬件资源尤其是存储资源的开销。同时，相较于现有技术，本专利技术提供的仅配置了极小特定拟合区间的拟合运算电路由于拟合参数较少，从而可以缩短拟合运算电路在调用拟合参数时，选择并匹配拟合参数的时间，从而在整体上提高了对于数据的处理速度，该数据处理方法具体应用于神经网络，特别是用于神经网络逼近特定函数的函数值时，使得神经网络对于非线性度的需求得以满足，从而使神经网络对于复杂函数的逼近能力得到进一步提高。优选的，上述特定拟合区间包括[-2t+n,2t+m]，n和m均为正整数。在一种优选的实施方式中，上述整数r的取值通常为1。因此，由上述拟合部x1的构建方式可知，拟合部x1的有效数字小于2，拟合部x1的指数等于t，拟合部x1的符号包括正和负两种情形。因此，在本专利技术优选的二进制神经网络处理系统中保持n和m均为正整数的前提下，拟合部x1必定位于特定拟合区间[-2t+n,2t+m]，从而不需要对拟合部x1进行额外处理，即可对其进行拟合运算，从而进一步提高本方法对于数据的处理速度，并仅需存储特定拟合区间[-2t+n,2t+m]对应的拟合参数，减少存储资源的开销。更为优选的，上述特定拟合区间包括第一拟合区间和第二拟合区间，第一拟合区间包括[-2t+n,-2t-p]，第二拟合区间包括[2t-q,2t+m]，p和q均为非负整数。由上述拟合部x1的构建方式可知，拟合部x1的有效数字大于1，拟合部x1的指数等于t，拟合部x1的符号包括正和负两种情形。因此，在p和q均为非负整数的前提下，拟合部x1必定位于第一拟合区间[-2t+n,-2t-p]或第二拟合区间[2t-q,2t+m]，从而更进一步减少拟合参数的数量，以减少存储资源的开销。更为优选的，m和n等于1，p和q等于0。在保证拟合部x1位于特定拟合区间的前提下，将特定拟合区间固定在最方便使用的[-2t+1,2t+1]或[-2t+1,-2t]U[2t,2t+1]，从而将拟合参数的数量减少至局部最优的情形，以减少存储资源的开销。优选的，上述映射表中的非拟合部x2包括至少一个等差数列，等差数列的公差等于2t。在本专利技术中，映射表并不需要存储特定函数定义域内的每个非拟合部x2，而仅需存储一些特定的数值。由上述非拟合部x2的构建方式可知，非拟合部x2的有效数字为整数，非拟合部x2的指数为t(t为整数)，因此非拟合部x2为整数。同时，配合拟合部x1，映射表中仅需存储一组公差为2t的整数等差数列，即可实现任意输入数据x的处理。因此，通过减少映射表中的拟合部x2的的数据存储量，可以减少存储资源的开销，并能进一步降低函数值映射电路以非拟合部x2为索引查找映射表获取第二运算结果f(x2)的时间，从而加快数据处理方法对于数据的处理速度。为实现上述目的，根据本专利技术的第二方面，提供一种数据处理装置。提供特定函数对应的至少一个特定拟合区间，特定拟合区本文档来自技高网...

【技术保护点】
1.一种数据处理方法，应用于神经网络，提供乘法器、拟合运算电路和函数值映射电路，所述拟合运算电路用于调用拟合参数对数据进行拟合运算，所述函数值映射电路用于根据索引匹配对应的数值；提供特定函数定义域内的至少一个特定拟合区间，所述特定拟合区间对应至少一组拟合参数；提供输入数据x，所述输入数据x为标准化的浮点数，所述输入数据x包括有效数字、指数和符号，其特征在于，所述拟合运算电路仅处理所述特定拟合区间内的数据；/n所述数据处理方法包括以下步骤：/n步骤S10:获取所述输入数据x，并根据所述输入数据x的有效数字、指数和符号判断所述输入数据x是否位于所述特定拟合区间；/n若所述输入数据x位于所述特定拟合区间内，使用所述拟合运算电路对所述输入数据x进行拟合运算得到拟合运算结果，并基于所述拟合运算结果得到最终运算结果；/n若所述输入数据x位于所述特定拟合区间外，则跳过直接调用所述拟合运算电路处理所述输入数据x的步骤，直接执行步骤S20；/n步骤S20:对所述输入数据x进行移位处理，得到移位数据x’；所述移位处理包括，获取所述移位数据x’的指数t，t为整数，然后计算所述输入数据x的指数与所述指数t的差值；之后基于所述差值对所述输入数据x的有效数字进行移位，得到所述移位数据x’的有效数字；/n步骤S30:基于所述移位数据x’获取拟合部x...

【技术特征摘要】
1.一种数据处理方法，应用于神经网络，提供乘法器、拟合运算电路和函数值映射电路，所述拟合运算电路用于调用拟合参数对数据进行拟合运算，所述函数值映射电路用于根据索引匹配对应的数值；提供特定函数定义域内的至少一个特定拟合区间，所述特定拟合区间对应至少一组拟合参数；提供输入数据x，所述输入数据x为标准化的浮点数，所述输入数据x包括有效数字、指数和符号，其特征在于，所述拟合运算电路仅处理所述特定拟合区间内的数据；
所述数据处理方法包括以下步骤：
步骤S10:获取所述输入数据x，并根据所述输入数据x的有效数字、指数和符号判断所述输入数据x是否位于所述特定拟合区间；
若所述输入数据x位于所述特定拟合区间内，使用所述拟合运算电路对所述输入数据x进行拟合运算得到拟合运算结果，并基于所述拟合运算结果得到最终运算结果；
若所述输入数据x位于所述特定拟合区间外，则跳过直接调用所述拟合运算电路处理所述输入数据x的步骤，直接执行步骤S20；
步骤S20:对所述输入数据x进行移位处理，得到移位数据x’；所述移位处理包括，获取所述移位数据x’的指数t，t为整数，然后计算所述输入数据x的指数与所述指数t的差值；之后基于所述差值对所述输入数据x的有效数字进行移位，得到所述移位数据x’的有效数字；
步骤S30:基于所述移位数据x’获取拟合部x1和非拟合部x2，所述拟合部x1与所述非拟合部x2的和等于所述移位数据x’；其中，所述拟合部x1的有效数字等于所述移位数据x’的有效数字的小数部分加上整数r，所述拟合部x1位于所述特定拟合区间内；所述非拟合部x2的有效数字等于所述移位数据x’的有效数字的整数部分减去整数r；
步骤S40:使用所述拟合运算电路对所述拟合部x1进行拟合运算，得到第一运算结果f(x1)；
使用所述函数值映射电路以所述非拟合部x2为索引查找映射表，获取第二运算结果f(x2)；所述映射表包括所述非拟合部x2以及和所述非拟合部x2对应的所述第二运算结果f(x2)；
步骤S50:使用所述乘法器接收所述第一运算结果f(x1)和所述第二运算结果f(x2)进行乘法运算得到最终运算结果。


2.根据权利要求1所述的数据处理方法，其特征在于，所述特定拟合区间包括[-2t+n,2t+m]，n和m均为正整数。


3.根据权利要求2所述的数据处理方法，其特征在于，所述特定拟合区间包括第一拟合区间和第二拟合区间，所述第一拟合区间包括[-2t+n,-2t-p]，所述第二拟合区间包括[2t-q,2t+m]，p和q均为非负整数。


4.根据权利要求3所述的数据处理方法，其特征在于，m和n均等于1，p和q均等于0。


5.根据权利要求1所述的数据处理方法，其特征在于，所述映射表中的所述非拟合部x2包括至少一个等差数列，所述等差数列的公差等于2t。


6.一种数据处理装置，提供特定函数定义域内的至少一个特定拟合区间，所述特定拟合...

【专利技术属性】
技术研发人员：闯小明，杨龚轶凡，郑瀚寻，曾昭睿，周远航，
申请(专利权)人：深圳芯英科技有限公司，
类型：发明
国别省市：广东;44