【技术实现步骤摘要】
【国外来华专利技术】激活函数的高效压缩
[0001]相关申请的交叉引用
[0002]本申请要求于2021年3月19日提交的美国专利申请No.17/207,406的优先权，其全部内容通过援引纳入于此。
[0003]引言
[0004]本公开的各方面涉及机器学习，尤其涉及机器学习模型的激活函数的压缩。
[0005]机器学习一般是产生经训练模型(例如，人工神经网络)的过程，其表示对先验已知的训练数据集的广义拟合。将经训练模型应用于新数据使得能够产生推断，这可被用于获得关于新数据的洞察。
[0006]随着机器学习的使用激增以用于实现各种机器学习(或人工智能)任务，出现了对更高效地处理机器学习模型数据的需求。考虑到机器学习模型的计算复杂性，它们常规地在功能强大、专门构建的计算硬件上进行处理。然而，希望在低功耗设备上实现机器学习任务，诸如移动设备、边缘设备、常开设备、物联网(IoT)设备等。在低功耗设备上实现复杂的机器学习架构对于此类设备的设计约束带来了新的挑战，诸如对于功耗、计算效率和存储器占用，这里仅列举了几个示例。
[0007]相应地，需...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：基于在输入值范围上目标激活函数与参考激活函数之间的差来确定多个差值；基于所述多个差值来确定差函数；以及使用所述参考激活函数和基于所述差函数的差值对输入数据执行激活。2.如权利要求1所述的方法，进一步包括：将所述差函数作为所述多个差值的子集存储在存储器中。3.如权利要求2所述的方法，其中所述差函数被存储为所述多个差值的子集。4.如权利要求1所述的方法，其中所述差函数包括用于所述参考激活函数的系数值，所述系数值被配置成缩放所述参考激活函数。5.如权利要求4所述的方法，其中所述差函数包括被配置成对所述参考激活函数进行移位的常数值。6.如权利要求2所述的方法，其中：所述差函数关于参考输入值是对称的，并且所述多个差值的所述子集出现在所述参考输入值的一侧。7.如权利要求2所述的方法，其中：所述差函数关于参考输入值是反对称的，并且所述多个差值的所述子集出现在所述参考输入值的一侧。8.如权利要求2所述的方法，进一步包括：在将所述多个差值的所述子集存储在所述存储器中之前将缩放函数应用于所述子集，以减小所述多个差值的所述子集的动态范围。9.如权利要求1所述的方法，进一步包括：基于所述差函数确定多个阶差值，其中每个阶差值被确定为所述多个差值中的两个差值之间的差，其中对所述输入数据执行激活进一步基于所述多个阶差值中的一个或多个阶差值。10.如权利要求2所述的方法，进一步包括：基于所述多个差值的动态范围来确定用于存储所述多个差值的所述子集中的每个差值的存储器比特数量。11.如权利要求10所述的方法，其中所述存储器比特数量为8。12.如权利要求1所述的方法，其中所述目标激活函数是非对称函数。13.如权利要求1所述的方法，其中所述目标激活函数是Swish激活函数，并且所述参考激活函数是ReLU函数。14.如权利要求1所述的方法，其中所述目标激活函数是Tanh激活函数，并且所述参考激活函数是Sigmoid激活函数。15.如权利要求2所述的方法，其中所述存储器包括查找表，所述查找表包括所述多个差值的所述子集。16.如权利要求15所述的方法，其中所述查找表包括用于所述差函数的256个条目。17.如权利要求1所述的方法，其中使用所述参考激活函数包括计算所述参考激活函数。18.如权利要求1所述的方法，其中使用所述参考激活函数包括从存储器检索预先计算的参考函数值。19.一种处理系统，包括：
一个或多个存储器，其包括计算机可执行指令；以及一个或多个处理器，所述一个或多个处理器被配置成执行所述计算机可执行指令并使所述处理系统：基于在输入值范围上目标激活函数与参考激活函数之间的差来确定多个差值；基于所述多个差值来确定差函数；以及使用所述参考激活函数和基于所述差函数的差值对输入数据执行激活。20.如权利要求19所述的处理系统，其中所述一个或多个处理器被进一步配置成使所述处理系统：将所述差函数作为所述多个差值的子集存储在所述一个或多个存储器中的至少一者中。21.如权利要求20所述的处理系统，其中所述差函数被存储为所述多个差值的子集。22.如权利要求...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。