【技术实现步骤摘要】
对人工神经网络及浮点神经网络进行量化的方法及装置[相关申请的交叉参考]本申请主张在2017年9月25日在韩国知识产权局提出申请的韩国专利申请第10-2017-0123658号的优先权，所述韩国专利申请的公开内容全文并入本申请供参考。
根据示例性实施例的装置及方法涉及人工神经网络，且更具体来说，涉及对人工神经网络进行量化。
技术介绍
人工神经网络可指用于产生人工神经元(或神经元模型)的互连集合的由计算器件实行的方法或者计算器件。人工神经元可通过对输入数据实行简单的操作来产生输出数据，且输出数据可被传送到其他神经元。作为人工神经网络的实例，深度神经网络或深度学习架构可具有多层式结构且可通过根据多个样本对各个层中的每一个进行训练来产生多个样本分布。
技术实现思路
一个或多个示例性实施例提供一种对人工神经网络进行量化的方法，所述方法同时提供人工神经网络的高的准确性及低的计算复杂度。一个或多个示例性实施例还提供一种用于对人工神经网络进行量化的装置，所述装置同时提供人工神经网络的高的准确性及低的计算复杂度。根据示例性实施例的一方面，提供一种对人工神经网络进行量化的方法，所述方法包...
【技术保护点】
1.一种对人工神经网络进行量化的方法，其特征在于，所述方法包括：将所述人工神经网络的输入分布划分成多个节段；通过对所述多个节段中的每一个进行近似来产生近似密度函数；基于所述近似密度函数来确定与用于对所述人工神经网络进行量化的至少一个步长对应的至少一个量化误差；以及基于所述至少一个量化误差来确定用于对所述人工神经网络进行量化的最终步长。
【技术特征摘要】
2017.09.25 KR 10-2017-01236581.一种对人工神经网络进行量化的方法，其特征在于，所述方法包括：将所述人工神经网络的输入分布划分成多个节段；通过对所述多个节段中的每一个进行近似来产生近似密度函数；基于所述近似密度函数来确定与用于对所述人工神经网络进行量化的至少一个步长对应的至少一个量化误差；以及基于所述至少一个量化误差来确定用于对所述人工神经网络进行量化的最终步长。2.根据权利要求1所述的方法，其特征在于，所述划分包括将包括所述输入分布的最大值及最小值的区段划分成所述多个节段。3.根据权利要求1所述的方法，其特征在于，还包括：获得所述多个节段的数目作为输入参数，其中所述划分包括将所述输入分布划分成所述多个节段的所述数目。4.根据权利要求1所述的方法，其特征在于，所述划分包括将所述输入分布划分成具有均匀宽度的所述多个节段。5.根据权利要求1所述的方法，其特征在于，所述划分包括将所述输入分布划分成使所述多个节段中的每一节段具有与所述节段的概率密度成比例的宽度。6.根据权利要求1所述的方法，其特征在于，所述产生所述近似密度函数包括：将所述多个节段分别近似成多个多项式；以及组合所述多个多项式。7.根据权利要求6所述的方法，其特征在于，还包括：获得多项式的次数作为输入参数，其中所述近似包括将所述多个节段分别近似成所述次数的所述多个多项式。8.根据权利要求6所述的方法，其特征在于，所述产生所述近似密度函数还包括通过对已加以组合的所述多个多项式进行归一化来产生所述近似密度函数作为概率密度函数。9.根据权利要求1所述的方法，其特征在于，所述确定所述至少一个量化误差包括根据所述至少一个步长来确定过载畸变与粒度畸变之和。10.根据权利要求1所述的方法，其特征在于，还包括：基于所述最终步长来获得固定点人工神经网络。11.根据权利要求10所述的方法，其特征在于，所述计算所述至少一个量化误差包括：存取包括多个分数长度的分数长度集合；以及依序确定分别与所述分数长度集合中的所述多个分数长度对应的量化误差。12.根据权利要求10所述的方法，其特征在于，所述确定所述至少一个量化误差包括：确定最小分数长度以防止所述输入分布的最大值饱和；以及对从所述最小分数长度逐渐增大的分数长度依序确定量化误差。13.根据权利要求12所述的方法，其特征在于，所述依序确定所述量化误差响应于量化误差大于先前确定的量化误差而停止。14.根据权利要求1所述的方法，其特征在于，还包括以所述人工神经网络的层为单位及以所述人工神经网络的信道为单位...
【专利技术属性】
技术研发人员：金度润，任汉永，姜寅烨，金炳秀，成乐祐，林钟汉，河相赫，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国,KR
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。