用于神经网络量化的方法和装置制造方法及图纸

根据用于神经网络量化的方法和装置，通过以下方式来生成经量化的神经网络：执行神经网络的学习；针对第一神经网络的每一层，获得初始权重与通过每个周期的学习来确定的经更新的权重之间的权重差；分析每一层的权重差的统计量；基于经分析的统计量，从各层中确定要以较低比特精度来量化的一个或多个层；以及通过以较低比特精度量化所确定的一个或多个层来生成第二神经网络。

【技术实现步骤摘要】
用于神经网络量化的方法和装置相关申请的交叉引用本申请要求于2019年1月9日在韩国知识产权局提交的韩国专利申请No.10-2019-0002986的优先权，该申请的公开内容通过引用全部并入本文中。
本公开涉及用于将神经网络的一些被选择层的精度调整到较低比特的方法和装置。
技术介绍
神经网络指的是在经过大量训练之后可以在输入模式与输出模式之间提供计算上直观的映射的计算架构。用于处理神经网络的装置对复杂输入执行大量运算，这使得该装置难以使用神经网络实时地分析大量的输入数据并提取期望信息。
技术实现思路
提供了本
技术实现思路
以简化形式来介绍对下面在具体实施方式中进一步描述的理念的选择。本
技术实现思路
不意在识别所请求保护的主题的关键特征或基本特征，也不意在用作帮助确定所请求保护的主题的范围。在一个总体方面，提供了一种用于神经网络量化的方法，该方法包括：对具有第一比特精度的第一神经网络执行多个周期的前馈和反向传播学习；针对第一神经网络的每一层，获得初始权重与通过每个周期的学习来确定的经更新的权重之间的权重差；分本文档来自技高网...

【技术保护点】
1.一种用于神经网络量化的方法，所述方法包括：/n对具有第一比特精度的第一神经网络执行多个周期的前馈和反向传播学习；/n针对所述第一神经网络中的每一层，获得初始权重与通过每个周期的学习来确定的经更新的权重之间的权重差；/n分析每一层的权重差的统计量；/n基于经分析的统计量，从各层中确定要以低于所述第一比特精度的第二比特精度来量化的一个或多个层；以及/n通过以所述第二比特精度量化所确定的一个或多个层来生成第二神经网络。/n

【技术特征摘要】
20190109 KR 10-2019-00029861.一种用于神经网络量化的方法，所述方法包括：
对具有第一比特精度的第一神经网络执行多个周期的前馈和反向传播学习；
针对所述第一神经网络中的每一层，获得初始权重与通过每个周期的学习来确定的经更新的权重之间的权重差；
分析每一层的权重差的统计量；
基于经分析的统计量，从各层中确定要以低于所述第一比特精度的第二比特精度来量化的一个或多个层；以及
通过以所述第二比特精度量化所确定的一个或多个层来生成第二神经网络。


2.根据权利要求1所述的方法，其中，所述统计量包括每一层的权重差的均方。


3.根据权利要求1所述的方法，还包括：按照所述经分析的统计量的大小的顺序对各层进行排序，
其中，对要量化的一个或多个层的确定包括：从经排序的各层中识别具有相对小的经分析的统计量的大小的层。


4.根据权利要求3所述的方法，其中，对要量化的一个或多个层的确定包括：当以所述第二比特精度来量化经排序的各层中的一些层时，响应于与所述第一神经网络相比，神经网络的准确度损失在阈值内，使用二分搜索算法来识别要量化的一个或多个层。


5.根据权利要求4所述的方法，其中，所述准确度损失包括所述神经网络的识别率。


6.根据权利要求3所述的方法，其中，对要量化的一个或多个层的确定包括：按照所述经分析的统计量的大小的升序，从经排序的各层中确定一定数量的层作为所述一个或多个层。


7.根据权利要求3所述的方法，其中，对要量化的一个或多个层的确定包括：不将经排序的各层中的具有最小的经分析的统计量的大小的层确定为要量化的一个或多个层。


8.根据权利要求1所述的方法，其中，
所述第一神经网络具有所述第一比特精度的定点参数的层，并且所述第一神经网络是从具有第三比特精度的浮点参数的层的第三神经网络来量化的，其中，所述第三比特精度高于所述第一比特精度，并且
经量化的第二神经网络包括具有所述第二比特精度的定点参数的所确定的一个或多个层和具有所述第一比特精度的定点参数的其他层。


9.根据权利要求1所述的方法，还包括：响应于所述第一神经网络具有所述第一比特精度的浮点参数的层，将除了所述一个或多个层之外的层量化为第四比特精度的定点参数的层，其中，所述第四比特精度低于所述第一比特精度且高于所述第二比特精度，
其中，经量化的第二神经网络包括具有所述第二比特精度的定点参数的所确定的一个或多个层以及具有所述第四比特精度的定点参数的层。


10.一种存储指令的非暂时性计算机可读存储介质，所述指令当由处理器执行时使所述处理器执行权利要求1中限定的方法。


11.一种用于神经网络量化的装置，所述装置包括：
处理器，被配置为：
针对具有第一比特精度的第一神经网络，执行多个周期的前馈和反向传播学习；
针对所述第一神经网络中的每一层，获得初始权重与通过每个周期的学习来确定的经更新的权重之间的权重差；
分析每一层的权重差的统计量；
基于经分析的统计量，从各层中确定要以低于所述第一比特精度的第二比特精度来量化的一个或多个...

【专利技术属性】
技术研发人员：李沅祚，李承远，李俊行，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国;KR