确定FL值的方法及装置制造方法及图纸

本发明专利技术涉及确定FL值的方法及装置。一种确定FL值的方法，该FL值为与量化的值中所包含的LSB的大小相对应的FL参数，其特征在于，包括：步骤a，计算装置若获取到包含原始值的原始向量，则参照(i)BW值及(ii)各个FL候补值来在所述原始值适用量化运算，由此生成各个量化的向量；步骤b，所述计算装置对与各个所述量化的向量所包含的所述量化的值及所述原始向量所包含的所述原始值之间的各个差异有关的信息适用加权量化损失运算，由此生成与各个所述FL候补值相对应的加权量化损失值；以及步骤c，所述计算装置参照所述加权量化损失值，在所述FL候补值中确定所述FL值。

【技术实现步骤摘要】
确定FL值的方法及装置
本专利技术涉及为了量化用于将适用于移动设备或高精度小型网络中的硬件最优化的CNN(ConvolutionalNeuralNetwork；卷积神经网络)参数及特征值而使用加权量化损失值来确定FL(FractionalLength；小数部分长度)值的方法及装置。
技术介绍
深度CNN(DeepConvolutionalNeuralNetworkorDeepCNN)是深度学习领域中所取得的耀眼发展成果的核心。为了解决字符识别问题，虽然90年代开始已经在使用CNN，但近年开始才广泛应用于机器学习(MachineLearning)领域中。例如，CNN在2012年的图像识别比赛(ImageNetLargeScaleVisualRecognitionChallenge)中击败了其他竞争对手夺得了冠军。之后，CNN在机器学习领域中成为了非常有用的工具。但是，由于存在深度学习算法需要32位浮点运算这种偏见，因此被看作是移动设备无法执行包括深度学习算法的程序。但是，经实验已证明，所需的计算性能小于32位浮点运算的10位定点运本文档来自技高网...

【技术保护点】
1.一种确定FL值的方法，该FL值为与量化的值中所包含的LSB的大小相对应的FL参数，其特征在于，所述方法包括以下步骤：/n步骤a，计算装置若获取到包含原始值的原始向量，则参照(i)BW值及(ii)各个FL候补值来在所述原始值适用量化运算，由此生成各个量化的向量，所述BW值为与表示各个所述量化的值所使用的位数相对应的BW参数，所述量化的向量与各个所述FL候补值相对应并包含所述量化的值；/n步骤b，所述计算装置对与各个所述量化的向量所包含的所述量化的值及所述原始向量所包含的所述原始值之间的各个差异有关的信息适用加权量化损失运算，由此生成与各个所述FL候补值相对应的加权量化损失值；以及/n步骤c，...

【技术特征摘要】
20190123 US 16/255,0121.一种确定FL值的方法，该FL值为与量化的值中所包含的LSB的大小相对应的FL参数，其特征在于，所述方法包括以下步骤：
步骤a，计算装置若获取到包含原始值的原始向量，则参照(i)BW值及(ii)各个FL候补值来在所述原始值适用量化运算，由此生成各个量化的向量，所述BW值为与表示各个所述量化的值所使用的位数相对应的BW参数，所述量化的向量与各个所述FL候补值相对应并包含所述量化的值；
步骤b，所述计算装置对与各个所述量化的向量所包含的所述量化的值及所述原始向量所包含的所述原始值之间的各个差异有关的信息适用加权量化损失运算，由此生成与各个所述FL候补值相对应的加权量化损失值；以及
步骤c，所述计算装置参照所述加权量化损失值，在所述FL候补值中确定所述FL值。


2.根据权利要求1所述的方法，其特征在于，在所述步骤a中，根据下述数学式执行所述量化运算，




为第1个量化的向量，xk为所述原始向量所包含的第k个原始值，∈为确定所述量化运算的方式的常数，[]为高斯运算。


3.根据权利要求1所述的方法，其特征在于，在所述步骤b中，所述加权量化损失运算参照权重向量来生成与各个所述FL候补值相对应的各个所述加权量化损失值，所述权重向量包含参照所述原始值的大小来生成的加权值的至少一部分。


4.根据权利要求1所述的方法，其特征在于，在所述步骤b中，所述加权量化损失运算是根据下述数学式进行的，




为所述原始向量，Ql为第1个量化的向量，为权重向量，所述权重向量包含参照所述原始值的大小来生成的加权值的至少一部分，·为生成包含通过所述权重向量及差分向量乘积确定的成分的积分向量的运算，||||p为L-P范数运算。


5.根据权利要求1所述的方法，其特征在于，所述原始值包含：
(i)包含在CNN的任意特定层的CNN参数；以及
(ii)与在所述特定层对所述特征图进行处理的期间为了确定所述FL值而使用的训练图像相对应的特征图的特征值。


6.根据权利要求5所述的方法，其特征在于，所述FL值为当所述特征图的值被量化时以所述加权量化损失值小于阈值的方式进行最优化的值，所述特征图的值的至少一部分包含在相互不同通道中。


7.根据权利要求1所述的方法，其特征在于，还包括步骤d，所述计算装置参照所述FL值及所述BW值，在CNN的各个层所包含的参数适用所述量化运算来生成量化的参数。


8.根据权利要求7所述的方法，其特征在于，还包括以下步骤：
步骤e，若获取到测试值，则所述计算装置使所述CNN利用所述量化的参数在所述测试值适用卷积运算来生成测试特征值，并使所述CNN累积所述测试特征值；以及
步骤f，所述计算装置参照所述FL值及所述BW值，在累积的测试特征值适用所述量化运算来生成量化的测试特征值，并将所述量化的测试特征值存储于存储器。


9.根据权利要求8所述的方法，其特征在于，
在所述步骤e中，所述测试值以定点形态获取，所述测试特征值以浮点形态生成，所述计算装置使所述CNN以所述浮点形态累积所述测试特征值，
在所述步骤f中，所述计算装置生成以所述定点形态量化的特征值，在所述存储器存储以所述定点形态量化的特征值...

【专利技术属性】
技术研发人员：金桂贤，金镕重，金寅洙，金鹤京，南云铉，夫硕焄，成明哲，呂东勋，柳宇宙，张泰雄，郑景中，诸泓模，赵浩辰，
申请(专利权)人：斯特拉德视觉公司，
类型：发明
国别省市：韩国;KR