优化系统、重新训练系统及其方法及处理器和可读介质技术方案

本申请涉及一种用于神经网络的优化系统和方法及重新训练系统和方法以及处理器和计算机可读介质。根据本申请，对于神经网络的同一层中的多个通道根据其相似度进行分组，然后对其进行聚类分析并在同一通道组内共享聚类中心对应的代表权重值。在重新训练时，先调整偏置项，如果不能达到精度的要求则进一步调整权重。在权重调整之后，根据调整后的权重，更新通道分组并重新进行聚类分析和权重共享。根据本发明专利技术的系统和方法，节省了权重聚类和权重反向传播计算的时间，大大提高了训练速度，并且获得了很好的精度。

【技术实现步骤摘要】
优化系统、重新训练系统及其方法及处理器和可读介质
本申请涉及一种神经网络的优化方法和系统，尤其涉及一种通过对权重参数进行非线性量化并在通道组内共享权重参数从而对卷积神经网络实现优化的方法和系统。
技术介绍
卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。卷积神经网络具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类，因此也被称为平移不变人工神经网络。在二十一世纪后，随着深度学习理论的提出和数值计算设备的改进，卷积神经网络得到了快速发展，并被应用于计算机视觉、自然语言处理等领域。卷积神经网络仿造生物的视知觉机制构建，可以进行监督学习和非监督学习，其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化特征例如像素和音频进行学习、有稳定的效果且对数据没有额外的特征工程要求。卷积神经网络是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，尤其适用于大型图像处理。卷积神经网络由一个或多个卷积层和顶端的全连通层(对应传统的神经网络)组成，同时也包括关联权重和池化层。这一结构使得卷积神经网络能够利用输入数据的二维结构。与其他深度学习结构相比，卷积神经网络在图像和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网络，卷积神经网络需要考虑的参数更少，因此，卷积神经网络逐渐为一种颇具吸引力的深度学习结构。近年来，随着卷积神经网络的迅猛发展，网络结果的层数越来越深，参数量相应的也越来越多，对计算资源的需求也不断增加。然而在移动设备上，在嵌入式的应用场景中，计算能力以及功耗都严格受限，因此对卷积神经网络进行优化的技术也越来越受到大家的关注。具体来说，业内人士尤其关注在嵌入式终端设备上使用卷积神经网络的传统方案所存在的以下问题：1)严重的网络精度损失；2)计算精度低和运算速度慢；3)功耗严重。在传统冯·诺伊曼体系结构中，数据从处理单元外的存储器提取，处理完之后再写回存储器。在AI芯片实现中，由于访问存储器的速度无法跟上运算部件消耗数据的速度，再增加运算部件也无法得到充分利用，即形成所谓的冯·诺伊曼“瓶颈”，或“内存墙”问题，这是长期困扰计算机体系结构的难题。解决这一问题的基本思路有：减少访问存储器的数量，比如减少神经网络的存储需求(参数数量，数据精度，中间结果)、数据压缩和以运算换存储等。现有技术中已经有人使用权重共享的方法来降低需要存储的参数量。但是，大多数的权重共享是以层为单位的，即每层共享相同的权重。这种方式虽然能大大降低存储需求，但是却存在诸多缺点，比如容易造成精度的严重下降，因为每个层中有不同的通道，而同一层中的不同通道表示不同的特征，因此不同通道的实际权重可能差别很大，而如果让所有通道都共享同一个权重，那么某些通道所使用的共享权重对这些通道的特征并非最优，通道的某些重要功能可能会被抑制，从而损害网络的性能和精确度。
技术实现思路
为了解决上述技术问题，本专利技术提出了一种神经网络的优化系统和方法，以及用于提高精度的重新训练系统和方法。本专利技术的第一方面提供了一种用于神经网络的优化方法，包括以下步骤：评估所述神经网络中同一层中的多个通道的权重之间的相似度；根据评估结果对所述多个通道进行分组，以形成通道组；对同一所述通道组中的所述通道的权重进行聚类分析，以确定聚类中心；以所述聚类中心对应的值作为代表权重值，把所述代表权重值共享为所述同一所述通道组内的所述通道的权重。其中，所述相似度包括各个通道的权重概率分布之间的相似度。其中通过JS散度、KL散度或者推土机距离来评估所述相似度，或者通过计算所述权重的欧氏距离、余弦相似性或曼哈顿距离来评估所述相似度。其中，通过JS散度算法来计算每两个通道的权重分布的JS值，所述JS值用于指示所述两个通道的权重的概率分布的相似度。其中所述聚类分析的步骤通过k均值聚类算法、K中心点聚类或H-K聚类算法来计算和确定所述聚类中心。其中，其中所述K均值聚类算法中的K取值为16，并且所确定的所述聚类中心为16个。所述优化方法进一步包括，根据所述代表权重值建立查找表，所述查找表包括非均匀量化的所述代表权重值和索引。其中所述代表权重值被存储为低位宽索引。所述优化方法进一步包括：在所述把所述代表权重值共享为所述同一所述通道组内的所述通道的权重的步骤之后，确定所述神经网络的输出精度；把所述输出精度与预设精度阈值进行比较；当所述输出精度低于所述预设精度阈值时，则对所述神经网络进行重新训练。其中，使用后向传播算法来进行所述重新训练。其中，在所述重新训练中，调整偏置项而保持所述权重不变。其中，当调整所述偏置项不能达到预设的精度阈值时，则调整所述权重或同时调整所述权重和所述偏置项。其中，使用低学习率进行所述重新训练。本专利技术的第二方面提供了一种用于神经网络的优化系统，包括：评估分组模块，用于评估所述神经网络中同一层中的多个通道的权重之间的相似度，并根据评估结果对所述多个通道进行分组，以形成通道组；聚类分析模块，用于对同一所述通道组中的所述通道的权重进行聚类分析以确定聚类中心；权重共享模块，用于把所述聚类中心对应的值作为代表权重值并将其共享为所述同一所述通道组内的所述通道的权重。其中所述相似度包括各个通道的权重概率分布之间的相似度。其中通过JS散度、KL散度或者推土机距离来评估所述相似度，或者通过计算所述权重的欧氏距离、余弦相似性或曼哈顿距离来评估所述相似度。其中JS散度算法来计算每两个通道的权重分布的JS值，所述JS值用于指示所述两个通道的权重的概率分布的相似度。其中所述聚类分析的步骤通过k均值聚类算法、K中心点聚类或H-K聚类算法来计算和确定所述聚类中心。其中，所述K均值聚类算法中的K取值为16，并且所确定的所述聚类中心为16个。所述优化系统进一步包括，根据所述代表权重值为通道组建立查找表，所述查找表包括非均匀量化的所述代表权重值和与所述代表权重值相对应的索引。其中所述代表权重值被存储为低位宽索引。所述优化系统进一步包括：比较模块，用于比较所述神经网络的输出精度与预设精度阈值，其中所述输出精度为把所述代表权重值共享为所述同一所述通道组内的所述通道的权重之后所得到的输出的精度；重新训练模块，用于当所述输出精度低于所述预设精度阈值时更新所述神经网络的参数以对所述神经网络进行重新训练。其中使用后向传播算法来进行所述重新训练。其中，在所述重新训练中，调整偏置项而保持所述权重不变。其中当调整所述偏置项不能达到预设的精度阈值时，则调整所述权重或同时调整所述权重和所述偏置项。其中被调整的权重被送入所述评估分组模块，以供所述评估分组模块再次进行评估和分组。其中，使用低学习率进行所述重新训练。本专利技术的第三方面提供了一种提升量化后的神经网络的输出精度的重新训练方法，包括以下步骤：调整偏置项，且保持权重不变；比较调整所述偏置项之后所述神经网络的输出精度与预设精度阈值；如果所述输出精度低于所述预设精度阈值，则调整所述权重和所述偏置项。在调整所述权重的本文档来自技高网...

【技术保护点】
1.一种用于神经网络的优化方法，包括以下步骤：/n评估所述神经网络中的同一层中的多个通道的权重的相似度；/n根据评估结果对所述多个通道进行分组，以形成通道组；/n对同一所述通道组内的所述通道的权重进行聚类分析，以确定聚类中心；/n以所述聚类中心对应的值作为代表权重值，把所述代表权重值共享为所述同一所述通道组内的所述通道的权重。/n

【技术特征摘要】
1.一种用于神经网络的优化方法，包括以下步骤：
评估所述神经网络中的同一层中的多个通道的权重的相似度；
根据评估结果对所述多个通道进行分组，以形成通道组；
对同一所述通道组内的所述通道的权重进行聚类分析，以确定聚类中心；
以所述聚类中心对应的值作为代表权重值，把所述代表权重值共享为所述同一所述通道组内的所述通道的权重。


2.如权利要求1所述的方法，进一步包括，基于所述代表权重值为所述通道组建立查找表，所述查找表包括非均匀量化的所述代表权重值和与所述代表权重值相对应的索引。


3.如权利要求2所述的方法，其特征在于，所述代表权重值被存储为低位宽索引。


4.如权利要求1所述的方法，进一步包括：
在所述把代表权重值共享为所述同一所述通道组内的所述通道的权重的步骤之后，确定所述神经网络的输出精度；
把所述输出精度与预设精度阈值进行比较；
当所述输出精度低于所述预设精度阈值时，则对所述神经网络进行重新训练。


5.如权利要求4所述的方法，其特征在于，在所述重新训练中，调整偏置项而保持所述权重不变。


6.如权利要求5所述的方法，其特征在于，当调整所述偏置项不能达到预设的精度阈值时，则调整所述权重或同时调整所述权重和所述偏置项。


7.如权利要求1所述的方法，其特征在于，所述相似度包括各个通道的权重概率分布之间的相似度。


8.如权利要求1所述的方法，其特征在于，通过JS散度、KL散度或者推土机距离来评估所述相似度，或者通过计算所述权重的欧氏距离、余弦相似性或曼哈顿距离来评估所述相似度。


9.如权利要求1所述的方法，其特征在于，所述聚类分析的步骤通过k均值聚类算法、K中心点聚类或H-K聚类算法来计算和确定所述聚类中心。


10.一种用于神经网络的重新训练方法，包括以下步骤：
调整偏置项，且保持权重不变；
比较调整所述偏置项之后所述神经网络的输出精度与预设精度阈值；
如果所述输出精度低于所述预设精度阈值，则调整所述权重和所述偏置项。


11.如权利要求10所述的方法，其特征在于，在调整所述权重的步骤中，通过后向传播算法分别单独调整权重。


12.如权利要求11所述的方法，进一步包括以下步骤：
在调整权重后，评估所述神经网络中同一层中的多个通道的调整后的权重之间的相似度；
根据评估结果对所述多个通道进行分组，以形成通道组；
对同一所述通道组中的所述通道的所述调整后的权重进行聚类分析，以确定聚类中心；
把所述聚类中心对应的值作为代表权重值，把所述代表权重值共享为所述同一所述通道组内的所述通道的权重。


13.如权利要求12所述的方法，其特征在于，采用如权利要求10-12中任一项所述的方法来完成所述评估的步骤，采用如权利要求13-14中任意一项所述的方法来完成所述聚类分析的步骤，并采用如权利要求2-3中任意一项的方法来建立查找表。


14.一种用于神经网络的优化系统，包括：
评估分组模块，用于评估所述神经网络中同一层中的多个通道的权重之间的相似度，并根据评估结果对所述多个通道进行分组，以形成通道组；
聚类分析模块，用于对同一所述通道组中的所述通道的权重进行聚类分析以确定聚类中心；
权重共享模块，用于把所述聚类中心对应的值作为代表权重值并将其共享为所述同一所述通道组内的所述通道的权重。


15.如权利要求14所述的系...

【专利技术属性】
技术研发人员：赵京雄，王东鹏，霍晓，李莎，
申请(专利权)人：联合微电子中心香港有限公司，
类型：发明
国别省市：中国香港;81