一种密集稀疏密集算法的优化方法技术

本发明专利技术提出了一种密集稀疏密集算法的优化方法，包括初始Dense训练阶段、Fuzzy阶段、最后Dense阶段，该方法使用隶属度来度量网络权重与整个网络的关联程度，确定每个数据信息与群集之间的关联程度。本发明专利技术有如下有点：1、与其他经典网络相比，本发明专利技术提出的优化网络是基于学习权重的价值，并且计算出哪些网络权重是更重要的连接，这种筛选过程更好地提高了分类精度。2、本发明专利技术的框架迁移性相比传统DSD得到提高，可用于继Alexnet后的VGG16、vgg19等其余新型网络。3、针对传统的深度神经网络所需上万次迭代分类问题，本发明专利技术在数百次迭代以内能有效提高分类精度。

An Optimal Method of Dense Sparse Dense Algorithms

The present invention proposes an optimization method of dense and sparse dense algorithm, including initial Dense training stage, Fuzzy stage and final Dense stage. The method uses membership degree to measure the degree of association between network weight and the whole network, and to determine the degree of association between each data information and cluster. The invention has the following points: 1. Compared with other classical networks, the optimization network proposed by the invention is based on the value of learning weights, and calculates which network weights are the most important connections, which improves the classification accuracy better. 2. Compared with traditional DSD, the framework mobility of the present invention is improved and can be used in other new networks such as VGG16, Vgg19 and so on after Alexnet. 3. Aiming at the problem of tens of thousands of iterations classification required by traditional deep neural network, the present invention can effectively improve the classification accuracy within hundreds of iterations.

【技术实现步骤摘要】
一种密集稀疏密集算法的优化方法
本专利技术属于图像分类领域，涉及一种密集稀疏密集算法的优化方法。
技术介绍
深度学习属于机器学习领域，随着更多优秀神经网络的提出，我们知道复杂网络的性能更好地证明了特征信息与输出之间的高度非线性相关性。但随着网络的不段的加深，层数越来越多，网络参数也大量增加，这样就导致网络训练的难度不断上升。宋汉提出了一种密集稀疏密集(DSD)算法，重点关注如何通过改进训练过程来提高传统模型的准确性。通过稀疏度来修剪权重小、不重要的网络权重，并基于稀疏约束重新训练网络来标准化网络。虽然DSD和dropout在训练期间都有修剪操作，但不同之处在于DSD根据权重的绝对值选择要删除的连接，随机删除丢弃，而dropout是随机去掉连接。另外DSD也不是模型压缩算法，DSD算法训练模型目的是提高准确率，而不是模型压缩。在在DSD算法优化过程中，鞍点和局部最优很容易影响模型的性能，这些点的梯度接近0，模型接近收敛。通过获得稀疏网络并在训练过程中继续训练，可以跳过这一点，这样密集训练可以收敛到更好的结果。DSD算法通过选择性网络权重来提高网络的性能，但它不能准确区分那些不重要的网络权重。针对这些问题，本专利技术提出了一种模糊DSD算法，该模糊DSD基于现有的密集稀疏密集算法，本专利技术方法关注如何通过改进训练过程提高传统模型的准确率。
技术实现思路
本专利技术主要是对DSD算法的结构优化，DSD算法中设置唯一参数：稀疏度，来衡量网络权重的重要性，即判断网络权重是否需要裁剪。这样虽然通过对网络权重进行有选择性的处理使得网络的性能得到了提高，但是并不能准确的区别并剔除那些不重要的网络权重，造成训练的网络权重存在缺失,导致特征信息部分丢失。本专利技术提出了模糊DSD算法，这种优化策略与BEZDEKJC提出的模糊K均值算法类似，引入隶属度参数。在训练过程中通过修剪具有小权重的不重要连接(根据隶属度判别)并基于稀疏约束重新训练网络来标准化网络。消除稀疏约束来增加模型容量，从零重新初始化修剪参数，并重新训练整个密集网络。使得网络在训练过程避免陷入局部最优值，取得了较好的效果。该方法使用隶属度来度量网络权重与整个网络的关联程度，确定每个数据信息与群集之间的关联程度，具体应用于神经网络权重的优化，通过增加模糊隶属度调整网络权重，该优化策略可以提高权重较大的特征信息，减少权重较小的特征信息。通过精确裁剪网络权重，有效减少了网络中的参数。最终通过对比实验结果表明，该方法的性能优于现有方法。本专利技术的技术方案为一种密集稀疏密集算法的优化方法，包括初始Dense训练阶段、Fuzzy阶段、最后Dense阶段，包括如下步骤：步骤1，初始Dense阶段经过训练得到初始网络权值，输入数据对网络原始结构进行训练，得到网络最优参数，再将训练得到的参数作为Fuzzy训练阶段的初始化权值；步骤2，在Fuzzy训练阶段，先计算每一层N个网络权值W的数值总和S，然后求出每个网络权值在S中所占的比例η，即隶属度；其中，W表示权值，是指层数，N表示每层网络权值的个数，计算每一层N个网络权值W的数值总和S，求出每个网络权值在S中所占的比例η，即为隶属度，i表示层数，j表示每层权重的个数，这里m是总层数，n是每层权重总个数；初始Dense阶段到Fuzzy阶段用隶属度来判断网络权值的重要性，通过隶属度将网络权值进行分类，对网络中不重要的连接和权值进行裁剪，把网络修剪成中小网络；步骤3，将网络中的权值重新进行迭代训练，迭代公式如下，其中，t为迭代次数，a是表示学习率，x表示输入数据，是表示哈密顿算子，权值以哈密顿算子为公差，依次递减；步骤4，将每次权值迭代更新的数值乘以与权值相对应的隶属度，作为下一次迭代更新的初始权值，并依次完成一次Fuzzy阶段的训练；步骤5，在最后Dense训练阶段，将裁剪的权值还原以及Fuzzy阶段训练好的网络权值作为其初始化权值，将其学习率调整为原来的使整个网络迭代训练10000以上，或者输出结果趋于稳定时，完成最后Dense阶段的训练。进一步的，步骤1中初始Dense阶段的网络参数训练与初始化和DSD算法训练过程相同。进一步的，步骤2中利用模糊控制和k均值相结合的方法区分网络中不重要的连接和权值，具体实现方式为：首先随机取多个权值点，再随机取多个权值为中心点，通过反复训练，将所有的权值分为以随机取点为中心的多个区域，从而区分出使用频率低和计算影响很小的网络权值，即不重要的连接和权值。本专利技术与传统的DSD算法相比较，具有以下优点：1、与其他经典网络相比，本专利技术提出的优化网络是基于学习权重的价值，并且计算出哪些网络权重是更重要的连接，这种筛选过程更好地提高了分类精度。2、本专利技术的框架迁移性相比传统DSD得到提高，可用于继Alexnet后的VGG16、vgg19等其余新型网络。3、针对传统的深度神经网络所需上万次迭代分类问题，本专利技术在数百次迭代以内能有效提高分类精度。附图说明图1是本专利技术模糊DSD算法训练过程图。具体实施方式下面结合附图对本专利技术的技术方案作进一步说明。如图1所示，本专利技术提供由三部分组成，分别是初始Dense阶段、Fuzzy阶段、最后Dense阶段，本专利技术提供的一种密集稀疏密集算法的优化方法，即模糊DSD算法，其训练流程如表1，具体包括如下步骤：步骤1，初始Dense阶段经过训练得到初始网络权值，其网络参数训练与初始化与DSD算法训练过程相同，输入数据对网络原始结构进行训练，得到网络最优参数，再将训练得到的参数作为Fuzzy训练阶段的初始化权值；步骤2，在Fuzzy训练阶段，先计算每一层N个网络权值W的数值总和S，然后求出每个网络权值在S中所占的比例η，即隶属度；其中，W表示权值，是指层数，N表示每层网络权值的个数，计算每一层N个网络权值W的数值总和S，求出每个网络权值在S中所占的比例η，即为隶属度，i表示层数，j表示每层权重的个数，这里m是总层数，n是每层权重总个数；初始Dense阶段到Fuzzy阶段用隶属度来判断网络权值的重要性，通过隶属度就是通过聚类分析的方法将网络权值进行分类，由于这里要确定权值是否重要，但权值本身是具有不明确类属特性的，只能区别程度和等级，也就是说不能用一个具体的阈值来限制，所以这里利用模糊控制和k均值相结合的方法。首先随机取多个权值点，再随机取多个权值为中心点；通过反复训练，将所有的权值分为以随机取点为中心的多个区域，从而区分出使用频率低和计算影响很小的网络权值，再对网络中不重要的连接和权值(不重要的连接和权值是指在训练过程中，某些权值在网络计算中使用的频率低或者使用时对网络计算的结果影响很小)进行裁剪，把网络修剪成中小网络。图1中Fuzzy训练阶段连线之间的式子表示权值的隶属度大小。步骤3，将网络中的权值重新进行迭代训练，迭代公式如下，其中，t为迭代次数，a是表示学习率，x表示输入数据，是表示哈密顿算子，权值以哈密顿算子为公差，依次递减。为了便于区分，是表示具体的某一个权值，用于计算，是单指某层下一个权值，这里是指在t次迭代下的权值。步骤4，将每次权值迭代更新的数值乘以与权值相对应的隶属度，作为下一次迭代更新的初始权值，并依次完成一次Fuzzy阶段训练；步骤5，在最后Dense训练阶段，将裁剪的权值还本文档来自技高网...

【技术保护点】
1.一种密集稀疏密集算法的优化方法，包括初始Dense训练阶段、Fuzzy阶段、最后Dense阶段，其特征在于，包括如下步骤：步骤1，初始Dense阶段经过训练得到初始网络权值，输入数据对网络原始结构进行训练，得到网络最优参数，再将训练得到的参数作为Fuzzy训练阶段的初始化权值；步骤2，在Fuzzy训练阶段，先计算每一层N个网络权值W的数值总和S，然后求出每个网络权值在S中所占的比例η，即隶属度；

【技术特征摘要】
1.一种密集稀疏密集算法的优化方法，包括初始Dense训练阶段、Fuzzy阶段、最后Dense阶段，其特征在于，包括如下步骤：步骤1，初始Dense阶段经过训练得到初始网络权值，输入数据对网络原始结构进行训练，得到网络最优参数，再将训练得到的参数作为Fuzzy训练阶段的初始化权值；步骤2，在Fuzzy训练阶段，先计算每一层N个网络权值W的数值总和S，然后求出每个网络权值在S中所占的比例η，即隶属度；其中，W表示权值，是指层数，N表示每层网络权值的个数，计算每一层N个网络权值W的数值总和S，求出每个网络权值在S中所占的比例η，即为隶属度，i表示层数，j表示每层权重的个数，这里m是总层数，n是每层权重总个数；初始Dense阶段到Fuzzy阶段用隶属度来判断网络权值的重要性，通过隶属度将网络权值进行分类，对网络中不重要的连接和权值进行裁剪，把网络修剪成中小网络；步骤3，将网络中的权值重新进行迭代训练，迭代公式如下，其中，t为迭代次数，a是表示学习率，x表...

【专利技术属性】
技术研发人员：王改华，刘文洲，罗冷坤，吕朦，袁国亮，李涛，
申请(专利权)人：湖北工业大学，
类型：发明
国别省市：湖北,42