一种基于信息熵的多模型自适应深度神经网络滤波器嫁接方法、装置、系统及存储介质制造方法及图纸

本发明专利技术提供了一种基于信息熵的多模型自适应深度神经网络滤波器嫁接方法，包括依次执行以下步骤：步骤一：每个周期内多个模型权值正常迭代更新；步骤二：计算每一层滤波器的信息熵；步骤三：相邻两个网络自适应的加权平均作为新的权值。本发明专利技术的有益效果是：1.该方法能够激活模型中的无效滤波器，从而在不改变模型结构的情况下提高模型的准确率；2.该方法提出使用滤波器的信息熵来评价滤波器的质量，相比使用范数能够更加准确地评价滤波器质量，相比计算输出特征图的信息熵需要更少的计算量；3.该方法提出自适应加权平均函数，针对每一层的特点，动态的调节两个模型中滤波器保留的比例，相比给所有层设置统一的系数更加的灵活。

A multi model adaptive depth neural network filter grafting method, device, system and storage medium based on information entropy

【技术实现步骤摘要】
一种基于信息熵的多模型自适应深度神经网络滤波器嫁接方法、装置、系统及存储介质
本专利技术涉及人工智能领域，尤其涉及一种基于信息熵的多模型自适应深度神经网络滤波器嫁接方法。
技术介绍
深度神经网络的发展十分迅速，在计算机视觉，语音识别，自然语言处理等方面变得流行和高效。在计算机视觉领域，大量的滤波器被使用在神经网络中，滤波器可以用来提取前一层特征矩阵的特征，生成下一层的特征矩阵。实验表明，随着深度神经网络参数量的增大，模型的性能也在提升。因此越来越深的模型被提出。然而，最近的研究表明，深度神经网络中包含大量的无效滤波器。这些无效滤波器并没有对最终结果产生积极作用，因此这些滤波器浪费了大量的计算力。常用的解决无效滤波器问题的方式是滤波器剪枝技术，剪枝技术将无效滤波器裁减掉，只保留好的滤波器。滤波器剪枝技术通常分为训练、剪枝、调整这三个阶段。在训练阶段，为了获得更加稀疏化的模型，需要在损失函数中添加相应的惩罚项进行结构化稀疏。在剪枝阶段，通过一些指标(例如滤波器的范数)来筛选出无效滤波器，并将这些滤波器从模型中减掉。为了恢复裁剪后模型本文档来自技高网...

【技术保护点】
1.一种基于信息熵的多模型自适应深度神经网络滤波器嫁接方法，其特征在于，包括依次执行以下步骤：/n步骤一：每个周期内多个模型权值正常迭代更新；/n步骤二：计算每一层滤波器的信息熵；/n步骤三：相邻两个网络自适应的加权平均作为新的权值。/n

【技术特征摘要】
1.一种基于信息熵的多模型自适应深度神经网络滤波器嫁接方法，其特征在于，包括依次执行以下步骤：
步骤一：每个周期内多个模型权值正常迭代更新；
步骤二：计算每一层滤波器的信息熵；
步骤三：相邻两个网络自适应的加权平均作为新的权值。


2.根据权利要求1所述的多模型自适应深度神经网络滤波器嫁接方法，其特征在于：
假设一共有K个并行训练的模型，每个模型有L层，则模型初始权重训练需要总的周期数Tmax，每个周期内的迭代次数NT；
在所述步骤1中，还包括执行以下步骤：
第1步骤：在每次迭代时，并行的更新每一个模型、每一层的参数
第2步骤：经过一个周期NT次迭代后，对于模型K，将其前一个模型每一层的参数传递给它的每一层。


3.根据权利要求2所述的多模型自适应深度神经网络滤波器嫁接方法，其特征在于，在所述步骤2中，还包括执行以下步骤：
第3步骤：将模型每一层的权重，离散化为B位，pb代表每一位出现的频率，则每一层的信息熵为：



第4步骤：使用如下公式比较模型K和模型K-1中无效滤波器数量的相对大小：



其中A和c是固定的超参数，代表第j个模型的第i层的信息熵。


4.根据权利要求3所述的多模型自适应深度神经网络滤波器嫁接方法，其特征在于，在所述步骤3中，还包括执行以下步骤：
第5步骤：对于任一模型K，使用如下公式自适应的加权平均他和模型K-1的每一层，作为模型K的新的参数：



在所述步骤3后还包括执行以下步骤：
步骤四：进入下一个周期，重新执行上面的步骤1至步骤3，直到模型最终收敛。


5.一种基于信息熵的多模型自适应深度神经网络滤波器嫁接装置，其特征在于，包括依次执行以下单元：
单元一：每个周期内多个模型权值正常迭代更新；
单元二：计算每一层滤波器的信息熵；
单元三：相邻两个网络自适应的加权平...

【专利技术属性】
技术研发人员：卢光明，孟繁续，程昊，李珂，孙星，郭成昊，
申请(专利权)人：哈尔滨工业大学深圳哈尔滨工业大学深圳科技创新研究院，
类型：发明
国别省市：广东;44