一种深度学习网络卷积核内部参数共享方法技术

本发明专利技术公开了一种深度学习网络卷积核内部参数共享方法，包括：(1)对网络进行预训练；(2)对(1)的网络各层的卷积输入通道使用Kmeans聚类函数进行聚类；(3)对(2)中具有属于一类的输入通道共享一个二维矩阵参数；(4)对网络进行再训练提升预测结果。经测试本发明专利技术在对精度基本无影响的前提下可使得卷积神经网络的参数与计算量减少超过40％，加快了神经网络的推理速度，并且在低的共享率下，甚至可以提高网络的测试集推理准确度，使其准确度超越在同样的训练集、同样的训练批次下未经本方法优化的原始神经网络。

【技术实现步骤摘要】
一种深度学习网络卷积核内部参数共享方法
本专利技术涉及人工智能领域，尤其是深度学习网络卷积核内部参数共享方法。
技术介绍
卷积神经网络(ConvolutionalNeuralNetwork，CNN)是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。由于图像平移、缩放和旋转的不变性，卷积神经网络广泛应用于图像识别领域，微软利用卷积神经网络做阿拉伯文和中文的手写识别系统，谷歌使用卷积神经网络来识别街景图片中的人脸和车牌，等等。卷积神经网络的发展十分迅速，其识别的准确率也逐步提高，随之而来的便是巨大参数量和计算量代价。例如：ImageNet挑战的获胜者将分类准确率从2012年的84.7％(AlexNet)提高到2015年的96.5％(ResNet-152)，但计算量却从1.4×1010FLOPs激增至2.26×1011FLOPs，传统CPU对如此庞大的网络一筹莫展，只有具有高计算能力的GPU才能让网络得以相对快速训练。但是高性能的GPU必定会带来巨大的功耗，其散热问题又成为嵌入式设备的一个挑战。本文档来自技高网...

【技术保护点】
1.一种深度学习网络卷积核内部参数共享方法，其特征在于，包括如下步骤：/n步骤1：调用聚类方法对待优化的神经网络模型的每个卷积核的输入通道对应的二维矩阵参数进行聚类，将具有相同特征的二维矩阵参数被划分为一类；/n步骤2：使同类二维矩阵参数共享一个新的二维矩阵参数；/n步骤3：根据新的二维矩阵参数设计新的神经网络模型；/n步骤4：新的神经网络模型中运用矩阵点乘分配律，改变原有计算方式；/n步骤5：训练新的神经网络模型，求出每个神经元的梯度，更新共享权重参数；反复调整共享后的参数，直至达到预定的准确率。/n

【技术特征摘要】
1.一种深度学习网络卷积核内部参数共享方法，其特征在于，包括如下步骤：
步骤1：调用聚类方法对待优化的神经网络模型的每个卷积核的输入通道对应的二维矩阵参数进行聚类，将具有相同特征的二维矩阵参数被划分为一类；
步骤2：使同类二维矩阵参数共享一个新的二维矩阵参数；
步骤3：根据新的二维矩阵参数设计新的神经网络模型；
步骤4：新的神经网络模型中运用矩阵点乘分配律，改变原有计算方式；
步骤5：训练新的神经网络模型，求出每个神经元的梯度，更新共享权重参数；反复调整共享后的参数，直至达到预定的准确率。


2.根据权利要求1所述的一种深度学习网络卷积核内部参数共享方法，其特征在于，在进行步骤1之前，先对待优化的神经网络模型进行预训练。


3.根据权利要求1所述的一种深度学习网络卷积核内部参数共享方法，其特征在于，步骤2，共享前的二维矩阵参数表示为其中wi代表第i层的权重，L代表卷积神经网络的层数，Ni代表第i层的输入通道数；根据聚类，...

【专利技术属性】
技术研发人员：张萌，王九阳，李国庆，吴瑞霞，刘飞，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏;32