一种VGG网络的训练方法及装置制造方法及图纸

本发明专利技术公开了一种VGG网络的训练方法及装置，其中该方法包括：生成包含有n个全连接层的VGG网络模型；对所述VGG网络模型进行训练，并在每步训练后将每个所述全连接层的权重矩阵中最接近于零的元素置零，直至每个所述全连接层中为零的元素在该全连接层的全部元素中所占比例达到预设值为止。本申请公开的上述技术方案中，实现了对全连接层参数的逐步精简，每次精简只丢失表现最弱的那个权重元素，从而不仅能够有效的防止重要权重的丢失，有效防止精度下降，还可以使得VGG网络模型更加精简，使得训练得到的VGG网络模型所占内存较少，进而能够移植到移动设备中。

A training method and device for VGG network

The invention discloses a method and apparatus for training VGG network, wherein the method comprises: generating a layer containing N fully connected VGG network model; the training of the VGG neural network model, and in each training after the weight matrix of each of the fully connected layer in the near zero element set zero, until each of the fully connected layer is the proportion of zero elements for all elements of the fully connected layer in the far reaches the preset value. The technical proposal disclosed in the realization of fully connected layer parameters gradually streamline, streamline the time lost weight showed the weakest elements, which not only can effectively prevent the loss of important weight, effectively prevent the decrease in accuracy, but also can make the VGG network model is more streamlined, VGG network model makes the training accounting for less memory and can be transplanted to mobile devices.

【技术实现步骤摘要】
一种VGG网络的训练方法及装置
本专利技术涉及VGG网络
，更具体地说，涉及一种VGG网络的训练方法及装置。
技术介绍
VGG网络是对AlexNet经典CNN模型的改进，现在也已经是经典的CNN模型，这个模型成为了近些年人们研究的热点。VGG网络的结构用的都是特别小的3x3的卷积模版(stride：1，padding:1)以及5个2x2的池化层(stride：2)，并将卷积层的深度提升到了16-19层。现有的VGG网络虽然在训练精度上效果较好，但是它的参数量非常庞大，占用内存过多，无法移植到移动设备内。综上所述，现有技术中的VGG网络存在由于参数量非常庞大导致占用内存过多的问题。
技术实现思路
本专利技术的目的是提供一种VGG网络的训练方法及装置，以解决现有技术中的VGG网络存在的由于参数量非常庞大导致占用内存过多的问题。为了实现上述目的，本专利技术提供如下技术方案：一种VGG网络的训练方法，包括：生成包含有n个全连接层的VGG网络模型；对所述VGG网络模型进行训练，并在每步训练后将每个所述全连接层的权重矩阵中最接近于零的元素置零，直至每个所述全连接层中为零的元素在该全连接层的全部本文档来自技高网...

【技术保护点】
一种VGG网络的训练方法，其特征在于，包括：生成包含有n个全连接层的VGG网络模型；对所述VGG网络模型进行训练，并在每步训练后将每个所述全连接层的权重矩阵中最接近于零的元素置零，直至每个所述全连接层中为零的元素在该全连接层的全部元素中所占比例达到预设值为止。

【技术特征摘要】
1.一种VGG网络的训练方法，其特征在于，包括：生成包含有n个全连接层的VGG网络模型；对所述VGG网络模型进行训练，并在每步训练后将每个所述全连接层的权重矩阵中最接近于零的元素置零，直至每个所述全连接层中为零的元素在该全连接层的全部元素中所占比例达到预设值为止。2.根据权利要求1所述的方法，其特征在于，生成包含有n个全连接层的VGG网络模型，包括：生成包含有n个全连接层及m个卷积层的VGG网络模型，每个所述卷积层中均包含激励函数RELU且经过降采样处理。3.根据权利要求1所述的方法，其特征在于，对所述VGG网络模型进行训练，包括：采取学习速率自适应的方法对所述VGG网络模型进行训练。4.根据权利要求4所述的方法，其特征在于，在每步训练后将每个所述全连接层的权重矩阵中最接近于零的元素置零，包括：在每步训练后将每个所述全连接层的权重矩阵转化为与每个所述全连接层对应的一维数组；对每个所述一维数组中元素的绝对值进行降序排列，并将每个所述一维数组中排在最后的不为零的...

【专利技术属性】
技术研发人员：蔡述庭，梁天智，陈平，李卫军，刘坤，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东,44