一种对轻量化卷积神经网络训练得到预训练模型的方法技术

本发明专利技术公开了一种对轻量化卷积神经网络训练得到预训练模型的方法，本方法在训练轻量化卷积神经网络时，通过识别网络的训练进度，即当网络误差趋于平缓的时候，并根据训练精度冻结网络的主干部分参数，集中算力训练剩下的参数，当网络误差再次趋于平缓的时候，将冻结的参数解冻后进行整个网络的整体训练，这样能节约训练的时间并提高网络的精度，从而达到更好的效果。通过本方法训练得到预训练模型，适用于进行迁移学习。用于进行迁移学习。用于进行迁移学习。

【技术实现步骤摘要】
一种对轻量化卷积神经网络训练得到预训练模型的方法


[0001]本专利技术涉及一种卷积神经网络的训练方法，特别涉及一种轻量化卷积神经网络的训练方法。

技术介绍

[0002]卷积神经网络模型被广泛应用在图像分类、物体检测、目标跟踪等计算机视觉任务中，并取得了巨大成功。然而，由于存储空间和算力资源限制，卷积神经网络模型在移动设备和嵌入式设备上的存储与计算仍然是一个巨大的挑战。
[0003]轻量化卷积神经网络旨在保持模型精度基础上进一步减少模型参数量和复杂度，逐渐成为计算机视觉中的一个研究热点。轻量化卷积神经网络既包含了对网络结构的探索，又有例如知识蒸馏、剪枝等模型压缩技术的运用，推动了深度学习技术在移动端、嵌入式端的应用落地，在智能家居、安防、自动驾驶、智慧海洋等领域都有重要贡献。
[0004]目前训练卷积神经网络的方法主要包括：直接训练和迁移学习。迁移学习即在通过大型开源数据集训练出来的预训练模型的基础上，用自己的数据集对预训练模型的参数进行微调，这样能够大大加快网络的拟合速度，提高网络的精度。
[0005]但是在实际应用当本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对轻量化卷积神经网络训练得到预训练模型的方法，其特征在于，包括如下步骤：步骤1：构建需要进行训练的卷积神经网络模型，采集图片数据集，并对图片数据进行预处理得到训练数据；其中，所述预处理包括对图像依次进行归一化、图像翻转、色域变换等处理；步骤2：定义变量start和end用来分别记录初始epoch和结束epoch的误差，初始epoch和结束epoch间隔a个epoch，定义变量threshold用来设置冻结参数的阈值，开始训练后，每过a个epoch，计算|start
‑
end|的值，并与threshold相比较，threshold的值设定为b，若|start
‑
end|的值小于thre...

【专利技术属性】
技术研发人员：徐嘉辉，王彬，徐凯，陈石，郑清，王中杰，
申请(专利权)人：江苏稻源科技集团有限公司，
类型：发明
国别省市：