一种基于浅度学习的神经网络迁移方法技术

本发明专利技术公开了一种基于浅度学习的神经网络迁移方法，方法步骤为：步骤1、分类划分目标任务数据集并进行标记，存储标记数据作为浅度神经网络的训练数据x0；步骤2、输入x0至浅度神经网络，逐层训练得到预训练的浅度神经网络模型，x0经预训练神经网络模型后输出数据为x2；步骤3、将得到的预训练浅度神经网络模型的输出数据x2作为目标任务的深度神经网络模型的输入，以目标任务的带标记数据训练整个深度网络，对整个网络参数进行微调，完成神经网络迁移。本发明专利技术使用逐层训练的浅度神经网络学习模型作为任务迁移的基础模型，使迁移任务简单高效，扩展性强，解决了传统端到端深度神经网络迁移效果波动不定，甚至适得其反的问题。

【技术实现步骤摘要】
一种基于浅度学习的神经网络迁移方法
本专利技术属于计算机视觉
，具体涉及一种基于浅度学习的神经网络迁移方法。
技术介绍
浅度学习：即采用低层次神经网络用于机器学习。是机器学习对数据进行表征学习的方法。构建含少数隐藏层的学习结构来学习属性类别或特征，以发现数据的分布式特征表示。浅度的监督式神经网络比深度网络更容易被解释、分析和优化，但表征能力却不及深度网络。迁移学习：即把已学训练好的模型参数迁移到新的模型来帮助新模型训练。考虑到大部分数据或任务是存在相关性的，所以通过迁移学习我们可以将已经学到的模型参数(也可理解为模型学到的知识)通过某种方式来分享给新模型从而加快并优化模型的学习效率不用像大多数网络那样从零学习(startingfromscratch，tabularasa)。目前的神经网络迁移方法步骤为：1.寻找与目标任务相关的源任务，源任务要与目标任务差距不大。例如如果你要训练一个神经网络来识别肺部X光片中是否包含肿瘤，那么使用VGG16的网络就不如使用一个已训练好的判断脑部是否包含肿瘤的神经网络。后者与当前的任务有相似的场景，很多底层的神经员可以做相同的事，而用来识别日常生活本文档来自技高网...

【技术保护点】
1.一种基于浅度学习的神经网络迁移方法，其特征在于：方法步骤如下：步骤1、预处理目标任务数据集：分类划分目标任务数据集的相关任务并进行标记，并存储标记数据，作为浅度神经网络的训练数据x0；步骤2、预训练浅度神经网络：输入步骤1的训练数据至浅度神经网络，逐层训练得到预训练的浅度神经网络模型，预训练的浅度神经网络模型包括：第一卷积层，池化层，第二卷积层和分类器，训练数据x0经预训练的神经网络模型输出数据为x2；步骤3、迁移网络：将步骤2得到的预训练的浅度神经网络模型输出数据x2作为目标任务的深度神经网络模型的输入，以目标任务的带标记数据训练整个深度网络，对整个网络参数进行微调。

【技术特征摘要】
1.一种基于浅度学习的神经网络迁移方法，其特征在于：方法步骤如下：步骤1、预处理目标任务数据集：分类划分目标任务数据集的相关任务并进行标记，并存储标记数据，作为浅度神经网络的训练数据x0；步骤2、预训练浅度神经网络：输入步骤1的训练数据至浅度神经网络，逐层训练得到预训练的浅度神经网络模型，预训练的浅度神经网络模型包括：第一卷积层，池化层，第二卷积层和分类器，训练数据x0经预训练的神经网络模型输出数据为x2；步骤3、迁移网络：将步骤2得到的预训练的浅度神经网络模型输出数据x2作为目标任务的深度神经网络模型的输入，以目标任务的带标记数据训练整个深度网络，对整个网络参数进行微调。2.根据权利要求1所述的一种基于浅度学习的神经网络迁移方法，其特征在于：所述步骤1中可对目标任务数据集进行拓展，只需相应地对增加的目标任务数据增加标记数据即可。3.根据权利要求1所述的一种基于浅度学习的神经网络迁移方法，其特征在于：所述步骤2预训练的浅度神经网络模型中两个卷积层都采用3×3卷积核操作。4.根据权利要求1所述的一种基于浅度学习的神经网络迁移方法，其特征在于：所述步骤2的浅度神经网络模型中，预训练的浅度神经网络模型数据处理过程具体为：训练数据x0经过第一卷积层的卷积，输出得到x1，x1经过池化层下采样，输出得到x2，将x1输入第二卷积层，再经过分类器，输出预测结果为z...

【专利技术属性】
技术研发人员：牛新征，刘鹏飞，徐畅，李柯江，朱家辉，陈加伟，朱戈，潘袁湘，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川,51