迁移学习方法、装置、计算机设备和存储介质制造方法及图纸

本申请揭示了迁移学习方法，迁移学习网络包括任务训练网络和域分类网络，任务训练网络还包括任务训练模型，域分类网络还包括域分类器,所述方法包括：将指定任务的标注数据输入任务训练模型进行训练，以获取到确定特征提取层的第一参数；锁定所述第一参数，将未标注数据和所述标注数据混合输入域分类网络，以获取到域分类器区分未标注数据和所述标注数据的第二参数；锁定所述第二参数，所述域分类器联合所述任务训练模型共同训练所述特征提取层，以获取所述特征提取层不区分所述未标注数据和所述标注数据的第三参数；基于所述第三参数，将所述特征提取层根据所述标注数据训练得到的训练结果迁移至所述未标注数据，对所述未标注数据进行识别。

【技术实现步骤摘要】
迁移学习方法、装置、计算机设备和存储介质
本申请涉及到机器学习领域，特别是涉及到迁移学习方法、装置、计算机设备和存储介质。
技术介绍
目前的深度学习框架下，需要大量的标注数据来训练模型，对数据进行标注的工作耗时长、成本高，耗费大量人力、物力和财力，即便如此，通过有限的标注数据训练得到的模型的泛化能力提升空间有限，只能实现同类型数据迁移，数据类型跨度大、区别大时，在新的数据集上的反馈效果将会大打折扣，这极大的限制了深度学习方法在业界的应用范围和推广速度。
技术实现思路
本申请的主要目的为提供一种迁移学习方法，旨在解决有限标注数据导致训练模型的泛化能力较差的技术问题。本申请提供了一种应用于迁移学习网络的迁移学习方法，迁移学习网络包括共用同一特征提取层的任务训练网络和域分类网络，任务训练网络还包括任务训练模型，域分类网络还包括域分类器，所述方法包括：将指定任务的标注数据输入所述任务训练模型进行模型训练，以获取到特征提取层的第一参数；锁定所述第一参数，将未标注数据和所述标注数据混合输入所述域分类网络，以获取到所述域分类器区分所述未标注数据和所述标注数据的第二参数；锁定所述第二参数，所述域分类器联合所述任务训练模型共同训练所述特征提取层，以获取所述特征提取层不区分所述未标注数据和所述标注数据的第三参数；基于所述第三参数，将所述特征提取层根据所述标注数据训练得到的训练结果迁移至所述未标注数据，对所述未标注数据进行识别。优选地，所述锁定所述第二参数，所述域分类器联合所述任务训练模型共同训练所述特征提取层，以获取所述特征提取层不区分所述未标注数据和所述指定标注数据的第三参数的步骤，包括：通过所述域分类器的交叉熵LOSS函数联合所述任务训练模型的交叉熵LOSS函数共同反传训练所述特征提取层，以获取所述特征提取层不区分所述未标注数据和所述指定标注数据的第三参数。优选地，所述通过所述域分类器的交叉熵LOSS函数联合所述任务训练模型的交叉熵LOSS函数共同反传训练所述特征提取层，以获取所述特征提取层不区分所述未标注数据和所述指定标注数据的第三参数的步骤，包括：修改所述域分类器的交叉熵LOSS函数，修改后的LOSS函数为：LOSS＝-(log2P)2-[log(2-2P)]2，其中P为二分类数据中的某一分类的标定；锁定所述第二参数，将修改后的所述域分类器的LOSS函数和所述任务训练模型的LOSS函数相加得到LOSS函数之和；通过所述LOSS函数之和梯度反向传播训练所述特征提取层；训练至所述LOSS函数之和达到预设值时，确定所述第三参数。优选地，所述锁定所述第二参数，所述域分类器联合所述任务训练模型共同训练所述特征提取层，以获取所述特征提取层不区分所述未标注数据和所述指定标注数据的第三参数的步骤之后，包括：优化训练过程中的学习率和梯度比例；依次迭代所述第一参数、第二参数以及第三参数的训练过程指定次数，以获得所述迁移学习网络的所述特征提取层的优化参数以及所述域分类器的优化参数。优选地，标注人脸图像数据为所述标注数据，指定种类动物的脸部数据为所述未标注数据，所述指定任务为人脸识别任务；所述依次迭代所述第一参数、第二参数以及第三参数的训练过程指定次数，以获得迁移学习网络的特征提取层的优化参数以及域分类器的优化参数的步骤之后，包括：锁定所述迁移学习网络中所述特征提取层的优化参数、所述域分类器的优化参数参数以及所述人脸识别任务的识别模型参数，将所述标注人脸数据和未标注指定种类动物的数据混合输入所述迁移学习网络进行迁移学习；输出所述指定种类动物的标注数据。本申请还提供了一种迁移学习装置，迁移学习网络包括共用同一特征提取层的任务训练网络和域分类网络，任务训练网络还包括任务训练模型，域分类网络还包括域分类器，所述装置包括：第一输入模块，用于将指定任务的标注数据输入所述任务训练模型，以获取到特征提取层的第一参数；第二输入模块，用于锁定所述第一参数，将未标注数据和所述标注数据混合输入所述域分类网络，以获取到所述域分类器区分所述未标注数据和所述标注数据的第二参数；训练模块，用于锁定所述第二参数，所述域分类器联合所述任务训练模型共同训练所述特征提取层，以获取所述特征提取层不区分所述未标注数据和所述标注数据的第三参数；迁移模块，用于基于所述第三参数，将所述特征提取层根据所述标注数据训练得到的训练结果迁移至所述未标注数据，对所述未标注数据进行识别。本申请还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。本申请通过开发从标注数据迁移到未标注数据的迁移学习网络，实现对未标注数据的有效识别，扩展数据标注，提高现有模型的泛化能力；通过迁移学习网络将已标注数据的特征提取方式迁移到未标注数据上，进行自动标注识别，提高标注数据的映射适用范围，使数据标注更方便、快捷、准确，迁移范围更广泛，使得更有利于模型的推广和普及应用；创建基于域分类训练网络和任务训练网络的迁移学习网络，对数据类型不作区分，扩大适用范围，实现从标注数据到未标注数据的有效迁移，为数据标注节省了大量的人力、物力和财力。附图说明图1本申请一实施例的迁移学习方法的流程示意图；图2本申请一实施例的迁移学习装置的结构示意图；图3本申请一实施例的训练模块的结构示意图；图4本申请一实施例的训练单元的结构示意图；图5本申请另一实施例的迁移学习装置的结构示意图；图6本申请再一实施例的迁移学习装置的结构示意图；图7本申请又一实施例的迁移学习装置的结构示意图；图8本申请又一实施例的迁移学习装置的结构示意图；图9本申请一实施例的计算机内部结构示意图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。参照图1，本申请一实施例的应用于迁移学习网络的迁移学习方法，迁移学习网络包括共用同一特征提取层的任务训练网络和域分类网络，任务训练网络还包括任务训练模型，域分类网络还包括域分类器，所述方法包括：S1：将指定任务的标注数据输入任务训练模型进行模型训练，以获取到特征提取层的第一参数。本步骤中的标注数据的种类和内容量依据指定任务的不同而不同，其中标注数据的内容量为几千张、几万张或十几万张的图片。本步骤的任务训练网络包括特征提取层Mf和任务训练模型Mt两部分。本实施例的Mf主要接收图片输入，输出编码之后的图片，Mf使用VGG-16(VisualGeometryGroup，牛津大学的视觉几何研究组开发的卷积神经网络结构，16表示其深度)已经训练好的模型与权重参数来预测图片的类别,无需再训练神经网络权重参数，以提高特征提取的准确性并节约训练成本，进一步提高本实施例中迁移学习网络的迁移能力评估。VGG-16应用了两个卷积层，每个卷积层都是64个过滤器，2个卷积->Pool(池化)->2个卷积->Pool->3个卷积->Pool->3个卷积-&本文档来自技高网...

【技术保护点】
1.一种应用于迁移学习网络的迁移学习方法，其特征在于，迁移学习网络包括共用同一特征提取层的任务训练网络和域分类网络，任务训练网络还包括任务训练模型，域分类网络还包括域分类器，所述方法包括：将指定任务的标注数据输入所述任务训练模型进行模型训练，以获取到特征提取层的第一参数；锁定所述第一参数，将未标注数据和所述标注数据混合输入所述域分类网络，以获取到所述域分类器区分所述未标注数据和所述标注数据的第二参数；锁定所述第二参数，所述域分类器联合所述任务训练模型共同训练所述特征提取层，以获取所述特征提取层不区分所述未标注数据和所述标注数据的第三参数；基于所述第三参数，将所述特征提取层根据所述标注数据训练得到的训练结果迁移至所述未标注数据，对所述未标注数据进行识别。

【技术特征摘要】
1.一种应用于迁移学习网络的迁移学习方法，其特征在于，迁移学习网络包括共用同一特征提取层的任务训练网络和域分类网络，任务训练网络还包括任务训练模型，域分类网络还包括域分类器，所述方法包括：将指定任务的标注数据输入所述任务训练模型进行模型训练，以获取到特征提取层的第一参数；锁定所述第一参数，将未标注数据和所述标注数据混合输入所述域分类网络，以获取到所述域分类器区分所述未标注数据和所述标注数据的第二参数；锁定所述第二参数，所述域分类器联合所述任务训练模型共同训练所述特征提取层，以获取所述特征提取层不区分所述未标注数据和所述标注数据的第三参数；基于所述第三参数，将所述特征提取层根据所述标注数据训练得到的训练结果迁移至所述未标注数据，对所述未标注数据进行识别。2.根据权利要求1所述的迁移学习方法，其特征在于，所述锁定所述第二参数，所述域分类器联合所述任务训练模型共同训练所述特征提取层，以获取所述特征提取层不区分所述未标注数据和所述指定标注数据的第三参数的步骤，包括：通过所述域分类器的交叉熵LOSS函数联合所述任务训练模型的交叉熵LOSS函数共同反传训练所述特征提取层，以获取所述特征提取层不区分所述未标注数据和所述指定标注数据的第三参数。3.根据权利要求2所述的迁移学习方法，其特征在于，所述通过所述域分类器的交叉熵LOSS函数联合所述任务训练模型的交叉熵LOSS函数共同反传训练所述特征提取层，以获取所述特征提取层不区分所述未标注数据和所述指定标注数据的第三参数的步骤，包括：修改所述域分类器的交叉熵LOSS函数，修改后的LOSS函数为：LOSS＝-(log2P)2-[log(2-2P)]2，其中P为二分类数据中的某一分类的标定；锁定所述第二参数，将修改后的所述域分类器的LOSS函数和所述任务训练模型的LOSS函数相加得到LOSS函数之和；通过所述LOSS函数之和梯度反向传播训练所述特征提取层；训练至所述LOSS函数之和达到预设值时，确定所述第三参数。4.根据权利要求1-3任一项所述的迁移学习方法，其特征在于，所述锁定所述第二参数，所述域分类器联合所述任务训练模型共同训练所述特征提取层，以获取所述特征提取层不区分所述未标注数据和所述指定标注数据的第三参数的步骤之后，包括：优化训练过程中的学习率和梯度比例；依次迭代所述第一参数、第二参数以及第三参数的训练过程指定次数，以获得所述迁移学习网络的所述特征提取层的优化参数以及所述域分类器的优化参数。5.根据权利要求4所述的迁移学习方法，其特征在于，标注人脸图像数据为所述标注数据，指定种类动物的脸部数据为所述...

【专利技术属性】
技术研发人员：韩茂琨，王健宗，肖京，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东,44