【技术实现步骤摘要】
神经网络模型训练方法、装置及对应设备和交互系统
[0001]本公开涉及神经网络领域，尤其涉及一种神经网络模型训练方法、装置及对应设备和交互系统。
技术介绍
[0002]深度神经网络(DNN)在大规模带标签数据的驱动下(即，有监督的训练下)已在各种任务中取得了巨大成功。但是，由人工为数据打上标签的过程既昂贵又费时。同时，大量带标签的数据和经过充分评估的数据集(例如Imagenet)可能具有一般的语义特征。可以进一步利用已有的特征提取器来为相关任务提供指导。为此，提出了迁移学习的概念。迁移学习属于机器学习的一个研究领域，其目的是将知识从已知的源任务转移到新的目标任务。
[0003]虽然现有技术已经针对迁移学习提出了各种方案，但这些方案对源模型和目标模型的结构，以及模型训练数据都有着相对严格的约束，无法适用于更为常见的迁移场景。
[0004]为此，需要一种改进的利用已有模型训练目标模型的方案。
技术实现思路
[0005]本公开要解决的一个技术问题是提供一种改进的利用已有模型训练目标模型的方案。该方案...
【技术保护点】
【技术特征摘要】
1.一种神经网络模型训练方法，包括：构造辅助网络，所述辅助网络获取源模型的输出特征作为输入，并输出与目标模型输出相同维度的辅助网络输出特征；以及将所述辅助网络输出特征与所述目标模型的输出特征分布对齐，以实现从所述源模型到所述目标模型的迁移学习。2.如权利要求1所述的方法，其中，将所述辅助网络输出特征与所述目标模型的输出特征分布对齐包括：计算所述辅助网络输出特征与所述目标模型的输出特征的对齐损失函数；以及基于所述对齐损失函数，调整所述辅助网络的参数。3.如权利要求2所述的方法，还包括：计算所述辅助网络输出特征与所述目标模型的输出特征的匹配损失函数；以及基于所述匹配损失函数，调整所述目标模型的参数。4.如权利要求3所述的方法，还包括：计算所述目标模型的输出特征在目标分类器分类后得到的分类结果与目标数据标签的分类损失函数；以及根据所述分类损失函数，调整所述目标模型和所述目标分类器的参数。5.如权利要求4所述的方法，其中，在基于所述对齐损失函数调整所述辅助网络的参数之后，再固定所述辅助网络参数，进行基于所述匹配损失函数和所述分类损失函数的所述目标模型和所述目标分类器的参数调整。6.如权利要求1所述的方法，包括：使用目标数据分别输入所述源模型和所述目标模型，以各自得到基于目标数据获取的所述源模型的输出特征和所述目标模型的输出特征，其中所述源模型的输出特征作为所述辅助网络的输入。7.如权利要求6所述的方法，还包括：构造第二辅助网络；使用部分源数据分别输入所述源模型和所述目标模型，以各自得到基于部分源数据获取的所述源模型的源数据输出特征和所述目标模型的源数据输出特征，其中所述源模型的源数据输出特征作为所述第二辅助网络的输入；计算所述第二辅助网络输出特征与所述目标模型的源数据输出特征的第二对齐损失函数；以及基于所述第二对齐损失函数，调整所述辅助网络的参数。8.如权利要求7所述的方法，还包括：计算所述第二辅助网络输出特征与所述目标模型的源数据输出特征的匹配损失函数；以及基于所述匹配损失函数，调整所述目标模型的参数。9.如权利要求1所述的方法，还包括：将所述辅助网络输出特征分别与所述目标模型的多个层输出特征分布对齐，以实现从所述源模型到所述目标模型的迁移学习。10.如权利要求9所述的方法，还包括：
将所述辅助网络输出特征和所述源模型的多个层输出特征分别与所述目标模型的多个层输出特征分布对齐，以实现从所述源模型到所述目标模型的迁移学习。11.一种神经网络模型预测方法，包括：获取待处理信息；以及将待处理信息送入如权利要求1
‑
10所述方法得到的目标模型，以获取预测信息。12.如权利要求11所述的方法，其中，所述待处理信息是待分类信息，所述...
【专利技术属性】
技术研发人员：陈泽晗，金炫，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。