一种基于知识蒸馏的深度融合多跨域少样本分类方法技术

本发明专利技术提供一种基于知识蒸馏的深度融合多跨域少样本分类方法，涉及深度学习技术领域。该方法利用知识蒸馏从多个教师网络进行知识迁移，提升了模型的泛化能力。通过将元学习的训练策略融入知识蒸馏，结合任务导向的知识蒸馏和多个教师网络的协作，从多个方面为学生网络提供知识，增强了学生网络在新的少样本任务的性能。从教师网络的输出预测和样本关系两方面提取监督信息，使用深度融合将多个教师的输出融合，用于指导学生网络的训练，提升知识蒸馏的效率。本发明专利技术方法能够有效地将知识从多个源域迁移到目标域，提高学生网络在目标少样本任务上的泛化性和准确率。

【技术实现步骤摘要】

本专利技术涉及深度学习，尤其涉及一种基于知识蒸馏的深度融合多跨域少样本分类方法。

技术介绍

1、目前，深度学习在计算机视觉领域已经取得了较大成功，例如物体分类、图像检索和动作识别等任务。深度学习的成功在很大程度上依赖于海量的数据和强大的计算资源。然而许多识别分辨和机器学习任务中，人类往往可以从很少的例子中识别新物体或视觉概念，这种快速学习的能力是现在的深度学习所不具备的。因此，如何通过有限的标记数据来学习识别新类别引起了人们的广泛关注，这也是少样本学习(few-shot learning)所要解决的核心问题。近几年来，大量少样本学习的工作都采用了元学习(meta learning)的思想，其基本思路是在训练阶段通过训练一个能够快速适应新任务的模型，从而在测试阶段可以高效地使用少量的样本来学习新任务。然而，大多数的少样本学习方法依赖于与目标任务域分布相同的辅助数据。为了解决这个问题，研究者提出了多跨域少样本学习(multiple cross-domain few-shot learning,mcd-fsl)，旨在利用来自多个不同源域的数据来提升模型性能。ts本文档来自技高网...

【技术保护点】

1.一种基于知识蒸馏的深度融合多跨域少样本分类方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的一种基于知识蒸馏的深度融合多跨域少样本分类方法，其特征在于：所述步骤1分别利用N个不同源域的训练集{Z1,Z2,…,ZN}来训练N个不同的教师网络，初始化N个教师网络参数，以传统监督训练的方式利用交叉熵损失对每一个教师网络进行预训练，最终得到N个训练好的教师网络；利用一个多样性数据集来预训练学生网络Sp，以传统监督训练的方式利用交叉熵损失对学生网络进行预训练，得到预训练的学生网络Sp。

3.根据权利要求2所述的一种基于知识蒸馏的深度融合多跨域少样本分类方法，其特...

【技术特征摘要】

1.一种基于知识蒸馏的深度融合多跨域少样本分类方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的一种基于知识蒸馏的深度融合多跨域少样本分类方法，其特征在于：所述步骤1分别利用n个不同源域的训练集{z1,z2,…,zn}来训练n个不同的教师网络，初始化n个教师网络参数，以传统监督训练的方式利用交叉熵损失对每一个教师网络进行预训练，最终得到n个训练好的教师网络；利用一个多样性数据集来预训练学生网络sp，以传统监督训练的方式利用交叉熵损失对学生网络进行预训练，得到预训练的学生网络sp。

3.根据...

【专利技术属性】
技术研发人员：尚振铎，刘西瑶，韩志，
申请(专利权)人：中国科学院沈阳自动化研究所，
类型：发明
国别省市：