【技术实现步骤摘要】
本专利技术涉及机器学习，具体涉及一种基于自监督知识蒸馏策略的多模态学习方法。
技术介绍
1、自监督学习是传统的机器学习范式中的一种，其通过设计巧妙的前置任务，使用待预测部分之外的信息来预测某一个子集的信息，挖掘出大规模无监督数据的潜在规律，学习出有助于提升下游任务性能的数据表征和归纳偏置，这些数据表征需要涵盖良好的语义或结构上的意义。接着通过预训练+调优等方式，将学习到的通用数据表征应用于具体的任务。
2、知识蒸馏是模型压缩的一种常用的方法，是通过构建一个轻量化的小模型，利用性能更好的大模型的监督信息，来训练这个小模型，以期达到更好的性能和精度，在监督学习领域中应用广泛。由于知识蒸馏可以以无监督的方式提取教师网络的本质特征，并基于该特征提升学生网络的性能，越来越多的研究者也尝试将知识蒸馏与自监督学习相结合。
3、多模态学习在分类、目标检测和分割等许多视觉任务上都取得了巨大的成功，其是一种复杂的学习范式，由于多模态数据量的不断增加，多模态学习受到了越来越多的关注，许多研究致力于利用多种模式的信息来提高模型在特定任务...
【技术保护点】
1.一种基于自监督知识蒸馏策略的多模态学习方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的基于自监督知识蒸馏策略的多模态学习方法，其特征在于，在步骤S4中，将RTN网络中的中间特征附加多个辅助分类器，生成不同的自监督信息，并一对一地传递到FIN网络中的具体方法为：
3.根据权利要求1所述的基于自监督知识蒸馏策略的多模态学习方法，其特征在于，在步骤S7中，得到ITN网络的损失LIT的具体方法为：
4.根据权利要求3所述的基于自监督知识蒸馏策略的多模态学习方法，其特征在于，在步骤S7-1中，为了消除维数上的带来的抑制，选...
【技术特征摘要】
1.一种基于自监督知识蒸馏策略的多模态学习方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的基于自监督知识蒸馏策略的多模态学习方法，其特征在于，在步骤s4中，将rtn网络中的中间特征附加多个辅助分类器，生成不同的自监督信息，并一对一地传递到fin网络中的具体方法为：
3.根据权利要求1所述的基于自监督知识蒸馏策略的多模态学习方法，其特征在于，在步骤s7中，得到itn网络的损失lit的具体方法为：
4.根据权利要求3所述的基于自监督知识蒸馏策略的多模态学习方法，其特征在于，在步骤s7-1中，为了消除维数上的带来的抑制，选择余弦距离作为关系函数，所述关系函数表达式为：
5.根据权利要求1所述的基于自监督知识蒸馏策略的多模态学习方法，其特征在于，在步骤s6中，所述spr模块对zr的处理过程为：利用分类信息指导提炼，加入空间信息进行精炼；采用邻域取样器，统计引导的自适应采样，对图片的特征进行提炼；并通过自蒸馏机制，从数据集中的可靠样本中学习语义空间对应知识，传递这些知识给fin网络生成高质量预测。
6.根据权利要求1所述的基于自监督知识蒸馏策略的多模态学习方法，其特征在于，在步骤s8中，所述sir模块对zf的处理过程为：通过准确度衡量标准iou和分类置信度的综合评判，得到top-k个预测结果，并区...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。