【技术实现步骤摘要】
本专利技术涉及平衡化学习和多模态学习，具体涉及一种基于知识蒸馏的平衡化多模态学习方法。
技术介绍
1、多模态学习通过建立不同模态之间的联系，将不同模态的信息进行互补，学习到更好的特征表示，从而提升模型训练的效果，现已在医学诊断分析、无人驾驶、视频分析、情绪识别等领域得到了广泛应用。但在实际的训练过程中发现，即使多模态模型的性能优于单模态模型，这些不同模态的信息也仍然没有得到充分利用，存在模态间优化不平衡现象。知识蒸馏是指一种将复杂模型的知识传递给简化模型，以提高性能和减少计算资源需求的方法。
2、为了解决多模态学习中的不平衡化问题，现有的解决方法主要有正则化和梯度调节。为了从不同的角度来缓解多模态学习中的不平衡问题，现有技术中通过在训练过程中随机丢弃某种模态，作为一种正则化技术调整不同模态之间的学习速度，或者为某种模态及其融合模态使用额外的分类器，器通过拟合行为获得模态的最佳混合权重，或者通过调节梯度减缓强大模态的学习速率，以减轻对其他模态的抑制作用。
3、但现有技术中存在以下不足：传统的平衡化多模态学习方法需要...
【技术保护点】
1.一种基于知识蒸馏的平衡化多模态学习方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于知识蒸馏的平衡化多模态学习方法，其特征在于，所述步骤S1具体包括如下步骤：
3.根据权利要求1所述的基于知识蒸馏的平衡化多模态学习方法，其特征在于，所述步骤S2具体包括如下步骤：
4.根据权利要求1所述的基于知识蒸馏的平衡化多模态学习方法，其特征在于，所述平衡判断第二目标模态和第二源模态的训练程度，包括：
5.根据权利要求4所述的基于知识蒸馏的平衡化多模态学习方法，其特征在于，所述通过自适应调节模态训练平衡化得到蒸馏损失，
...
【技术特征摘要】
1.一种基于知识蒸馏的平衡化多模态学习方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于知识蒸馏的平衡化多模态学习方法，其特征在于，所述步骤s1具体包括如下步骤：
3.根据权利要求1所述的基于知识蒸馏的平衡化多模态学习方法，其特征在于，所述步骤s2具体包括如下步骤：
4.根据权利要求1所述的基于知识蒸馏的平衡化多模态学习方法，其特征在于，所述...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。