【技术实现步骤摘要】
本专利技术涉及多模态机器学习领域，具体涉及一种混合专家多模态大模型特征融合方法及系统。
技术介绍
1、在自然语言处理和多模态机器学习领域，随着深度学习技术的迅速发展，基于transformer架构的大模型已经成为应对复杂任务的主要手段。然而，现有的大模型在处理多模态任务时，往往无法充分捕捉和融合不同模态间的信息。这种局限性导致模型在处理跨模态任务时，信息融合效果不佳，进而影响任务的整体性能。例如，在同时处理图像、文本和语音信息时，现有模型通常难以有效结合这些模态的信息，从而导致模型在复杂场景中的表现不尽如人意。
2、为了提升模型在多模态任务中的表现，研究人员提出了多种方法，如直接将多模态数据拼接输入模型或利用简单的注意力机制进行模态间的信息交互。然而，这些方法往往难以应对模态间信息不对齐的问题。具体来说，不同模态的数据在时序、尺度、甚至语义上都可能存在显著差异，直接进行信息融合可能导致重要信息的丢失或噪声的引入，从而影响模型的准确性和泛化能力。此外，现有的方法在处理大规模多模态数据时，也面临着计算效率和存储需求方面的挑战，难...
【技术保护点】
1.一种混合专家多模态大模型特征融合方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种混合专家多模态大模型特征融合方法，其特征在于，进行大模型到小模型的蒸馏过程，得到每个模态下的小模型，具体包括步骤：
3.根据权利要求2所述的一种混合专家多模态大模型特征融合方法，其特征在于，所述教师模型的soft labels为：
4.根据权利要求3所述的一种混合专家多模态大模型特征融合方法，其特征在于，所述步骤S2.3的蒸馏损失为：
5.根据权利要求4所述的一种混合专家多模态大模型特征融合方法，其特征在于，步骤S2.4的损
...
【技术特征摘要】
1.一种混合专家多模态大模型特征融合方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种混合专家多模态大模型特征融合方法，其特征在于，进行大模型到小模型的蒸馏过程，得到每个模态下的小模型，具体包括步骤：
3.根据权利要求2所述的一种混合专家多模态大模型特征融合方法，其特征在于，所述教师模型的soft labels为：
4.根据权利要求3所述的一种混合专家多模态大模型特征融合方法，其特征在于，所述步骤s2.3的蒸馏损失为：
5.根据权利要求4所述的一种混合专家多模态大模型特征融合方法，其特征在于，步骤s2.4的损失为：
6.根据权利要求1所述的一种混合专家...
【专利技术属性】
技术研发人员：周思远，周春云，朱玉鹤，包敏，乔运涛，
申请(专利权)人：扬州万方科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。