【技术实现步骤摘要】
本专利技术涉及基于高效梯度近似的黑盒预训练多模态模型微调方法，属于预训练深度学习模型的自适应领域。
技术介绍
1、大规模预训练模型在各种语言、图像理解的应用中取得了显著的性能，在实际使用中，预训练模型如果能够针对具体问题和任务进行微调，则能发挥出更好的效果。
2、现有的参数优化方法主要基于白盒模型，需要模型的架构和参数可访问，因此现有的模型微调方法难以对黑盒预训练模型进行调优。虽然存在多种数值优化算法，但是这类算法在模型自适应问题上的性能仍然未得到全面的验证，尤其是针对视觉-语言多模态预训练模型，如何稳定地提升模型在下游任务上的性能是一个亟待解决的问题。
技术实现思路
1、针对现有模型微调方法不适用于黑盒预训练模型的调优，无法提升黑盒预训练模型在下游任务上的性能的问题，本专利技术提供一种基于高效梯度近似的黑盒预训练多模态模型微调方法。
2、本专利技术的一种基于高效梯度近似的黑盒预训练多模态模型微调方法，包括，
3、设置提示词模块以学习适应下游任务的语境；
4、将本文档来自技高网...
【技术保护点】
1.一种基于高效梯度近似的黑盒预训练多模态模型微调方法，其特征在于包括，
2.根据权利要求1所述的基于高效梯度近似的黑盒预训练多模态模型微调方法，其特征在于，多个词向量组成输入序列，拼接到文本编码器原输入文本类别词前端，实现对编码器输入文本特征的调节。
3.根据权利要求2所述的基于高效梯度近似的黑盒预训练多模态模型微调方法，其特征在于，多个词向量组成的输入序列与类别词向量沿着文本序列长度的维度进行拼接。
4.根据权利要求3所述的基于高效梯度近似的黑盒预训练多模态模型微调方法，其特征在于，文本类别特征向量和输入图像视觉特征的匹配结果使...
【技术特征摘要】
1.一种基于高效梯度近似的黑盒预训练多模态模型微调方法，其特征在于包括，
2.根据权利要求1所述的基于高效梯度近似的黑盒预训练多模态模型微调方法，其特征在于，多个词向量组成输入序列，拼接到文本编码器原输入文本类别词前端，实现对编码器输入文本特征的调节。
3.根据权利要求2所述的基于高效梯度近似的黑盒预训练多模态模型微调方法，其特征在于，多个词向量组成的输入序列与类别词向量沿着文本序列长度的维度进行拼接。
4.根据权利要求3所述的基于高效梯度近似的黑盒预训练多模态模型微调方法，其特征在于，文本类别特征向量和输入图像视觉特征的匹配结果使用向量之间的余弦相似度定义。
5.根据权利要求1所述的基于高效梯度近似的黑盒预训练多模态模型微调方法，其特征在于，所述特征适配器由多个全连接层构成。
6.根据权利要求4所述的基于高效梯度近似...
【专利技术属性】
技术研发人员：刘铭，郭梓贤，魏于翔，左旺孟，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。