一种基于Banzhaf联盟评估蒸馏的域增量图文检索方法技术

本发明专利技术公开了一种基于Banzhaf联盟评估蒸馏的域增量图文检索方法，该方法通过Banzhaf联盟评估将图文检索建模为一个多元合作博弈过程，通过计算图像token和文本token的联盟对检索精度的贡献，以实现更高效的跨模态对比，提高模型准确性。利用对比学习蒸馏和Banzhaf联盟评估蒸馏，保留结构化语义信息，从样本和token级相似度分别约束跨任务结构知识，减轻灾难性遗忘。本发明专利技术还提出通过添加token级别的动态语义提示，自适应的补偿模态间的语义信息差异，通过保留域独立的语义提示来保留任务的知识。本方法的提出，主要解决的技术问题包括不同模态特征的结构化语义信息缺失和跨模态知识迁移时的任务间知识偏差。

【技术实现步骤摘要】

本专利技术适用于计算机视觉领域中的域增量图文检索，尤其涉及一种基于banzhaf联盟评估蒸馏的域增量图文检索方法。

技术介绍

1、在过去的几十年里，多媒体数据呈爆炸式增长，极大地扩大了人类的视野。其中视觉和文字内容是互联网上的两种主要形式。在智能搜索引擎、多媒体数字图书馆等实际应用中，对图像、文本等多媒体资源的检索有着巨大的需求。因此，跨模态图文检索已成为一个重要的研究课题。

2、在许多实际场景中，跨模式数据是顺序到达的，而不是一次性到达，从而带来不同域的新数据甚至新类。例如，医生根据每天更新的病历文件和影像对患者进行医疗诊断；他们被要求诊断新老疾病。互联网每天都会产生图像和文本，网络监管部门需要及时发现新出现的或以前出现的负面内容。在这种情况下，为每个新域训练一个单独的模型会导致不可接受的存储消耗。另一方面，对新域中的数据进行直接重新训练或微调可能会降低新旧域中的性能。因此，域增量图文检索，对于存储和计算能力有限的实际应用程序非常重要。

3、域增量图文检索任务要在来自不同任务域的一系列数据集上依次学习模型，在每个子任务阶段，模型都本文档来自技高网...

【技术保护点】

1.基于Banzhaf联盟评估蒸馏的域增量图文检索方法，其特征在于：

2.根据权利要求1所述的基于Banzhaf联盟评估蒸馏的域增量图文检索方法，其特征在于：

3.根据权利要求2所述的一种基于Banzhaf联盟评估蒸馏的域增量图文检索方法，其特征在于：

4.根据权利要求2所述的一种基于Banzhaf联盟评估蒸馏的域增量图文检索方法，其特征在于：

【技术特征摘要】

1.基于banzhaf联盟评估蒸馏的域增量图文检索方法，其特征在于：

2.根据权利要求1所述的基于banzhaf联盟评估蒸馏的域增量图文检索方法，其特征在于：

3.根据...

【专利技术属性】
技术研发人员：王少帆，魏福豪，孙艳丰，尹宝才，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：