【技术实现步骤摘要】
本申请涉及人工智能，尤其涉及一种多模态轻量级动态知识增强方法、装置及存储介质。
技术介绍
1、随着网络和多媒体技术的迅猛发展，现代社会中个体所接触的信息呈现多模态特性，尤以图像和文本为主。然而，这种信息的多元化和丰富性给特定信息精准识别和检索提出挑战。
2、多模态学习的核心在于利用不同模态之间的互补性，同时剔除模态间的冗余信息，从而学习到更加丰富和准确的特征表示，且检索效果的优劣直接受制于这些学习到的特征表示的质量。目前，像对比语言图像预训练(contrastive language-image pre-training，clip)模型这样的大规模多模态预训练模型，由于其强大的泛化能力和对广泛概念的理解，使得在处理通用概念的检索任务上表现出色。然而，在处理某些在训练阶段相对罕见且具有细粒度特征的数据时，表现往往不尽如人意。这主要是因为这类信息的特异性和复杂性，需要模型具备更细致的区分能力和对微妙差异的敏感度。
3、当前改进clip模型在罕见数据检索方面的方法主要包括扩充罕见、细粒度数据集，对clip进行的额外训练...
【技术保护点】
1.一种多模态轻量级动态知识增强方法，其特征在于，包括：
2.根据权利要求1所述的多模态轻量级动态知识增强方法，其特征在于，所述方法还包括：
3.根据权利要求2所述的多模态轻量级动态知识增强方法，其特征在于，所述获取图像小样本集的向量表征和文本小样本集的向量表征，包括：
4.根据权利要求1所述的多模态轻量级动态知识增强方法，其特征在于，所述方法还包括：
5.根据权利要求4所述的多模态轻量级动态知识增强方法，其特征在于，所述在所述第二阈值和第一阈值满足预设条件的情况下，将所述第一阈值对应的视觉表征或文本表征替换为所述跨模态
...【技术特征摘要】
1.一种多模态轻量级动态知识增强方法，其特征在于，包括：
2.根据权利要求1所述的多模态轻量级动态知识增强方法，其特征在于，所述方法还包括：
3.根据权利要求2所述的多模态轻量级动态知识增强方法，其特征在于，所述获取图像小样本集的向量表征和文本小样本集的向量表征，包括：
4.根据权利要求1所述的多模态轻量级动态知识增强方法，其特征在于，所述方法还包括：
5.根据权利要求4所述的多模态轻量级动态知识增强方法，其特征在于，所述在所述第二阈值和第一阈值满足预设条件的情况下，将所述第一阈值对应的视觉表征或文本表征替换为所述跨模态表征，包括：
6.根据权利要求1所述的多模态轻量级动态知识增强方法，其特征在于，所述图像小样本知识库的码表是每一类...
【专利技术属性】
技术研发人员：段东圣，时磊，侯炜，贾云刚，段运强，吕东，段荣昌，井雅琪，闫超阳，鲁睿，刘雨帆，胡卫明，李兵，
申请(专利权)人：国家计算机网络与信息安全管理中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。