【技术实现步骤摘要】
本公开涉及人工智能多模态感知，具体涉及基于近似子模函数与连续学习的提示词优化方法及系统。
技术介绍
1、本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息，不必然构成在先技术。
2、随着人工智能技术的快速发展，其在复杂环境下的应用逐渐深入，尤其是在多模态感知和多任务学习领域。现有的基于视觉-语言模型（如clip）的方法，在提示词选择上存在一定的局限性，无法有效且自动地选取最优提示词，这在面对复杂开放条件下的识别任务时，严重制约了分类性能的提升。因此，亟需一种更有效的提示词优化方法，以增强模型在多样化、动态和不确定环境中的识别能力，提升其泛化性能和鲁棒性。
3、在复杂开放条件下进行识别任务时，数据源常常存在模态、分辨率、采集时间和空间信息等方面的显著差异。不同模态数据的融合和处理通常面临巨大的挑战。尤其是在动态环境下，数据的质量和稳定性常受到多种因素影响，如环境变化、设备性能以及采集条件的不确定性。此外，针对这些多模态数据的处理通常需要大量的标注数据，而高质量的标注数据获取成本较高，且标注过程往往耗时费力，这使得大...
【技术保护点】
1.基于近似子模函数与连续学习的提示词优化方法，其特征在于，包括：
2.如权利要求1所述的基于近似子模函数与连续学习的提示词优化方法，其特征在于，提取图像对应的候选提示词，采用BPE分词器对候选提示词进行编码筛选，保留被编码为单一token的提示词词语，保留下来的提示词词语构成候选提示词集合，每个提示词词语为通过多重筛选的语义有效、频率适中且可由CLIP直接处理的原子词项。
3.如权利要求1所述的基于近似子模函数与连续学习的提示词优化方法，其特征在于，结合任务损失与语义多样性，设计基于近似子模函数性质的组合目标函数，基于近似子模函数性质的组合目...
【技术特征摘要】
1.基于近似子模函数与连续学习的提示词优化方法，其特征在于，包括：
2.如权利要求1所述的基于近似子模函数与连续学习的提示词优化方法，其特征在于，提取图像对应的候选提示词，采用bpe分词器对候选提示词进行编码筛选，保留被编码为单一token的提示词词语，保留下来的提示词词语构成候选提示词集合，每个提示词词语为通过多重筛选的语义有效、频率适中且可由clip直接处理的原子词项。
3.如权利要求1所述的基于近似子模函数与连续学习的提示词优化方法，其特征在于，结合任务损失与语义多样性，设计基于近似子模函数性质的组合目标函数，基于近似子模函数性质的组合目标函数由分类性能项以及语义多样性正则项组成，且组合损失呈现出近似子模函数性质，包括随着候选提示词集合扩展，新加入的提示词对组合损失的改善效果呈边际递减趋势以及在某个提示词，对小的集合的增益高于对大的集合的增益。
4.如权利要求1所述的基于近似子模函数与连续学习的提示词优化方法，其特征在于，采用结合随机扰动、多轮迭代与任务自适应机制的贪心选择算法对组合目标函数进行求解的目标是在不超过设定长度的前提下，从候选提示词集合中选出优化子集，使得组合目标函数的组合损失最小，贪心选择算法的过程包括：初始化提示词的优化子集为空集，在每轮迭代中，遍历所有候选提示词并计算其加入优化子集后将带来的损失下降量，选取带来最大损失下降量的候选提示词，加入当前优化子集，重复迭代，直到达到最大词数或损失下降小于预设阈值时，停止迭代，得到当前贪心迭代下的优化子集。
5.如权利要求4所述的基于近似子模函数与连续学习的提示词优化方法，其特征在于，为避免贪心算法陷入局部最优、提升搜索空间覆盖度，设计两种增强机制：增加随...
【专利技术属性】
技术研发人员：孙皓亮，王雅婷，潘峰，孙渊，范佳奕，闫雪，王哲，尹义龙，葛晨宇，
申请(专利权)人：山东大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。