【技术实现步骤摘要】
本专利技术涉及计算机视觉领域，具体涉及到一种基于散度聚类的单实例自进化目标检测分割方法。
技术介绍
1、图像检测分割作为计算机视觉领域的基础任务，分别指实现区域级和像素级的定位识别。由于这类技术在自动驾驶、视频监控、医疗影像分析等领域具有广泛的应用价值，学业界和工业界都提出了针对各类检测分割场景的专家模型。然而，这类专家模型的训练需要高昂的标注成本，且难以泛化到不同的应用场景。近年来，受到上下文学习(in-context learning)范式的启发，各类通用视觉器应运而生。本质上来说，上下文学习范式将与任务相关的示例作为输入，进而估计给定示例下的条件概率分布模型。因此，在下游视觉任务上，示例挑选机制成为该类范式表现优劣的决定性因素。
2、目前，上下文学习范式中效果较好的是依赖相似度度量的示例挑选机制。它们基于clip等成熟的特征提取器将候选池中的图像和测试图像分别编码成图像特征，再设计度量候选池和测试图像的相似度对比算法，筛选候选池中相似度最高的一批图像作为上下文示例，最后共同送入到通用视觉器得到检测分割结果。尽管这类机制能取得不错的效果，但仍然要求提供规模庞大的标注候选池，以致于难以解决真实世界中广泛存在的长尾分布问题，另外，仅依赖相似性度量的挑选机制忽略了通用视觉器的内在先验偏置，导致难以充分发挥上下文学习范式面对不同应用场景的强大性能。
技术实现思路
1、为了克服现有技术的不足，本专利技术提供一种基于散度聚类的单示例自进化目标检测分割方法。本专利技术实现了从大规
2、本专利技术使用的技术方案包含如下主要模块：该模型包含两个部分，第一部分为基于大量无标注样本构建具有代表性的标注候选池，第二部分为基于强化学习训练模型自进化地搜索上下文示例，最终送入通用视觉器完成指定的视觉任务。在第一部分中，采用基于散度的无监督聚类方案从无标注数据中挑选少量样本标注并构建候选池，在第二部分中，引入搜索智能体评估候选池中不同样本作为上下文示例的置信分数，再将测试图像和候选池中的样本及标注逐个拼接，共同送入通用视觉器后得到一组反馈结果，引入强化学习设计奖励机制对智能体进行自进化训练，在测试阶段，我们依据置信分数筛选候选池中最高的一批图像及标注作为上下文示例，最终实现不同场景下的图像检测分割。
3、本专利技术解决其技术问题所采用的技术方案包括以下步骤：
4、步骤1：将大于100000张的无标注图像集经过clip图像编码器（contrastivelanguage-image pre-training，对比语言图像预训练）后，提取得到维的图像特征，并记为，，其中，表示第个无标注图像的维特征，为无标注数据的规模；rd为d维的实线性空间；
5、步骤2：候选池构造；
6、步骤3：图像的预处理过程；
7、将训练图像送入参数冻结的clip图像编码器，提取到的图像特征为，，另外，从中提取大小为2m个图片的候选池的所有样本的图像特征，表示第个无标注图像的维特征；
8、步骤4：为了从候选池中筛选适合训练图像的上下文示例，引入可自进化的搜索智能体，搜索智能体包括特征去噪模块和全局搜索模块，均由一组轻量化的多层感知器（multilayer perceptron）构成；其中，特征去噪模块包括图像去噪模块和候选池去噪模块，图像去噪模块中，基于多层感知器中的可学习权重为和，，迭代修正训练图像不同区域的特征响应，图像去噪模块的输入为，经过可学习权重的非线性变换，不同位置的数值将发生改变，再经过批规范化和函数激活后得到去噪训练特征，训练图像在感知器第层的去噪过程如下：
9、 （1）
10、其中，；候选池图像去噪模块采用如公式（1）所示的范式设计；训练图像特征和候选池中所有样本特征经特征去噪模块后，分别得到去噪训练特征和去噪候选池特征，relu为激活函数，batchnorm为批规范化；
11、步骤5：将复制并生成总共2m份后得到，沿特征维度拼接和，得到联合特征，将联合特征送入全局搜索模块，得到评估分数，，为使得归一化的概率分布具有统计意义，在每个评估分数中引入噪声；
12、步骤6：基于上下文示例的训练图像检测分割；
13、将候选池中所有样本的原图像及分割掩码标注取出，逐个作为训练图像的上下文示例；对于第个样本，将、和共同送入通用视觉器，得到预测的检测分割结果，比较和真实标注的重叠区域，得到评估检测分割效果的交并比()分数；
14、为了引导智能体自适应地为测试图像挑选上下文示例，基于强化学习机制设计搜索智能体的自进化策略；对于一组评估检测分割效果的分数，将平均分数作为基线，高于基线的相应示例得到奖励，用以增强选取类似样本的概率，低于基线的相应示例则被抑制；
15、步骤7：基于步骤1-6的散度聚类的单示例自进行训练后，在推理阶段，搜索智能体中，得到置信分数，将置信分数按降序排列，在候选池中筛选出排序在前k位的图像及分割掩码标注作为上下文示例集，最后，筛选出的上下文示例集和测试图像共同送入通用视觉器中，得到测试图像的检测分割结果。
16、所述步骤2中，候选池构造的步骤为：
17、基于k-means聚类，依据欧式空间中特征集间的相似度将划分为类，，并重新记做，每类的聚类中心为，计算第类中各个样本特征和聚类中心的欧几里得范数，依据欧几里得范数大小将降序排列为，为第类中的样本数，将中序号最大的原样本图像和序号最小的原样本图像添加到候选池中，遍历类后，构建出大小为的候选池，标注候选池中的所有样本，得到分割掩码标注集。
18、所述步骤5中，全局搜索模块的计算表示如下：
19、 （2）
20、 （3）
21、其中，表示引入随机噪声后的函数，表示选择候选池中第个样本的置信概率。
22、所述步骤6中，交并比()分数为：
23、 （4）
24、 （5）
25、其中，和分别为交集及并集的操作，为检测分割结果，为真实标注。
26、所述步骤7中，强化学习机制的公式如下：
27、 （6）
28、其中，l（.）为目标损失函数，为梯度算子，为搜索智能体中图像去噪模块和全局搜索模块的可学习参数。
29、本专利技术的有益效果在于采用一种简单且鲁棒的强化学习框架设计了自进化的单示例挑选机制，为解决图像检测分割任务提供了新的思路。针对目前的上下文示例挑选方法仍然依赖标注候选池规模的问题，该模型实现从大规模无标注数据中挑选少量样本构建本文档来自技高网...
【技术保护点】
1.一种基于散度聚类的单示例自进化目标检测分割方法，其特征在于包含如下步骤：
2.根据权利要求1所述的基于散度聚类的单示例自进化目标检测分割方法，其特征在于：
3.根据权利要求1所述的基于散度聚类的单示例自进化目标检测分割方法，其特征在于：
4.根据权利要求1所述的基于散度聚类的单示例自进化目标检测分割方法，其特征在于：
5.根据权利要求3所述的基于散度聚类的单示例自进化目标检测分割方法，其特征在于：
【技术特征摘要】
1.一种基于散度聚类的单示例自进化目标检测分割方法，其特征在于包含如下步骤：
2.根据权利要求1所述的基于散度聚类的单示例自进化目标检测分割方法，其特征在于：
3.根据权利要求1所述的基于散度聚类的单示...
【专利技术属性】
技术研发人员：王鹏，张艳宁，赖岚清，索伟，孙梦阳，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。