【技术实现步骤摘要】
本专利技术涉及深度学习和计算机视觉，，更具体地，涉及一种基于分割大模型的高精度弱监督目标检测分割方法。
技术介绍
1、在计算机视觉领域中，弱监督目标检测和弱监督物体分割已经成为研究的热点话题。与传统的全监督方法相比，弱监督方法只需要较少的标注信息，如图像级标签或边界框标注，而不是像素级的精确标注。这使得弱监督方法在处理大规模未标注数据时更加高效和实用。
2、弱监督目标检测和分割的关键挑战之一在于如何从有限的监督信息中学习到足够的特征，以进行准确的物体定位和分割。目前的研究主要集中在两个方面：一是如何利用现有的弱标注信息最大化模型的性能，二是如何设计有效的算法来补充或推测缺失的标注信息。在这些研究中，一种常见的方法是利用弱标注数据训练一个弱监督目标检测模型，然后通过各种策略如自学习、伪标签生成或注意力机制，进一步提炼和优化模型的预测能力。
3、弱监督物体分割的研究同样面临着挑战。这种方法通常依赖于图像级的标签来指导物体分割，但这种方法往往缺乏足够的定位信息，导致分割精度有限。为了解决这一问题，研究者们尝试采用多任务学习、迁移学习以及生成对抗网络等技术来提升模型的分割性能。此外，融合弱监督和半监督学习的方法也被探索用于进一步提高分割准确性。
4、总体而言，弱监督目标检测和分割领域仍存在许多未解决的问题，如何更有效地利用有限的标注信息、如何设计更加鲁棒和高效的算法等。随着研究的不断深入，这些问题有望得到解决，进而推动该领域的发展。
技术实现思路
1、针
2、为实现上述目的，本专利技术提供了一种基于分割大模型的高精度弱监督目标检测分割方法，包括以下步骤：
3、(1)使用分类线索提示分割大模型，从而生成高召回的图片建议框，包括以下子步骤：
4、(1.1)将训练集的图片输入到朴素视觉变换分类网络用以生成分类线索，包括交叉注意力激活图，粗糙类激活图，以及精细类激活图。具体包括如下子步骤：
5、(1.1.1)从分类网络的自注意力图中获取交叉注意力图其中k是视觉变换网络编码器的层数，h是每层的注意力头的数量，n×n是视觉令牌的空间尺寸，c是分类标签的类别总数；
6、(1.1.2)从卷积类激活头中获取粗糙的类激活图卷积类激活头将最终转换器层的视觉令牌作为输入并生成粗略的类激活图；
7、(1.1.3)利用分类网络生成精细的类激活图
8、(1.2)使用空间采样生成空间相关的查询点，并通过(1.1)步骤中获取的激活图生成实例相关的查询点和语义相关的查询点；具体包括如下子步骤：
9、(1.2.1)密集采样，此步骤需要将图像分割成s×s个图像块，并以中心点作为空间相关查询；
10、(1.2.2)从交叉注意力图中获取峰值点作为实例相关查询；
11、(1.2.2.1)将峰值点坐标列表和对应峰值列表初始化为空；
12、(1.2.2.2)将待删除的点坐标列表和对应值的列表初始化为空；
13、(1.2.2.3)初始化一个具有图片最短边1/4长度作为核大小的最大池化操作核，该最大池化操作核的步长为其池化核大小的1/2；
14、(1.2.2.4)将输入的交叉注意力图进行形状重塑，确保其最后两个维度对应原始图像大小，其余作为第一个维度；
15、(1.2.2.4)将(1.2.2.3)步骤中初始化的最大池化操作核应用到(1.2.2.4)步骤重塑后的交叉注意力图上，从而得到初步激活点坐标列表与初步激活点值列表；
16、(1.2.2.5)将(1.2.2.4)步骤中得到的初步激活点值列表进行排序，按照降序顺序进行；对应地，也将其初步激活点坐标列表进行排序；
17、(1.2.2.6)对于初步激活点值列表中的每个索引都进行检查，符合一定条件则添加至待删除的点坐标列表和对应的值的列表中；
18、(1.2.2.6.1)如果当前索引所对应的初步激活点坐标和初步激活点值在待删除的点坐标列表和待删除的点值列表中，则跳过该索引对应的后续检测，开始进行下一个索引的检测；
19、(1.2.2.6.2)如果当前索引所对应的初步激活点值小于激活阈值τactivate，则将当前索引所对应的初步激活点坐标添加到待删除的点坐标列表中，并将当前索引所对应的初步激活点值添加到待删除的点值列表中；并跳过该索引对应的后续检测，开始进行下一个索引的检测；
20、(1.2.2.6.3)如果当前索引之后的各个索引所对应的初步激活点距离当前索引所对应的初步激活点的空间距离小于等于距离阈值d，则将满足条件的索引所对应的初步激活点坐标添加到待删除的点坐标列表中，并将满足条件的索引所对应的初步激活点值添加到待删除的点值列表中；
21、(1.2.2.7)对于处于待删除的点坐标列表和对应的值的列表中的点坐标和值，都将其从初步激活点坐标列表与初步激活点值列表中删除；
22、(1.2.2.8)返回更新后的激活点坐标列表与更新后的激活点值列表；
23、(1.2.3)从粗略类激活图和精细类激活图中提取峰值点作为语义相关查询；
24、(1.3)使用(1.2)步骤中生成的查询点来提示分割大模型，从而生成图片建议框；具体包括如下子步骤：
25、(1.3.1)将空间相关查询直接发送给分割大模型以获取相应的建议掩码和建议框，并对重复的建议框进行筛除；
26、(1.3.2)使用聚类方法对实例相关查询进行聚类，再将聚类后的实例相关查询发送给分割大模型以获取相应的建议掩码和建议框；
27、(1.3.3)将语义相关查询直接发送给分割大模型以获取相应的建议掩码和建议框；
28、(2)基于(1)中最终生成的图片建议框构建弱监督目标检测管线，其特征在于，包括：
29、(2.1)基于(1)中最终生成的图片建议框训练弱监督目标检测网络；
30、(2.2)利用(2.1)步骤中训练好的弱监督目标检测网络进行推理，并基于本专利技术提出的动态伪标签生成策略进行高质量包围框伪标签的生成；具体包括如下子步骤：
<本文档来自技高网...【技术保护点】
1.一种基于分割大模型的高精度弱监督目标检测分割方法，其特征在于，包括：
2.如权利要求1所述的基于分割大模型的高精度弱监督目标检测分割方法，其特征在于，所述步骤(1.1)具体包括如下子步骤：
3.如权利要求1所述的基于分割大模型的高精度弱监督目标检测分割方法，其特征在于，所述步骤(1.2)具体包括如下子步骤：
4.如权利要求1所述的基于分割大模型的高精度弱监督目标检测分割方法，其特征在于，所述步骤(1.3)具体包括如下子步骤：
5.如权利要求1所述的基于分割大模型的高精度弱监督目标检测分割方法，其特征在于，所述步骤(2.2)具体包括如下子步骤：
6.如权利要求1所述的基于分割大模型的高精度弱监督目标检测分割方法，其特征在于，所述步骤(2.3)中基于感兴趣区域丢弃的方法具体包括如下子步骤：
7.如权利要求1所述的基于分割大模型的高精度弱监督目标检测分割方法，其特征在于，所述步骤(2.3)中基于查询丢弃的方法具体包括如下子步骤：
8.如权利要求1所述的基于分割大模型的高精度弱监督目标检测分割方法，其
9.如权利要求1所述的基于分割大模型的高精度弱监督目标检测分割方法，其特征在于，所述步骤(1.2.2)具体包括如下子步骤：
10.如权利要求9所述的基于分割大模型的高精度弱监督目标检测分割方法，其特征在于，所述步骤(1.2.2.6)具体包括如下子步骤：
...【技术特征摘要】
1.一种基于分割大模型的高精度弱监督目标检测分割方法，其特征在于，包括：
2.如权利要求1所述的基于分割大模型的高精度弱监督目标检测分割方法，其特征在于，所述步骤(1.1)具体包括如下子步骤：
3.如权利要求1所述的基于分割大模型的高精度弱监督目标检测分割方法，其特征在于，所述步骤(1.2)具体包括如下子步骤：
4.如权利要求1所述的基于分割大模型的高精度弱监督目标检测分割方法，其特征在于，所述步骤(1.3)具体包括如下子步骤：
5.如权利要求1所述的基于分割大模型的高精度弱监督目标检测分割方法，其特征在于，所述步骤(2.2)具体包括如下子步骤：
6.如权利要求1所述的基于分割大模型的高精度...
【专利技术属性】
技术研发人员：王兴刚，朱良辉，周俊炜，刘文予，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。