【技术实现步骤摘要】
一种基于区域筛选模块和多层次对比的自监督预训练方法
[0001]本申请涉及计算机视觉
，特别涉及一种基于区域筛选模块和多层次对比的自监督预训练方法。
技术介绍
[0002]自监督预训练方法是指利用辅助任务从没有人工标注的数据中挖掘自身的监督信息，通过这种方式构造有效的监督信息对深度学习神经网络模型进行预训练，以学习到对图片识别、目标检测和语义分割等下游任务有价值的特征提取器。由于在大规模数据集中进行人工的数据标注是既昂贵又费时的，采用无标签训练方式的自监督方法计算机视觉领域具有非常重要的研究价值，已受到了越加广泛的关注。
[0003]目前自监督预训练方法的辅助任务多采用了对比学习，它通过对比损失函数来最大化同一图像两个不同增强图之间的相似性，从而在数据集中学习模型的特征表示。通过对比学习，现有的自监督学习方法在ImageNet这一类单实例数据集中取得有效的进展。ImageNet是一个以实例为中心的数据集，它不仅只包含了单个实例，而且还将与实例无关的背景区域进行了最大限度的裁剪。自监督对比学习方法的关键步骤是使同...
【技术保护点】
【技术特征摘要】
1.一种基于区域筛选模块和多层次对比的自监督预训练方法，其特征在于：所述方法包括以下步骤：步骤1)：建立初始深度学习神经网络；步骤2)：将不带标签的训练输入数据输入神经网络，并基于无监督数据筛选出其中包含实例特征的局部块图；步骤3)：训练步骤，通过多层次对比学习的损失函数，基于无监督数据筛选出的局部块图训练深度学习神经网络模型。2.根据权利要求1所述的一种基于区域筛选模块和多层次对比的自监督预训练方法，其特征在于，所述步骤2)具体包括：图片的两个RGB增强图生成后，将其按照网格化的方式分割为整齐排列的多个块图{P1,P2,
…
,P
n
}，其中n表示增强图包含块图的总数；采用图像RGB信息熵来初步筛选实例块图，对于一个增强图的块图P,其依据RGB的三个不同颜色通道划分为[P
r
:P
g
:P
b
]，红色通道P
r
的图像信息熵计算方式如下：其中p(r
i
)表示像素值i在红色通道P
r
中的比例，像素值的范围为[0,255]，接下来，计算块图总RGB信息熵H
P
，图像总RGB信息熵计算方式表示为：在整个增强图v中，将所有的网格化切分的块图{P1,P2,
…
,P
n
}按照图像RGB信息熵H
P
大小从高到低排序，筛选出图像信息熵前k
H
高的块图；因图像RGB信息熵仅能对增强图中块图的局部信息进行计算，故采用衡量全局信息的LC显著性检测值筛选方法对块图进行二次筛选，在增强图中，使用像素与图中其他灰度值所在像素之间的距离之来度量像素属于实例区域的概率，假设I
k
表示增强图中一个像素点，则I
k
的显著值计算方式如下：其中，g(I
k
)表示像素I
k
的灰度值，f
n
表示灰度值n在整个增强图中的出现频率，Dist(.)代表两个灰度值之间的欧式距离，对于一个增强图v，将其转化为灰度图V
g
，对于所有的像素点I
k
，计算其显著值在V
g
中的值；根据像素点的显著值来计算块图的显著值S
P
，其计算方式表示为：根据块图的显著值S
P
从高到底排序，进一步筛选出显著值S
P
最高的前k个(k<k
H
)小块，作为实例区域筛选模块的筛选结果，对于增强图v，筛选出的所有块图表示为P(v)；
计算用于对比学习的全局和局部特征，本发明的深度学习模型依次包含一个主干网络f
θ
和两个MLP头，主干网络选择残差网络Resnet50，MLP头包含一个线性层，归一化算子和ReLu层，对于多实例数据集中一个图像的两个增强图v和v
′
与筛选出的块图P(v)和P(v
′
)，将其首先放入主干网络f
θ
中进行计算，输出得到它们对应的嵌入特征向量，其中通过整个增强图得到全局特征向量I
y
，I
y
′
，块图视为局部特征向量，记为P
y
，P
y
′
，它们经过第一个MLP头之后，得到对应的投影特征I
z
，I
z
′
和P
z
，P
z
′
，对于第一个增...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。