图像标注模型的训练及图像标注的方法及装置制造方法及图纸

本说明书实施例提供一种图像标注模型的训练及图像标注的方法及装置。通过本说明书实施例提供的方法和装置，针对训练集中的图像，可以通过图像级的类别标签进行像素级的标注。在具体图像标注模型训练及图像标注过程中，通过原型向量对不同图像之间的特征进行交叉比较，从而进一步挖掘图像中的目标区域，还可以筛除非目标区域，实现弱监督下的目标分割任务。在损失确定过程中，不仅考虑分类损失，还考虑修正后的分割结果与本来的分割结果之间的相似性，从而使得分割结果更加稳定。从而使得分割结果更加稳定。从而使得分割结果更加稳定。

【技术实现步骤摘要】
图像标注模型的训练及图像标注的方法及装置


[0001]本说明书一个或多个实施例涉及计算机
，尤其涉及图像标注模型的训练及图像标注的方法及装置。

技术介绍

[0002]图像处理在日常生产或生活中有着广泛的应用。例如：基于镭射等技术的激光防伪检测、文档区域分割、全景分割、目标识别等等。在这些应用中，用图像级标签训练的弱监督图像分割通常在伪真值的生成过程中对目标区域造成不准确覆盖。这是因为对象激活图是用分类目标训练的，并且缺乏概括的能力。为了更准确地将目标和背景分离开来，通常涉及像素级的标注，即逐像素标注类别。这可能给标注工作带来极大人力消耗。

技术实现思路

[0003]本说明书一个或多个实施例描述了一种图像标注模型的训练方法及装置，以及使用训练好的图像标注模型进行目标标注的方法及装置，用以解决
技术介绍
提到的一个或多个问题。
[0004]根据第一方面，提供一种图像标注模型的训练方法，所述图像标注模型用于对具有分类标签的图像进行像素级的标注，所述图像标注模型包括特征提取模块、原型提取模块、修正模块、分类模块，所述方法包括：本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像标注模型的训练方法，所述图像标注模型用于对具有分类标签的图像进行像素级的标注，所述图像标注模型包括特征提取模块、原型提取模块、修正模块、分类模块，所述方法包括：从样本集中获取第一图像和第二图像，其中，第一图像和第二图像都具有图像级的第一类别标签；通过预训练的特征提取模块分别处理所述第一图像、所述第二图像，得到对应的第一特征图、第二特征图；利用所述原型提取模块，分别从所述第一特征图、所述第二特征图提取多个原型向量，单个原型向量对应着相应特征图上的单个特征点，且对应有满足激活条件的相应激活值；经由修正模块，针对从所述第一特征图、第二特征图提取的各个原型向量，进行两两相似性比较，并按照单个原型向量与其他原型向量的最大相似度，将所述第一特征图、第二特征图分别修正得到第一修正特征图、第二修正特征图；根据所述第一修正特征图、第二修正特征图，利用分类模块对第一图像、第二图像分别进行分类，得到各自对应的分类结果，所述分类结果包括像素级的标注结果；基于所述分类结果确定图像标注模型的模型损失，从而以模型损失最小化为目标，调整图像标注模型的待定参数。2.根据权利要求1所述的方法，其中，所述特征提取模块包括由多个卷积层构成的第一卷积块，所述第一卷积块中的各个卷积层的卷积结果的通道数相同，所述第一特征图包括所述第一卷积块中的多个卷积层对所述第一图像进行卷积操作的各个卷积结果，所述第二特征图包括所述第一卷积块中的多个卷积层对所述第二图像进行卷积操作的各个卷积结果。3.根据权利要求1所述的方法，其中，所述利用原型提取模块，分别从第一特征图、第二特征图提取多个原型向量包括，经由以下方式从第一特征图提取多个原型向量：检测第一特征图中，各个特征点分别对应的各个激活值，其中，单个特征点的单个激活值与该单个特征点在各个通道的特征值的绝对值均为正相关；从满足激活条件的特征点中选择出多个特征点，作为候选特征点；针对单个候选特征点，根据其在各个通道的特征值，构建相应的单个原型向量。4.根据权利要求3所述的方法，其中，所述激活条件为激活值大于预定激活阈值；所述从满足激活条件的特征点中选择出多个特征点，作为候选特征点包括以下中的至少一项：将激活值大于预定激活阈值的特征点全部作为候选特征点；从激活值大于预定激活阈值的特征点中随机选择预定数量的特征点部作为候选特征点；在激活值大于预定激活阈值的特征点中，按照激活值由大到小的顺序选择预定数量的特征点部作为候选特征点。5.根据权利要求1所述的方法，其中，所述按照单个原型向量与其他原型向量的最大相似度，将所述第一特征图、第二特征图分别修正得到第一修正特征图、第二修正特征图包括：针对单个原型向量，将该单个原型向量与其他原型向量的最大相似度作为其在第一特征图/第二特征图上对应的单个特征点的特征值的置信度；
将第一修正特征图/第二修正特征图中，该单个特征点的各个特征值分别按照所述置信度与相应的特征值的乘积进行修正，从而将所述第一特征图、第二特征图分别修正为相应的第一修正特征图、第二修正特征图。6.根据权利要求1所述的方法，其中，所述模型损失包括针对第一图像的第一损失和针对所述第二图像的第二损失，针对所述第一图像，所述分类结果包括像素级的第一标注结果，以及图像级的第一分类结果，所述第一损失包括：经由所述第一分类结果与所述第一类别标签的对比确定的第一分类损失；以及由所述第一标注结果与利用所述第一特征图确定的第二标注结果的对比确定的第一修正损失。7.根据权利要求6所述的方法，其中，所述第一分类损失通过所述第一分类结果与所述第一类别标签的交叉熵确定。8.根据权利要求6所述的方法，其中，所述第一修正损失通过以下方式确定：经由所述分类模块处理所述第一特征图，得到像素级的第二标注结果；针对第一标注结果和第二标注结果，逐像素比较标注差值；利用各个像素分别对应的标注差值的和，确定所述第一修正损失。9.根据权利要求6所述的方法，其中，所述第一标注结果是在利用分类模块对第一图像进行分类通过边界细化得到的结果。10.根据权利要求1所述的方法，其中，所述图像标注模型的待定参数包括所述原型提取模块、修正模块、分类模块中的待定参数。11.根据权利要求1所述的方法，其中，所述方法还包括：根据包括第一图像和第二图像在内的当前批次训练样本，检测当前批次训练样本及向前连续多个批次的训练样本对应的各个模型损失；在各个模型损失的滑动平均的变化小于预定损失值的情况下，确定图像标注模型训练完成。12.一种图像标注的方法，用于通过预先训练的图像标注模型对样本集中具有分类标签的图像进行像素级的标注，所述图像标注模型包括特征提取模块、原型提取模块、修正模块、分类模块，所述方法包括：从样本集中获取第一图像和第二图像，其中，第一图像和第二图像都具有图像级的第一类别标签；通过预训练的特征提取模块处理第一图像、第二图像，分别得到第一特征图、第二特征图；利用原型提取模块，分别从第一特征图、第二特征图提取多个原型向量，单个原型向量对应着相应特征图上的单个特征点，且具有满足激活条件的相应激活值；经由修正模块，针对从第一图像、第二图像提取的各个原型向量，进行两两相似性比较，并按照单个原型向量与其他原型向量的最大相似度，将所述第一特征图、第二特征图分别修正得到第一修正特征图、第二修正特征图；根据第一修正特征图、第二修正特征图，利用分类模块对第一图像、第二图像分别进行分类，得到各自对应的像素级的标注结果。13.一种图像标注模型的训练方法，所述图像标注模型用于对具有分类标签的图像进
行像素级的标注，所述图像标注模型包括特征提取模块、原型提取模块、修正模块、分类模块，所述方法包括：从样本集中获取第一图像，其中，第一图像对应有第一类别标签；通过预训练的特征提取模块处理所述第一图像，得到第一特征图；利用原型提取模块，从第一特征图提取多个原型向量，单个原型向量对应着相应特征图上的单个特征点，且具有满足激活条件的相应激活值；经由修正模块，针对从第一图像提取的各个原型向量，分别与基准向量集中的各个基准向量进行相似性比较，并按照单个原型向量与各个基准向量的最大相似度，将所述第一特征图进行修正得到第一修正特征图，所述基准向量从所述第一类别标签对应的图像中提取；根据第一修正特征图，利用分类模块对第一图像进行分类，得到第一分类结果，所述第一分类结果包括像素级的第一标注结果；基于所述第一分类结果确定图像标注模型的模型损失，从而以模型损失最小化为目标，调整图像标注模型的待定参数。14.根据权利要求13所述的方法，其中，所述基准向量集中的基准向量通过以下方式确定：利用预先训练的特征提取模块对样本集中的各个图像提取相应特征图；在各个特征图中，选择激活值大于第一激活阈值的各个候选特征点，所述第一激活阈值相较于所述激活条件...

【专利技术属性】
技术研发人员：孔翔飞，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：