【技术实现步骤摘要】
本专利技术涉及图像处理，具体涉及一种基于交互式分割的自动标注方法、存储介质。
技术介绍
1、在数据驱动的时代，数据就是监督学习的动力源泉，但对于某些场景来说难以收集到模型学习所需的大量数据。为应对数据少而涌现出了很多无监督、弱监督、半监督学习方法，但无论是在传统机器学习领域，还是在现今炙手可热的深度学习领域，基于训练样本有明确标签或结果的监督学习仍然是主要的模型训练方式。尤其是深度学习领域，需要更多数据提升模型效果。目前大规模公开数据集(如imagenet、coco、cityscapes等)，对于学术研究可以提供很大帮助，但是对于大部分企业开发者(在医学成像、自动驾驶、工业质检等领域)，他们更需要利用专业领域的实际业务数据定制ai模型应用，保证业务的高效性能。因此，业务场景的数据标注是在ai模型落地过程中必不可少的环节。
2、数据标注的质量和规模是影响模型效果的重要因素，通过人工手动标注建立一个大规模、高质量的专业领域数据训练集通常是不现实的，因为即使对于数据量不大的业务来说也需要耗费大量人力和时间。成本高、耗时长是数据手动标注的痛点，还有一些模棱两可的数据标注参杂了标注人员的主观性，影响模型落地效果，对于语义分割任务影响尤为明显。
技术实现思路
1、本专利技术主要解决人工进行图像标注成本高、耗时长的技术问题。
2、根据第一方面，一种实施例中提供一种基于交互式分割的自动标注方法，包括：
3、第一图像获取步骤，获取待标注图像，以及所述待标注图像初始
4、第一点击坐标获取步骤，获取一个或多个第一点击坐标，所述第一点击坐标表示用户在所述待标注图像上选取的点的坐标；
5、第一交互编码步骤，根据所述第一点击坐标和待标注目标掩膜图生成第一交互编码图；
6、第一掩膜更新步骤，采用预训练的自动标注网络对所述待标注图像和所述第一交互编码图进行处理以获得更新的待标注目标掩膜图，其中所述第一交互编码图用于引导所述自动标注网络对所述待标注图像进行标注；
7、迭代执行所述第一点击坐标获取步骤、所述第一交互编码步骤和所述第一掩膜更新步骤，直至达到预设的迭代停止条件，将最后一次迭代获得的待标注目标掩膜图作为所述待标注图像的标注图；
8、其中，所述自动标注网络包括交互特征提取模块、特征提取及融合模块、像素表示增强模块和分割模块，所述第一掩膜更新步骤包括：
9、将所述第一交互编码图输入所述交互特征提取模块进行特征提取而得到第一特征图；
10、将所述待标注图像和所述第一特征图输入所述特征提取及融合模块以提取所述待标注图像的特征信息并与所述第一特征图进行融合，得到融合特征图；
11、将所述融合特征图输入所述像素表示增强模块进行自注意力机制的处理，得到增强融合特征图；
12、采用所述分割模块对所述增强融合特征图进行处理获得第一预测分割分数图，根据所述第一预测分割分数图分割得到更新后的待标注目标掩膜图。
13、一些实施例中，所述第一交互编码步骤包括：根据所述第一点击坐标生成第一点击标记图，将所述第一点击标记图和待标注目标掩膜图进行通道拼接，得到第一交互编码图；其中所述第一点击标记图用于表示所述待标注图像中所述第一点击坐标的邻域。
14、一些实施例中，所述第一点击坐标分为正点击坐标和负点击坐标，所述根据所述第一点击坐标生成第一点击标记图包括：
15、生成两张与所述待标注图像等高等宽的单通道全零图像i1和i2；
16、对于每个所述第一点击坐标，若为正点击坐标则将图像i1上以该第一点击坐标为中心o、距离o小于d个像素的全部像素点的值设为1，若为负点击坐标则将图像i2上以该第一点击坐标为中心o、距离o小于d个像素的全部像素点的值设为1；
17、将图像i1和i2作为两个通道组成所述第一点击标记图。
18、一些实施例中，所述交互特征提取模块包括多层标准卷积层，所述第一特征图为其中的一层或多层标准卷积层输出的特征图，其中标准卷积层包括串联的一个卷积层、一个批标准化层和一个激活层。
19、一些实施例中，所述特征提取及融合模块包括多尺度特征分离模块和多尺度特征融合模块；所述将所述待标注图像和所述第一特征图输入所述特征提取及融合模块以提取所述待标注图像的特征信息并与所述第一特征图进行融合，得到融合特征图，包括：
20、将所述待标注图像和所述第一特征图进行通道拼接，得到拼接特征图；
21、对所述拼接特征图进行n层的特征重塑处理，其中在第一层所述特征重塑处理中，得到尺寸为w×h×c的输出特征图，其中w、h和c分别为输出特征图的宽度、高度和通道数，n≥3；
22、在第n层的所述特征重塑处理中，将上一层的输出特征图中分辨率最小的输出特征图输入所述多尺度特征分离模块进行特征分离使其分辨率减半、通道数加倍，得到分离特征图，将分离特征图和上一层的输出特征图作为中间特征图，输入所述多尺度特征融合模块进行多尺度特征融合，从而得到本层的多个输出特征图，其中每个输出特征图的分辨率不同，n＝2,……n；
23、将最后一层的输出特征图都上采样至w×h×c的尺寸，之后进行通道拼接，得到所述融合特征图。
24、一些实施例中，第一层所述特征重塑处理包括：对所述拼接特征图进行卷积运算；
25、第n层的所述特征重塑处理的输出特征图有n个，其中第k个输出特征图的尺寸为w/2k-1×h/2k-1×2k-1c，k＝1,2,……n；
26、所述特征分离包括：对所述分辨率最小的输出特征图进行步长为2的卷积运算，使其分辨率减半、通道数加倍；
27、所述多尺度特征融合包括：对于第k个中间特征图，将其他中间特征图都转换为与该中间特征图相同的分辨率和通道数，并与该中间特征图进行像素级相加，从而得到第k个输出特征图。
28、一些实施例中，所述像素表示增强模块包括全连接层和自注意力子模块；
29、所述将所述融合特征图输入所述像素表示增强模块进行自注意力机制的处理，得到增强融合特征图，包括：
30、将所述融合特征图输入所述全连接层进行升维，以将通道数扩展为原来的3倍，得到扩展融合特征图；
31、将所述扩展融合特征图输入所述自注意力子模块进行处理得到自注意力图，将所述融合特征图和所述自注意力图相加得到所述增强融合特征图，其中所述自注意力子模块对所述扩展融合特征图进行处理的公式为：
32、attention(γ3d)＝attention(q,k,v)＝softmax(qkt)v，
33、其中，attention表示所述自注意力子模块，softmax表示softmax函数，γ3d表示所述扩展融合特征图，q、k、v表示将所述扩展融合特征图在通道维度上分割获得的通道数相等的三个特征图。
34、一些实施例中，所述分割模块包括一层本文档来自技高网...
【技术保护点】
1.一种基于交互式分割的自动标注方法，其特征在于，包括：
2.如权利要求1所述的自动标注方法，其特征在于，所述第一交互编码步骤包括：根据所述第一点击坐标生成第一点击标记图，将所述第一点击标记图和待标注目标掩膜图进行通道拼接，得到第一交互编码图；其中所述第一点击标记图用于表示所述待标注图像中所述第一点击坐标的邻域。
3.如权利要求2所述的自动标注方法，其特征在于，所述第一点击坐标分为正点击坐标和负点击坐标，所述根据所述第一点击坐标生成第一点击标记图包括：
4.如权利要求1所述的自动标注方法，其特征在于，所述交互特征提取模块包括多层标准卷积层，所述第一特征图为其中的一层或多层标准卷积层输出的特征图，其中标准卷积层包括串联的一个卷积层、一个批标准化层和一个激活层。
5.如权利要求1所述的自动标注方法，其特征在于，所述特征提取及融合模块包括多尺度特征分离模块和多尺度特征融合模块；所述将所述待标注图像和所述第一特征图输入所述特征提取及融合模块以提取所述待标注图像的特征信息并与所述第一特征图进行融合，得到融合特征图，包括：
6.如权
7.如权利要求1所述的自动标注方法，其特征在于，所述像素表示增强模块包括全连接层和自注意力子模块；
8.如权利要求1所述的自动标注方法，其特征在于，所述分割模块包括一层标准卷积层，其中标准卷积层包括串联的一个卷积层、一个批标准化层和一个激活层；
9.如权利要求1至8中任一项所述的自动标注方法，其特征在于，所述自动标注网络通过以下方式进行训练：
10.如权利要求9所述的自动标注方法，其特征在于，所述第二点击坐标分为正点击坐标和负点击坐标；所述第二点击坐标获取步骤包括：
11.如权利要求9所述的自动标注方法，其特征在于，所述第一损失函数Lm为归一化焦点损失函数，表达式为：
12.如权利要求9所述的自动标注方法，其特征在于，所述第二损失函数La为二分类交叉熵损失函数，表达式为：
13.如权利要求9至12中任一项所述的自动标注方法，其特征在于，所述总损失函数L的表达式为：
14.一种计算机可读存储介质，其特征在于，所述介质上存储有程序，所述程序能够被处理器执行以实现如权利要求1至13中任一项所述的自动标注方法。
...【技术特征摘要】
1.一种基于交互式分割的自动标注方法，其特征在于，包括：
2.如权利要求1所述的自动标注方法，其特征在于，所述第一交互编码步骤包括：根据所述第一点击坐标生成第一点击标记图，将所述第一点击标记图和待标注目标掩膜图进行通道拼接，得到第一交互编码图；其中所述第一点击标记图用于表示所述待标注图像中所述第一点击坐标的邻域。
3.如权利要求2所述的自动标注方法，其特征在于，所述第一点击坐标分为正点击坐标和负点击坐标，所述根据所述第一点击坐标生成第一点击标记图包括：
4.如权利要求1所述的自动标注方法，其特征在于，所述交互特征提取模块包括多层标准卷积层，所述第一特征图为其中的一层或多层标准卷积层输出的特征图，其中标准卷积层包括串联的一个卷积层、一个批标准化层和一个激活层。
5.如权利要求1所述的自动标注方法，其特征在于，所述特征提取及融合模块包括多尺度特征分离模块和多尺度特征融合模块；所述将所述待标注图像和所述第一特征图输入所述特征提取及融合模块以提取所述待标注图像的特征信息并与所述第一特征图进行融合，得到融合特征图，包括：
6.如权利要求5所述的自动标注方法，其特征在于，第一层所述特征重塑处...
【专利技术属性】
技术研发人员：祝树杰，曾利宏，杨洋，黄淦，翟爱亭，
申请(专利权)人：深圳市华汉伟业科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。