一种人机协同的图像分割与标注方法技术

本发明专利技术公开了一种人机协同的图像分割与标注方法，所述方法包括以下步骤：对分割数据集进行预处理，基于预处理后的数据集作为预训练数据集，同时基于其他四种数据集构建训练集和测试集；使用预训练数据集训练深度神经网络，将训练后的可进行图像分割的神经网络模型作为预训练模型，所述预训练模型用于数据集测试及训练；输出最终的模型并进行测试，进而输出带注释的分割数据集，循环迭代测试及训练的步骤，结合渐进学习策略进行参数的更新。本发明专利技术将深度学习技术与主动学习以及渐进学习方法配合使用，形成了一套完整的分割数据集的标注及其训练模型的框架。

A Man-Machine Cooperative Image Segmentation and Marking Method

【技术实现步骤摘要】
一种人机协同的图像分割与标注方法
本专利技术涉及语义分割领域，尤其涉及分割数据集的标注方法，挑选高置信度和低置信度的样本的方法。
技术介绍
基于深度学习的图像语义分割技术虽然可以取得相比传统方法突飞猛进的分割效果，但是其对数据标注的要求过高，不仅需要海量图像数据，同时这些图像还需提供精确到像素级别的标记信息(Semanticlabels)，导致标注代价过大。目前，让机器代替人显著的减少标注代价，使用用到的方法主要有：主动学习方法，渐进学习等。主动学习主要关注样本选择策略，即如何挑选最具信息性的未标记样本进行注释。最常见的策略之一是基于确定性的选择，根据对新的未标记样本的预测置信度来度量确定性，该方法也考虑了所选实例与未标记数据的多样性。最近，Elhamifaretal.提出了通过凸规划来度量不确定性和多样性。Freytagetal.提出了一个概念，该概念基于预期的模型变化推广了以前的方法，并结合了基础数据分布。Vijayanarasimhanetal.提出了一种新的主动学习方法，用于物体检测的实时学习，该方法通过基于散列的解决方案自主地识别最不确定的实例。Rheeetal.提出通过利用协同抽样策略来提高目标检测性能，该策略整合了AL(主动学习)的不确定性和多样性标准以及半监督学习理念的特征相似性度量。然而，这些提到的AL方法通常强调那些低置信度样本，而忽略其余大多数高置信度样本。渐进学习往往要和协同训练牵扯到一块。CL(课程学习)是第一个采用逐渐将样本添加到训练数据中的机器学习范例，这些概念以受控且有意义(例如，从易到复杂)的顺序称为课程。CL已被广泛用于解决各种计算机视觉问题，例如：跟踪和目标检测。传统的CL(课程学习)方法通常采用预定义的样本权重来生成样本的训练顺序。为了共同学习样本权重和模型参数，Kumaretal.通过提出一种名为SPL(自步学习)的简明优化范例，大大推进了CL(课程学习)的学习理念，该范式包括所有样本的加权方案项和样本权重的一般正则项。加权方案通过为具有较低训练损失的样本分配较高权重，使得能够对比较复杂的样本着重进行训练。最近，还使用CL/SPL(课程学习/自步学习)相关策略开发了各种其他方法。Dongetal.提出了一种物体检测框架，通过在检测器改进和可靠的样品选择之间始终交替，每个类别仅使用少量边界框标签。Zhangetal.提出通过自定进度的课程学习将显着性检测与弱监督对象检测联系起来，逐步实现从易到难的多类对象的训练过程。Wangetal.建议通过多实例学习将低级，中级和高级特征纳入检测程序，以克服显著性检测中前景和背景难以分辨的困难。Wangetal.进一步提出基于选择性对比度检测显著对象，其本质上探索颜色，纹理和位置中最可区分的组分信息。但是，现有技术中尚未有将主动学习和渐进学习结合起来应用到语义分割领域的相关工作。
技术实现思路
本专利技术提供了一种人机协同的图像分割与标注方法，本专利技术基于HISE(人机协同的图像分割与标注)框架，将主动学习，渐进学习相结合，实现了逐步学习分割模型并输出带注释的分割数据集，详见下文描述：一种人机协同的图像分割与标注方法，所述方法包括以下步骤：对分割数据集进行预处理，基于预处理后的数据集作为预训练数据集，同时基于其他四种数据集构建训练集和测试集；使用预训练数据集训练深度神经网络，将训练后的可进行图像分割的神经网络模型作为预训练模型，所述预训练模型用于数据集测试及训练；输出最终的模型并进行测试，进而输出带注释的分割数据集，循环迭代测试及训练的步骤，结合渐进学习策略进行参数的更新。其中，所述对分割数据集进行预处理具体为：去掉目标像素点为0的图像，并对图像做剪裁处理，得到目标图像，剪裁出的目标图像的像素点占整个目标图像的1/3。进一步地，所述预训练模型用于数据集测试及训练具体为：首先取一小部分需要标注的数据集在预训练模型上初始化，将需要标注的数据集在此预训练模型上进行测试；对于高置信度的样本用机器打上伪标签，并且取最值得信赖的像素点，对于低置信度的样本进行手工标注。其中，所述输出最终的模型并进行测试具体为：通过高置信度的样本、低置信度的样本对每次迭代的预训练模型进行微调，输出最终的模型。进一步地，所述输出带注释的分割数据集包含两个部分，第一部分是手工标注的，第二部分是机器标注的。具体实现时，所述方法还包括：定义了全局不一致性，其为置信度得分小于某个阈值的像素百分比，用符号εg表示；其中，φ是二元函数，n表示图像中的像素数，μi为置信度，如果μi＜α，则φ(μi)为1，α为阈值。具体实现时，所述方法还包括：定义了局部一致性，其为像素预测为前景但概率小于某一阈值的平均概率，用符号εl表示：其中，nf为预测为前景类的像素数目，θ(μi)为二元函数，如果θ(μi)＜β，则θ(μi)为1，否则θ(μi)为0，β为阈值。进一步地，如果εg＞η或者εl＜γ，则此样本选择人工标注并标记为hardsamples，如果εg＜η并且εl＞γ，则此样本用机器进行注释，η为全局不一致性阈值，γ为局部一致性阈值。其中，所述伪标签定义如下：j*＝argmaxjp(yj＝j|xj；W)其中，yi为伪标签，j*为大于阈值δ条件下预测的标签，yj为j为预测为最大类的类别标签，j为j为预测为最大类的类别，xj为像素点，W为权重，δ是一个阈值，如果像素点xi的置信度得分μi小于δ，将不可靠的像素标签定义为inf。本专利技术提供的技术方案的有益效果是：1、本专利技术将深度学习技术与主动学习以及渐进学习方法配合使用，形成了一套完整的分割数据集的标注及其训练模型的框架；2、本方法利用已存在的大规模的数据集训练对应的任务，在需要标注的数据集上利用主动学习以及渐进学习方式，使得最终得到的分割模型具有很高的性能，得到的标注结果能够满足实际应用或研究需要；3、本专利技术提出一种在没有groundtruth(真实标签)的情况下判断分割结果好坏的指标，即高置信度和低置信度的样本；4、本专利技术解决了在分割领域需要大量人力标注的耗时耗力问题，采用的HISE框架能够大大减少人工标注的比例，得到的模型也能达到全人工标注的性能。附图说明图1为基于HISE(人机协同的图像分割与标注)框架的流程图；图2为不同人工标注比例下模型的性能效果图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面对本专利技术实施方式作进一步地详细描述。针对标注代价过大问题，本方法提出了一种HISE框架，该方法将主动学习，渐进学习相结合，它可以逐步学习分割模型并输出带注释的分割数据集。该方法主要包括以下步骤：提出了一种多粒度主动学习策略来挖掘低置信度的hardsamples(难样本，本领域的专业术语，本专利技术实施例在此不做赘述)以进行手工注释；给出了三分区的伪标记策略以实现高可信度的自动注释图像；综合上述两种方式注释的图像以逐步增强分割模型；最终能够输出一个好的分割模型和带注释的分割数据集。实施例1本专利技术实施例提供了一种人机协同的图像分割与标注方法，参见图1和图2，该方法包括以下步骤：101：对分割数据集进行预处理，基于预处理后的数据集作为预训练数据集，同时基于其他四个数据集构建训练集和测试集；进一步地，构建的分割数据集具体为：使用爬取手段直接本文档来自技高网...

【技术保护点】
1.一种人机协同的图像分割与标注方法，其特征在于，所述方法包括以下步骤：对分割数据集进行预处理，基于预处理后的数据集作为预训练数据集，同时基于其他四种数据集构建训练集和测试集；使用预训练数据集训练深度神经网络，将训练后的可进行图像分割的神经网络模型作为预训练模型，所述预训练模型用于数据集测试及训练；输出最终的模型并进行测试，进而输出带注释的分割数据集，循环迭代测试及训练的步骤，结合渐进学习策略进行参数的更新。

【技术特征摘要】
1.一种人机协同的图像分割与标注方法，其特征在于，所述方法包括以下步骤：对分割数据集进行预处理，基于预处理后的数据集作为预训练数据集，同时基于其他四种数据集构建训练集和测试集；使用预训练数据集训练深度神经网络，将训练后的可进行图像分割的神经网络模型作为预训练模型，所述预训练模型用于数据集测试及训练；输出最终的模型并进行测试，进而输出带注释的分割数据集，循环迭代测试及训练的步骤，结合渐进学习策略进行参数的更新。2.根据权利要求1所述的一种人机协同的图像分割与标注方法，其特征在于，所述对分割数据集进行预处理具体为：去掉目标像素点为0的图像，并对图像做剪裁处理，得到目标图像，剪裁出的目标图像的像素点占整个目标图像的1/3。3.根据权利要求1所述的一种人机协同的图像分割与标注方法，其特征在于，所述预训练模型用于数据集测试及训练具体为：首先取一小部分需要标注的数据集在预训练模型上初始化，将需要标注的数据集在此预训练模型上进行测试；对于高置信度的样本用机器打上伪标签，并且取最值得信赖的像素点，对于低置信度的样本进行手工标注。4.根据权利要求3所述的一种人机协同的图像分割与标注方法，其特征在于，所述输出最终的模型并进行测试具体为：通过高置信度的样本、低置信度的样本对每次迭代的预训练模型进行微调，输出最终的模型。5.根据权利要求1所述的一种人机协同的图像分割与标注方法，其特征在于，所述输出带注释的分割数据集包...

【专利技术属性】
技术研发人员：朱鹏飞，汪廉杰，胡清华，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12