一种像素级标签自动生成模型构建、自动生成方法及装置制造方法及图纸

本发明专利技术公开了一种像素级标签自动生成模型构建、自动生成方法及装置，首先利用像素级标签从源域学习分割知识，然后将知识转移到目标域生成图像的粗标签，再利用引导滤波器对粗标签进行推理，生成精细标签。在细化标签的基础上，对分割网络进行优化，生成具有详细像素级结构/边界的细粒度目标标签，提高了语义分割效果。

An automatic generation model, method and device of pixel level label

【技术实现步骤摘要】
一种像素级标签自动生成模型构建、自动生成方法及装置
本专利技术涉及图像标签生成方法，具体涉及一种像素级标签自动生成模型构建、自动生成方法及装置。
技术介绍
语义图像分割是计算机视觉中的一项重要任务，它为图像中的每个像素分配一个特定的语义标签，也就是说，图像中的每一个像素都会有一个标签，例如在对图像进行分割时，分割出前景目标和背景图像两类，其中前景目标的标签为1，背景图像的标签为0，每一个像素都会有0或1的像素级标签，则在图像上来看，一副图像被处理成一个二值化后的结果，即实现了图像分割。近年来，深度卷积神经网络在语义图像分割方面表现出了优异的性能，取得了令人瞩目的成绩，其中深层语义图像分割算法的成功在很大程度上取决于大规模带有手工像素级标注的训练图像，但手动标签大规模图像在像素级别费时费力的，并且人工标注的质量也很难满足需求。为了减轻手工提供像素级图像标签的巨大负担，一些支持深度语义图像分割的弱监督方法被提出。这种弱监督方法不需要像素级的图像标签，而是使用较弱的图像标签比如boundingboxes和scribbles。为了进一步减少人类对图像标签的参与，一些方法仅仅使用图像级的标签作为训练数据，但是这些弱监督方法的性能远远不能取得令人满意的结果，尤其是这些标签生成方法所生成的图像标签与原图像的标签差异过大。
技术实现思路
本专利技术的目的在于提供一种像素级标签自动生成模型构建及自动生成方法，用以解决现有的强监督语义分割缺乏大量训练标签和弱监督语义分割效果不好的问题。为了实现上述任务，本专利技术采用以下技术方案：一种像素级标签自动生成模型构建方法，用于获得待标注图像的标签自动生成模型，按照以下步骤执行：步骤1、获取与所述待标注图像的语义相似的现有图像集，获得语义相似图像集；或获取多幅包含待标注图像中待标注对象的单一背景图像，获得简单图像集；利用所述的语义相似图像集或简单图像集对深度神经网络训练获得预标注模型；步骤2、将所述的待标注图像输入至获得的预标注模型中，获得预标注图像标签；将所述待标注图像作为输入，将所述的预标注图像标签作为Ground-Truth，训练网络，所述的网络包括依次设置的深度神经网络以及指导滤波器；获得再标注模型；步骤3、将所述的待标注图像输入至再标注模型或新的再标注模型中，获得再标注图像标签；将所述待标注图像作为输入，将所述的再标注图像标签作为Ground-Truth，训练所述的再标注模型，获得新的再标注模型；步骤4、重复N次执行步骤3，N大于1，将最后一次执行步骤3获得的新的再标注模型作为标签自动生成模型，结束。进一步地，所述的再标注模型以及新的再标注模型中的损失函数L为：其中h表示待标注图像在高度方向上包含的像素点个数，w表示待标注图像在宽度方向上包含的像素点个数，表示待标注图像在高度方向上的第i个在宽度方向上的第j个像素点属于第c类再标注图像标签的后验概率，表示待标注图像在高度方向上的第i个在宽度方向上的第j个像素点属于第c类再标注图像标签的概率，c＝1,2，…，C，C表示再标注图像标签的总类数，βc表示第c类再标注图像标签的贡献因子；其中βc采用式II获得：其中Tc表示待标注图像的每个像素点属于第c类预标注图像标签的概率之和，Rc表示待标注图像的每个像素点属于第c类再标注图像标签的概率之和。进一步地，所述的步骤1按照以下步骤执行：步骤1.1、在现有的带有像素级的标签数据集中找到所述待标注图像的语义相似图像集，若存在语义相似图像集，获得语义相似图像集对应的标签集后执行步骤1.2；否则执行步骤1.3；步骤1.2、利用所述的语义相似图像集以及所述语义相似图像集对应的图像标签集训练深度神经网络，获得预标注模型；步骤1.3、采集多幅包含待标注图像中待标注对象的单一背景图像，获得简单图像集；利用阈值分割的方法对所述的简单图像集中的每一幅图像进行标签标注，获得简单图像集对应的图像标签集；利用所述的简单图像集以及简单图像集对应的图像标签集训练深度神经网络，获得预标注模型。进一步地，所述的深度神经网络为DeepLabv3+网络。一种像素级标签自动生成方法，按照以下步骤执行：步骤A、获取待标注图像；步骤B、利用像素级标签自动生成模型构建方法构建待标注图像的标签自动生成模型；步骤C、将所述的待标注图像输入至步骤B获得的标签自动生成模型，输出图像像素级标签。一种像素级标签自动生成模型构建装置，用于实现像素级标签自动生成模型构建方法，所述的装置包括预标注模型获得模块、再标注模型获得模块以及标签自动生成模型获得模块；其中所述的预标注模型获得模块获取与所述待标注图像的语义相似的现有图像集，获得语义相似图像集；或获取多幅包含待标注图像中待标注对象的单一背景图像，获得简单图像集；利用所述的语义相似图像集或简单图像集对深度神经网络训练获得预标注模型；所述的再标注模型获得模块用于将所述的待标注图像输入至获得的预标注模型中，获得预标注图像标签；将所述待标注图像作为输入，将所述的预标注图像标签作为Ground-Truth，训练网络，所述的网络包括依次设置的深度神经网络以及指导滤波器；获得再标注模型；所述的标签自动生成模型获得模块用于重复N次将所述的待标注图像输入至再标注模型或新的再标注模型中，获得再标注图像标签，N大于1；将所述待标注图像作为输入，将所述的再标注图像标签作为Ground-Truth，训练所述的再标注模型，获得新的再标注模型；将最后一次执行步骤3获得的新的再标注模型作为标签自动生成模型。进一步地，所述的再标注模型以及新的再标注模型中的损失函数L为：其中h表示待标注图像在高度方向上包含的像素点个数，w表示待标注图像在宽度方向上包含的像素点个数，表示待标注图像在高度方向上的第i个在宽度方向上的第j个像素点属于第c类再标注图像标签的后验概率，表示待标注图像在高度方向上的第i个在宽度方向上的第j个像素点属于第c类再标注图像标签的概率，c＝1,2，…，C，C表示再标注图像标签的总类数，βc表示第c类再标注图像标签的贡献因子；其中βc采用式II获得：其中Tc表示待标注图像的每个像素点属于第c类预标注图像标签的概率之和，Rc表示待标注图像的每个像素点属于第c类再标注图像标签的概率之和。进一步地，所述的预标注模型获得模块包括现有图像生成子模块以及采集图像生成子模块：所述的现有图像生成子模块用于在现有的带有像素级的标签数据集中找到所述待标注图像的语义相似图像集后利用所述的语义相似图像集以及所述语义相似图像集对应的标签集训练深度神经网络，获得预标注模型；所述的采集图像生成子模块用于采集多幅包含待标注图像中待标注对象的单一背景图像，获得简单图像集；利用阈值分割的方法对所述本文档来自技高网...

【技术保护点】
1.一种像素级标签自动生成模型构建方法，用于获得待标注图像的标签自动生成模型，其特征在于，按照以下步骤执行：/n步骤1、获取与所述待标注图像的语义相似的现有图像集，获得语义相似图像集；/n或/n获取多幅包含待标注图像中待标注对象的单一背景图像，获得简单图像集；/n利用所述的语义相似图像集或简单图像集对深度神经网络训练获得预标注模型；/n步骤2、将所述的待标注图像输入至获得的预标注模型中，获得预标注图像标签；/n将所述待标注图像作为输入，将所述的预标注图像标签作为Ground-Truth，训练网络，所述的网络包括依次设置的深度神经网络以及指导滤波器；/n获得再标注模型；/n步骤3、将所述的待标注图像输入至再标注模型或新的再标注模型中，获得再标注图像标签；/n将所述待标注图像作为输入，将所述的再标注图像标签作为Ground-Truth，训练所述的再标注模型，获得新的再标注模型；/n步骤4、重复N次执行步骤3，N大于1，将最后一次执行步骤3获得的新的再标注模型作为标签自动生成模型，结束。/n

【技术特征摘要】
1.一种像素级标签自动生成模型构建方法，用于获得待标注图像的标签自动生成模型，其特征在于，按照以下步骤执行：
步骤1、获取与所述待标注图像的语义相似的现有图像集，获得语义相似图像集；
或
获取多幅包含待标注图像中待标注对象的单一背景图像，获得简单图像集；
利用所述的语义相似图像集或简单图像集对深度神经网络训练获得预标注模型；
步骤2、将所述的待标注图像输入至获得的预标注模型中，获得预标注图像标签；
将所述待标注图像作为输入，将所述的预标注图像标签作为Ground-Truth，训练网络，所述的网络包括依次设置的深度神经网络以及指导滤波器；
获得再标注模型；
步骤3、将所述的待标注图像输入至再标注模型或新的再标注模型中，获得再标注图像标签；
将所述待标注图像作为输入，将所述的再标注图像标签作为Ground-Truth，训练所述的再标注模型，获得新的再标注模型；
步骤4、重复N次执行步骤3，N大于1，将最后一次执行步骤3获得的新的再标注模型作为标签自动生成模型，结束。


2.如权利要求1所述的像素级标签自动生成模型构建方法，其特征在于，所述的再标注模型以及新的再标注模型中的损失函数L为：



其中h表示待标注图像在高度方向上包含的像素点个数，w表示待标注图像在宽度方向上包含的像素点个数，表示待标注图像在高度方向上的第i个在宽度方向上的第j个像素点属于第c类再标注图像标签的后验概率，表示待标注图像在高度方向上的第i个在宽度方向上的第j个像素点属于第c类再标注图像标签的概率，c＝1,2，…，C，C表示再标注图像标签的总类数，βc表示第c类再标注图像标签的贡献因子；
其中βc采用式II获得：



其中Tc表示待标注图像的每个像素点属于第c类预标注图像标签的概率之和，Rc表示待标注图像的每个像素点属于第c类再标注图像标签的概率之和。


3.如权利要求1所述的像素级标签自动生成模型构建方法，其特征在于，所述的步骤1按照以下步骤执行：
步骤1.1、在现有的带有像素级的标签数据集中找到所述待标注图像的语义相似图像集，若存在语义相似图像集，获得语义相似图像集对应的标签集后执行步骤1.2；否则执行步骤1.3；
步骤1.2、利用所述的语义相似图像集以及所述语义相似图像集对应的图像标签集训练深度神经网络，获得预标注模型；
步骤1.3、采集多幅包含待标注图像中待标注对象的单一背景图像，获得简单图像集；利用阈值分割的方法对所述的简单图像集中的每一幅图像进行标签标注，获得简单图像集对应的图像标签集；
利用所述的简单图像集以及简单图像集对应的图像标签集训练深度神经网络，获得预标注模型。


4.如权利要求1所述的像素级标签自动生成模型构建方法，其特征在于，所述的深度神经网络为DeepLabv3+网络。


5.一种像素级标签自动生成方法，其特征在于，按照以下步骤执行：
步骤A、获取待标注图像；
步骤B、利用权利要求1-4任一项权利要求所述的像素级标签自动生成模型构建方法构建待标注图像的标签自动生成模型；
步骤C、将所述的待标注图像输入至步骤B获得的标签自动生成模型，输出图像像素级标签。


6.一种像素级标签自动生...

【专利技术属性】
技术研发人员：范建平，张翔，赵万青，罗迒哉，彭进业，李展，胡琦瑶，艾娜，樊萍，王琳，
申请(专利权)人：西北大学，
类型：发明
国别省市：陕西;61