图像语义分割方法及装置制造方法及图纸

本发明专利技术公开了图像语义分割方法及装置，方法包括：获取粗标注图像集；将粗标注图像集输入至第一语义分割模型，得到粗标注图像集中各个未标注像素对应的第一预测语义类别；将粗标注图像集输入至第二语义分割模型，得到粗标注图像集中各个未标注像素对应的第二预测语义类别及粗标注图像集中各个像素对应的第一损失函数值；根据粗标注图像集中各个粗标注图像对应的重加权权重矩阵及粗标注图像集中各个像素对应的第一损失函数值确定粗标注图像集中各个像素对应的第二损失函数值；将待预测的图像输入至第三语义分割模型，得到待预测的图像对应的语义分割结果，本发明专利技术抑制了错误标注对第三语义分割模型的影响，提升了图像语义分割的效率和精确性。割的效率和精确性。割的效率和精确性。

【技术实现步骤摘要】
图像语义分割方法及装置


[0001]本专利技术涉及人工智能
，尤其涉及图像语义分割方法及装置。

技术介绍

[0002]本部分旨在为权利要求书中陈述的本专利技术实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
[0003]现有的语义分割技术大多集中在精标注或者弱标注。对于精标注，虽然众多技术成果展示出了良好的性能，但是对于设备异常检测这样真实的大规模复杂场景来说，其标注成本难以承受，从而很难大规模扩展。受限于深度学习方法自身的约束，如果数据集太少，模型的泛化性无法得到保证，大量标注又使得图像语义分割的效率低下。虽然弱监督能够通过非常廉价的标注成本来解决部分问题，但是模型预测的准确性不高，且根本无法适用于多类别不规则目标的复杂任务中。

技术实现思路

[0004]本专利技术实施例提供一种图像语义分割方法，用以提升图像语义分割的效率和精确性，该方法包括：
[0005]获取粗标注图像集；
[0006]将粗标注图像集输入至第一语义分割模型，得到粗标注图像集中各个未标注像素对应的第一预测语义类别；其中，第一语义分割模型为利用粗标注图像集对机器学习模型进行训练后得到；
[0007]利用粗标注图像集及粗标注图像集中各个未标注像素对应的第一预测语义类别对第一语义分割模型进行训练，得到第二语义分割模型；
[0008]将粗标注图像集输入至第二语义分割模型，得到粗标注图像集中各个未标注像素对应的第二预测语义类别及粗标注图像集中各个像素对应的第一损失函数值；<br/>[0009]根据粗标注图像集及粗标注图像集中各个未标注像素对应的第二预测语义类别确定粗标注图像集中各个粗标注图像对应的重加权权重矩阵；
[0010]根据粗标注图像集中各个粗标注图像对应的重加权权重矩阵及粗标注图像集中各个像素对应的第一损失函数值确定粗标注图像集中各个像素对应的第二损失函数值；
[0011]利用粗标注图像集及粗标注图像集中各个像素对应的第二损失函数值对第二语义分割模型进行训练，得到第三语义分割模型；
[0012]获取待预测的图像；
[0013]将待预测的图像输入至第三语义分割模型，得到待预测的图像对应的语义分割结果。
[0014]本专利技术实施例还提供一种粗标注图像语义分割装置，用以提升图像语义分割的效率和精确性，该装置包括：
[0015]训练模块，用于获取粗标注图像集；将粗标注图像集输入至第一语义分割模型，得
到粗标注图像集中各个未标注像素对应的第一预测语义类别；其中，第一语义分割模型为利用粗标注图像集对机器学习模型进行训练后得到；利用粗标注图像集及粗标注图像集中各个未标注像素对应的第一预测语义类别对第一语义分割模型进行训练，得到第二语义分割模型；将粗标注图像集输入至第二语义分割模型，得到粗标注图像集中各个未标注像素对应的第二预测语义类别及粗标注图像集中各个像素对应的第一损失函数值；根据粗标注图像集及粗标注图像集中各个未标注像素对应的第二预测语义类别确定粗标注图像集中各个粗标注图像对应的重加权权重矩阵；根据粗标注图像集中各个粗标注图像对应的重加权权重矩阵及粗标注图像集中各个像素对应的第一损失函数值确定粗标注图像集中各个像素对应的第二损失函数值；利用粗标注图像集及粗标注图像集中各个像素对应的第二损失函数值对第二语义分割模型进行训练，得到第三语义分割模型；
[0016]识别模块，用于获取待预测的图像；将待预测的图像输入至第三语义分割模型，得到待预测的图像对应的语义分割结果。
[0017]本专利技术实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述图像语义分割方法。
[0018]本专利技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述图像语义分割方法。
[0019]本专利技术实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述图像语义分割方法。
[0020]本专利技术实施例中，获取粗标注图像集；将粗标注图像集输入至第一语义分割模型，得到粗标注图像集中各个未标注像素对应的第一预测语义类别；利用粗标注图像集及粗标注图像集中各个未标注像素对应的第一预测语义类别对第一语义分割模型进行训练，得到第二语义分割模型；将粗标注图像集输入至第二语义分割模型，得到粗标注图像集中各个未标注像素对应的第二预测语义类别及粗标注图像集中各个像素对应的第一损失函数值；根据粗标注图像集及粗标注图像集中各个未标注像素对应的第二预测语义类别确定粗标注图像集中各个粗标注图像对应的重加权权重矩阵；根据粗标注图像集中各个粗标注图像对应的重加权权重矩阵及粗标注图像集中各个像素对应的第一损失函数值确定粗标注图像集中各个像素对应的第二损失函数值；利用粗标注图像集及粗标注图像集中各个像素对应的第二损失函数值对第二语义分割模型进行训练，得到第三语义分割模型；获取待预测的图像；将待预测的图像输入至第三语义分割模型，得到待预测的图像对应的语义分割结果，与现有技术相比，利用粗标注图像集及粗标注图像集中各个像素对应的第二损失函数值对第二语义分割模型进行训练，得到第三语义分割模型，通过重加权权重矩阵对粗标注图像集中各个像素对应的第一损失函数值加权，抑制了错误标注对第三语义分割模型的影响，使用自监督的方式避免了未标注的像素没有监督的弊端，提升了第三语义分割模型的性能，提升了图像语义分割的效率和精确性。
附图说明
[0021]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本
专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
[0022]图1为本专利技术提供的图像语义分割方法的流程示意图；
[0023]图2为本专利技术提供的图像语义分割方法的流程示意图；
[0024]图3为本专利技术提供的图像语义分割方法的流程示意图；
[0025]图4为本专利技术提供的图像语义分割方法的流程示意图；
[0026]图5为本专利技术提供的图像语义分割装置的结构示意图。
具体实施方式
[0027]为使本专利技术实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本专利技术实施例做进一步详细说明。在此，本专利技术的示意性实施例及其说明用于解释本专利技术，但并不作为对本专利技术的限定。
[0028]图1为本专利技术实施例提供的一种图像语义分割方法所对应的流程示意图，如图1所示，该方法包括：
[0029]步骤101，获取粗标注图像集。
[0030]精标注需要逐像素地对图片中所有像素赋予一个代表类别的标签，而粗标注只需要大致勾勒出目标的多边形轮廓。不同于弱标注中采用图像级别标注或者涂鸦标注，多边形轮廓能够最大限度地在减少标注成本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像语义分割方法，其特征在于，包括：获取粗标注图像集；将粗标注图像集输入至第一语义分割模型，得到粗标注图像集中各个未标注像素对应的第一预测语义类别；其中，第一语义分割模型为利用粗标注图像集对机器学习模型进行训练后得到；利用粗标注图像集及粗标注图像集中各个未标注像素对应的第一预测语义类别对第一语义分割模型进行训练，得到第二语义分割模型；将粗标注图像集输入至第二语义分割模型，得到粗标注图像集中各个未标注像素对应的第二预测语义类别及粗标注图像集中各个像素对应的第一损失函数值；根据粗标注图像集及粗标注图像集中各个未标注像素对应的第二预测语义类别确定粗标注图像集中各个粗标注图像对应的重加权权重矩阵；根据粗标注图像集中各个粗标注图像对应的重加权权重矩阵及粗标注图像集中各个像素对应的第一损失函数值确定粗标注图像集中各个像素对应的第二损失函数值；利用粗标注图像集及粗标注图像集中各个像素对应的第二损失函数值对第二语义分割模型进行训练，得到第三语义分割模型；获取待预测的图像；将待预测的图像输入至第三语义分割模型，得到待预测的图像对应的语义分割结果。2.如权利要求1所述的图像语义分割方法，其特征在于，根据粗标注图像集及粗标注图像集中各个未标注像素对应的第二预测语义类别确定粗标注图像集中各个粗标注图像对应的重加权权重矩阵，包括：根据粗标注图像集及粗标注图像集中各个未标注像素对应的第二预测语义类别构建多个无向图；多个无向图中各个无向图与粗标注图像集中各个粗标注图像一一对应；无向图的顶点与粗标注图像中各个像素一一对应；无向图的边用于指示粗标注图像中各个像素之间的位置关系；根据各个粗标注图像对应的无向图确定各个粗标注图像对应的置信度矩阵；置信度矩阵中的各个元素与粗标注图像中各个像素一一对应，用于指示粗标注图像中各个已标注像素对应的语义类别的可信度及粗标注图像中各个未标注像素对应的第二预测语义类别的可信度；根据各个粗标注图像对应的置信度矩阵确定各个粗标注图像对应的重加权权重矩阵。3.如权利要求2所述的图像语义分割方法，其特征在于，重加权权重矩阵的具体计算公式如下：其中，Φ表示重加权权重矩阵，表示置信度矩阵。4.如权利要求1所述的图像语义分割方法，其特征在于，在将粗标注图像集输入至第一语义分割模型之前，还包括：将粗标注图像集作为样本数据，构建训练集和测试集；利用训练集对机器学习模型进行训练，得到所述第一语义分割模型；利用测试集对所述第一语义分割模型进行测试。5.一种图像语义分割装置，其特征在于，包括：
训练模块，用于获取粗标注图像集；将粗标注图像集输入至第一语义分割模型，得到粗标注图像集中各个未标注像素对应的第一预测语义类别；其中，第一语义分割模型为...

【专利技术属性】
技术研发人员：宋浩然，程雨，杜馨瑜，顾子晨，戴鹏，王胜春，刘国跃，刘俊博，王登阳，谭松，任盛伟，李海浪，
申请(专利权)人：中国铁道科学研究院集团有限公司中国铁道科学研究院集团有限公司基础设施检测研究所，
类型：发明
国别省市：