图像语义分割模型的训练方法、可读存储介质及电子设备技术

一种图像语义分割的训练方法包括：将预先标注语义分割信息的训练图像输入到图像语义分割模型中，得到包含特征图及预测的语义分割结果；将特征图输入到困难样本挖掘单元中，以计算出训练图像的困难样本；依据预测语义分割结果和预先标注的语义分割信息，统计预测错误的像素，将预测语义分割结果中预测错误的像素作为参考困难样本；依据预测语义分割结果和预先标注的语义分割信息、困难样本和参考困难样本，对基础图像语义分割模型及困难样本挖掘单元的参数进行修正。本发明专利技术还提供了一种应用该图像语义分割的训练方法的可读存储介质及电子设备。本发明专利技术图像语义分割模型的训练方法、可读存储介质及电子设备可提高语义分割结果的准确率。

【技术实现步骤摘要】
图像语义分割模型的训练方法、可读存储介质及电子设备
本专利技术涉及计算机视觉与图像处理领域，尤其是涉及一种基于像素级困难样本挖掘的图像语义分割模型的训练方法、可读存储介质及电子设备。
技术介绍
图像语义分割是计算机视觉领域中一项重要的研究内容，其目标是将图像分割成具有不同语义信息的区域，并且标注每个区域相应的语义标签，例如通过对一幅图像进行图像语义分割后可为图像中的物体添加语义标签(譬如桌子、墙壁、天空、人、狗等)，可应用于例如无人驾驶等领域。目前，用于图像语义分割的较主流的解决方案主要基于卷积神经网络(ConvolutionalNeuralNetworks，简称CNN)，该网络学习图像的语义特征表示。比如全卷积网络(FullyConvolutionalNetworks，简称为FCN)通过构建包含卷积层、池化层和反卷积层的卷积神经网络，以端到端的方式将任意大小的输入图像转换为像素级的分类结果，为研究人员和工程师提供了一种简单而有效的方法来解决图像语义分割问题。DeepLab和DilatedNet把全卷积网络中普通卷积替换为扩散卷积使得语义分割预测时结合更多的上下文和场景信息。然而，这些模型还存在各种各样的问题，特别是对于复杂的对象和多样的场景。例如全卷积网络忽略了图像的全局信息和潜在有用的场景语义上下文信息，因此容易将一些物体的某些部分错误地标注为其他物体。最近一些学者尝试融合更多的上下文信息和全局信息来解决这些容易预测错误的区域，例如DeepLab和DilatedNet扩大了滤波器的感受野以融合更多的上下文，但遗漏了详细的信息，会把同一个物体预测成多个标签；ParseNet则融合了全局平均池化的特征以使这部分区域与全局标签统一，但对于场景复杂包含大量标签的图像则没有太大变化；DenseCRF基于全卷积网络的预测结果和图像的颜色纹理信息来进行后处理，合并颜色纹理相近但标签不同的区域，但容易把原本预测正确的区域合并为错误的区域。以上
技术介绍
内容的公开仅用于辅助理解本专利技术的专利技术构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日前已经公开的情况下，上述
技术介绍
不应当用于评价本申请的新颖性和创造性。
技术实现思路
鉴于以上内容，有必要提供一种可提高语义分割结果的准确率的图像语义分割模型的训练方法、可读存储介质及电子设备。一种图像语义分割的训练方法，包括：将预先标注语义分割信息的训练图像输入到图像语义分割模型中，得到包含语义信息的特征图及预测的语义分割结果；将对应所述训练图像的所述特征图输入到困难样本挖掘单元中，以通过所述困难样本挖掘单元计算出所述训练图像的困难样本；依据所述训练图像的所述预测语义分割结果和预先标注的语义分割信息，统计预测错误的像素，将所述预测语义分割结果中预测错误的像素作为参考困难样本；及依据所述训练图像的所述预测语义分割结果和预先标注的语义分割信息、所述计算得到的困难样本和参考困难样本，对所述基础图像语义分割模型及所述困难样本挖掘单元的参数进行修正。进一步地，所述图像语义分割的训练方法还包括：判断所述基础图像语义分割模型和所述困难样本挖掘单元的训练结果是否满足预设的收敛条件；当所述基础图像语义分割模型和所述困难样本挖掘单元的训练结果未满足预设的收敛条件时，执行所述将预先标注语义分割信息的训练图像输入到图像语义分割模型中，得到包含语义信息的特征图及预测的语义分割结果；或执行依据所述训练图像的所述预测语义分割结果和预先标注的语义分割信息，统计预测错误的像素，将所述预测语义分割结果中预测错误的像素作为参考困难样本。进一步地，在所述的图像语义分割的训练方法中，所述将预先标注语义分割信息的训练图像输入到图像语义分割模型中，得到包含语义信息的特征图及预测的语义分割结果包括：通过卷积模块及卷积层对所述训练图像进行卷积操作，以生成对应的特征图；通过反卷积层对所述特征图进行上采样，以生成与训练图像相同尺寸图像。进一步地，在所述的图像语义分割的训练方法中，所述困难样本挖掘单元接收所述卷积模块生成的特征图，以计算出所述训练图像的困难样本。进一步地，在所述的图像语义分割的训练方法中，所述将对应所述训练图像的所述特征图输入到困难样本挖掘单元中，以通过所述困难样本挖掘单元计算出所述训练图像的困难样本包括：通过预设卷积层对所述特征图进行卷积操作生成目标特征图，以将所述特征图上的每个像素分为困难样本与非困难样本；对卷积后的目标特征图的每个像素选取最大值所在的标号，得到所述困难样本图。进一步地，在所述的图像语义分割的训练方法中，所述对所述基础图像语义分割模型和所述困难样本挖掘单元的参数进行修正包括：通过交叉熵损失函数计算所述预测语义分割结果与所述预先标注的语义分割信息之间的误差；利用反向传播算法，并依据所述误差更新所述基础图像语义分割模型和所述困难样本挖掘单元的参数。进一步地，在所述的图像语义分割的训练方法中，所述判断所述基础图像语义分割模型和所述困难样本挖掘单元的训练结果是否满足预设的收敛条件包括：判断通过交叉熵损失函数计算的所述预测语义分割结果与所述预先标注的语义分割信息之间的误差的值是否小于一预设阈值；当所述预测语义分割结果与所述预先标注的语义分割信息之间的误差的值是小于预设阈值时，判定所述基础图像语义分割模型和所述困难样本挖掘单元的训练结果满足预设的收敛条件。进一步地，在所述的图像语义分割的训练方法中，所述判断所述基础图像语义分割模型和所述困难样本挖掘单元的训练结果是否满足预设的收敛条件包括：判断迭代次数达到预定值；当迭代次数达到所述预定值时，判定所述基础图像语义分割模型和所述困难样本挖掘单元的训练结果满足预设的收敛条件。一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理执行时实现如下步骤：将预先标注语义分割信息的训练图像输入到图像语义分割模型中，得到包含语义信息的特征图及预测的语义分割结果；将对应所述训练图像的所述特征图输入到困难样本挖掘单元中，以通过所述困难样本挖掘单元计算出所述训练图像的困难样本；依据所述训练图像的所述预测语义分割结果和预先标注的语义分割信息，统计预测错误的像素，将所述预测语义分割结果中预测错误的像素作为参考困难样本；及依据所述训练图像的所述预测语义分割结果和预先标注的语义分割信息、所述计算得到的困难样本和参考困难样本，对所述基础图像语义分割模型及所述困难样本挖掘单元的参数进行修正。一种电子设备，包括存储器及处理器，所述存储器存储若干被所述处理器执行的程序，所述处理器执行所述程序时实现如下步骤：将预先标注语义分割信息的训练图像输入到图像语义分割模型中，得到包含语义信息的特征图及预测的语义分割结果；将对应所述训练图像的所述特征图输入到困难样本挖掘单元中，以通过所述困难样本挖掘单元计算出所述训练图像的困难样本；依据所述训练图像的所述预测语义分割结果和预先标注的语义分割信息，统计预测错误的像素，将所述预测语义分割结果中预测错误的像素作为参考困难样本；及依据所述训练图像的所述预测语义分割结果和预先标注的语义分割信息、所述计算得到的困难样本和参考困难样本，对所述基础图像语义分割模型及所述困难样本挖掘单元的参数进行修正。本发提供一种图像语义分本文档来自技高网...

【技术保护点】
1.一种图像语义分割的训练方法，其特征在于，所述训练方法包括：将预先标注语义分割信息的训练图像输入到图像语义分割模型中，得到包含语义信息的特征图及预测的语义分割结果；将对应所述训练图像的所述特征图输入到困难样本挖掘单元中，以通过所述困难样本挖掘单元计算出所述训练图像的困难样本；依据所述训练图像的所述预测语义分割结果和预先标注的语义分割信息，统计预测错误的像素，将所述预测语义分割结果中预测错误的像素作为参考困难样本；及依据所述训练图像的所述预测语义分割结果和预先标注的语义分割信息、所述计算得到的困难样本和参考困难样本，对所述基础图像语义分割模型及所述困难样本挖掘单元的参数进行修正。

【技术特征摘要】
1.一种图像语义分割的训练方法，其特征在于，所述训练方法包括：将预先标注语义分割信息的训练图像输入到图像语义分割模型中，得到包含语义信息的特征图及预测的语义分割结果；将对应所述训练图像的所述特征图输入到困难样本挖掘单元中，以通过所述困难样本挖掘单元计算出所述训练图像的困难样本；依据所述训练图像的所述预测语义分割结果和预先标注的语义分割信息，统计预测错误的像素，将所述预测语义分割结果中预测错误的像素作为参考困难样本；及依据所述训练图像的所述预测语义分割结果和预先标注的语义分割信息、所述计算得到的困难样本和参考困难样本，对所述基础图像语义分割模型及所述困难样本挖掘单元的参数进行修正。2.如权利要求1所述的图像语义分割的训练方法，其特征在于，所述图像语义分割的训练方法还包括：判断所述基础图像语义分割模型和所述困难样本挖掘单元的训练结果是否满足预设的收敛条件；当所述基础图像语义分割模型和所述困难样本挖掘单元的训练结果未满足预设的收敛条件时，执行所述将预先标注语义分割信息的训练图像输入到图像语义分割模型中，得到包含语义信息的特征图及预测的语义分割结果；或执行依据所述训练图像的所述预测语义分割结果和预先标注的语义分割信息，统计预测错误的像素，将所述预测语义分割结果中预测错误的像素作为参考困难样本。3.如权利要求1所述的图像语义分割的训练方法，其特征在于，所述将预先标注语义分割信息的训练图像输入到图像语义分割模型中，得到包含语义信息的特征图及预测的语义分割结果包括：通过卷积模块及卷积层对所述训练图像进行卷积操作，以生成对应的特征图；通过反卷积层对所述特征图进行上采样，以生成与训练图像相同尺寸图像。4.如权利要求3所述的图像语义分割的训练方法，其特征在于，所述困难样本挖掘单元接收所述卷积模块生成的特征图，以计算出所述训练图像的困难样本。5.如权利要求1所述的图像语义分割的训练方法，其特征在于，所述将对应所述训练图像的所...

【专利技术属性】
技术研发人员：袁春，黎健成，
申请(专利权)人：清华大学深圳研究生院，
类型：发明
国别省市：广东,44