图像分割模型训练、图像分割方法、装置及电子设备制造方法及图纸

本申请提供一种图像分割模型训练、图像分割方法、装置及电子设备。方法包括：获取样本图像集；基于样本图像集中的样本图像和每个样本图像对应的标签，对神经网络模型进行训练，得到训练好的图像分割模型；其中，进行第i轮训练包括：通过轻量级特征提取子模型中的M个轻量级特征提取器对样本图像进行特征提取，得到M组语义分割特征图；通过特征融合子模型对M组语义分割特征图进行特征融合，得到融合特征图；通过特征复原子模型中的至少一层转置卷积层，将融合特征图的分辨率增大至样本图像的分辨率，得到预测分割结果；根据预测分割结果，以及，样本图像对应的标签对神经网络模型进行下一轮训练。本申请提高了图像语义分割的准确性和效率。和效率。和效率。

【技术实现步骤摘要】
图像分割模型训练、图像分割方法、装置及电子设备


[0001]本申请涉及计算机视觉技术，尤其涉及一种图像分割模型训练、图像分割方法、装置及电子设备。

技术介绍

[0002]图像语义分割技术对于当今的自动驾驶、可穿戴式设备、智能安检等计算机视觉领域具有重要意义。目前，现有的图像语义分割方法主要为：先基于复杂的深层卷积神经网络结构进行图像语义特征提取，得到低分辨率的特征图像。然后，再通过插值法，对该低分辨率的图像进行尺寸还原，得到与原始图像相同尺寸的图像分割结果。然而，现有的图像分割方法存在效率较低且准确性较差的问题。

技术实现思路

[0003]本申请提供一种图像分割模型训练、图像分割方法、装置及电子设备，以提高图像分割的效率和准确性。
[0004]第一方面，本申请提供一种图像分割模型训练方法，所述方法包括：
[0005]获取样本图像集；所述样本图像集中包括：至少一个样本图像，以及，每个所述样本图像对应的标签；所述标签用于表征所述样本图像中待分割出的对象；
[0006]基于所述样本图像集中的样本图像和每个所述样本图像对应的标签，对神经网络模型进行N轮训练，得到训练好的图像分割模型；所述神经网络模型包括：轻量级特征提取子模型、特征融合子模型，以及，特征复原子模型，其中，进行第i轮训练包括：
[0007]通过所述轻量级特征提取子模型中的M个轻量级特征提取器对所述样本图像进行特征提取，得到M组语义分割特征图；所述N≥1，且所述M≥2；
[0008]通过所述特征融合子模型对所述M组语义分割特征图进行特征融合，得到融合特征图；所述融合特征图的分辨率小于所述样本图像的分辨率；
[0009]通过所述特征复原子模型中的至少一层转置卷积层，将所述融合特征图的分辨率增大至所述样本图像的分辨率，得到预测分割结果；
[0010]根据所述预测分割结果，以及，所述样本图像对应的标签对所述神经网络模型进行第i+1轮训练。
[0011]可选的，所述轻量级特征提取器包括：至少一层多通道卷积层、第一预设数量的卷积层，以及，第二预设数量的空洞卷积层；所述第一预设数量大于所述第二预设数量；所述第二预设数量的空洞卷积层穿插在所述第一预设数量的卷积层中；
[0012]所述通过所述轻量级特征提取子模型中的M个轻量级特征提取器对所述样本图像进行特征提取，得到M组语义分割特征图，包括：
[0013]针对第j个所述轻量级特征提取器，通过所述至少一层多通道卷积层从第j
‑
1组语义分割特征图的多个颜色通道进行特征提取，得到子语义分割特征图；所述j大于1且小于或等于所述M；第1个所述轻量级特征提取器的所述至少一层多通道卷积层的输入为所述样
本图像；
[0014]通过所述卷积层和所述空洞卷积层对所述子语义分割特征图进行特征提取，得到第j组语义分割特征图。
[0015]可选的，所述M等于3，第1组语义分割特征图的分辨率大于第2组语义分割特征图的分辨率，且第2组语义分割特征图的分辨率大于第3组语义分割特征图的分辨率，所述通过所述特征融合子模型对所述M组语义分割特征图进行特征融合，得到融合特征图，包括：
[0016]对所述第3组语义分割特征图进行转置卷积，得到所述第3组对应的中间特征图；所述第3组对应的中间特征图的分辨率与所述第2组语义分割特征图的分辨率相同；
[0017]对所述第3组对应的中间特征图，以及，所述第2组语义分割特征图进行特征融合，得到第一融合特征图；所述第一融合特征图的分辨率与所述第2组语义分割特征图的分辨率相同；
[0018]对所述第一融合特征图进行转置卷积，得到所述分辨率增大后的第一融合特征图；所述分辨率增大后的第一融合特征图的分辨率与所述第1组语义分割特征图的分辨率相同；
[0019]对所述分辨率增大后的第一融合特征图，以及，所述第1组语义分割特征图进行特征融合，得到融合特征图。
[0020]可选的，所述对所述分辨率增大后的第一融合特征图，以及，所述第1组语义分割特征图进行特征融合，得到融合特征图，包括：
[0021]对所述分辨率增大后的第一融合特征图，以及，所述第1组语义分割特征图进行特征融合，得到初始融合特征图；
[0022]对所述初始融合特征图进行空间维度卷积，得到空间维度改变的初始融合特征图；
[0023]对所述空间维度改变的初始融合特征图进行语义特征提取，得到所述空间维度改变的初始融合特征图对应的图像语义特征图；
[0024]对所述空间维度改变的初始融合特征图对应的图像语义特征图，进行空间维度卷积以及语义特征提取，得到融合特征图。
[0025]第二方面，本申请提供一种图像分割方法，所述方法包括：
[0026]接收目标图像；所述目标图像包括待分割出的目标对象；
[0027]将所述目标图像输入至训练好的图像分割模型中，得到所述目标图像对应的图像分割结果；所述训练好的图像分割模型为采用如第一方面任一项所述的方法训练得到的；所述图像分割结果中，所述目标对象对应的像素值，与，除了所述目标对象之外的区域的像素值不同。
[0028]第三方面，本申请提供一种图像分割模型训练装置，所述装置包括：
[0029]获取模块，用于获取样本图像集；所述样本图像集中包括：至少一个样本图像，以及，每个所述样本图像对应的标签；所述标签用于表征所述样本图像中待分割出的对象；
[0030]训练模块，用于基于所述样本图像集中的样本图像和每个所述样本图像对应的标签，对神经网络模型进行N轮训练，得到训练好的图像分割模型；所述神经网络模型包括：轻量级特征提取子模型、特征融合子模型，以及，特征复原子模型，其中，进行第i轮训练，训练模块，具体用于：
[0031]通过所述轻量级特征提取子模型中的M个轻量级特征提取器对所述样本图像进行特征提取，得到M组语义分割特征图；所述N≥1，且所述M≥2；
[0032]通过所述特征融合子模型对所述M组语义分割特征图进行特征融合，得到融合特征图；所述融合特征图的分辨率小于所述样本图像的分辨率；
[0033]通过所述特征复原子模型中的至少一层转置卷积层，将所述融合特征图的分辨率增大至所述样本图像的分辨率，得到预测分割结果；
[0034]根据所述预测分割结果，以及，所述样本图像对应的标签对所述神经网络模型进行第i+1轮训练。
[0035]第四方面，本申请提供一种图像分割装置，所述装置包括：
[0036]接收模块，用于接收目标图像；所述目标图像包括待分割出的目标对象；
[0037]处理模块，用于将所述目标图像输入至训练好的图像分割模型中，得到所述目标图像对应的图像分割结果；所述训练好的图像分割模型为采用如第一方面任一项所述的方法训练得到的；所述图像分割结果中，所述目标对象对应的像素值，与，除了所述目标对象之外的区域的像素值不同。
[0038]第五方面，本申请提供一种电子设备，所述电子设备包括存储本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像分割模型训练方法，其特征在于，所述方法包括：获取样本图像集；所述样本图像集中包括：至少一个样本图像，以及，每个所述样本图像对应的标签；所述标签用于表征所述样本图像中待分割出的对象；基于所述样本图像集中的样本图像和每个所述样本图像对应的标签，对神经网络模型进行N轮训练，得到训练好的图像分割模型；所述神经网络模型包括：轻量级特征提取子模型、特征融合子模型，以及，特征复原子模型，其中，进行第i轮训练包括：通过所述轻量级特征提取子模型中的M个轻量级特征提取器对所述样本图像进行特征提取，得到M组语义分割特征图；所述N≥1，且所述M≥2；通过所述特征融合子模型对所述M组语义分割特征图进行特征融合，得到融合特征图；所述融合特征图的分辨率小于所述样本图像的分辨率；通过所述特征复原子模型中的至少一层转置卷积层，将所述融合特征图的分辨率增大至所述样本图像的分辨率，得到预测分割结果；根据所述预测分割结果，以及，所述样本图像对应的标签对所述神经网络模型进行第i+1轮训练。2.根据权利要求1所述的方法，其特征在于，所述轻量级特征提取器包括：至少一层多通道卷积层、第一预设数量的卷积层，以及，第二预设数量的空洞卷积层；所述第一预设数量大于所述第二预设数量；所述第二预设数量的空洞卷积层穿插在所述第一预设数量的卷积层中；所述通过所述轻量级特征提取子模型中的M个轻量级特征提取器对所述样本图像进行特征提取，得到M组语义分割特征图，包括：针对第j个所述轻量级特征提取器，通过所述至少一层多通道卷积层从第j
‑
1组语义分割特征图的多个颜色通道进行特征提取，得到子语义分割特征图；所述j大于1且小于或等于所述M；第1个所述轻量级特征提取器的所述至少一层多通道卷积层的输入为所述样本图像；通过所述卷积层和所述空洞卷积层对所述子语义分割特征图进行特征提取，得到第j组语义分割特征图。3.根据权利要求1或2所述的方法，其特征在于，所述M等于3，第1组语义分割特征图的分辨率大于第2组语义分割特征图的分辨率，且第2组语义分割特征图的分辨率大于第3组语义分割特征图的分辨率，所述通过所述特征融合子模型对所述M组语义分割特征图进行特征融合，得到融合特征图，包括：对所述第3组语义分割特征图进行转置卷积，得到所述第3组对应的中间特征图；所述第3组对应的中间特征图的分辨率与所述第2组语义分割特征图的分辨率相同；对所述第3组对应的中间特征图，以及，所述第2组语义分割特征图进行特征融合，得到第一融合特征图；所述第一融合特征图的分辨率与所述第2组语义分割特征图的分辨率相同；对所述第一融合特征图进行转置卷积，得到所述分辨率增大后的第一融合特征图；所述分辨率增大后的第一融合特征图的分辨率与所述第1组语义分割特征图的分辨率相同；对所述分辨率增大后的第一融合特征图，以及，所述第1组语义分割特征图进行特征融合，得到融合特征图。
4.根据权利要求3所述的方法，其特征在于，所述对所述分辨率增大后的第一融合特征图，以及，所述第1组语义分割特征图进行特征融合，得到融合特征图，包括：对所述分辨率增大后的第...

【专利技术属性】
技术研发人员：田金月，沈湛，杨阳，司林，吴宇轩，
申请(专利权)人：中国农业银行股份有限公司，
类型：发明
国别省市：