基于MIM和对比学习的半监督语义分割方法及装置制造方法及图纸

本申请涉及一种基于MIM和对比学习的半监督语义分割方法及装置。所述方法包括：获取训练图像集；构建MIM半监督语义分割网络模型，该模型包括教师模型、学生模型、重建探测头及特征探测头；将弱增强图像发送至教师模型进行语义分割，生成第一预测熵图；将强增强图像输入学生模型解码器中，通过特征探测头提取强语义特征及第二伪标签；将弱增强图像的掩码图像输入学生模型编码器中，通过重建探测头生成重建图像语义特征及第四伪标签；拼接强语义特征、重建图像语义特征、第二伪标签及第四伪标签，生成第二预测熵图；根据第一预测熵图与第二预测熵图的对比学习结果，得到训练好的MIM半监督语义分割网络模型。本发明专利技术可提升图像特征提取效果。取效果。取效果。

【技术实现步骤摘要】
基于MIM和对比学习的半监督语义分割方法及装置


[0001]本申请涉及图像数据处理
，特别是涉及一种基于MIM和对比学习的半监督语义分割方法及装置。

技术介绍

[0002]随着图像数据处理技术的发展，对于目标追踪时捕捉到的图像需要进行数据真实性预测，出现了半监督语义分割技术，通过半监督学习来利用图像中未标记数据的信息，通过模拟图像标记和未标记数据的真实数据分布，进而生成新的图像数据或者高质量伪标签，并在一致性正则化方法的假设下，利用伪标签方法以迭代方式增强半监督语义特征提取的性能。
[0003]然而，目前的半监督语义分割方法，致力于从有标签数据中提取无标签信息，而忽略了图像内不同区域间的信息交互，导致图像数据处理和未标记数据的提取精度较差，并且对于目标掩蔽情况下，捕捉到的图像信息训练结果偏差率较大。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种能够提取不同切片间图像数据信息的基于MIM和对比学习的半监督语义分割方法及装置。
[0005]一种基于MIM和对比学习的半监督语义分割方法，所述方法包括：
[0006]获取训练图像集，训练图像集包括：弱增强图像和强增强图像。
[0007]构建MIM半监督语义分割网络模型，半监督语义分割网络模型包括：教师模型、学生模型、重建探测头以及特征探测头。
[0008]将弱增强图像发送至教师模型进行语义分割，得到弱增强图像中未标记图像的第一伪标签，根据第一伪标签生成第一预测熵图。
[0009]将强增强图像输入所述学生模型解码器中，通过特征探测头从学生模型解码器中提取强语义特征及第二伪标签。
[0010]将弱增强图像的掩码图像输入学生模型编码器中，通过重建探测头从学生模型编码器中提取的掩码语义特征及第三伪标签，基于MIM生成重建图像语义特征及第四伪标签。
[0011]通过拼接强语义特征、重建图像语义特征、第二伪标签以及第四伪标签，生成第二预测熵图。
[0012]根据第一预测熵图与第二预测熵图的对比学习结果进行反向训练，得到训练好的MIM半监督语义分割网络模型。
[0013]在其中一个实施例中，还包括：将弱增强图像发送至教师模型，经教师模型中的第一残差模块、第一全局
‑
局部注意力机制模块、第一加权求和模块以及第一特征增强模块对弱增强图像的第一语义特征进行提取，并对弱增强图像中的未标记图像赋予第一伪标签，根据第一语义特征与第一伪标签进行拼接，生成第一预测熵图。
[0014]在其中一个实施例中，还包括：教师模型包括：第一残差模块、第一全局
‑
局部注意
力机制模块、第一加权求和模块以及第一特征增强模块。
[0015]第一残差模块接收弱增强图像并逐层处理弱增强图像的语义特征信息，得到第一残差语义特征。
[0016]第一全局
‑
局部注意力机制模块包括第一全局分支和第一局部分支，第一全局分支采用上下文交互模块提取弱增强图像的第一全局语义特征，第一局部分支采用并行的卷积层提取所述弱增强图像的第一局部语义特征。
[0017]第一加权求和模块用于聚合第一残差语义特征、第一全局语义特征以及第一局部语义特征，得到弱增强图像的第一融合语义特征。
[0018]第一特征增强模块接收第一融合语义特征，采用双信道处理方式处理第一融合语义特征，得到弱增强图像的第一语义特征。
[0019]在其中一个实施例中，还包括：学生模型包括第二残差模块、第二全局
‑
局部注意力机制模块、第二加权求和模块以及第二特征增强模块。
[0020]将强增强图像输入学生模型解码器中，经学生模型解码器中的第二残差模块、第二全局
‑
局部注意力机制模块以及第二加权求和模块进行语义特征提取，得到第二语义特征。
[0021]特征探测头从学生模型解码器中获取第二语义特征，根据预先构建的对比损失函数进行收敛，生成强语义特征及第二伪标签。
[0022]在其中一个实施例中，还包括：将弱增强图像的掩码图像输入学生模型编码器中，经学生模型编码器中的第二残差模块进行语义特征提取，得到掩码语义特征。
[0023]重建探测头从学生模型编码中提取掩码语义特征及弱增强图像的掩码图像的第三伪标签，基于MIM将掩码语义特征和第三伪标签进行拼接，得到重建图像。
[0024]根据预先构建的重建损失函数对重建图像进行收敛，生成掩码预测图像，通过预先构建的重建语义一致性损失函数收敛掩码预测图像，得到重建图像语义特征及第四伪标签。
[0025]在其中一个实施例中，还包括：通过预先构建的标签损失函数，将训练图象集的标签分别与第二伪标签和第四伪标签进行差值收敛，得到优化后的第二伪标签和第四伪标签，将强语义特征、重建图像语义特征、优化后的第二伪标签以及优化后的第四伪标签进行拼接，生成第二预测熵图。
[0026]在其中一个实施例中，还包括：标签损失函数定义为：
[0027][0028]其中，λ
i
是第i个像素的标签权重，y
i
是第i个像素的标签或伪标签，是第i
‑
个像素的预测，n是参与计算的像素数。
[0029]在其中一个实施例中，还包括：根据第一预测熵图与第二预测熵图的差异构建熵损失函数，并将第一预测熵图与第二预测熵图的对比学习结果进行收敛，将收敛后的对比学习结果作为训练图像集输入MIM半监督语义分割网络模型中，得到训练好的MIM半监督语义分割网络模型。
[0030]在其中一个实施例中，还包括：重建损失失函数定义为：
[0031][0032]其中，n
m
是屏蔽像素的数量，是学生模型的重建图像，x
weak
为具有弱增强的原始图像，是指示符函数，表示屏蔽区域。
[0033]一种基于MIM和对比学习的半监督语义分割装置，所述装置包括：
[0034]样本获取模块，用于获取训练图像集，训练图像集包括：弱增强图像和强增强图像。
[0035]模型构建模块，用于构建MIM半监督语义分割网络模型，MIM半监督语义分割网络模型包括：教师模型、学生模型、重建探测头以及特征探测头。
[0036]第一预测熵图生成模块，用于将弱增强图像发送至教师模型进行语义分割，得到弱增强图像中未标记图像的第一伪标签，根据第一伪标签生成第一预测熵图。
[0037]强特征提取模块，用于将强增强图像输入学生模型解码器中，通过特征探测头从学生模型解码器中提取强语义特征及第二伪标签。
[0038]重建图像模块，用于将弱增强图像的掩码图像输入学生模型编码器中，通过重建探测头从学生模型编码器中提取的掩码语义特征及第三伪标签，基于MIM生成重建图像语义特征及第四伪标签。
[0039]第二预测熵图生成模块，用于通过拼接强语义特征、重建图像语义特征、第二伪标签以及第四伪标签，生成第二预测熵图。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于MIM和对比学习的半监督语义分割方法，其特征在于，所述方法包括：获取训练图像集，所述训练图像集包括：弱增强图像和强增强图像；构建MIM半监督语义分割网络模型，所述MIM半监督语义分割网络模型包括：教师模型、学生模型、重建探测头以及特征探测头；将所述弱增强图像发送至所述教师模型进行语义分割，得到所述弱增强图像中未标记图像的第一伪标签，根据所述第一伪标签生成第一预测熵图；将所述强增强图像输入所述学生模型解码器中，通过所述特征探测头从所述学生模型解码器中提取强语义特征及第二伪标签；将所述弱增强图像的掩码图像输入所述学生模型编码器中，通过所述重建探测头从所述学生模型编码器中提取的掩码语义特征及第三伪标签，基于MIM生成重建图像语义特征及第四伪标签；通过拼接所述强语义特征、所述重建图像语义特征、所述第二伪标签以及所述第四伪标签，生成第二预测熵图；根据所述第一预测熵图与所述第二预测熵图的对比学习结果进行反向训练，得到训练好的MIM半监督语义分割网络模型。2.根据权利要求1所述的方法，其特征在于，将所述弱增强图像发送至所述教师模型进行语义分割，得到所述弱增强图像中未标记图像的第一伪标签，根据所述第一伪标签生成第一预测熵图，包括：将所述弱增强图像发送至所述教师模型，经所述教师模型中的第一残差模块、第一全局
‑
局部注意力机制模块、第一加权求和模块以及第一特征增强模块对所述弱增强图像的第一语义特征进行提取，并对所述弱增强图像中的未标记图像赋予第一伪标签，根据所述第一语义特征与所述第一伪标签进行拼接，生成第一预测熵图。3.根据权利要求2所述的方法，其特征在于，所述教师模型包括：第一残差模块、第一全局
‑
局部注意力机制模块、第一加权求和模块以及第一特征增强模块；所述第一残差模块接收所述弱增强图像并逐层处理所述弱增强图像的语义特征信息，得到第一残差语义特征；所述第一全局
‑
局部注意力机制模块包括第一全局分支和第一局部分支，所述第一全局分支采用上下文交互模块提取所述弱增强图像的第一全局语义特征，所述第一局部分支采用并行的卷积层提取所述弱增强图像的第一局部语义特征；所述第一加权求和模块用于聚合所述第一残差语义特征、所述第一全局语义特征以及所述第一局部语义特征，得到所述弱增强图像的第一融合语义特征；所述第一特征增强模块接收所述第一融合语义特征，采用双信道处理方式处理所述第一融合语义特征，得到所述弱增强图像的第一语义特征。4.根据权利要求3所述的方法，其特征在于，将所述强增强图像输入所述学生模型解码器中，通过所述特征探测头从所述学生模型解码器中提取强语义特征及第二伪标签，包括：所述学生模型包括第二残差模块、第二全局
‑
局部注意力机制模块、第二加权求和模块以及第二特征增强模块；将所述强增强图像输入所述学生模型解码器中，经所述学生模型解码器中的所述第二残差模块、所述第二全局
‑
局部注意力机制模块以及所述第二加权求和模块进行语义特征
提取，得到第二语义特征；所述特征探测头从所述学生模型解码器中获取所述第二语义特征，根据预先构建的对比损失函数进行收敛，生成强语义特征及第二伪标签。5.根据权利要求4所述的方法，其特征在于，将所述弱增强图像的掩码图像输入所述学生模型编码器中，通过所述重建探测头从所述学生模型编码器中...

【专利技术属性】
技术研发人员：陈浩，李政宏，伍江江，杜春，李沛秦，熊伟，李军，吴烨，贾庆仁，陈荦，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：