基于迁移学习提升语义分割模型效果的框架制造技术

本发明专利技术公开了一种基于迁移学习提升语义分割模型效果的框架，包括下述内容：1)将迁移学习引入到语义分割领域，使得快速语义分割网络可以通过教师模型提升学生模型分割效果；2)提出一致性映射度量教师和学生模型的轮廓和纹路信息，并通过构造一致性损失函数来使得快速语义分割在细节处分割得更好；3)利用老师模型和条件随机场(CRF)模型为无标签数据生成辅助标签，并把数据加入到训练集，提升模型的泛化能力和分割效果。本发明专利技术在不引入额外模型参数，降低模型速度的情况下，提升了快速语义分割模型的准确率。

【技术实现步骤摘要】
基于迁移学习提升语义分割模型效果的框架
本专利技术属于语义分割的
，具体涉及一种基于迁移学习提升语义分割模型效果的框架。
技术介绍
图像语义分割是计算机视觉领域的一项基础且重要的研究，它要求模型识别出图像中每个像素点属于哪一种语义类别。图像语义分割有很多方面的应用，例如自动驾驶(Automaticdriving)及辅助机器人(Auxiliaryrobot)等等。图像语义分割也是视频语义分割的基础，通过将视频帧视为单个图像，可以将问题转化为图像的语义分割，从而在时间维度上进一步建模。目前已有的工作主要可以分为两类：精度导向的语义分割和速度导向的语义分割。精度导向的语义分割模型效果比较好，但速度往往很慢，不能满足实际需求。相对地，速度导向的语义分割模型虽然可以达到比较快的分割速度，但往往精度不够。具体分析如下：1)面向精度的语义分割：对于这类方法的研究覆盖率大多数语义分割领域的文献，其主要的目标是在公开的分割数据集中显著地提高分割的准确率。我们将从三个方面介绍提升分割效果的方法。第一个方面，性能的提升主要源自于作为分割网络的局部特征提取器的预训模型的辉煌进展，这方面进展的核心是通过本文档来自技高网...

【技术保护点】
1.基于迁移学习提升语义分割模型效果的框架，其特征在于，包括下述步骤：构建一个新的语义分割模型基础框架，所述语义分割模型基础框架由两个不同的网络组成，分别为老师网络和学生网络，所述老师网络为学生网路提供有益于分割的知识指导，使得学生网路能学到老师网络的知识来帮助其拥有更好的分割效果，所述学生网络用于在保证其分割的速度的同时从老师网络提供的知识中学习到有益于其分割效果的知识；通过目标函数将老师网络和学生网络连接起来，所述目标函数是由基于逻辑分布变换出来的信息形式构造的，该目标函数的具体内容如下：用S和T来分别表示公式中的学生网络和老师网络：L＝Ls+r(S,T)上述公式中，Ls是交叉熵损失函数，...

【技术特征摘要】
1.基于迁移学习提升语义分割模型效果的框架，其特征在于，包括下述步骤：构建一个新的语义分割模型基础框架，所述语义分割模型基础框架由两个不同的网络组成，分别为老师网络和学生网络，所述老师网络为学生网路提供有益于分割的知识指导，使得学生网路能学到老师网络的知识来帮助其拥有更好的分割效果，所述学生网络用于在保证其分割的速度的同时从老师网络提供的知识中学习到有益于其分割效果的知识；通过目标函数将老师网络和学生网络连接起来，所述目标函数是由基于逻辑分布变换出来的信息形式构造的，该目标函数的具体内容如下：用S和T来分别表示公式中的学生网络和老师网络：L＝Ls+r(S,T)上述公式中，Ls是交叉熵损失函数，其实由图片的标签与学生网络的概率分布之间求交叉熵得到的损失函数；r(S,T)代表的是老师网络与学生网络之间的知识偏差，其作为一个正则化项来正则化学生网络的学习过程，通过r(S,T)这一项，学生网络和老师网络被连接起来，并且通过最小化L目标函数可以把老师网络的知识传递到学生网络；把r(S,T)函数定义为：r(S,T)＝αLp(S,T)+βLc(S,T)Lp(S,T)是老师网络与学生网络之间的概率分布损失函数，定义为函数中的I表示batchsize的数量，G表示图片的像素集合，PS(x),PT(x)分别是学生和老师网络在图片区域每个像素点的概率分布输出，这个损失函数的定义是学生网络的输出概率分布跟老师网络的概率分布是相似的，这个函数可以捕抓到不同分割输出的零阶知识；为了补充LP损失函数捕捉到的零阶知识，LC函数被用于捕获学生网络和老师网络输出的一阶知识，定义LC函数为：其中函数中的I表示batchsize的数量，G表示图片的像素集合，一致性矩阵C(x)定义为B(x)意味着像素x的8个临近的像素，I(x)是对应网络像素点的逻辑分布输出；利用网络结构中的老...

【专利技术属性】
技术研发人员：谢佳锋，胡建芳，钟逸，朱海昇，郑伟诗，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东,44