基于知识蒸馏的鱼眼图像实时语义分割方法技术

一种基于知识蒸馏的鱼眼图像实时语义分割方法，通过鱼眼图像构建数据集，训练教师语义分割模型，然后将教师语义分割模型中的复杂特征提取骨架替换为轻量级骨架后得到轻量级学生模型，通过数据集上训练轻量级学生模型；再构建基于知识蒸馏的输出迁移和特征迁移，在保持轻量级学生模型实时性情况下提升精度，在测试阶段，单独使用轻量级学生模型对测试图像进行基于知识蒸馏的鱼眼图像实时语义分割；本发明专利技术能够有效地在鱼眼图像语义分割过程中抑制环境中遮挡和光照强度等干扰的影响，对于输入的高分辨率图像可以在保证实时性的前提下大幅提升模型的精度。大幅提升模型的精度。大幅提升模型的精度。

【技术实现步骤摘要】
基于知识蒸馏的鱼眼图像实时语义分割方法


[0001]本专利技术涉及的是一种计算机视觉与模式识别领域的技术，具体是一种基于知识蒸馏的鱼眼图像实时语义分割方法。

技术介绍

[0002]现有的语义分割方法大多基于深度神经网络，近年来一些针对复杂语义分割网络加速改进的方法包括：限制网络输入图像的尺寸，复杂网络能够在维持结构不变的情况下获得实时性的提升；降低网络的规模，通过修剪网络早期的通道或者丢弃某些阶段从而提升实时性。然而这些方法对网络实时性的提升均是以牺牲精度和降低泛化能力为代价，并没有使模型在实时性与准确性间达到一个很好的平衡。

技术实现思路

[0003]本专利技术针对现有技术存在的上述不足，提出一种基于知识蒸馏的鱼眼图像实时语义分割方法，能够有效地在鱼眼图像语义分割过程中抑制环境中遮挡和光照强度等干扰的影响，对于输入的高分辨率图像可以在保证实时性的前提下大幅提升模型的精度。
[0004]本专利技术是通过以下技术方案实现的：
[0005]本专利技术涉及一种基于知识蒸馏的鱼眼图像实时语义分割方法，通过鱼眼图像构建数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于知识蒸馏的鱼眼图像实时语义分割方法，其特征在于，通过鱼眼图像构建数据集，训练教师语义分割模型，然后将教师语义分割模型中的复杂特征提取骨架替换为轻量级骨架后得到轻量级学生模型，通过数据集上训练轻量级学生模型；再构建基于知识蒸馏的输出迁移和特征迁移，在保持轻量级学生模型实时性情况下提升精度，在测试阶段，单独使用轻量级学生模型对测试图像进行基于知识蒸馏的鱼眼图像实时语义分割；所述的提升精度，具体包括：输出迁移采用损失函数对教师语义分割模型与轻量级学生模型的输出的概率分别差异进行衡量，使得两者输出尽可能保持一致，特征迁移对教师语义分割模型与轻量级学生模型输出中间层特征图进行处理形成相似度注意力图，提取结构化信息，通过损失函数对齐教师语义分割模型与轻量级学生模型间的相似度注意力图完成结构化知识迁移。2.根据权利要求1所述的基于知识蒸馏的鱼眼图像实时语义分割方法，其特征是，所述的输出迁移处理，通过L2损失函数实现，具体为：其中：I为教师语义分割模型与轻量级学生模型中对应图片位置的索引集合，分别为轻量级学生模型和教师语义分割模型在softmax层前输出的logits，本发明以logits此来提取输出概率分布中的知识。3.根据权利要求1所述的基于知识蒸馏的鱼眼图像实时语义分割方法，其特征是，所述的特征迁移处理，具体为：其中：A
S
(φ)、A
T
(φ)分别为轻量级学生模型和教师语义分割模型输出的相似度注意力图，模型中间层特征图生成相似度注意力图的过程为：其中：A(φ)
ij
为特征图中第i个特征与第j个特性间的相似度，φ
i
为特征图中的第i个向量。4.根据权利要求1所述的基于知识蒸馏的鱼眼图像实时语义分割方法，其特征是，所述的结构化知识迁移是指：教师语义分割模型通过输出迁移与特征迁移对轻量级学生模型进行模型指导，在训练过程中教师语义分割模型参数保持不变，轻量级学生模型在原始softmax损失、输出迁移损失和特征迁移损失三者的监督下进行参数的更新，超参数α和β的设置应使三个损失函数保持在同一数量级；在轻量级学生模型的训练过程中原有的softmax损失函数基础上，增加输出迁移损失函数与特征迁移损失函数，具体为：L
total
(S)＝L
CE
(S)+αL
OT
(S)+βL
FT
(S)，其中：L
CE
为轻量级学生模型的单独训练的损失函数，L
OT
为输出迁移损失函数，L
FT
为特征迁移损失函数，α和β为用来调节损失对网络训练贡献大小的超参数。5.根据权利要求1～4中任一所述的基于知识蒸馏的鱼眼图像实时语义分割方法，其特征是，所述的教师语义分割模型采用BiSeNet为基本网络框架，其特征提取...

【专利技术属性】
技术研发人员：李建勋，王允楠，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：