基于知识蒸馏的鱼眼图像实时语义分割方法技术

一种基于知识蒸馏的鱼眼图像实时语义分割方法，通过鱼眼图像构建数据集，训练教师语义分割模型，然后将教师语义分割模型中的复杂特征提取骨架替换为轻量级骨架后得到轻量级学生模型，通过数据集上训练轻量级学生模型；再构建基于知识蒸馏的输出迁移和特征迁移，在保持轻量级学生模型实时性情况下提升精度，在测试阶段，单独使用轻量级学生模型对测试图像进行基于知识蒸馏的鱼眼图像实时语义分割；本发明专利技术能够有效地在鱼眼图像语义分割过程中抑制环境中遮挡和光照强度等干扰的影响，对于输入的高分辨率图像可以在保证实时性的前提下大幅提升模型的精度。大幅提升模型的精度。大幅提升模型的精度。

【技术实现步骤摘要】
基于知识蒸馏的鱼眼图像实时语义分割方法


[0001]本专利技术涉及的是一种计算机视觉与模式识别领域的技术，具体是一种基于知识蒸馏的鱼眼图像实时语义分割方法。

技术介绍

[0002]现有的语义分割方法大多基于深度神经网络，近年来一些针对复杂语义分割网络加速改进的方法包括：限制网络输入图像的尺寸，复杂网络能够在维持结构不变的情况下获得实时性的提升；降低网络的规模，通过修剪网络早期的通道或者丢弃某些阶段从而提升实时性。然而这些方法对网络实时性的提升均是以牺牲精度和降低泛化能力为代价，并没有使模型在实时性与准确性间达到一个很好的平衡。

技术实现思路

[0003]本专利技术针对现有技术存在的上述不足，提出一种基于知识蒸馏的鱼眼图像实时语义分割方法，能够有效地在鱼眼图像语义分割过程中抑制环境中遮挡和光照强度等干扰的影响，对于输入的高分辨率图像可以在保证实时性的前提下大幅提升模型的精度。
[0004]本专利技术是通过以下技术方案实现的：
[0005]本专利技术涉及一种基于知识蒸馏的鱼眼图像实时语义分割方法，通过鱼眼图像构建数据集，训练教师语义分割模型，然后将教师语义分割模型中的复杂特征提取骨架替换为轻量级骨架后得到轻量级学生模型，通过数据集上训练轻量级学生模型；再构建基于知识蒸馏的输出迁移和特征迁移，在保持轻量级学生模型实时性情况下提升精度，在测试阶段，单独使用轻量级学生模型对测试图像进行基于知识蒸馏的鱼眼图像实时语义分割。
[0006]所述的提升精度，具体包括：输出迁移采用损失函数对教师语义分割模型与轻量级学生模型的输出的概率分别差异进行衡量，使得两者输出尽可能保持一致，特征迁移对教师语义分割模型与轻量级学生模型输出中间层特征图进行处理形成相似度注意力图，提取结构化信息，通过损失函数对齐教师语义分割模型与轻量级学生模型间的相似度注意力图完成结构化知识迁移。技术效果
[0007]本专利技术整体解决了现有语义分割技术在实时性与准确性直接难以平衡的问题；本专利技术利用参数规模更大的教师语义分割模型来辅助轻量级学生模型的训练，采用更换特征提取骨架的方式获得学生模型，由于具有相似的结构，学生模型可以更好地理解教师模型从数据集中获取的知识，更便于知识的迁移，能够在不降低输入图像分辨率的情况下兼具实时与准确的语义分割；通过输出迁移与特征迁移有效的提取教师语义分割模型的知识并迁移至轻量级学生模型，能够在不增加轻量级学生模型计算量的前提下提升其精度，使轻量级学生模型的实时性与准确性达到平衡。
[0008]相较于传统的知识蒸馏技术，本专利技术的特征迁移模块能够有效地将教师语义分割模型理解图像的结构化知识迁移至轻量级学生模型，获得比传统的输出蒸馏更大幅度的提
升。
附图说明
[0009]图1为本专利技术知识蒸馏的整体框架图；
[0010]图2为鱼眼摄像头采集的图像及语义分割示意图；
[0011]图3为采集数据集的类别分布示意图；
[0012]图4为实时语义分割软件设计流程图；
具体实施方式
[0013]如图1所示，为本实施例涉及一种基于知识蒸馏的鱼眼图像实时语义分割系统，包括：依次相连的教师语义分割模块、输出迁移模块、特征迁移模块和轻量级学生模块，其中：轻量级学生模块训练的过程中，输出迁移模块提取教师语义分割模块输出概率分布中的知识至轻量级学生模块，特征迁移模块通过提取教师语义分割模块中间层输出特征图中的结构化知识至轻量级学生模块。
[0014]本实施例涉及上述系统的基于知识蒸馏的鱼眼图像实时语义分割方法，通过对齐教师模型与学生模型间输出的差异，再生成相似度注意力图并将结构化的语义知识从教师模型迁移至学生模型，具体为：首先利用车载鱼眼摄像机采集街景图像并标注以构建数据集，在该数据集上训练参数规模庞大的教师模型，学生模型将教师模型中的复杂特征提取骨架替换为更轻量的骨架，利用本专利技术多的知识蒸馏框架将教师模型中的知识迁移至学生模型，实现学生模型在实时性不变的情况下提升精度。
[0015]本实施例具体包括以下步骤：
[0016]第一步、利用车载鱼眼摄像头采集图像构建数据集，训练实时性不佳但精度高的教师语义分割模型：
[0017]所述的数据集中的图片由安装在无人驾驶车辆上的摄像头在真实街景环境下采集，在无人驾驶车辆的前后左右四个方向设置四个摄像头分别用来采集各个方向上的街景图片。采集图像分辨率大小为1920*1080，根据图像内的物体类别将像素标注为18类，构建有600张像素级标注图片的数据集，其中350张图片作为训练集；150张作为验证集，100张图片作为测试集。数据集中各类别的分布情况如图2所示。
[0018]所述的教师语义分割模型采用BiSeNet为基本网络框架，其特征提取骨架采用在ImgNet上经过预训练的ResNet18深度网络，并采用辅助损失函数来监督网络训练的过程，具体为：其中：l
m
为用于监督最终分类结果的主损失函数，X为最终预测结果，W为网络参数，l
i
为用于监督第i阶段的辅助损失函数，X
i
为模型第i阶段输出的特征，α为用于结合二者的超参数，以上损失均为softmax损失。
[0019]所述的训练，将数据集中的图片在训练时采用数据增强操作，在输入教师语义分割模型前进行均值归一化、随机水平翻转和随机尺度变换等增强处理。
[0020]所述的随机尺度变换大小包括0.75、1.0、1.5、1.75、2.0。最终对增强后的图片进行随机裁剪为固定尺寸后进行训练。
[0021]所述的训练，采用批次梯度下降算法(SGD)，在训练中引入动量方法(Momentum)与
权重衰减(WeightDecay)对于批次梯度下降算法进行优化。训练中的学习率采用poly变化策略，具体为：其中：lr0是初始学习率，iter为当前迭代次数，max_iter为最大迭代次数，power为衰减指数；训练完成后采用平均交并比对教师模型的精度进行衡量，具体为：其中：p
ij
代表标签属于第i类被预测为j类的像素数，p
ii
为预测正确的像素数，p
ij
为假正数(FalsePositives)即将第i类错误预测为其他类别的像素数，p
ji
为假负数(FalseNegatives)即将其他类别错误预测为第i类的像素数。
[0022]第二步、将教师语义分割模型中的复杂特征提取骨架替换为轻量级骨架，在第一步的数据集上训练改进后的轻量级网络，具体为：将教师语义分割模型中的复杂特征提取骨架ResNet18替换为经过ImgNet预训练的ResNet系列或者Xception系列网络并作为轻量级学生模型，然后由第一步的数据集进行训练。
[0023]所述的轻量级学生模型的训练与第一步中教师语义分割模型的训练方式相同。
[0024]第三步、通过基于知识蒸馏的输出迁移处理，采用损失函数对教师语义分割模型与轻量级学生模型的输出概率分布差异进行衡本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于知识蒸馏的鱼眼图像实时语义分割方法，其特征在于，通过鱼眼图像构建数据集，训练教师语义分割模型，然后将教师语义分割模型中的复杂特征提取骨架替换为轻量级骨架后得到轻量级学生模型，通过数据集上训练轻量级学生模型；再构建基于知识蒸馏的输出迁移和特征迁移，在保持轻量级学生模型实时性情况下提升精度，在测试阶段，单独使用轻量级学生模型对测试图像进行基于知识蒸馏的鱼眼图像实时语义分割；所述的提升精度，具体包括：输出迁移采用损失函数对教师语义分割模型与轻量级学生模型的输出的概率分别差异进行衡量，使得两者输出尽可能保持一致，特征迁移对教师语义分割模型与轻量级学生模型输出中间层特征图进行处理形成相似度注意力图，提取结构化信息，通过损失函数对齐教师语义分割模型与轻量级学生模型间的相似度注意力图完成结构化知识迁移。2.根据权利要求1所述的基于知识蒸馏的鱼眼图像实时语义分割方法，其特征是，所述的输出迁移处理，通过L2损失函数实现，具体为：其中：I为教师语义分割模型与轻量级学生模型中对应图片位置的索引集合，分别为轻量级学生模型和教师语义分割模型在softmax层前输出的logits，本发明以logits此来提取输出概率分布中的知识。3.根据权利要求1所述的基于知识蒸馏的鱼眼图像实时语义分割方法，其特征是，所述的特征迁移处理，具体为：其中：A
S
(φ)、A
T
(φ)分别为轻量级学生模型和教师语义分割模型输出的相似度注意力图，模型中间层特征图生成相似度注意力图的过程为：其中：A(φ)
ij
为特征图中第i个特征与第j个特性间的相似度，φ
i
为特征图中的第i个向量。4.根据权利要求1所述的基于知识蒸馏的鱼眼图像实时语义分割方法，其特征是，所述的结构化知识迁移是指：教师语义分割模型通过输出迁移与特征迁移对轻量级学生模型进行模型指导，在训练过程中教师语义分割模型参数保持不变，轻量级学生模型在原始softmax损失、输出迁移损失和特征迁移损失三者的监督下进行参数的更新，超参数α和β的设置应使三个损失函数保持在同一数量级；在轻量级学生模型的训练过程中原有的softmax损失函数基础上，增加输出迁移损失函数与特征迁移损失函数，具体为：L
total
(S)＝L
CE
(S)+αL
OT
(S)+βL
FT
(S)，其中：L
CE
为轻量级学生模型的单独训练的损失函数，L
OT
为输出迁移损失函数，L
FT
为特征迁移损失函数，α和β为用来调节损失对网络训练贡献大小的超参数。5.根据权利要求1～4中任一所述的基于知识蒸馏的鱼眼图像实时语义分割方法，其特征是，所述的教师语义分割模型采用BiSeNet为基本网络框架，其特征提取...

【专利技术属性】
技术研发人员：李建勋，王允楠，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：