一种基于局部结构一致性的对抗知识蒸馏语义分割方法技术

本发明专利技术提供了一种基于局部结构一致性的对抗知识蒸馏语义分割方法，包括：获取待分割任务；将待分割任务输入学生网络，获得语义分割结果；学生网络的训练过程如下：获取任务数据集；根据其和老师网络获取第一数据集概率图；根据其和备选学生网络获取第二数据集概率图；根据第一数据集概率图和第二数据集概率图获取局部结构一致性；根据第二数据集概率图获取交叉熵；将第一数据集概率图和第二数据集概率图输入对抗训练判别器，获得第一判别概率图和第二判别概率图；根据交叉熵、局部结构一致性、第一判别概率图和第二判别概率图获取网络权重；进而获取学生网络。通过将局部结构一致性作为补丁级别的知识和对抗训练判别器，提高了语义分割的精度。了语义分割的精度。了语义分割的精度。

【技术实现步骤摘要】
一种基于局部结构一致性的对抗知识蒸馏语义分割方法


[0001]本专利技术涉及计算机机器视觉
,具体涉及一种基于局部结构一致性的对抗知识蒸馏语义分割方法。

技术介绍

[0002]语义分割是图像理解的一个基本的、具有挑战性的任务，它旨在预测输入图像的每个像素的一个独特的类别标签。语义分割在自动驾驶、机器人感知、图像编辑、视频监控、虚拟现实和医学图像分析中得到了广泛的应用。近年来，待分割任务的主要解决方案是基于全卷积神经网络的语义分割模型，该模型在分割精度方面取得了显著的提高。但是，这些高精度模型通常包含数百万个参数，需要较高的计算资源，这限制了它们在低资源设备上的应用，低资源设备例如嵌入式设备、物联网设备、边缘设备、AR/VR设备和智能手机。而由于实时应用的需要，一些工作往往集中于模型规模小、计算成本低、精度高的神经网络,这就需要一种可以在低资源设备上快速运行的轻量级的语义分割方法。现有技术中的轻量级的语义分割方法，通常采用迁移像素级和图像级知识的方式，这就导致对图像的边界、小目标和弱类别的预测效果较差，进而使得语义分割的精度不高。

技术实现思路

[0003]针对现有技术中的缺陷，本专利技术提供一种基于局部结构一致性的对抗知识蒸馏语义分割方法，以提高语义分割的精度。
[0004]第一方面，本专利技术提供的基于局部结构一致性的对抗知识蒸馏语义分割方法，包括：获取待分割任务；将待分割任务输入学生网络，获得语义分割结果；学生网络的训练过程如下：
[0005]获取任务数据集；根据任务数据集和老师网络获取第一数据集概率图；根据任务数据集和备选学生网络获取第二数据集概率图；根据第一数据集概率图和第二数据集概率图获取局部结构一致性；局部结构一致性用于表征老师网络和备选学生网络的结构相似度；根据第二数据集概率图获取交叉熵；将第一数据集概率图和第二数据集概率图输入对抗训练判别器，获得第一判别概率图和第二判别概率图；第一判别概率图用于表征对抗训练判别器判断为真的数据集概率图；第二判别概率图用于表征对抗训练判别器判断为假的数据集概率图；根据交叉熵、局部结构一致性、第一判别概率图和第二判别概率图获取网络权重；根据网络权重和备选学生网络获取学生网络。
[0006]可选地，根据任务数据集和老师网络获取第一数据集概率图，包括：根据待分割任务选取老师网络；将老师网络的参数冻结，并将任务数据集输入参数冻结后的老师网络，获得第一数据集概率图。
[0007]可选地，根据第一数据集概率图和第二数据集概率图获取局部结构一致性之前，还包括：对第一数据集概率图和第二数据集概率图进行软化处理。
[0008]可选地，根据第一数据集概率图和第二数据集概率图获取局部结构一致性，包括：
通过计算获得局部结构一致性；其中，为软化处理后的第一数据集概率图与第二数据集概率图的KL散度(Kullback
–
Leibler divergence，相对熵)，为软化处理后的第一数据集概率图，为软化处理后的第二数据集概率图，i＝[1,W'
×
H']，W'为概率图的宽，H'为概率图的长。
[0009]可选地，根据第二数据集概率图获取交叉熵，包括：通过计算获得交叉熵；其中，y
(i)
∈Y,i＝[1,W'
×
H']，y
(i)
为任务数据集D(X,Y)中的第i个标签，X为任务数据集的样本集合，Y为任务数据集的标签集合,为软化处理后的第二数据集概率图，i＝[1,W'
×
H']，W'为概率图的宽，H'为概率图的长。
[0010]可选地，根据交叉熵、局部结构一致性、第一判别概率图和第二判别概率图获取网络权重，包括：根据第一判别概率图和第二判别概率图获取第一损失函数；根据第二判别概率图获取第二损失函数；根据局部结构一致性、交叉熵、第一损失函数和第二损失函数获取整体损失函数；根据整体损失函数获取网络权重。
[0011]可选地，根据第一判别概率图和第二判别概率图获取第一损失函数，包括：通过计算J
w
＝E(Dis(q
s
))
‑
E(Dis(q
t
))获得第一损失函数；其中，J
w
为第一损失函数，E表示求期望，Dis为对抗训练判别器的网络函数，q
t
为第一判别概率图，q
s
为第二判别概率图。
[0012]可选地，根据第二判别概率图获取第二损失函数，包括：通过计算J
h
＝E(Dis(q
s
))获得第二损失函数；其中，E表示求期望，Dis为对抗训练判别器的网络函数，J
h
为第二损失函数，q
s
为第二判别概率图。
[0013]可选地，根据局部结构一致性、交叉熵、第一损失函数和第二损失函数获取整体损失函数，包括：通过计算J
t
＝β1J
pi
+β2J
ce
+β3J
w
+β4J
h
获得整体损失函数；其中，J
t
为整体损失函数，β1为局部结构一致性J
pi
的第一超参数，β2为交叉熵J
pi
的第二超参数，β3为第一损失函数J
w
的第三超参数，β4为第二损失函数J
h
的第四超参数，β1、β2、β3、β4均为实数。
[0014]可选地，根据整体损失函数获取网络权重，包括：根据梯度下降法或无梯度优化算法，利用整体损失函数的最小值获得网络权重。
[0015]由上述技术方案可知，本专利技术提供的基于局部结构一致性的对抗知识蒸馏语义分割方法的有益技术效果如下：
[0016]1.根据第一数据集概率图和第二数据集概率图获取局部结构一致性，然后将局部结构一致性作为补丁级别的知识，提高了对老师网络和学生网络的特征提取能力，再利用交叉熵、局部结构一致性、第一判别概率图和第二判别概率图获取整体损失函数，进而获取网络权重，根据网络权重和备选学生网络获取学生网络。然后获取待分割任务；将待分割任务输入学生网络，获得语义分割结果，这样的基于局部结构一致性的对抗知识蒸馏语义分割方法，将局部结构一致性作为补丁级别的知识，能够在学生网络和老师网络的输出之间提供局部空间约束，进而能够更有效的进行知识蒸馏，提高了语义分割的精度，提供了一种高精度的、可以在低资源设备上快速运行的学生网络。
[0017]2.将第一数据集概率图和第二数据集概率图输入对抗训练判别器，获得第一判别概率图和第二判别概率图，再利用交叉熵、局部结构一致性、第一判别概率图和第二判别概
率图获取整体损失函数，进而获取网络权重，利用网络权重进行语义分割。这样，利用对抗训练判别器，使得学生网络能够更加有效的获取老师网络知识，进一步提高了语义分割的精度。
附图说明
[0018]为了更清楚地说明本专利技术具体实施方式，下面将对具本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于局部结构一致性的对抗知识蒸馏语义分割方法，其特征在于，包括：获取待分割任务；将所述待分割任务输入学生网络，获得语义分割结果；所述学生网络的训练过程如下：获取任务数据集；根据所述任务数据集和老师网络获取第一数据集概率图；根据所述任务数据集和备选学生网络获取第二数据集概率图；根据所述第一数据集概率图和所述第二数据集概率图获取局部结构一致性；所述局部结构一致性用于表征老师网络和备选学生网络的结构相似度；根据所述第二数据集概率图获取交叉熵；将所述第一数据集概率图和所述第二数据集概率图输入对抗训练判别器，获得第一判别概率图和第二判别概率图；所述第一判别概率图用于表征对抗训练判别器判断为真的数据集概率图；所述第二判别概率图用于表征对抗训练判别器判断为假的数据集概率图；根据所述交叉熵、所述局部结构一致性、所述第一判别概率图和所述第二判别概率图获取网络权重；根据所述网络权重和所述备选学生网络获取学生网络。2.根据权利要求1所述的方法，其特征在于，根据所述任务数据集和老师网络获取第一数据集概率图，包括：根据待分割任务选取老师网络；将所述老师网络的参数冻结，并将所述任务数据集输入参数冻结后的老师网络，获得第一数据集概率图。3.根据权利要求1所述的方法，其特征在于，根据所述第一数据集概率图和所述第二数据集概率图获取局部结构一致性之前，还包括：对所述第一数据集概率图和所述第二数据集概率图进行软化处理。4.根据权利要求3所述的方法，其特征在于，根据所述第一数据集概率图和所述第二数据集概率图获取局部结构一致性，包括：通过计算获得局部结构一致性；其中，为软化处理后的第一数据集概率图与第二数据集概率图的KL散度，为软化处理后的第一数据集概率图，为软化处理后的第二数据集概率图，i＝[1,W'
×
H']，W'为概率图的宽，H'为概率图的长。5.根据权利要求3所述的方法，其特征在于，根据所述第二数据集概率图获取交叉熵，包括：通过计算获得交叉熵；其中，y
(i)
∈Y,i＝[1,W'
×
H']，y
(i)
为任务数据集D(X,Y)中第i个标签，X为任务数据集的样本集合，Y为任务数据集的标签集合,为软化处理后的第二数据集概率图，i＝[1,W'
×
H']，W'为概率图的宽，H'为概率图的长。6.根据权利要求1所述的方法，其特...

【专利技术属性】
技术研发人员：雷钦，钟将，王臣，戴启祝，
申请(专利权)人：重庆大学，
类型：发明
国别省市：