一种基于局部结构一致性的对抗知识蒸馏语义分割方法技术

本发明专利技术提供了一种基于局部结构一致性的对抗知识蒸馏语义分割方法，包括：获取待分割任务；将待分割任务输入学生网络，获得语义分割结果；学生网络的训练过程如下：获取任务数据集；根据其和老师网络获取第一数据集概率图；根据其和备选学生网络获取第二数据集概率图；根据第一数据集概率图和第二数据集概率图获取局部结构一致性；根据第二数据集概率图获取交叉熵；将第一数据集概率图和第二数据集概率图输入对抗训练判别器，获得第一判别概率图和第二判别概率图；根据交叉熵、局部结构一致性、第一判别概率图和第二判别概率图获取网络权重；进而获取学生网络。通过将局部结构一致性作为补丁级别的知识和对抗训练判别器，提高了语义分割的精度。了语义分割的精度。了语义分割的精度。

【技术实现步骤摘要】
一种基于局部结构一致性的对抗知识蒸馏语义分割方法


[0001]本专利技术涉及计算机机器视觉
,具体涉及一种基于局部结构一致性的对抗知识蒸馏语义分割方法。

技术介绍

[0002]语义分割是图像理解的一个基本的、具有挑战性的任务，它旨在预测输入图像的每个像素的一个独特的类别标签。语义分割在自动驾驶、机器人感知、图像编辑、视频监控、虚拟现实和医学图像分析中得到了广泛的应用。近年来，待分割任务的主要解决方案是基于全卷积神经网络的语义分割模型，该模型在分割精度方面取得了显著的提高。但是，这些高精度模型通常包含数百万个参数，需要较高的计算资源，这限制了它们在低资源设备上的应用，低资源设备例如嵌入式设备、物联网设备、边缘设备、AR/VR设备和智能手机。而由于实时应用的需要，一些工作往往集中于模型规模小、计算成本低、精度高的神经网络,这就需要一种可以在低资源设备上快速运行的轻量级的语义分割方法。现有技术中的轻量级的语义分割方法，通常采用迁移像素级和图像级知识的方式，这就导致对图像的边界、小目标和弱类别的预测效果较差，进而使得语义分割的精度不高。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于局部结构一致性的对抗知识蒸馏语义分割方法，其特征在于，包括：获取待分割任务；将所述待分割任务输入学生网络，获得语义分割结果；所述学生网络的训练过程如下：获取任务数据集；根据所述任务数据集和老师网络获取第一数据集概率图；根据所述任务数据集和备选学生网络获取第二数据集概率图；根据所述第一数据集概率图和所述第二数据集概率图获取局部结构一致性；所述局部结构一致性用于表征老师网络和备选学生网络的结构相似度；根据所述第二数据集概率图获取交叉熵；将所述第一数据集概率图和所述第二数据集概率图输入对抗训练判别器，获得第一判别概率图和第二判别概率图；所述第一判别概率图用于表征对抗训练判别器判断为真的数据集概率图；所述第二判别概率图用于表征对抗训练判别器判断为假的数据集概率图；根据所述交叉熵、所述局部结构一致性、所述第一判别概率图和所述第二判别概率图获取网络权重；根据所述网络权重和所述备选学生网络获取学生网络。2.根据权利要求1所述的方法，其特征在于，根据所述任务数据集和老师网络获取第一数据集概率图，包括：根据待分割任务选取老师网络；将所述老师网络的参数冻结，并将所述任务数据集输入参数冻结后的老师网络，获得第一数据集概率图。3.根据权利要求1所述的方法，其特征在于，根据所述第一数据集概率图和所述第二数据集概率图获取局部结构一致性之前，还包括：对所述第一数据集概率图和所述第二数据集概率图进行软化处理。4.根据权利要求3所述的方法，其特征在于，根据所述第一数据集概率图和所述第二数据集概率图获取局部结构一致性，包括：通过计算获得局部结构一致性；其中，为软化处理后的第一数据集概率图与第二数据集概率图的KL散度，为软化处理后的第一数据集概率图，为软化处理后的第二数据集概率图，i＝[1,W'
×
H']，W'为概率图的宽，H'为概率图的长。5.根据权利要求3所述的方法，其特征在于，根据所述第二数据集概率图获取交叉熵，包括：通过计算获得交叉熵；其中，y
(i)
∈Y,i＝[1,W'
×
H']，y
(i)
为任务数据集D(X,Y)中第i个标签，X为任务数据集的样本集合，Y为任务数据集的标签集合,为软化处理后的第二数据集概率图，i＝[1,W'
×
H']，W'为概率图的宽，H'为概率图的长。6.根据权利要求1所述的方法，其特...

【专利技术属性】
技术研发人员：雷钦，钟将，王臣，戴启祝，
申请(专利权)人：重庆大学，
类型：发明
国别省市：