一种基于深度学习的超像素分割方法技术

本发明专利技术公开了一种基于深度学习的超像素分割方法，具体包括针对编码器部分的网络过参数化、网络剪枝和解码器部分的TPT(Top

【技术实现步骤摘要】
一种基于深度学习的超像素分割方法


[0001]本专利技术属于图像处理与计算机视觉
，涉及一种基于深度学习的超像素分割方法。

技术介绍

[0002]超像素分割是一种图像过分割技术，它依据图像的空间、色彩、纹理等底层特征将图像快速分割为具有一定数量的子区域，相比于传统方法中的基本图像处理单元——像素，超像素更有利于局部特征的提取和结构信息的表达，并且可以大幅降低后续视觉任务的计算代价，该技术是计算机视觉研究中的一个重要课题。超像素分割技术在语义分割、光流计算、深度估计等需要获取准确目标边界和具备实时性要求的计算机视觉任务上普遍应用。
[0003]卷积神经网络中低层次的特征如色彩、梯度、纹理等有利于提取边缘，其高层次语义特征有利于捕捉目标边界。基于此优点，Jampani等在2018年ECCV上发表的论文《Superpixel Sampling Networks》和Tu等在2018年CVPR上发表的论文《Learning Superpixels with Segmentation-Aware Affinity Loss》中均提出了基于卷积神经网络的超像素分割算法。其二者算法思路均为通过基于卷积神经网络的编码器对传统的图像空间、色彩特征进行编码，使用编码后的特征代替传统手工特征，并后接传统方法完成超像素分割任务。Yang等在2020年CVPR上发表的论文《SpixelFCN:Superpixel Segmentation with Fully Convolutional Network》中提出了基于全卷积编解码网络的超像素分割算法，其不同于上述工作编码器与传统超像素分割算法融合的策略，超像素分割由编码器和解码器构成的卷积神经网络独立完成。
[0004]但是，上述方法各自存在弊端。上述方法提出的编码器在边界捕捉上仍然存在严重的丢失问题，同时采用传统超像素分割方法作用在高维特征上的方式极大增加了算法的计算代价；另一方面，采用基于卷积神经网络结构的解码器在解码过程中容易损失特征信息，进而造成超像素分割产生结构信息损失。
[0005]综上所述，目前基于深度学习的超像素分割算法存在的边界丢失严重、计算代价过大、结构性信息损失等问题均不利于超像素分割算法与其他计算机视觉任务相互融合，如何同时改善以上问题成为目前的研究热点。

技术实现思路

[0006]针对上述现有技术中存在的不足，本专利技术的主要目的是提供一种在目标边界捕捉、结构性信息保留和计算效率三方面同时较优的超像素分割方法。该方法基于深度学习并具备端到端训练和学习能力，作为图像预处理技术具备与其他计算机视觉任务更充分的融合能力。
[0007]本专利技术提供了一种基于深度学习的超像素分割方法，该方法包含以下步骤：
[0008]S1:网络模型初始化。首先选用U型编解码网络作为初始网络，所述的U型编解码网
络结构由编码器和解码器两部分构成，并且在编码器和解码器相同尺度位置处具备跨层连接；
[0009]S2：网络模型过参数化。设计多分支特征提取模块，对初始网络编码器中任意层数的特征提取层进行替换，实现网络模型过参数化。该多分支特征提取模块为并行的多分支结构，该模块的输入与输出不要求为相同尺寸，其中不同分支由不同结构的卷积神经网络构成，每一分支的输入彼此相同，每一分支的输出尺寸彼此相同，并且每一分支具备一个初始化的可学习权重，不同分支的输出通过各自分支的可学习权重进行逐元素相加，后接批归一化和激活函数，进而构成并行的多分支特征提取结构；
[0010]S3：网络剪枝。对通过利用多分支特征提取模块替换初始网络编码器中任意层数的特征提取层得到的过参数化网络进行训练，至损失函数曲线趋于平缓时停止训练，此时网络模型具备超像素分割能力。依据训练迭代次数、学习率和可学习权重的初始化值设定剪枝阈值。根据学习到的网络模型参数，对每一个多分支特征提取模块的每一分支进行剪枝判断，完成过参数化网络剪枝，得到针对超像素分割任务的编码器。网络剪枝策略为根据训练得到的网络模型参数，针对多分支特征提取模块中的每一分支，当该分支对应的可学习权重小于设定的阈值时，剪去该分支，反之保留该分支，当所有分支权重均小于阈值时，仅保留权值最大的分支；
[0011]S4：网络解码强化。在网络剪枝之后的解码器结构上添加跨层特征融合，实现由上至下，再由下至上的解码结构，其强化后的解码器简称为TDT(Top-down-top)解码器。所述的跨层特征融合位于U型编解码网络由上至下解码阶段之后，用于实现由微至广的跨尺度特征融合，进而提升原尺度特征图质量，其跨尺度特征融合过程为由下至上的解码结构。所述的跨尺度特征融合具体操作为：在U型编解码网络原有框架下，将解码器前端大感受野下的任意一层的输出特征进行上采样后，与解码器后端原尺度网络层的输出特征进行拼接并后接卷积操作，实现两层间跨尺度的信息融合，实现网络解码强化，并后接卷积和Softmax激活函数，进而实现基于概率形式的超像素分割结果计算。通过串联U型编解码网络由上至下的解码结构和跨尺度特征融合由下至上的解码结构，实现了由上至下，再由下至上的TDT解码器整体解码结构的构建；
[0012]S5：网络模型训练，并利用训练完成的模型对图像进行超像素分割。对经过上述步骤s1到s4后得到的网络选择后的编码器和具备TDT解码结构的解码器组成的编解码网络进行训练，至损失函数完全收敛时停止训练，得到训练后的模型参数，并以此模型参数计算超像素分割结果。
[0013]有益效果
[0014]本专利技术由于采用了上述方法，同现有技术相比，具有以下优点：
[0015]1)本专利技术中提出的网络过参数化方法，在不改变编码器本身网络结构的基础上，可以根据人工经验添加多种特征提取模块，丰富网络的搜索空间，使编码器自身具备提取更适合超像素分割任务特征的能力；
[0016]2)本专利技术中提出的网络搜索策略可以有效筛选多分支特征提取模块中的有效分支，在减轻网络的过拟合的同时保留住适合超像素分割任务的特征提取分支，促使编码器提取到更有力的编码特征，进而可以增强编码器的边界捕捉能力，促进超像素分割结果的边界准确性；
[0017]3)本专利技术中提出的TDT型解码器采用自上而下，再自下而上的解码结构。该结构避免了自上而下解码结构在大感受野位置进行特征解码时，由于感受野过大造成解码误差，进而影响后续的超像素分割结果；反之，在自下而上解码结构中，解码器在小感受野位置进行特征解码时，由于解码信息过于局部产生解码误差，进而影响后续的超像素分割结果。本专利技术提出的解码器通过自下而上，再自上而下的TDT型解码结构实现由广入微，再由微至广的特征解码，可以有效避免上述问题，进而超像素分割结果具备更好的结构保留能力；
[0018]4)本专利技术提出的基于深度学习的超像素分割方法给其他视觉任务提供了一种计算速度快，边界捕捉准确，结构性信息保留充分的超像素分割图像预处理技术。
附图说明
[0019]图1为本专利技术方法流程图；
[0020]图2为本专利技术所述实施例中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的超像素分割方法，其特征在于包含以下步骤：S1:网络模型初始化：首先选用U型编解码网络结构作为初始网络，所述的U型编解码网络结构由编码器和解码器两部分构成，并且在编码器和解码器相同尺度位置处包括跨层连接；S2：网络模型过参数化：设计多分支特征提取模块，对初始网络编码器中任意层数的特征提取层进行替换，实现网络模型过参数化；其中，所述的多分支特征提取模块为并行的多分支结构，该模块的输入与输出不要求为相同尺寸，其中不同分支由不同结构的卷积神经网络构成，每一分支的输入彼此相同，每一分支的输出尺寸彼此相同，并且每一分支具备一个初始化的可学习权重，不同分支的输出通过各自分支的可学习权重进行逐元素相加，后接批归一化和激活函数，进而构成并行的多分支特征提取结构；S3：网络剪枝：对通过利用多分支特征提取模块替换初始网络编码器中任意层数的特征提取层得到的过参数化网络进行训练，至损失函数曲线趋于平缓时停止训练，利用网络剪枝策略对训练完成的网络模型完成过参数化网络剪枝，得到针对超像素分割任务的编码器；其中，所述的网络剪枝策略为针对多分支特征提取模块中的每一分支，当该分支训练得到的对应的可学习权重小于设定的阈值时，剪去该分支，反之保留该分支，当所有分支权重均小于阈值时，仅保留权值最大的分支；S...

【专利技术属性】
技术研发人员：马伟，李鹏，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：