【技术实现步骤摘要】
本专利技术属于数字图像处理，尤其涉及一种空洞金字塔协同注意力机制助力无监督超像素分割方法及系统。
技术介绍
1、超像素分割是提高图像处理效率和精确度的有效手段，深度学习有监督超像素分割方法依赖于大量标记数据，存在数据偏差导致分割结果不准确、分割模型泛化能力不足的问题。传统基于能量优化、分水岭、图和聚类的超像素分割方法依赖于合适的参数选择，无法根据图像自身特点自适应确定超像素数目，存在对噪声敏感问题，大尺寸图像带来高计算复杂度的问题。而无监督超像素分割方法不受标签数据限制、无需手动调整模型参数和结构，具有更好的泛化能力、避免噪声干扰以及不会因为图像尺寸变化带来高计算复杂度问题等优势，因此是有监督和传统超像素分割方法的重要替代。然而，利用无监督实现超像素分割需要解决两个关键问题，分别是有效深度特征提取和超像素生成。
2、常用的特征提取主要分为手工设计特征和卷积神经网络提取深度特征，前者通常是将图像的rgb通道转化为lab通道表示，再结合图像中像素点的位置信息生成五维特征用于后续超像素生成。后者通过构建的卷积模型自动学习深度特征。两种方法均能实现对图像中有用特征的提取，手工设计特征依赖研究人员对问题的领域知识和经验，卷积神经网络提取深度特征依赖卷积模型的构建以及特征提取维度的选择。然而，手工设计特征对复杂图像的超像素分割存在特征不足的问题，卷积神经网络提取深度特征依赖于构建的卷积模型，简单的卷积模型不能提取有用特征、复杂的卷积模型存在训练难度大的问题。
3、超像素生成主要是指利用特征提取的有效信息将原始图像分割
4、通过上述分析，现有技术存在的问题及缺陷为：现有超像素分割方法泛化能力不足、高复杂度、有效特征信息难获取和缺乏自适应能力。
技术实现思路
1、针对现有技术存在的问题，本专利技术提供了一种空洞金字塔协同注意力机制助力无监督超像素分割方法及系统。
2、本专利技术是这样实现的，首先对图像进行预处理引入像素点之间的空间关系，并首次将注意力机制运用于超像素分割任务使其模型加强对重要特征通道的关注，抑制对无关通道的响应；利用空洞空间金字塔池化在减少参数的同时扩大感受野，结合构建的损失函数使用优化器实现参数更新以及最终有效深度特征的提取，将argmax函数运用于提取的有效深度特征便可以将超像素分割任务转化为分类问题，通过添加大小限定条件实现最终的自适应超像素生成。这样可以避免使用聚类算法且用少量参数便可以提取有效深度特征，从而极大降低超像素分割算法复杂度。所提出的超像素分割方法是无监督的，因此具有很强的可迁移性。
3、进一步，所述注意力机制协同空洞空间金字塔池化促进无监督超像素分割方法包括以下步骤：
4、步骤一，将图像rgb通道信息同像素点的位置信息结合，将三维特征转化为五维特征；首先把需要进行超像素分割的图像赋给图像预处理中的变量，并将数组形式表达的变量改用张量形式表达，利用permute函数将维度重新排列为[c,h,w]并将数据类型改为浮点型，通过none操作在外部增加一个批处理维度得到变量image，其形状为[1,c,h,w]；使用torch.arange函数生成高度、宽度序列，结合torch.meshgrid函数将两个序列转化为两个坐标网格并用torch.stack函数进行堆叠，将得到的结果与张量[1,c,h,w]在通道维度进行连接并进行标准化得到最终图像预处理的结果。
5、步骤二，利用注意力机制构建通道注意力模块；将图像预处理结果应用于逐点卷积层得到形状为[1,8,h,w]的张量，然后利用通道全局平均池化进行处理得到聚合特征，其结果经过自动计算内核大小为l的快速一维卷积与sigmoid函数处理，并与逐点卷积得到的张量进行元素乘积获得注意力机制的处理结果。并使用kaiming初始化方法对其中涉及的逐点卷积与快速一维卷积的权重进行初始化，使用常数值0初始化偏置；对于实例归一化层，使用常数值1初始化归一化的权重，从而保证训练时有合适的初始参数值。
6、步骤三，利用空洞空间金字塔池化对注意力机制的结果进行处理，提取出适合超像素分割的深度特征；将通道注意力模块处理得到的张量分别通过卷积大小为1×1、填充大小为0、采样率为1的aspp1卷积层；卷积核大小为3×3、填充大小为2、采样率为2的aspp2卷积层；卷积核大小为3×3、填充大小为4、采样率为4的aspp3卷积层；卷积核大小为3×3、填充大小为6、采样率为6的aspp4卷积层；将输入张量的大小调整为15×15，然后进行步长为1的1×1卷积，并应用relu激活函数的avgpool操作；将所有操作的输出通道都设置为16，并利用实例归一化对每个输出通道进行归一化操作，将每个输出通道的结果在通道维度进行拼接得到形状为[1，80,h,w]的张量；拼接后的张量使用卷积核大小为1×1的卷积层、实例归一化层以及relu函数进行处理得到最终形状为[1,128,h,w]的深度特征张量；并使用与注意力机制相同的初始化方式对空洞空间金字塔池化中卷积层的权重和偏置以及实例归一化层进行初始化。
7、步骤四，构建损失函数，先构建聚类损失项；同时利用空间平滑损失项量化相邻像素之间的差异；再构建重构损失项；将空洞空间金字塔池化得到的深度特征分离成一个形状为[1，125,h,w]的张量用于计算聚类损失项以及空间平滑损失项，另外一个形状为[1，3,h,w]的张量用于计算重构损失项；利用softmax函数对张量[1，125,h,w]的通道维度进行处理，使其转化为对应的类别概率。并计算每个像素的负对数似然并取所有像素损失值的平均得到最终损失值和每个样本对每个类别的平均概率估计用于构建聚类损失项。再次利用softmax函数对张量[1，125,h,w]的通道维度进行处理得到对应的类别概率并将其视为概率图，分别计算概率图和变量image在w维度每个元素与其右边相邻元素之间的差值和h维度每个元素与其下边相邻元素的差值得到概率图和变量image在水平和垂直方向上的梯度，将计算得到的四个梯度用于构建空间平滑损失项。将形状为[1，3,h,w]的张量与变量image，运用pytorch中计算均方误差函数度量两个张量之间的差异，从而确定损失函数中的重构损失项。
8、步骤五，通过设置adam优化器的学习率与迭代次数进行模型的参数更新，寻找满足本文档来自技高网...
【技术保护点】
1.一种注意力机制协同空洞空间金字塔池化促进无监督超像素分割方法，其特征在于，首先对图像进行预处理引入像素点之间的空间关系，并首次将注意力机制运用于超像素分割任务使其模型加强对重要特征通道的关注，抑制对无关通道的响应；利用空洞空间金字塔池化在减少参数的同时扩大感受野，结合构建的损失函数使用优化器实现参数更新以及最终有效深度特征的提取，将argmax函数运用于提取的有效深度特征便可以将超像素分割任务转化为分类问题，通过添加大小限定条件实现最终的自适应超像素生成。
2.如权利要求1所述的注意力机制协同空洞空间金字塔池化促进无监督超像素分割方法，其特征在于，所述注意力机制协同空洞空间金字塔池化促进无监督超像素分割方法包括以下步骤：
3.如权利要求2所述的注意力机制协同空洞空间金字塔池化促进无监督超像素分割方法，其特征在于，步骤一的利用下式进行图像预处理：
4.如权利要求2所述的注意力机制协同空洞空间金字塔池化促进无监督超像素分割方法，其特征在于，步骤二的构建方法具体包括：
5.如权利要求4所述的注意力机制协同空洞空间金字塔池化促进无监督超
6.如权利要求2所述的注意力机制协同空洞空间金字塔池化促进无监督超像素分割方法，其特征在于，步骤三中构建通道注意力模块具体包括：
7.如权利要求2所述的注意力机制协同空洞空间金字塔池化促进无监督超像素分割方法，其特征在于，步骤四构建构建损失函数具体包括：
8.如权利要求2所述的注意力机制协同空洞空间金字塔池化促进无监督超像素分割方法，其特征在于，步骤五中在最小化的模型参数下提取深度特征，该深度特征为有效深度特征，将最后一次分离得到的有效深度特征用于超像素生成。
9.如权利要求2所述的注意力机制协同空洞空间金字塔池化促进无监督超像素分割方法，其特征在于，步骤六中对超像素生成的大小限定条件计算如下：
10.如权利要求1～9任一项所述的一种注意力机制协同空洞空间金字塔池化促进无监督超像素分割方法的注意力机制协同空洞空间金字塔池化促进无监督超像素分割系统，其特征在于，该系统包括：
...【技术特征摘要】
1.一种注意力机制协同空洞空间金字塔池化促进无监督超像素分割方法，其特征在于，首先对图像进行预处理引入像素点之间的空间关系，并首次将注意力机制运用于超像素分割任务使其模型加强对重要特征通道的关注，抑制对无关通道的响应；利用空洞空间金字塔池化在减少参数的同时扩大感受野，结合构建的损失函数使用优化器实现参数更新以及最终有效深度特征的提取，将argmax函数运用于提取的有效深度特征便可以将超像素分割任务转化为分类问题，通过添加大小限定条件实现最终的自适应超像素生成。
2.如权利要求1所述的注意力机制协同空洞空间金字塔池化促进无监督超像素分割方法，其特征在于，所述注意力机制协同空洞空间金字塔池化促进无监督超像素分割方法包括以下步骤：
3.如权利要求2所述的注意力机制协同空洞空间金字塔池化促进无监督超像素分割方法，其特征在于，步骤一的利用下式进行图像预处理：
4.如权利要求2所述的注意力机制协同空洞空间金字塔池化促进无监督超像素分割方法，其特征在于，步骤二的构建方法具体包括：
5.如权利要求4所述的注意力机制协同空洞空间金字塔池化促进无监督超像素分割方...
【专利技术属性】
技术研发人员：李世华，罗富贵，郭雨阳，行敏锋，
申请(专利权)人：电子科技大学长三角研究院湖州，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。