一种基于超分辨率重建的图像协同分割方法技术

本发明专利技术涉及一种基于超分辨重建的图像协同分割方法，属于图像协同分割技术领域。包括：步骤1输入N张图像，每张图像缩小至原来四分之一；步骤2对每张图像进行超分辨率重建，恢复部分图像细节，得到恢复图像；步骤3将N张恢复图像两两组合得到图像组合，取每组恢复图像，通过卷积神经网络编码得到每组对应的相关性特征图；步骤4对相关性特征图进行解码，得到双通道特征图；步骤5将双通道特征图通过卷积神经网络解码，解码得到的小图输入SRCNN网络并经Sub‑pixel操作获得放大的特征图；步骤6对放大的特征图中每个像素点进行分类，得到分割掩码图。所述协同分割方法基于超分辨率重建能够用更小的图像获得在清晰大图上的分割效果。

A method of image co segmentation based on super-resolution reconstruction

【技术实现步骤摘要】
一种基于超分辨率重建的图像协同分割方法
本专利技术涉及一种基于超分辨重建的图像协同分割方法，属于图像协同分割

技术介绍
图像超分辨率重建是指从观测到的低质量、低分辨率图像重建出高质量、高分辨率图像，即给定单张图像，使用智能方法将其放大，得到分辨率更高的图像，且比传统方法放大得到的细节纹理更加清晰，或者在图像大小即分辨率不变的情况下，经处理后，压缩噪声，获得更加清晰、锐利、干净的图像。该技术在军事、医学、公共安全、计算机视觉等方面都有着重要的应用前景。图像分割是计算机视觉和模式识别中的关键技术之一。在计算机视觉领域，图像分割指的是为图像中的每个像素分配一个标签，对图像中每个像素进行分类。本专利技术在基于人工神经网络的图像分割模型中引入图像超分辨率重建技术，实现在分割网络前图像预处理和分割后图像后处理的超分辨率重建，达到增强图像质量以提高分割准确率的效果。近年来，图像协同分割多采用基于深度学习的卷积神经网络来实现，尤其多采用全卷积网络FCN，该方法的出色之处在于利用现存的CNN网络作为其模块之一来产生层次化的特征，并将CNN中的全连接层均替换为卷积层，输出空间映射而非分类概率。这些映射通过卷积运算得到，用于产生密集的像素级别的标签。该方法可以为任意大小的输入产生像素级别的标签预测，但结果不够精细。通过改进FCN结构，Ronneberger等人提出由捕获上下文信息的收缩路径和对称的精确定位的扩张路径组成的U-Net架构。U-Net首先对输入图像下采样并进行特征提取获得低分辨率特征图，通过学习该特征图更高效的分辨类别，随后上采样得到较高分辨率的分割图。下采样使U-net在给定常量卷积核大小的情况下扩大了感受野，却降低了图像空间分辨率，信息有所损失。DilatedFCN将全卷积网络中最后部分池化层替换为扩张率连续增大的扩张卷积，实现在保持感受野的同时有效保留空间细节。然而，扩张卷积完全替换池化层的网络对计算资源要求比较高。现有方法构建网络结构时多采用大量的卷积层，然而在整个网络中要保留完整分辨率的计算成本较高。限制输入图像的大小一定程度上可以降低计算复杂度，但受限于深度神经网络结构的图像输入输出大小要求，原有大图需在分割前后进行缩放操作，使图像信息大量损失，图像质量降低，对分割结果准确性造成一定影响。
技术实现思路
本专利技术的目的在于现有图像协同分割方法存在图像信息损失导致分割结果准确率较低以及运算资源需求多的技术缺陷，提出了一种基于超分辨率重建的图像协同分割方法。本专利技术是基于以下技术方案实现的。所述基于超分辨率重建的图像协同分割方法，包括如下步骤：步骤1、输入N张图像，每张图像缩小至原来四分之一大小；步骤2、遍历步骤1中的每张图像，经EDSR网络进行超分辨率重建，有效恢复部分图像细节，得到恢复图像；步骤3、将步骤2中得到的N张恢复图像两两组合，得到个图像组合，取每组恢复图像，通过卷积神经网络编码得到每组对应的相关性特征图；其中，卷积神经网络包括但不限于U型孪生深度网络；步骤4、通过卷积神经网络对步骤3得到的相关性特征图进行解码，得到个双通道特征图；其中，双通道特征图上的点代表原图对应位置上属于前景或背景的概率；步骤5、步骤4得到的双通道特征图通过卷积神经网络解码，解码得到的小图输入SRCNN网络并经Sub-pixel操作后获得放大四倍的特征图；步骤6、对步骤5得到的放大四倍的特征图用argmax的方法对每个像素点进行分类，得到分割掩码图。有益效果本专利技术所提的一种基于超分辨率重建的图像协同分割方法，与现有图像协同分割技术相比，具有以下有益效果：1.所述图像协同分割方法针对输入分割网络中的低分辨率、质量低的图像进行图像质量增强和对分割后图像保持原有质量的放大；2.所述图像协同分割方法因受限于深度神经网络结构的图像输入输出大小，原有图像往往需要在分割前后对图像进行改变大小的转换操作，这一操作使图像高频信息大量损失，降低图像质量，对分割结果准确性造成一定影响，本专利技术在分割网络中加入超分辨率重建技术，有效恢复因图像放缩丢失的图像信息；3.现有的超分辨率处理大多是实现放大后的图像的细节补充与恢复，本专利技术所述图像协同分割方法在步骤2中的EDSR网络中在不改变图像大小的条件下获得更高质量的图像；4.所述图像协同分割方法将一个大小为H*W的低分辨率图像得到大小为(r*H)*(r*W)的高分辨率图像，不同于现有技术中的直接插值方式生成高分辨率图像，而是使用Sub-pixel操作，只在最后一层对图像大小做变换，前面的卷积运算由于在低分辨率图像上进行，因此效率会较高；5.所述图像协同分割方法能够用更小的图像来获得在清晰大图上的分割效果，提高计算速度，减少对资源的要求。附图说明图1是本专利技术一种基于超分辨率重建的图像协同分割方法的实施例流程图；图2是本专利技术一种基于超分辨率重建的图像协同分割方法的分割网络结构示意图；图3是输入分割网络的待分割图像；图4是图3输入图像经本专利技术分割网络执行物体抠取得到的分割结果示意图。具体实施方式根据上述
技术实现思路
中所述的技术方案，下面通过附图及具体实施例对本专利技术所述的一种基于超分辨率重建的图像协同分割方法进行详细说明。实施例1本实施例叙述了使用本专利技术所述的一种基于超分辨率重建的图像协同分割方法在步骤2和步骤5中分别进行图像超分辨率增强和超分辨率放大图像的具体实施。在商品展示中，需要将同一商品从不同角度拍摄得到的图像的物体前景抠取出来，使用协同分割进行前景分割。为保持分割精度的同时提高计算速度，本专利技术在缩小输入图像后进行超分辨率处理以重建图像细节，有效减少计算资源的要求。为了达到上述用更小的图像来获得在清晰大图上的分割效果的目的，本专利技术选用了改进的U型孪生深度网络，与传统U型网络不同，具体差异体现在：编码器前使用超分辨率重建对小图进行图像增强和解码器之后进行超分辨率放大，有效提升处理速度的同时确保分割准确率。图2是整个网络框架。分割网络整体结构为U形孪生网络，编码器使用基于resnet50的siamese双通道网络，与传统的分割网络不同，本专利技术在编码器前加入超分辨率增强模块A，对输入的小图进行超分辨率重建，得到清晰度增强的小图。超分辨率增强模块A右侧为编码器，编码得到一组图像的相关性特征图，其后为解码器和超分辨率放大模块B，最终输出分割掩码图。图3是输入分割网络的待分割图像展示，是从不同角度拍摄得到的12张商品展示图，作为分割网络的输入图。图4是图3输入图像经本专利技术分割网络执行物体抠取得到的分割结果示意图，由图可见分割效果良好。通过实施本技术，可快速、高精度、高可靠、全自动地从固定背景下的多幅图像中去除背景，获得仅包含物体的图像。实测数据表明：通过使用本专利技术的技术方法，对于各种不同类型商品，图像背景去除的精确度平均达99％以上；在当本文档来自技高网...

【技术保护点】
1.一种基于超分辨率重建的图像协同分割方法，其特征在于：包括如下步骤：/n步骤1、输入N张图像，每张图像缩小至原来四分之一大小；/n步骤2、遍历步骤1中的每张图像，经EDSR网络进行超分辨率重建，有效恢复部分图像细节，得到恢复图像；/n步骤3、将步骤2中得到的N张恢复图像两两组合，得到

【技术特征摘要】
1.一种基于超分辨率重建的图像协同分割方法，其特征在于：包括如下步骤：
步骤1、输入N张图像，每张图像缩小至原来四分之一大小；
步骤2、遍历步骤1中的每张图像，经EDSR网络进行超分辨率重建，有效恢复部分图像细节，得到恢复图像；
步骤3、将步骤2中得到的N张恢复图像两两组合，得到个图像组合，取每组恢复图像，通过卷积神经网络编码得到每组对应的相关性特征图；
步骤4、通过卷积神经网络对步骤3得到的相关性特征图进行解码，得到个双通道特征图；
步骤5、步骤4得到的双通道特征图通过卷积神经...

【专利技术属性】
技术研发人员：刘峡壁，贡晓朋，刘曦，
申请(专利权)人：北京深境智能科技有限公司，广东申义实业投资有限公司，
类型：发明
国别省市：北京;11