一种基于方向超像素的快速图像分割方法技术

本发明专利技术公开了一种基于方向超像素的快速图像分割方法。与传统的基于聚类、分水岭、主动轮廓模型或图模型的分割方法相比，该方法的分割性能平均提高了100％。同时与之前一些通过卷积神经网络预测边缘加上耗时的后处理的分割方法相比，该方法可实时运行，速度是这些分割方法的18倍以上。首先，通过卷积神经网络在每个像素位置上预测一个二维向量，该向量的方向为从距离当前像素最近的边缘指向当前点。然后，根据每个位置预测的方向，得到基于方向的超像素图。在超像素图的基础上，构建区域关系图，最后使用定制的快速融合方法得到分割结果。该方法在图像分割的速度和精度的平衡上取得了很好的效果，实现简单，具有很广的实际应用范围。

A fast image segmentation method based on direction super pixel

【技术实现步骤摘要】
一种基于方向超像素的快速图像分割方法
本专利技术属于计算机视觉
，更具体地，涉及一种基于方向超像素的快速图像分割方法。
技术介绍
卷积神经网络极大地提高了各大计算机视觉任务的性能，如图像分类、目标检测、语义分割、目标跟踪等。其中语义分割的目标在于给图像中的每一个像素分配语义标签，尽管目前语义分割的精度已经非常高了，但训练好的模型对于未见过的场景或类别很难得到准确的分割结果。一般图像分割与语义分割不同，其目的在于将图像分割成若干块不重叠的区域，各区域内部保持语义或视觉感知一致性。由于无法确定每张图像分割的块数，目前高精度或快速的语义分割模型无法迁移至一般图像分割，而现有的一般图像分割方法大致可分为精度高但速度慢以及精度低但速度快两类。精度高的图像分割方法一般采用卷积神经网络预测边缘，之后用非常耗时的分水岭方法得到分割结果，总时间接近1秒，尽管精度高，但速度限制了它的实际应用。速度快的方法使用卷积神经网络预测一个内嵌空间，之后使用聚类的方法得到分割结果，该类方法在图像内微弱边缘处会产生严重的泄露问题，导致精度低，同时速度离实时运行相差较远，实际应用非常有限。
技术实现思路
本专利技术的目的在于提供一种基于方向超像素的快速图像分割方法，该分割方法比基于边缘预测的方法快数十倍，同时性能相差很小，与目前快速图像分割算法相比，性能提升十个点以上，同时速度是其五分之一，该方法实现了图像的快速分割，在精度与速度的平衡上取得了很好的效果。为实现上述目的，本专利技术提供了一种基于方向超像素的快速图像分割方法，包括以下步骤：(1)训练基于方向超像素的快速图像分割网络模型，包括如下子步骤：(1.1)对原始数据集中所有图片的感兴趣区域进行像素级别的标注，属于同一区域内的像素标签相同，不同区域的像素标签不同。根据像素级别的标注计算标准方向场D，得到带标注的标准训练数据集；对于标准训练数据集Itr的第k张图片Itrk，将图片划分为若干个感兴趣的区域，同时为每个区域内的像素分配不同的标签，各区域内部应保证语义或视觉感知一致性。对于图片任一像素p，找到距离像素p最近的边界点Bp，根据如下公示计算像素p处的标准方向场，其中表示的是向量的模长。(1.2)定义基于方向超像素的快速图像分割网络模型，根据(1.1)带标注的标准训练数据集，设计损失函数，利用反向传导方法训练该快速图像分割网络，得到基于方向超像素的快速图像分割网络模型；包括：(1.2.1)构建基于方向超像素的快速图像分割网络模型，所述分割网络模型由VGG基本网络、多层特征融合网络、方向场回归网络组成；其中，VGG基本网络由VGG16的layer1，layer2，layer3，layer4，layer5和ASPP组成。ASPP由空洞率分别为2，4，8和16的空洞卷积构成。多层特征融合网络和方向场回归网络分别由四个和三个1x1卷积组成。(1.2.2)以带标注的标准训练数据集作为快速分割网络模型的输入，利用VGG基本网络提取特征，将VGG基本网络提取的特征输入多层特征融合网络，将融合后的特征输入方向场回归网络，最终生成预测方向场；将标准训练数据集Itr中的图片输入VGG基本网络中。多层特征融合网络在layer3，layer4，layer5和ASPP的特征上使用1x1卷积，并在通道维度上合并这些卷积后的中间特征。最后，方向场回归网络通过在合并后的特征上使用三个1x1卷积得到预测方向场(1.2.3)以步骤(1.1)中计算得到的标准方向场D为网络期望输出，以步骤(1.2.2)中的预测方向场为网络预测输出，针对步骤(1.2.1)构建的网络模型，设计期望输出和预测输出之间的目标损失函数，整体目标损失函数由L2距离损失函数和角度域损失函数共同组成，整体目标损失函数表达式如下：其中，是L2距离损失函数，是角度域损失函数，α是两个损失函数之间的平衡系数，设置为1，Ω是图片内所有像素的集合，‖‖2和‖‖2分别表示2-范数和1-范数的平方，其中|Rp|是包含像素p的区域的面积。根据设计的整体目标损失函数，利用反向传导方法对模型进行迭代训练，最小化L2距离损失函数和角度域损失函数组成的整体目标损失函数，实现最优网络模型。(2)利用上述训练好的模型对待分割图片进行图像分割，包括如下子步骤：(2.1)对于待分割数据集Itst里的第k张图片Itstk，将其输入到步骤(1.2)训练好的模型中，经过VGG基本网络和多层特征融合网络得到中间特征，再把中间特征输入方向场回归网络，得到预测方向场(2.2)根据预测方向场构建父节点图P，对于每个像素点p，把p的指向离散化为八个方向，计算p指向的点Np的指向与p点指向的角度差异，如果角度差异大于一定的阈值θa，则p点即为根节点，p点的父节点为其本身，否则p点的父节点为Np。为父节点图中的每个点分配与其父节点相同的标签，得到方向超像素图，每个方向超像素由根节点表示。将距离小于或等于的根节点合并，即相应的方向超像素块合并为一个大块。融合距离较近的根节点后，在方向超像素图的基础上构建区域关系图。区域关系图中每个顶点表示相应的方向超像素块，每条边表示该边连接的方向超像素块之间的方向相似性。方向相似性的计算公式如下：其中，e表示的是连接区域R1和R2的边，表示的是像素点的第s个父节点，表示的是像素点的第s个父节点，和分别表示区域R1和R2中的边界点，s＝0时表示本身，测试时s设为3，|B(e)|表示区域R1和R2的共同边界点的个数。同时，区域关系图中边被分为了两个集合，S<10的边放入排斥边集，其他的放入吸引边集，将吸引边集中的边按方向相似性从大到小排序。在区域关系图的基础上，逐渐合并相邻的方向超像素，即方向超像素块从大到小，方向相似性从大到小合并。首先，对于区域关系图中的边e，如果R1，R2的面积A(R1)，A(R2)均大于at且S(e)>θ(A(R1),A(R2))(阈值函数θ(A(R1),A(R2))如下，其中θl>θs，as>at，as和at分别设为1500和200，θl和θs根据数据集的不同进行相应的遍历查找)，同时R1和R2的合并不会与排斥边集中的元素产生冲突，则合并区域R1和R2。最后，对于面积小于at的小区域，将其与方向相似性最高的邻居合并，同时该合并不能与排斥边集中的元素产生冲突。处理完所有的边后，最终得到分割结果。通过本专利技术所构思的以上技术方案，与现有技术相比，本专利技术具有以下技术效果：(1)准确度高：该专利技术比基于聚类的方法更加健壮，可更好地处理微弱边缘，基本不会产生泄露问题，可以对任意形状物体进行精确分割；(2)速度快：该专利技术无需繁琐耗时的后处理，同时该专利技术的后处理时间复杂度为线性级别，在GPU上可做到实时运行；(2)泛化能力强：本专利技术不受限于图像内容，对不同类别的物体可进行精确分割，同时对未在训练集中出现的物体也可得到满意的分割结果。附图说明本文档来自技高网...

【技术保护点】
1.一种基于方向超像素的快速图像分割方法，其特征在于，所述方法包括下述步骤：/n(1)训练基于方向超像素的快速图像分割网络模型，包括如下子步骤：/n(1.1)对原始数据集中所有图片的感兴趣区域进行像素级别的标注，属于同一区域内的像素标签相同，不同区域的像素标签不同，根据像素级别的标注计算标准方向场D，得到带标注的标准训练数据集；/n(1.2)定义基于方向超像素的快速图像分割网络模型，根据(1.1)带标注的标准训练数据集，设计损失函数，利用反向传导方法训练该快速图像分割网络，得到基于方向超像素的快速图像分割网络模型；包括：/n(1.2.1)构建基于方向超像素的快速图像分割网络模型，所述分割网络模型由VGG基本网络、多层特征融合网络和方向场回归网络组成；/n(1.2.2)以带标注的标准训练数据集作为快速图像分割网络模型的输入，利用VGG基本网络提取特征，将VGG基本网络提取的特征输入多层特征融合网络，将融合后的特征输入方向场回归网络，最终生成预测方向场

【技术特征摘要】
1.一种基于方向超像素的快速图像分割方法，其特征在于，所述方法包括下述步骤：
(1)训练基于方向超像素的快速图像分割网络模型，包括如下子步骤：
(1.1)对原始数据集中所有图片的感兴趣区域进行像素级别的标注，属于同一区域内的像素标签相同，不同区域的像素标签不同，根据像素级别的标注计算标准方向场D，得到带标注的标准训练数据集；
(1.2)定义基于方向超像素的快速图像分割网络模型，根据(1.1)带标注的标准训练数据集，设计损失函数，利用反向传导方法训练该快速图像分割网络，得到基于方向超像素的快速图像分割网络模型；包括：
(1.2.1)构建基于方向超像素的快速图像分割网络模型，所述分割网络模型由VGG基本网络、多层特征融合网络和方向场回归网络组成；
(1.2.2)以带标注的标准训练数据集作为快速图像分割网络模型的输入，利用VGG基本网络提取特征，将VGG基本网络提取的特征输入多层特征融合网络，将融合后的特征输入方向场回归网络，最终生成预测方向场
(1.2.3)以(1.1)中标准方向场D为网络期望输出，以(1.2.2)中预测方向场为网络预测输出，针对构建的网络模型，设计期望输出和预测输出之间的目标损失函数，利用反向传导方法训练该快速图像分割网络；
(2)利用上述训练好的模型对待分割图片进行快速图像分割，包括如下子步骤：
(2.1)将待分割图片通过VGG基本网络提取特征，经过多层特征融合网络和方向场回归网络生成预测方向场
(2.2)根据预测方向场得到方向超像素，融合根节点相距较近的方向超像素，之后在超像素图的基础上构建区域关系图，遍历全图计算区域与区域之间的方向相似性和各区域的面积，最后根据相关规则合并方向超像素，得到分割结果。


2.根据权利要求1所述的基于方向超像素的快速图像分割方法，其特征在于，所述步骤(1.1)具体为：
对于标准训练数据集Itr的第k张图片Itrk，将图片划分为若干个感兴趣的区域，同时为每个区域内的像素分配不同的标签，各区域内部应保证语义或视觉感知一致性，对于图片任一像素p，找到距离像素p最近的边界点Bp，根据公示计算像素p处的标准方向场，其中表示的是向量的模长。


3.根据权利要求1或2所述的基于方向超像素的快速图像分割方法，其特征在于，所述步骤(1.2.1)中的分割网络模型具体为：
所述分割网络模型由VGG基本网络、多层特征融合网络和方向场回归网络组成，其中，VGG基本网络由VGG16的layer1，layer2，layer3，layer4，layer5和带洞空间金字塔池化(AtrousSpatialPyramidPooling，ASPP)组成，ASPP由空洞率分别为2，4，8和16的空洞卷积构成，多层特征融合网络和方向场回归网络分别由四个和三个1x1卷积组成。


4.根据权利要求1或2所述的基于方向超像素的快速图像分割方法，其特征在于，所述步骤(1.2.2)具体为：
将标准训练数据集Itr中的图片输入VGG基本网络中，多层特征融合网络在layer3，layer4，layer5和ASPP的特征上使用1x1卷积，并在通道维度上合并这些卷积后的中间特征，最后方向场回归网络通过在合并后的特征上使用三个1x1卷积得到预测方向场


5.根据权利要求1或2所述的基于方向超像素的快速图像分割方法，其特征在于，所述步骤(1.2.3)具体为：
以步骤(1.1)中计算得到的标准方向场D为网络期望输出，以步骤(1.2.2)中的预测方向场为...

【专利技术属性】
技术研发人员：许永超，万建强，柳阳，白翔，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北;42