一种适用于严重退化图像的基于显著性的对象分割方法技术

一种适用于严重退化图像的基于显著性的对象分割方法，包括以下步骤：(1)通过显著图生成初始化的显著对象种子；(2)生成基于局部自相关性的骨架；(3)在显著对象的边缘上生成用于扩展的起始点；(4)为每个起始点初始化扩展的方向；(5)设置扩展的终止条件并完成扩展操作；(6)标记没能找到终止点的起始点作为退化区域标记点；(7)对扩展后的结果进行修补和平滑；(8)根据退化区域标记点用超像素修补对象分割结果。本发明专利技术结合局部自相关性以及超像素能有效地提高分割结果的准确性和完整性，避免了由严重图像退化所带来的分割结果丢失部分区域的问题，提高了显著对象分割对于图像退化的鲁棒性。

【技术实现步骤摘要】

本专利技术涉及计算机视觉、图像处理等
，尤其是基于显著性的对象分割方 法。
技术介绍
基于显著性的对象分割是一项比较热门的研宄，它的目标是将图像中的感兴趣对 象分割出来。在自然图像中检测显著性区域是对于人类视觉系统的模仿，也就是自动的找 出人类会将目光聚集到的感兴趣区域。当人们观察一张自然图像或者真实场景时，他们会 花更多的注意力在整个显著对象上，而不仅仅是一块显著区域上。因此，基于显著性的对 象分割是一项有必要的研宄，它被广泛地应用于许多高层应用，例如对象识别、行为分析、 图像感兴趣对象分割等。尽管如此，当图像被严重退化的情况下，尤其是前景具有局部的运 动模糊而背景具有均一运动模糊的情况下，基于显著性信息的显著对象分割方法会经常失 效。图像的退化现象会对大多数计算机视觉应用产生严重影响。它通常会导致算法结果的 精度降低，甚至导致一些算法的失效。这个问题在对于自然图像的基于显著性的对象分割 中十分常见。在大多数退化图像中的显著对象可能包含了许多不够显著的部分，这些部分 就会在进行对象分割时引起歧义。因此，基于显著性的对象分割在退化图像上的结果通常 是不完整的。
技术实现思路
为了克服由于严重图像退化所造成的对象分割结果丢失部分区域的问题，本专利技术 提出，它能够有效地提高分割结果 的准确性和完整性，避免了由严重图像退化所带来的分割结果丢失部分区域的问题，提高 了显著对象分割对于图像退化的鲁棒性。 本专利技术解决其技术问题所采用的技术方案是： ，包括以下步骤： (1)通过显著图生成初始化的显著对象种子 在基于软图像抽象化方法得到的显著图的直方图中显著度更高的范围内寻找一 个直方图的峰值，该显著度更高的范围选取为（127, 255]，通过阈值T对显著图进行阈值分 割得到一张二值化的分割结果；一个接一个地标记连通域，并且在标记前采用形态学膨胀 操作来保护目标对象更多的显著细节，在已经标记好的不连通区域中提取最主要的区域作 为初始显著对象种子； (2)生成基于局部自相关性的骨架 点（X，y)在以该点为中心的局部窗口 w内的局部自相关方程： 其中，I (xk, yk)代表点（xk, yk)在窗口 W(3X3)内的梯度，Δχ和Ay分别代表在 X和y两个方向上的位移量； 该公式（2. 1)被近似为： 计算从每个点获得的矩阵M的两个特征值，其中较小特征值的特征向量对应椭圆 的长轴方向，这个方向可以表示为点的延伸方向，将每个点计算得到的值转换到方向空间 中，每个值都表示在一条直线上的正反两个方向，所生成的运动方向图每个像素上 的值都对应某个的方向； 通过平均分配的方式将运动方向图归一化到4个方向{0, 45, 90, 135}，在运动方 向图归一化后的图像中数量最大的方向将被当做背景的方向；之后将背景的方向都去除， 剩下的最大连通区域就被当做补充的对象种子；沿着背景方向搜索背景中两个邻近方向来 修补丢失的部分。当两个邻近相关区域在空间上靠近彼此时就将它们连在一起； 如果从步骤（1)中得到初始显著对象种子由若干个不连通的区域组成，这就表示 从步骤（1)中得到的结果不能用来代表目标对象的整个骨架，在这种情况下，基于局部自 相关性的骨架被用来让初始显著对象种子优化成更好的显著对象种子，考虑到由局部自相 关性得到的骨架和目标对象相比有些膨胀，所以应用了形态学的腐蚀操作来修正这一问 题；当初始对象种子由若干不连通的区域组成时，将基于局部自相关性的骨架和初始对象 种子融合在一起作为最终的显著对象种子；否则，仅仅将步骤（1)中得到结果作为最终的 显著对象种子； 在显著对象种子里的空洞需要被填充，除了那些占了整个目标对象的百分比阈值 以上的空洞； (3)在显著对象种子的边缘上生成用于扩展的起始点 在显著对象种子的边界上的每个点都被当作我们扩展方法的起始点，构建了一个 3 X 3大小的卷积核Ns，并且让显著对象种子二值图Mb和卷积核N s作卷积操作，当操作窗口 中中心点P的值是1时，Ns就会被使用计算出一个决定因子d :其中，Pij显著对象种子在 w窗口中第i行第j列的像素点的二进制值，而Nsu表示在N s中第i行第j列的值，如果η 不等于〇或8,决定因子d为1，表示所有点的值不都是一样的，就把这个中心点作为显著对 象种子边缘上的一个起始点； (4)为每个起始点初始化扩展的方向 基于起始点集{PJ，每个起始点的方向都会被计算，设想每个起始点都沿着法线 方向扩展，所以需要计算这个法线方向，将扩展方向分成8种类型，并且用0至7八个数字 来标记它们，一个卷积核N d被构造出来用来确定每个起始点的法线方向，于计算方向1 ^勺 标记值的公式如下所示： 其中，Pij是二值图Mb在卷积窗口 w中对应第i行第j列像素的值，表示对该 像素值进行取反操作，如果原来是1则变为〇,如果是〇则变为1，而P11则是在窗口 W中的 第1行第1列像素的值，Ii1是当P11= 1时除了中心点以外所有满足{p U= 1}的点的数量， 而n2则是当p H= 0时除了中心点以外所有满足{p U= 1}的点的数量； (5)设置扩展的终止条件并完成扩展操作 采用自适应阈值canny算子的算法来检测原始图像的边界，并规定了一个可扩展 限制区域，该限制区域是由显著对象种子进行三次膨胀得到的； 在限制区域中，每个边界上的点都有机会成为扩展的终止点，根据扩展方向将终 止条件分成两类：2, 4, 6}和{1，3, 5, 7}，每种类型都包含了若干种情况； 当一个起始点沿着它的法线方向找到了它的终止点，就会进行起始点向所对应的 终止点延伸的一个操作，把在起始点（x，y)和终止点（x e, ye)之间的延伸线上的点重新赋 值，延伸线上的点集合表示为如下公式： {p(x+dixAx，y+diyAy) = 1 |〇 彡 Δχ 彡 |x-xe|，〇 彡 Ay 彡 |y-ye|}， (5. 1) 其中，p(x+dixAx，y+diyAy)是延伸线上的点的二进制值，它表示在限制区域中延伸线上 重新赋值的点会成为我们最终目标对象中的点；Cli的取值从集合{(-1，_1)，（0，_1)，（1 ，-1)，（1，0)，（1，1)，（0，1)，（_1，1)，（_1，0)}中寻找，它对应图3中的8个方向标记值 {0, 1,2,3,4,5,6,7}； (6)标记没能找到终止点的起始点作为退化区域标记点 如果一个起始点在扩展限制区域中不存在终止点，将该起始点标记为一个在退化 区域中的点，获得一个代表退化区域的标记点集合P 1; (7)对扩展后的结果进行修补和平滑 按照面积对这些不连通的孔洞进行排序，并且将孔洞中的点重新赋值成为目标对 象中的点，除了那些面积占整个对象的百分比以上的孔洞，最后，使用高斯滤波器来平滑结 果中由误差引起的粗糙的边界。 (8)根据退化区域标记点用超像素修补对象分割结果 采用由简单线性迭代聚类超像素分割方法得到的超像素来修补那些被丢失的退 化区域，当基于局部自相关性的骨架结合到显著对象种子时，不执行基于超像素的对象融 合的过程； 其中，Objf表示最终的目标对象，而Obj 6表示扩展之后所得到的结果；参数a = 0 表示基于局部自相关性的骨架没有应用到显著对象种子中，Iil本文档来自技高网...

【技术保护点】
一种适用于严重退化图像的基于显著性的对象分割方法，其特征在于：所述基于显著性的对象分割方法包括以下步骤：(1)通过显著图生成初始化的显著对象种子在基于软图像抽象化方法得到的显著图的直方图中显著度更高的范围内寻找一个直方图的峰值，该显著度更高的范围选取为(127,255]，通过阈值T对显著图进行阈值分割得到一张二值化的分割结果；一个接一个地标记连通域，并且在标记前采用形态学膨胀操作来保护目标对象更多的显著细节，在已经标记好的不连通区域中提取最主要的区域作为初始显著对象种子；(2)生成基于局部自相关性的骨架点(x,y)在以该点为中心的局部窗口w内的局部自相关方程：ff(x,y)＝Σ(xk,yk)∈w[I(xk,yk)‑I(xk+Δx,yk+Δy)]2，    (2.1)其中，I(xk,yk)代表点(xk,yk)在窗口w(3×3)内的梯度，Δx和Δy分别代表在x和y两个方向上的位移量；该公式(2.1)被近似为：f(x,y)=~Σ(xk,yk)∈w[Ix(xk,yk)-Iy(xk,yk)]ΔxΔy2=[Δx,Δy]MΔxΔy,---(2.2)]]>其中M=Σ(xk,yk)∈wIx2(xk,yk)Ix(xk,yk)Iy(xk,yk)Ix(xk,yk)Iy(xk,yk)Iy2(xk,yk)---(2.3)]]>计算从每个点获得的矩阵M的两个特征值，其中较小特征值的特征向量对应椭圆的长轴方向，这个方向可以表示为点的延伸方向，将每个点计算得到的值转换到方向空间[0,180]中，每个值都表示在一条直线上的正反两个方向，所生成的运动方向图每个像素上的值都对应某个的方向；通过平均分配的方式将运动方向图归一化到4个方向{0,45,90,135}，在运动方向图归一化后的图像中数量最大的方向将被当做背景的方向；之后将背景的方向都去除，剩下的最大连通区域就被当做补充的对象种子；沿着背景方向搜索背景中两个邻近方向来修补丢失的部分，当两个邻近相关区域在空间上靠近彼此时就将它们连在一起；如果从步骤(1)中得到初始显著对象种子由若干个不连通的区域组成，这就表示从步骤(1)中得到的结果不能用来代表目标对象的整个骨架，在这种情况下，基于局部自相关性的骨架被用来让初始显著对象种子优化成更好的显著对象种子，考虑到由局部自相关性得到的骨架和目标对象相比有些膨胀，所以应用了形态学的腐蚀操作来修正这一问题；当初始对象种子由若干不连通的区域组成时，将基于局部自相关性的骨架和初始对象种子融合在一起作为最终的显著对象种子；否则，仅仅将步骤(1)中得到结果作为最终的显著对象种子；在显著对象种子里的空洞需要被填充，除了那些占了整个目标对象的百分比阈值以上的空洞；(3)在显著对象种子的边缘上生成用于扩展的起始点在显著对象种子的边界上的每个点都被当作我们扩展方法的起始点，构建了一个3×3大小的卷积核Ns，并且让显著对象种子二值图Mb和卷积核Ns作卷积操作，当操作窗口中中心点p的值是1时，Ns就会被使用计算出一个决定因子d：d=1,n≠0andn≠80,n=0orn=8,---(3.1)]]>n=Σpij∈wpij*Nsij,---(3.2)]]>其中，pij显著对象种子在w窗口中第i行第j列的像素点点二进制值，而Nsij表示在Ns中第i行第j列的的值，如果n不等于0或8，决定因子d为1，表示所有点的值不都是一样的，就把这个中心点作为显著对象种子边缘上的一个起始点；(4)为每个起始点初始化扩展的方向基于起始点集{Ps}，每个起始点的方向都会被计算，设想每个起始点都沿着法线方向扩展，所以需要计算这个法线方向，将扩展方向分成8种类型，并且用0至7八个数字来标记它们，一个卷积核Nd被构造出来用来确定每个起始点的法线方向，于计算方向ld的标记值的公式如下所示:ld=Σpij∈w(⫬pij)*Ndijn1,p11=1Σpij∈wpij*Ndijn2,p11=0,---(4.1)]]>Nd=012703654,---(4.2)]]>其中，pij是二值图Mb在卷积窗口w中对应第i行第j列像素的值，表示对该像素值进行取反操作，如果原来是1则变为0，如果是0则变为1，而p11则是在窗口w中的第1行第1列像素的值，n1是当p11＝1时除了中心点以外所有满足{pij＝1}的点的数量，而n2则是当p11＝0时除了中心点以外所有满足{pij＝1}的点的数量；(5)设置扩展的终止条件并完成扩展操作采用自适应阈值canny算子的算法来检测原始图像的边界，并规定了一个可扩展...

【技术特征摘要】

【专利技术属性】
技术研发人员：刘盛，王建峰，张少波，陈胜勇，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：浙江;33