一种基于改进图模型的图像显著性检测方法技术

本发明专利技术公开了一种基于改进图模型的图像显著性检测方法，属于计算机视觉、图像检测技术领域。该方法采用简单线性迭代聚类将图像分割成超像素，以超像素为顶点构建无向图，在改进图模型的基础上利用图像底层特征和先验知识提取高层特征并得到基于底层特征的显著图。接着利用高层特征和显著物体的紧凑性选取前景、背景种子节点，分别计算基于前景、背景种子的显著图并融合。最后将两阶段得到的显著图融合得到最终的显著图。本发明专利技术能够完整检测并均匀突出图像中的显著物体，提高复杂环境中显著物体检测的准确性，满足实际工程系统的设计需求，解决了复杂环境中显著物体检测的准确率较低的问题。

An image saliency detection method based on improved graph model

【技术实现步骤摘要】
一种基于改进图模型的图像显著性检测方法
本专利技术涉及一种基于改进图模型的图像显著性检测方法，属于计算机视觉、图像检测

技术介绍
显著性检测旨在让计算机拥有人类那样的视觉注意机制，从复杂的场景中找出最引人关注的、极具价值的信息。早期出现的显著性检测算法是针对视觉注意力的检测，目的是预测人眼在图像中的注视点。后来涌现出很多以分割出整个显著物体为目的的显著区域检测。相比前者，显著区域检测具有更高的应用价值。显著性检测模型可以分为自底向上和自顶向下两类。自底向上的模型由数据驱动，利用图像颜色、对比度等计算显著性；自顶向下的模型由任务驱动，往往需要训练大量样本以提取任务目标的特征。本专利技术主要关注自底向上的检测方法。国内外很多研究人员都对自底向上的检测方法进行了深入的探索。其中，Cheng等利用图像颜色直方图的全局和局部对比计算显著性。Tong等通过图像区域间的颜色对比计算提出了基于编码的显著性测量方法。这些仅利用图像局部或全局对比的方法不能正确检测出与背景相似的显著物体。于是研究者在对比计算中引入背景先验、中心先验等知识，通过和假定背景或前景部分的对比计算图像各区域的显著值。近年来，有人提出图模型的检测方法，即以超像素为节点，将输入图像表示成图的形式，进而展开一系列计算。采用不同的构图方式，Qin等利用元胞自动机的传播机制不断更新超像素的显著值。Yang等提出流形排序的检测方法，分别将前景或背景视为标签，利用排序函数将图像各部分根据自身同标签项的相关性进行排序，从而求得超像素的显著值。Sun等提出基于吸收马尔可夫链的显著性检测模型，将边界节点和其余节点分别视为吸收节点和瞬态节点，通过计算转移时间得到超像素的显著性。Zhou等将图像表示成二层稀疏图，利用显著物体的颜色紧凑性提取前景背景种子节点分别计算基于前景、背景种子的显著图并融合。以上方法构图方式和边权值如何分配对检测结果影响很大。其构图方式往往不能充分反应超像素之间的邻接关系，而且多数模型只采用颜色特征计算图的权重矩阵，这都会导致显著性检测效果变差，特别是在复杂环境下显著物体检测不完整或不能均匀突出显著物体内部的问题。
技术实现思路
针对上述问题，本专利技术提出一种基于改进图模型的图像显著性检测方法，以解决复杂环境中显著物体检测不完整或不能均匀突出显著物体内部的问题，能够完整检测并均匀分割整个显著物体，提高图像显著性检测算法的性能，对图像相关领域的进一步研究与发展具有极大的促进作用。实现本专利技术的关键技术是：对输入图像进行超像素分割，以超像素为节点将图像表示成图的形式，在此基础上展开一系列计算。先是依据颜色、纹理等底层特征计算图的权重矩阵，结合多种先验知识提取高层特征同时得到基于底层特征的显著图。接着依据高层特征重新计算权重矩阵，利用显著物体的紧凑性提取图像前景、背景种子节点，分别计算基于前景种子和背景种子的显著图并融合得到基于高层特征的显著图。最后将两个阶段得到的显著图融合得到最终的显著图。为实现上述目标，具体实现步骤如下：(1)将输入图像分割成N个超像素，其中，第i个超像素用vi表示，第j个超像素用vj表示，i、j∈1，2，...，N；(2)利用输入图像的底层特征计算各超像素之间的相似性形成相似度矩阵A＝[aij]N×N，aij表示超像素vi和vj的相似程度；(3)以超像素为节点构建无向图：将每个节点同与之相邻的节点相连，并同与相邻节点有公共边的节点中与之最相似的节点相连，最后将输入图像四周属于背景的可能性最大的节点相连；(4)计算无向图的权重矩阵W1＝[ωij]n×n和度矩阵D1，采用流形排序对相似度矩阵A进行传播得到新的相似度矩阵H＝[hij]N×N，hij表示超像素vi和vj的相似程度，其中，D1＝diag{d11，d22，...，dNN}，dii＝∑jωij，Duij是超像素vi和vj之间的底层特征距离，σ2为控制权值大小的参数，eij表示图中超像素vi和vj之间相连形成的边；(5)提取高层特征，同时得到基于底层特征的显著图；(6)依据高层特征重新计算权重矩阵，利用显著物体的紧凑性提取输入图像的前景、背景种子节点，分别计算基于前景种子节点和背景种子节点的显著图并融合得到基于高层特征的显著图；(7)将基于底层特征的两个阶段得到的显著图和基于高层特征的显著图融合得到最终的显著图。可选的，所述(5)包括：(5.1)计算超像素vi的空间方差sv(i)和超像素vi距图像中心的空间距离sd(i)：其中qj＝[qjx，qjy]表示vj中心的坐标，nj是超像素vj包含的像素个数，p表示图像中心的坐标；μi＝[μix，μiy]是超像素vi的空间均值，μix、μiy的计算方式如下：(5.2)根据式Scom(i)＝1-(sv(i)+sd(i))将sv(i)和sd(i)融合得到超像素vi粗略的显著值Scom(i)，将各超像素的显著值分配给其包含的所有像素点得到粗略的显著图记为I0；(5.3)计算超像素vi同相邻超像素之间的底层特征距离ld(i)，并计算vi同I0中心的分布测量dm(i)：其中，Ni表示与vi相邻的超像素的集合，Duij是超像素vi和超像素vj之间的底层特征距离；μs是I0的中心，mij是超像素vi和vj依据空间距离计算得到的相似度，计算方式如下：(5.4)根据式Slc(i)＝ld(i)·(1-dm(i))将ld(i)和dm(i)融合得到Slc(i)，用流形排序传播后表示为Scon(i)；(5.5)根据S1(i)＝Scom(i)+Scon(i)将Scom(i)和Scon(i)融合得到各超像素显著值记为S1(i)，并将其作为各超像素的高层特征用于后续计算。可选的，所述(6)包括：(6.1)根据高层特征用K-means++算法将N个超像素分为K类，令C＝[c1，c2，...，cK]表示K个聚类中心，计算各超像素和每一类之间的相似性形成的相似度矩阵B＝[bir]N×K，其中，(6.2)重新计算无向图的权重矩阵W2和度矩阵D2，对B用流形排序相似性传播后的矩阵用X＝[xij]N×K表示，xij表示超像素vi和第j类之间的相似程度；(6.3)计算各类的松散程度sc(j)，进而计算每类属于前景的可能性po(j)＝1-sc(j)，以po的平均值为阈值将各类分别划分为前景种子和背景种子，前景种子构成的集合用FG表示，背景种子构成的集合用BG表示；其中sc(j)计算方式如下：μj表示第j类的空间均值；(6.4)计算各超像素基于前景种子的显著值和基于背景种子的显著值分别用流形排序传播后采用公式S2(i)＝λ2·Sb(i)+(1-λ2)·Sf(i)融合，其中0.3＜λ2＜0.5。可选的，所述(7)包括：根据式S(i)＝λ3·S1(i)+(1-λ3)·S2(i)将S1(i)和S2(i)融合得各超像素的最终显著值S(i)，其中0.3＜λ3＜0.5，将各超像素的显著值分配给其包含的所有像素点得到输出显著图I。可选的，所述(2)包括：(2.1)用超像素所包含的像素的CLELAB颜色均值c＝(l，a，b)T来表示超像素的颜色特征，采用局部二值模式的等价模式形成的59维向量t表示超像素的纹理特征；超像素vi和vj的颜色特征距离Dcij和纹理特征距离Dtij分别采用欧式距离和卡方本文档来自技高网...

【技术保护点】
1.一种基于改进图模型的图像显著性检测方法，其特征在于，所述方法对输入图像进行超像素分割，以超像素为节点将输入图像表示成无向图的形式，根据底层特征计算图的权重矩阵，得到基于底层特征的显著图；同时提取高层特征并依据高层特征重新计算权重矩阵，利用显著物体的紧凑性提取输入图像的前景、背景种子节点，分别计算基于前景种子节点和背景种子节点的显著图并融合得到基于高层特征的显著图；最后将基于底层特征的显著图和基于高层特征的显著图融合得到最终的显著图，其中，底层特征包括颜色特征和纹理特征；以超像素为节点将输入图像表示成无向图的形式包括：将每个节点同与之相邻的节点相连，并同与相邻节点有公共边的节点中与之最相似的节点相连，最后将输入图像四周属于背景的可能性最大的节点相连构成无向图。

【技术特征摘要】
1.一种基于改进图模型的图像显著性检测方法，其特征在于，所述方法对输入图像进行超像素分割，以超像素为节点将输入图像表示成无向图的形式，根据底层特征计算图的权重矩阵，得到基于底层特征的显著图；同时提取高层特征并依据高层特征重新计算权重矩阵，利用显著物体的紧凑性提取输入图像的前景、背景种子节点，分别计算基于前景种子节点和背景种子节点的显著图并融合得到基于高层特征的显著图；最后将基于底层特征的显著图和基于高层特征的显著图融合得到最终的显著图，其中，底层特征包括颜色特征和纹理特征；以超像素为节点将输入图像表示成无向图的形式包括：将每个节点同与之相邻的节点相连，并同与相邻节点有公共边的节点中与之最相似的节点相连，最后将输入图像四周属于背景的可能性最大的节点相连构成无向图。2.根据权利要求1所述的方法，其特征在于，所述方法包括：(1)将输入图像分割成N个超像素，其中，第i个超像素用vi表示，第j个超像素用vj表示，i、j∈1，2，...，N；(2)利用输入图像的底层特征计算各超像素之间的相似性形成相似度矩阵A＝[aij]N×N，aij表示超像素vi和vj的相似程度；(3)以超像素为节点构建无向图：将每个节点同与之相邻的节点相连，并同与相邻节点有公共边的节点中与之最相似的节点相连，最后将输入图像四周属于背景的可能性最大的节点相连；(4)计算无向图的权重矩阵W1＝[ωij]n×n和度矩阵D1，采用流形排序对相似度矩阵A进行传播得到新的相似度矩阵H＝[hij]N×N，hij表示超像素vi和vj的相似程度，其中，D1＝diag{d11，d22，...，dNN}，dii＝∑jωij，Duij是超像素vi和vj之间的底层特征距离，σ2为控制权值大小的参数，eij表示图中超像素vi和vj之间相连形成的边；(5)提取高层特征，同时得到基于底层特征的显著图；(6)依据高层特征重新计算权重矩阵，利用显著物体的紧凑性提取输入图像的前景、背景种子节点，分别计算基于前景种子节点和背景种子节点的显著图并融合得到基于高层特征的显著图；(7)将基于底层特征得到的显著图和基于高层特征的显著图融合得到最终的显著图。3.根据权利要求2所述的方法，其特征在于，所述(5)包括：(5.1)计算超像素vi的空间方差sv(i)和超像素vi距图像中心的空间距离sd(i)：其中qj＝[qjx，qjy]表示vj中心的坐标，nj是超像素vj包含的像素个数，p表示图像中心的坐标；μi＝[μix，μiy]是超像素vi的空间均值，μix、μiy的计算方式如下：(5.2)根据式Scom(i)＝1-(sv(i)+sd(i))将sv(i)和sd(i)融合得到超像素vi粗略的显著值Scom(i)，将各超像素的显著值分配给其包含的所有像素点得到粗略的显著图记为I0；(5.3)计算超像素vi同相邻超像素之间的底层特征距离ld(i)，并计算vi同I0中心的分布测量dm(i)：其中，Ni表示与vi相邻的超像素的集合，Duij是超像素vi和超像素vj之间的底层特征距离；μs是I0的中心，mij是超像素vi和vj依据空间距离计算得到的相似度，计算方式如下：(5.4)根据式Slc(i)＝ld(i)·(1-dm(i))将ld(i)和dm(i)融合得到Slc(i)，用流形排序传播后...

【专利技术属性】
技术研发人员：葛洪伟，张莹莹，羊洁明，江明，
申请(专利权)人：江南大学，
类型：发明
国别省市：江苏,32