基于扩散距离高置信度信息的图像显著性物体检测方法技术

本发明专利技术涉及一种基于扩散距离高置信度信息的图像显著性物体检测方法，属于计算机图像处理中显著性检测技术领域。首先计算图像的超像素，并在图像空间和特征空间构建图，在不同的扩散时间下，基于图计算每个超像素到图像边界的最小扩散距离，得到多尺度显著性图，将多尺度显著性图加权融合得到高置信显著性图，同时利用基于最小生成树的实时显著性物体检测方法得到距离图；之后从高置信前景图和距离图中提取初始化信息，迭代地使用抓割方法得到显著性物体图，并在每次迭代过程中改善初始化信息，从而逐步得到准确的显著性物体检测结果。本方法增强了检测结果对噪声的鲁棒性，可从图像中提取出既准确又完整的显著性物体。

【技术实现步骤摘要】
基于扩散距离高置信度信息的图像显著性物体检测方法
本专利技术涉及一种基于扩散距离高置信度信息的图像显著性物体检测方法，属于计算机图像处理中显著性检测

技术介绍
图像显著性物体检测方法是提取图像中最引人注意物体的一种有效手段。图像显著性物体自动检测方法通过计算图像中物体的外观对比度或与背景外观的差异性来衡量物体的显著性，在此基础上还可进一步对检测结果后处理，利用优化方法增强检测结果的结构连续性，进而提高检测效果。按是否使用了后处理优化分类，现有的图像显著性物体自动检测方法的几种类型及相应存在的问题如下：1、不使用后处理优化的方法通常需要计算图像中物体的外观与其他区域的对比度或者到背景的距离来衡量物体显著性。这些方法计算速度较快，但由于缺少全局信息，通常会受到噪声的影响。2、使用后处理优化的方法在科研领域十分流行。它凭借在优化过程中维持图像的结构信息增强了噪声鲁棒性。但这类方法初始化信息对前景和背景的表达能力较弱且通常包含噪声，这些缺陷有可能严重削弱优化的效果。不使用后处理优化的方法存在对噪声敏感的问题，而后处理优化方法的初始化信息置信度不高，对前景和背景的表达能力较弱且通常包含噪声。如何提高后处理优化方法的初始化信息置信度仍然是一个亟待解决的问题。
技术实现思路
本专利技术的目的是提出一种基于扩散距离高置信度信息的图像显著性物体检测方法，利用扩散距离的多尺度性质提取高置信度前景信息，以增强检测结果的准确性和对噪声的鲁棒性，并减少计算迭代次数，从图像中提取出兼顾准确性和完整性的显著性物体。本专利技术提出的基于扩散距离高置信度信息的图像显著性物体检测方法，包括以下步骤：(1)利用超像素方法将待检测图像分割成N个超像素，分别构建特征空间图结构和图像空间图结构，具体过程如下：(1-1)利用超像素方法将待检测图像分割成N个超像素；(1-2)设上述N个超像素中的任意一个超像素的颜色特征为超像素中所有像素的平均lab颜色，记为c，设上述N个超像素中的任意一个超像素的位置特征为超像素中所有像素在图像空间中的平均位置，记为s；建立一个由上述平均lab颜色和上述平均位置组成的特征空间，利用下式，计算该特征空间中第i个超像素和第j个超像素之间的亲和度a(i,j)：其中，σc和σs分别为颜色约束系数和空间约束的系数，ci和cj分别表示第i个超像素的平均lab颜色和第j个超像素的平均lab颜色，si和sj分别表示第i个超像素的平均位置和第j个超像素的平均位置，e为自然对数；以上述N个超像素为节点，根据上述亲和度a(i,j)，构建一个特征空间图结构，该图结构中的每个超像素与亲和度最大的8个超像素相连，特征空间图结构的边权重为a(i,j)；(1-3)在上述待检测图像的N个超像素中，使相邻两个超像素或享有相同邻居的超像素相连，并使待检测图像边界的所有超像素相连，所有相连的边和所有超像素构建一个图像空间图结构，利用下式计算图像空间图结构中第i个超像素和第j个超像素之间的亲和度b(i,j)：其中，σf为颜色约束系数，fi表示第i个超像素的平均lab颜色，e为自然对数，图像空间图结构的亲和度b(i,j)即为图像空间图结构的边权重；(2)在上述特征空间图结构和图像空间图结构中分别计算扩散距离，具体过程如下：(2-1)根据上述特征空间图结构的边权重，构建一个特征空间图结构的邻接矩阵A1，对邻接矩阵A1中的每行元素进行归一化处理，使得每行元素的和为1，得到一个特征空间图结构的转移矩阵M1，计算得到转移矩阵M1的特征值λ和特征向量ψ；根据特征值λ和特征向量ψ，利用下式，计算第g个超像素的映射向量Yt(g)：其中ψk(g)表示特征向量ψ中第k个特征向量的第g个值，λk表示特征值λ中第k个特征值，g＝1,2,3,…,i,j,…,N，t表示扩散时间，根据上，述计算的映射向量，利用下式，计算特征空间图结构中第i个超像素和第j个超像素之间的扩散距离D1(i,j)；D1(i,j)＝|Yt(i)-Yt(j)|2其中|·|2表示欧式距离计算方法；(2-2)根据上述图像空间图结构的边权重，构建一个图像空间图结构的亲和矩阵A2，对矩阵A2中的每行元素进行归一化处理，使得每行元素的和为1，得到一个图像空间图结构转移矩阵M2，计算矩阵M2的特征值λ和特征向量θ，利用下式，计算第i个超像素的映射向量Wu(i)：其中θl(i)表示第l个特征向量中的第i个值，γl表示第l个特征值，u表示扩散时间，根据上述计算的映射向量，利用下式，计算图像空间图结构中第i个超像素和第j个超像素之间的扩散距离D2(i,j)；D2(i,j)＝|Wu(i)-Wu(j)|2其中|·|2表示欧式距离计算方法；(3)以扩散时间为尺度，分别计算不同扩散时间上述特征空间图结构中的每个超像素到图像边界超像素的最小扩散距离，得到不同尺度下的显著性图，具体过程如下：(3-1)设定一组扩散时间，第一个选取的扩散时间为40～60，每间隔150～250为第二个选取的扩散时间、第三个选取的扩散时间，以此类推；(3-2)在上述选取的扩散时间下，利用上述步骤(2-1)的计算公式，分别计算上述步骤(1-2)特征空间图结构任意一个超像素到所有图像边界超像素的扩散距离，将该扩散距离中的最小值作为该超像素的显著性值，遍历特征空间图结构中的所有超像素，重复本步骤，得到所有超像素的显著性值，将所有超像素的显著性值组合起来，得到当前扩散时间下的显著性图；(3-3)分别在上述选取的每个扩散时间下计算显著性图，直至选取的扩散时间大于400～600，或上述步骤(3-2)计算得到的最小扩散距离小于0.0003，结束计算，每个扩散时间代表一个尺度，得到特征空间图结构中不同尺度下的显著性图，即为特征空间图结构的多尺度显著性图；(4)以扩散时间为尺度，分别计算不同扩散时间上述图像空间图结构中的每个超像素到图像边界超像素的最小扩散距离，得到不同尺度下的显著性图，具体过程如下：(4-1)设定一组扩散时间，第一个选取的扩散时间为40～60，每间隔150～250为第二个选取的扩散时间、第三个选取的扩散时间，以此类推；(4-2)在上述选取的扩散时间下，利用上述步骤(2-2)的计算公式，分别计算上述步骤(1-3)图像空间图结构任意一个超像素到所有图像边界超像素的扩散距离，将该扩散距离中的最小值作为该超像素的显著性值，遍历图像空间图结构中的所有超像素，重复本步骤，得到所有超像素的显著性值，将所有超像素的显著性值组合起来，得到当前扩散时间下的显著性图；(4-3)分别在上述选取的每个扩散时间下计算显著性图，直至选取的扩散时间大于400～600，或上述步骤(3-2)计算得到的最小扩散距离小于0.0003，结束计算，每个扩散时间代表一个尺度，得到图像空间图结构中不同尺度下的显著性图，即为图像空间图结构的多尺度显著性图；(5)根据上述步骤(3-3)的特征空间图结构多尺度显著性图和步骤(4-3)的图像空间图结构多尺度显著性图，计算得到高置信显著性图Shc，包括以下步骤：(5-1)将上述步骤(3-3)的特征空间图结构多尺度显著性图和步骤(4-3)的图像空间图结构多尺度显著性图进行组合，得到多尺度显著性图集合S；(5-2)利用下式，计算待检测图像中第i个超像素和第k个超像素的颜本文档来自技高网...

【技术保护点】
基于扩散距离高置信度信息的图像显著性物体检测方法，其特征在于该方法包括以下步骤：(1)利用超像素方法将待检测图像分割成N个超像素，分别构建特征空间图结构和图像空间图结构，具体过程如下：(1‑1)利用超像素方法将待检测图像分割成N个超像素；(1‑2)设上述N个超像素中的任意一个超像素的颜色特征为超像素中所有像素的平均lab颜色，记为c，设上述N个超像素中的任意一个超像素的位置特征为超像素中所有像素在图像空间中的平均位置，记为s；建立一个由上述平均lab颜色和上述平均位置组成的特征空间，利用下式，计算该特征空间中第i个超像素和第j个超像素之间的亲和度a(i,j)：

【技术特征摘要】
1.基于扩散距离高置信度信息的图像显著性物体检测方法，其特征在于该方法包括以下步骤：(1)利用超像素方法将待检测图像分割成N个超像素，分别构建特征空间图结构和图像空间图结构，具体过程如下：(1-1)利用超像素方法将待检测图像分割成N个超像素；(1-2)设上述N个超像素中的任意一个超像素的颜色特征为超像素中所有像素的平均lab颜色，记为c，设上述N个超像素中的任意一个超像素的位置特征为超像素中所有像素在图像空间中的平均位置，记为s；建立一个由上述平均lab颜色和上述平均位置组成的特征空间，利用下式，计算该特征空间中第i个超像素和第j个超像素之间的亲和度a(i,j)：其中，σc和σs分别为颜色约束系数和空间约束的系数，ci和cj分别表示第i个超像素的平均lab颜色和第j个超像素的平均lab颜色，si和sj分别表示第i个超像素的平均位置和第j个超像素的平均位置，e为自然对数；以上述N个超像素为节点，根据上述亲和度a(i,j)，构建一个特征空间图结构，该图结构中的每个超像素与亲和度最大的8个超像素相连，特征空间图结构的边权重为a(i,j)；(1-3)在上述待检测图像的N个超像素中，使相邻两个超像素或享有相同邻居的超像素相连，并使待检测图像边界的所有超像素相连，所有相连的边和所有超像素构建一个图像空间图结构，利用下式计算图像空间图结构中第i个超像素和第j个超像素之间的亲和度b(i,j)：其中，σf为颜色约束系数，fi表示第i个超像素的平均lab颜色，e为自然对数，图像空间图结构的亲和度b(i,j)即为图像空间图结构的边权重；(2)在上述特征空间图结构和图像空间图结构中分别计算扩散距离，具体过程如下：(2-1)根据上述特征空间图结构的边权重，构建一个特征空间图结构的邻接矩阵A1，对邻接矩阵A1中的每行元素进行归一化处理，使得每行元素的和为1，得到一个特征空间图结构的转移矩阵M1，计算得到转移矩阵M1的特征值λ和特征向量ψ；根据特征值λ和特征向量ψ，利用下式，计算第g个超像素的映射向量Yt(g)：其中ψk(g)表示特征向量ψ中第k个特征向量的第g个值，λk表示特征值λ中第k个特征值，g＝1,2,3,…,i,j,…,N，t表示扩散时间，根据上，述计算的映射向量，利用下式，计算特征空间图结构中第i个超像素和第j个超像素之间的扩散距离D1(i,j)；D1(i,j)＝|Yt(i)-Yt(j)|2其中|·|2表示欧式距离计算方法；(2-2)根据上述图像空间图结构的边权重，构建一个图像空间图结构的亲和矩阵A2，对矩阵A2中的每行元素进行归一化处理，使得每行元素的和为1，得到一个图像空间图结构转移矩阵M2，计算矩阵M2的特征值γ和特征向量θ，利用下式，计算第i个超像素的映射向量Wu(i)：其中θl(i)表示第l个特征向量中的第i个值，γl表示第l个特征值，u表示扩散时间，根据上述计算的映射向量，利用下式，计算图像空间图结构中第i个超像素和第j个超像素之间的扩散距离D2(i,j)；D2(i,j)＝|Wu(i)-Wu(j)|2其中|·|2表示欧式距离计算方法；(3)以扩散时间为尺度，分别计算不同扩散时间上述特征空间图结构中的每个超像素到图像边界超像素的最小扩散距离，得到不同尺度下的显著性图，具体过程如下：(3-1)设定一组扩散时间，第一个选取的扩散时间为40～60，每间隔150～250为第二个选取的扩散时间、第三个选取的扩散时间，以此类推；(3-2)在上述选取的扩散时间下，利用上述步骤(2-1)的计算公式，分别计算上述步骤(1-2)特征空间图结构任意一个超像素到所有图像边界超像素的扩散距离，将该扩散距离中的最小值作为该超像素的显著性值，遍历特征空间图结构中的所有超像素，重复本步骤，得到所有超像素的显著性值，将所有超像素的显著性值组合起来，得到当前扩散时间下的显著性图；(3-3)分别在上述选取的每个扩散时间下计算显著性图，直至选取的扩散时间大于400～600，或上述步骤(3-2)计算得到的最小扩散距离小于0.0003，结束计算，每个扩散时间代表一个尺度，得到特征空间图结构中不同尺度下的显著性图，即为特征空间图结构的多尺度显著性图；(4)以扩散时间为尺度，分别计算不同扩散时间上述图像空间图结构中的每个超像素到图像边界超像素的最小扩散距离，得到不同尺度下的显著性图，具体过程如下：(4-1)设定一组扩散时间，第一个选取的扩散时间为40～60，每间隔150～250为第二个选取的扩散时间、第三个选取的扩散时间，以此类推；(4-2)在上述选取的扩散时间下，利用上述步骤(2-2)的计算公式，分别计算上述步骤(1-3)图像空间图结构任意一个超像素到所有图像边界超像素的扩散距离，将该扩散距离中的最小值作为该超像素的显著性值，遍历图像空间图结构中的所有超像素，重复本步骤，得到所有超像素的显著性值，将所有超像素的显著性值组合起来，得到当前扩散时间下的显著性图；(4-3)分别在上述选取的每个扩散时间下计算显著性图，直至选取的扩散时间大于400～600，或上述步骤(3-2)计算得到的最小扩散距离小于0.0003，结束计算，每个扩散时间代表一个尺度，得到图像空间图结构中不同尺度下的显著性图，即为图像空间图结构的多尺度显著性图；(5)根据上述步骤(3-3)的特征空间图结构多尺度显著性图和步骤(4-3)的图像空间图结构多尺度显著性图，计算得到高置信显著性图Shc，包括以下步骤：(5-1)将上述步骤(3-3)的特征空间图结构多尺度显著性图和步骤(4-3)的图像空间图结构多尺度显著性图进行组合，得到多尺度显著性图集合S；(5-2)利用下式，计算待检测图像中第i个超像素和第k个超像素的颜色距离Dc(i,k)：其中ni和nk分别表示超像素i内像素的颜色个数和超像素k内像素的颜色个数，hi,m表示第i个超像素中第m种颜色的像素个数比例，hk,n表示第k个超像素中第n种颜色的像素个数比例，pi,m表示第i个超像素中的第m种颜色，pk,n表示第k个超像素中的第n种颜色，|·|2表示欧式距离计算方法；根据上述计算的超像素颜色距离，利用下式，计算第i个超像素的对比度值G(i)：其中，ω(i)表示第i个超像素的像素个数，Ds(i,k)表示第i个超像素的平均位置与第k个超像素的平均位置之间的欧式距离，σd表示空间约束系数；重复上述过程，得到所有待检测图像的超像素对比度值；将待检测图像中每个超像素的所有对比度值进行组合，得到待检测图像的超像素对比度图GM；(5-3)设上述步骤(5-1)的多尺度显著性图集合S中的第v个显著性图为Sv，根据上述步骤(5-2)得到的待检测图像的超像素对比度图GM，利用下式，计算显著性图Sv的可信度C(v)：其...

【专利技术属性】
技术研发人员：陈莉，孙思远，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11