一种基于层次化稀疏建模的图像显著性检测方法技术

本发明专利技术公开了一种基于层次化稀疏建模的图像显著性检测方法，主要解决在计算机视觉领域内通过模拟灵长类动物的视觉注意机制，在复杂场景中迅速定位感兴趣区域以进行快速场景分析的问题，其主要步骤包括：(1)构造基于颜色和方向信息的多尺度特征图；(2)创建基于逐层自表示建模的颜色显著图；(3)形成基于多尺度信息融合的显著图；(4)提取基于Otsu最优阈值分割的显著物体。本发明专利技术具有较高的检测率和较低的虚警率，并取得了较经典显著检测方法更优的性能，可以用于图像分割等领域。

【技术实现步骤摘要】
一种基于层次化稀疏建模的图像显著性检测方法
本专利技术属于计算机视觉研究领域，具体是一种基于层次化稀疏建模的图像显著性检测方法，可用于模拟灵长类动物的视觉注意机制，对场景的显著区域进行提取和分析。
技术介绍
灵长类动物在有限的神经元处理速度下可以对复杂场景实现实时高效的解译，归因于它们所特有的视觉注意机制。Itti等人的视觉注意理论将视觉注意模型分为两个阶段：快速的、潜意识的、自底向上的、数据驱动的显著性提取；以及慢速的、基于任务的、自顶向下的、目标驱动的显著性提取。本专利技术受生物视觉注意机制中层次化感知特点的启发，通过逐层稀疏建模的方式建立起视觉显著性的计算框架。在计算机视觉领域，显著图可以对感兴趣物体的提取、目标识别、自适应压缩和图像检索等应用提供支持，具有重要的意义。目前，显著性检测可大致分为3个研究方向，即基于人眼跟踪的聚焦点预测、显著物体提取和显著物体估计。人眼聚焦模型旨在预测人在观察场景时所关注的特定点，显著物体检测旨在从场景中发现感兴趣物体并且将其从整个内容中分割出来，显著物体估计旨在用一小组边界盒来定位出显著物体的区域，以提高传统滑动窗口的在物体定位上的效率。显著物体提取的现有方法可以被大致分为基于生物启发的、基于纯计算的和两者结合的。多数的方法一般都通过比较图像区域和它们周围区域在亮度、颜色和方向上的相对差异来进行显著性的度量。生物启发的显著性检测方法中最具代表性的是1998年Itti等人所提出的模型。Itti的显著检测方法基于Koch等人提出的用特征集成理论来解释人类视觉搜索策略的生物结构模型。视觉输入被分为亮度通道、红绿和蓝黄颜色通道、Gabor方向通道，不同的空间位置在每幅图中竞争显著性使得只有与局部相比突出的位置可以被保持。所有通道上得到的特征图依据自底向上的方式来融合成最终的显著图。这种模型用动态高斯金字塔来产生9个尺度的图像，通过线性的中心周围差异操作来模拟视觉接收场的特性，并提出了符合视觉皮层的显著图归一化方法，得到了较为理想的结果。纯计算的显著性检测方法没有太多生物视觉原理上的支持，但大多都有坚实的理论框架支持，其中以Hou等人在2007年所提出的基于谱残差和2012年基于图像符号的谱理论最具代表性。谱残差从信息论的观点出发将图像分为Innovation和PriorKnowledge两部分，并结合自然图像在log-log尺度上所呈现出的线性特性，认为显著性部分是平滑的log-log曲线以外的部分。借助于对图像谱域的平滑结果来逼近PriorKnowledge的谱，最终的显著部分的谱是原图的谱和PriorKnowledge的谱之差，并取残差谱的傅里叶逆变换来得到最终的显著图。这种方法计算得到的为低分辨的显著图，并且倾向于突出图像中的边缘部分。给定一幅输入图像I(x)，其计算过程如下。L(f)＝log(A(f)),R(f)＝L(f)-hn(f)*L(f),S(x)＝g(x)*Γ-1[exp(R(f)+P(f))]2.其中，Γ和Γ-1表示傅里叶变换和逆变换，和表示取幅值和相位操作，hn(f)和g(x)表示频域和空域的滤波算子。图像符号的显著检测方法将一幅图像建模为前景(显著区域)和背景(非显著区域)两部分，通过严谨的数学推导得出了显著图和图像符号的DCT反变换之间存在着很强的关联性结论。其前提假设为显著区域在空域是稀疏的，而非显著区域在DCT域是稀疏的，并且前景是服从高斯分布的。这个假设在实际情况下是能够得到较好满足的，具有很强的指导意义。首先，图像符号经过DCT逆变换后的结果和其中的前景部分具有相似性下界，即经符号函数后背景部分被极大压缩，具体关系如下所示。其中，|Ωb|表示背景在DCT域的非零元素个数，N为图像中像素总数。上式说明只要背景在DCT域的非零元素个数足够少，和就有很强的相似性。其次，落在f中非零位置的比例有下界，即保持了显著图的大部分信息，具体关系如下所示。其中，Tf是f中非零位置的索引。上式说明只要f服从正态分布，那么和f的相似度至少为0.7979。如此，结合上面两个结论便可得出图像符号理论的最终结论：以很大的可能性逼近f，用图像符号的DCT逆变换就可以代表图像的显著图。生物模型和计算模型相结合的方法中代表性的为Harel等人于2006年提出的GBVS。此方法按照Itti的方法构建特征图，在显著图的构建和融合的过程中使用了马尔科夫随机场模型。它将图像中所有位置表示成状态节点，各个节点之间的转移概率由它们的特征不相似度和空间距离来决定。系统从随机初始状态出发，经过一定次数的迭代之后达到稳定状态，用此终态来描述各个位置为显著的概率。在归一化过程中为了将显著性聚集起来形成显著区域，任意两个节点的状态转移概率依赖于两者的空间距离和到达节点的显著概率。经过马尔科夫随机场的转移过程之后便得到最终的显著图描述，具有符合实际情况和灵活的计算模式。除以上显著性检测方法外，通过稀疏建模来寻找代表性元素的思想在机器学习领域引起了广泛的关注。一组数据可以通过其中一个很小的子集来进行线性组合得到，这个子集里面的元素即为代表性元素，它们一般都具有独特的结构。在代表元素数量的足够少的限制下，通过求解如下的优化问题便可以的到选出的代表元素和组合系数。其中，Y和C分别为原始数据集合表示系数，k为很小的正整数用以约束选出的代表元素个数足够少。对于原始数据Y没有低秩的要求，但是如果Y具有低秩特性，那么选出的代表元素为低秩集中的一小部分元素。此方法在样例维进行了数据将维，得到了更加简洁和紧凑的数据表示，并且在代表视频帧的选取中表现出了较好的性能，同时在分类和聚类方面也显示出了一定的优势。现有显著检测方法在定位感兴趣区域时存在着较多的漏检和较大的虚警率，同时图像稀缺性和显著性之间的内在联系并没有被充分挖掘来解决显著检测的问题。通过自表示模型选取代表性元素的理论与视觉的选择注意特性之间的存在的耦合性有待深入研究。
技术实现思路
本专利技术的目的在于通过模拟生物视觉注意机制中存在的稀疏特性，提出一种基于层次化稀疏建模的多尺度显著性检测方法。借助于视觉的层次化注意模型，实现由粗到细的逐层稀疏建模，在不同的层次范围内对图像中的显著特性进行量化。同时模拟视觉的尺度化认知特性，在多个尺度上来观察图像的显著性，得到不同尺度上的显著描述结果。最后，通过适当的融合策略实现高效的显著性度量，并将显著区域从场景中分离出来以进行快速场景分析。本专利技术的技术方案是：一种基于层次化稀疏建模的图像显著性检测方法，包括如下步骤：(1)基于颜色和方向信息的多尺度特征图构造：1a)将一幅输入图像在水平方向和垂直方向上隔行隔列采样，形成大小为原图1/2的低分辨率图像，对此低分辨率图像继续进行下采样，得到大小为原图1/4的更低分辨率的图像，将原图和这两幅降采样后的图像作为3个尺度上的输入图像；1b)对于3个尺度上的输入图像，将红绿蓝三个彩色通道作为颜色特征图的元素，用于稀疏建模，对于每一个尺度上输入图像的亮度图，使用Gabor滤波器在0,45,90和135度四个方向上对其进行方向滤波得到描述图像方向信息的四幅方向滤波图，作为后续方向显著图的基础；(2)基于逐层自表示建模的颜色显著图创建：2a)将3个尺度上输入图像的颜色特征图按照16*16的本文档来自技高网...

【技术保护点】
一种基于层次化稀疏建模的图像显著性检测方法，其特征在于：包括如下步骤：(1)基于颜色和方向信息的多尺度特征图构造：1a)将一幅输入图像在水平方向和垂直方向上隔行隔列采样，形成大小为原图1/2的低分辨率图像，对此低分辨率图像继续进行下采样，得到大小为原图1/4的更低分辨率的图像，将原图和这两幅降采样后的图像作为3个尺度上的输入图像；1b)对于3个尺度上的输入图像，将红绿蓝三个彩色通道作为颜色特征图的元素，用于稀疏建模的特征，对于每一个尺度上输入图像的亮度图，使用Gabor滤波器在0,45,90和135度四个方向上对其进行方向滤波得到描述图像方向信息的四幅方向滤波图，作为后续方向显著图的基础；(2)基于逐层自表示建模的颜色显著图创建：2a)将3个尺度上输入图像的颜色特征图按照16*16的分块大小无重叠地分为大小相同的子块，每一个子块作为显著性描述的基本单元；2b)按照自表示模型的数据组织形式，把每个子块的所有颜色特征组合起来并形成一个代表子块结构特性的特征向量，所有子块的特征向量依次排列成为一个大的矩阵作为自表示模型中的原始数据矩阵Y；2c)将数据矩阵Y作为优化问题minλ||C||1,q+12||Yk1-Yk1C||F2s.t.1γC=1γ]]>的输入，使用交替乘子方向ADMM优化算法求解此自表示模型的解，优化算法中对系数矩阵C施加行稀疏的约束，以用尽量少的元素来表示所有数据；经过多次迭代之后便会得到自表示模型的解；按照所提出的显著性和稀疏系数之间的求解公式得到每个子块在第一层次的显著描述，si=Σj=1V|Cij|,i=1,2,...V]]>其中，si表示第i个子块的显著值，Cij为系数矩阵中第i行j列的元素，V为子块的个数；2d)对于第1个尺度上的各子块，将其显著值和所有子块显著值均值的2倍做比较，如果小于均值的2倍则认为此子块在第1个尺度上是非显著的，否则认为是显著的；在第2个层次上丢弃那些被认为是非显著的子块，对每一个显著的子块进行进一步的自表示建模；2e)将每个显著子块进一步分割为大小为8*8的更小的子块，并将对应的颜色特征组织成自表示模型的数据矩阵，经过ADMM优化算法优化求解之后会得到进一步分割后的各子块的稀疏系数；(3)基于多尺度信息融合的显著图形成：3a)经过以上步骤之后，在每个尺度上形成了两幅颜色显著图和四幅方向滤波图，将两幅不同层次上得到的颜色显著图相加形成每个尺度上的颜色显著图，代表图像逐层递进的颜色显著信息；同时将四幅方向滤波图也相加形成每个尺度上的方向显著图，代表每个尺度上图像的边缘显著信息；3b)将每个尺度上得到的颜色显著图和方向显著图进行归一化操作，使得两者具有相同的描述范围，之后对以上结果相加形成每个尺度上融合后的显著图，用以表示特定尺度上所得到的显著描述结果；3c)最后将3个尺度上的显著图进行尺度上的统一，亦即将每一幅显著图调整到原始图像的大小，通过对所有的结果按位置求平均便可以得到最终的显著图；(4)基于Otsu最优阈值分割的显著物体提取：4a)将通过以上步骤所得显著图的灰度级范围调整在0到255的8位灰度级下，运用具有二值分割效果的Otsu算法对其进行分割，得到前景和背景区域，前景区域为在此规则下得到的显著区域，背景是非显著区域；4b)根据分割后的索引图像，从原图中提取出前景部分的区域，将背景部分的区域设为黑色，自此便完成了显著检测的所有阶段，之后用受试者运行曲线、正确率召回率曲线和平均正确率、召回率及F‑measure值常用数字评价指标对所得显著图的好坏进行客观评价，并和经典的显著检测算法进行比较验证其有效性。...

【技术特征摘要】
1.一种基于层次化稀疏建模的图像显著性检测方法，其特征在于：包括如下步骤：(1)基于颜色和方向信息的多尺度特征图构造：1a)将一幅输入图像在水平方向和垂直方向上隔行隔列采样，形成大小为原图1/2的低分辨率图像，对此低分辨率图像继续进行下采样，得到大小为原图1/4的更低分辨率的图像，将原图和这两幅降采样后的图像作为3个尺度上的输入图像；1b)对于3个尺度上的输入图像，将红绿蓝三个彩色通道作为颜色特征图的元素，用于稀疏建模，对于每一个尺度上输入图像的亮度图，使用Gabor滤波器在0,45,90和135度四个方向上对其进行方向滤波得到描述图像方向信息的四幅方向滤波图，作为后续方向显著图的基础；(2)基于逐层自表示建模的颜色显著图创建：2a)将3个尺度上输入图像的颜色特征图按照16*16的分块大小无重叠地分为大小相同的子块，每一个子块作为显著性描述的基本单元；2b)按照自表示模型的数据组织形式，把每个子块的所有颜色特征组合起来并形成一个代表子块结构特性的特征向量，所有子块的特征向量依次排列成为一个大的矩阵作为自表示模型中的原始数据矩阵Y；2c)将数据矩阵Y作为数学优化模型的输入，使用交替方向乘子ADMM算法求解此自表示模型的解，优化算法中对系数矩阵C施加行稀疏的约束，以用尽量少的元素来表示所有数据；经过多次迭代之后便会得到自表示模型的解；按照所提出的显著性和稀疏系数之间的求解公式得到每个子块在第一层次的显著描述，其中，si表示第i个子块的显著值，Cij为系数矩阵中第i行j列的元素，V为子块的个数；2d)对于第1个尺度上的各子块，将其显著值和所有子块显著值均值的2倍做比较，如果小于均值的2倍则认为此子块在第1个尺度上是非显著的，否则认为是显著的；在第2个层次上丢弃那些被认为是非显著的子块，对每一个显著的子块进行进一步的自表示建模；2e)将每个显著子块进一步分割为大小为8*8的更小的子块，并将对应的颜色特征组织成自表示模型的数据矩阵，经过ADMM优化算法优化求解之后会得到进一步分割后的各子块的稀疏系数；(3)...

【专利技术属性】
技术研发人员：杨淑媛，焦李成，王士刚，张凯，侯彪，刘红英，马晶晶，马文萍，熊涛，刘赵强，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61