一种联合多种上下文线索的图像关注区域检测方法技术

本发明专利技术涉及一种联合多种上下文线索的图像关注区域检测方法，首先在大规模图像数据集上构建树状结构的层次化上下文模型，其中对每一个叶子节点都生成混合高斯模型，用于涵括特定类型场景下对象及其位置关系的先验知识。对于和某类型场景具有相似空间布局的测试图像，先找到与该场景类型对应的预先训练好的混合高斯模型，用作图像外部线索模型，并结合图像内部上下文特征来联合计算图像的显著性。此外，由于人眼的注意力能很快地在不同刺激位置快速转换，为更好的判断能被人眼快速捕捉到的图像块的显著性，本发明专利技术采用马尔可夫链机制构建刺激驱动的注意力转换模型。本发明专利技术可以广泛应用于计算机视觉显著性领域对真实世界进行认知、分析和理解。

【技术实现步骤摘要】

本专利技术涉及计算机视觉关注和图像场景理解领域，具体地说是联合多种上下文线索的图像关注区域检测方法。
技术介绍
图像显著性计算是计算机视觉领域中一个基本且重要的研究问题。目前，国内外关于视觉显著计算的研究主要集中在探索人类视知觉系统如何对输入的海量视觉信息进行选择性处理。从信号处理的认知角度看，自然场景中没有什么元素是全新的。在日常生活中，常常有很高刺激信号但是非常常见熟悉的对象或者区域，在人类视觉系统中，这些对象或者区域会被在认识早期阶段就被过滤掉，或是因为图像内部特征线索，或是因为图像外部特征线索。在这种方式下，只有最显著的图像对象或者区域会最终进入到人类的大脑中进行信息处理。视觉注意力选择机制是对人类认识、分析和理解真实世界的最重要的一种机制。在过去二十年，模拟视觉注意力选择机制成为计算机领域中一个非常重要的热门研究点。各式各样的显著性模型在很多文献中被发表。总的来说，这些研究的主要目的是在图像视频中有效的计算出最显著的视觉元素。在计算过程中，大多数都接受这样一个前提，即独特罕见的视觉元素是视觉显著的。在这种前提下，很多显著模型都衡量视觉元素块的独特性和不规则性。1998年，Itti采用对比度的方式来计算视觉不规则员。2005年Hu采用纹理差异来衡量不同视觉元素的显著性。在2009年，Gao引入交互信息计算显著性。这些模型在只结合图像内部线索可以计算出不错的显著结果。但现在有一个越来越有挑战性的问题，即在图像中存在一些干扰视觉元素，这些干扰视觉元素在视觉系统中并不是显著的，但却拥有和显著视觉元素相同的视觉属性。若用经典的显著计算模型来计算这类图像的显著性时，常常会误将干扰视觉元素认为是显著的。针对该问题有一个常用的客服办法，用监督的学习方法对已经标注好的图像集进行训练，使训练得到的模型可以更强调图像内部显著的视觉元素。但是这类方法常常会出现过拟合的错误结果，因为用户标注的图像训练是常常是有限的，不能涵括到经常出现的显著性目标。通过仔细观测图像训练集，我们发现干扰对象在图像集中经常出现，而显著对象在这些图像集中是经常变换，也就是说显著目标比干扰视觉元素有更大的变动性。
技术实现思路
根据上述需求，为了克服现有技术的不足，本专利技术的目的在于：提供联合多种上下文线索的图像关注区域检测方法，该方法通过模拟人类视觉系统的相关机制来实现对图像场景的视觉显著性计算。为完成专利技术目的，本专利技术采用的技术方案是：联合多种上下文线索的图像关注区域检测方法，该方法包含以下步骤：步骤(1)构造出大规模图像数据集，该数据集应涵括多种图像场景类别，并对图像数据集进行预处理；步骤(2)利用层次聚类算法，判别数据集中的场景类别，构建出树状结构的层次化上下文模型；步骤(3)对图像内部上下文线索进行处理，得到图像的颜色特征、对比度特征、位置特征等内部特征；步骤(4)构建混合高斯模型，用于表征指定图像场景中类别对象及其位置关系的先验知识，用作图像外部上下文特征；步骤(5)利用图像内部特征，结合图像内部上下文线索，检测图像内部视觉刺激信号；步骤(6)充分考虑相同类别图像场景的上下文信息，利用混合高斯模型，结合图像外部上下文线索，检测外部图像视觉刺激信号；步骤(7)联合图像内部、外部上下文线索检测到的刺激信号，并用马尔可夫链机制构建视觉刺激信号驱动的图像显著性估计。进一步的，所述大规模图像数据集为确保涵盖多种类型的图像场景，在互联网上图片网站上用大量的关键词进行搜集；得到该初始数据集之后，删去重复内容的图像，并移除不符合尺寸大小要求的图像，从而确保构造出尽可能多的涵盖日常生活常见的图像场景类型的大规模图像数据集。此外，为方便后续过程对图像的处理，该数据集所有图像的大小进行归一化。判别数据集中场景类别，首先用GIST描述符来表征数据集图像，使用层次聚类算法建立一个树状结构，一开始将所有的图像归为同一类图像场景，然后逐步将他们划分为更小的单元，在迭代过程中对划分过程定义一个松散度，当松散度最小的那个类的结果都小于一个阀值，则认为划分可以终止，最终产生层次聚类的树结构。该树结构的每一个叶子节点都代表一类指定的图像场景，并为每一个指定的叶子节点构建一个混合高斯模型。对指定场景类别的中的图像具有表征对象及其位置关系的先验知识，因而利用图像内部上下文线索，可以在LAB颜色空间上采用多层小波变换等方法获取颜色特征、对比度特征、位置特征。这些特征可涵盖两个属性；一是该类型图像场景中包含可能有的对象先验；二是所包含的对象所在的位置先验。此先验知识，在计算图像显著性时，可以帮助锁定最具显著性的目标以及抑制有不规则形状但很常见的干扰对象。所述混合高斯模型就是指对样本的概率密度分布进行估计，而估计的模型是几个高斯模型加权之和。每个高斯模型就代表了一个类。对样本中的数据分别在几个高斯模型上投影，就会分别得到在各个类上的概率。在构建指定混合高斯模型时，然后我们可以选取概率最大的类所为判决结果，从而得到图像中对象及其位置关系的最大可能概率。其中构建的混合高斯模型中的基础处理单位是固定大小的图像块，并对图像块提取图像内部特征，为更高处理效率，需要用降维方法得到低维向量。图像内部视觉刺激信号值是指在图像内部上下文线索指导下的图像块获取刺激信号的最大概率，所述的图像内部特征来自于图像本身生成的多尺度对比度特征。多尺度对比特征能很好的表达在不同尺寸和不同方向下图像块与相邻图像块的差异值。若从其他图像块的观测中很容易的检测到待测图像块的刺激信号值，说明该图像块缺少视觉刺激信号。图像外部视觉刺激信号是指图像块与在相似图像集中同一位置的图像块比较时获得刺激信号的概率值，该过程涉及到混合高斯模型。为求解根据图像外部上下文线索得到的刺激信号，首先用图像的GIST描述符与层次上下文模型的树结构叶子节点的平均GIST描述符进行比较，得到与测试图形最相似的叶子节点所代表的图像场景类别。该场景类别中图像数据集用作测试图像的外部上下文线索,用该场景类别对应的混合高斯模型，得到根据图像外部上下文线索得到的图像视觉刺激信号。分别计算根据图像内部上下文和外部上下文得到刺激信号后，本专利技术将它们进行结合得到联合刺激信号。由于图像外部上下文线索可以帮助提高真实目标的显著性，抑制非规则但很熟悉的干扰对象。因此在根据内部线索和外部线索得到刺激信号后，联合它们得到综合刺激图。随后采用马尔可夫链机制来模拟刺激信号驱动的注意力之间的转换过程，并最终得到图像的显著性估计。与现有的本文档来自技高网...

【技术保护点】
一种联合多种上下文线索的图像关注区域检测方法，其特征在于该方法包括以下步骤：步骤(1)构造出大规模图像数据集，该数据集涵括多种图像场景类别，并对图像数据集进行预处理；步骤(2)利用层次聚类算法，判别数据集中的场景类别，构建出树状结构的层次化上下文模型；步骤(3)对图像内部上下文线索进行处理，得到图像的内部特征:颜色特征、对比度特征、位置特征；步骤(4)构建混合高斯模型，用于表征指定图像场景中类别对象及其位置关系的先验知识，用作图像外部上下文特征；步骤(5)利用图像内部特征，结合图像内部上下文线索，检测图像内部视觉刺激信号；步骤(6)考虑相同类别图像场景的上下文信息，利用混合高斯模型，结合图像外部上下文线索，检测外部图像视觉刺激信号；步骤(7)联合图像内部、外部上下文线索检测到的刺激信号，并用马尔可夫链机制构建视觉刺激信号驱动的图像显著性估计。

【技术特征摘要】
1.一种联合多种上下文线索的图像关注区域检测方法，其特征在于该方法包括以下步
骤：
步骤(1)构造出大规模图像数据集，该数据集涵括多种图像场景类别，并对图像数据
集进行预处理；
步骤(2)利用层次聚类算法，判别数据集中的场景类别，构建出树状结构的层次化上
下文模型；
步骤(3)对图像内部上下文线索进行处理，得到图像的内部特征:颜色特征、对比度特
征、位置特征；
步骤(4)构建混合高斯模型，用于表征指定图像场景中类别对象及其位置关系的先验
知识，用作图像外部上下文特征；
步骤(5)利用图像内部特征，结合图像内部上下文线索，检测图像内部视觉刺激信号；
步骤(6)考虑相同类别图像场景的上下文信息，利用混合高斯模型，结合图像外部上
下文线索，检测外部图像视觉刺激信号；
步骤(7)联合图像内部、外部上下文线索检测到的刺激信号，并用马尔可夫链机制构
建视觉刺激信号驱动的图像显著性估计。
2.根据权利要求1所述的联合多种上下文线索的图像关注区域检测方法，其特征在于：
步骤(1)中所述大规模图像数据集为确保涵盖多种类型的图像场景，在互联网上图片网站
上用多个关键词进行搜集；得到该初始数据集之后，删去重复内容的图像，并移除不符合尺
寸大小要求的图像；此外，为方便后续过程对图像的处理，该数据集所有图像的大小进行归
一化。
3.根据权利要求1所述的联合多种上下文线索的图像关注区域检测方法，其特征在于：
步骤(2)中判别数据集中场景类别，首先用GIST描述符来表征数据集图像，使用层次聚类
算法建立一个树状结构，一开始将所有的图像归为同一类图像场景，然后逐步将他们划分为
更小的单元，在迭代过程中对划分过程定义一个松散度，当松散度最小的那个类的结果都小
于一个阀值，则认为划分可以终止，最终产生层次聚类的树结构；该树结构的每一个叶子节
点都代表一类指定的图像场景，并为每一个指定的叶子节点构建一个混合高斯模型。
4.根据权利要求3所述的联合多种上下文线索的图像关注区域检测方法，其特征在于：
划分过程中的松散度是计算每两个类之间的距离，即样本与样本之间的相似度，计算方式是

\t取两个类中距离最近的两个样本的距离作为这两个类的距离，也就是说，最近两个样本之间
的距离越小，这两个类之间的相似度就越大。
5.根据权利要求1所述的联合多种上下文线索的图像关注区域检测方法，其特征在于：
步骤(3)中对指定场景类别的中的图像具有表征对象及其位置关系的先验知识，因而利用
图像内部上下文线索，可以在LAB颜色空间上采用多层小波变换...

【专利技术属性】
技术研发人员：李甲，陈小武，赵沁平，夏长群，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11