一种基于方向选择性的增强图像显著性预测方法技术

本发明专利技术公开了一种基于方向选择性的增强图像显著性预测方法。首先，将输入图像变换到感知均匀的LAB颜色空间，并将图像大小变为96*96。然后，通过提出的模型EOSS计算LAB三通道的子显著图。提出的模型分两部分。显著性预测部分，基于方向选择性提取局部特征“兴奋度”图搜索可能显著的像素，基于视觉敏感度提取全局特征“敏感度”图调制搜索过程，计算两种特征结合的局部熵得到候选的显著区域。显著性增强部分，模拟人眼凹点特性，设计一个基于视觉错误敏感度的算子局部和全局地促进显著图中有意义的信息。最后，加权相加高斯滤波并归一化的子显著图得到最终的显著图。本发明专利技术方法在Toronto，MIT和NUSEF三个通用图像数据库上进行试验，都具有较高的鲁棒性和准确性。

A Method of Improving Image Saliency Prediction Based on Direction Selection

【技术实现步骤摘要】
一种基于方向选择性的增强图像显著性预测方法
本专利技术涉及一种显著性预测方法，特别是涉及一种基于方向选择性的增强的图像显著性预测方法，属于图像处理、计算机视觉领域。
技术介绍
显著性预测是人类视觉系统从视觉刺激中获取重要信息的一项重要技术。日常生活中，人们需要处理比他们所能处理的更多的视觉信息，为了处理这个问题，人类视觉系统利用显著性预测机制，选择性地处理视觉信息中吸引人类注意的显著部分而忽略其它部分。显著性预测已经成为一种重要的预处理工具，广泛应用于各种应用，例如图像质量评价、视频编码、目标跟踪与识别等等。在过去的几十年里，大量的显著性预测模型被提出，并且它的数量依然在快速增长。总的来说，显著性预测中存在着两种有区别的机制。自底向上机制，快速且是刺激驱动的，仅仅依赖于输入信号本身。自顶向下机制，缓慢且是任务驱动的，需要采用额外的先验知识或者用于学习的数据。基于这种概念，存在的显著性模型可以被大致分为两类：1)自底向上模型；2)自底向上和自顶向下结合的模型。对于第一种类型，大量的显著性模型通过计算中心周围对比或者块的稀有性得到局部的显著性，另一部分模型利用输入图像的前景/图形属性得到全局的显著性，这类模型的特点是设计简单明确但预测准确率不高。对于第二种类型，一些基于自然图像统计的先验信息被用于指导显著性预测，近年来越来越多基于卷积神经网络的显著性模型被提出，这类模型的特点是预测准确率高但原理不明确且复杂度高。所以，怎样在没有大量训练和学习的情况下预测各种简单和复杂场景的显著性，怎样提高包含情感和语义场景属性的图片的预测准确率，是目前需要进一步解决的难题。专利
技术实现思路
本专利技术的目的是为了对各种自然和情感图像进行更准确的显著性预测，提出一种基于方向选择性的增强的图像显著性预测方法。由于显著性预测可以被认为是人眼视觉系统的活动，最有效的显著性预测思想应该高度近似于人类视觉系统对感知信息的响应。最近，认知神经科学的研究发现初级视觉皮层存在着明显的方向选择机制，通过这种机制人类视觉系统可以提取输入刺激的各种视觉特性用于场景感知和理，很自然地，我们可以通过方向选择性搜索视觉显著的特征。同时，根据指导搜索理论，全局感知信息很早地从视觉输入中提取出来然后用于指导显著性搜索，因此我们可以通过视觉敏感度提取视觉上显著的边缘作为一种全局轮廓信息指导显著性搜索过程。进一步地，考虑到人眼的凹点特性，即人类视觉系统对映射到人眼中央凹区的显著物体最敏感，并随着离中央凹区的距离越来越远人眼的敏感度快速下降，我们可以设计一种基于视觉错误敏感度的增强算子用于促进显著图中有意义的信息。本专利技术方法能有效地提高各种自然和情感图像的显著性预测结果，不仅可以在各种客观指标上取得优越的分数，而且在主观视觉上也有更好的效果。此外，本专利技术对于研究人类对视觉刺激的响应和显著性预测之间的关系也具有重要的借鉴意义。为达到上述目的，本专利技术的构思是：首先，根据指导搜索理论，通过利用方向选择性和视觉敏感度对输入图像中刺激人类视觉系统的局部和全局的特征进行提取和融合，得到人类视觉系统相对于输入刺激基本的响应，从而可以更加鲁棒和准确地找到候选的显著区域的位置，水平和大小。进一步地，考虑到人眼的凹点特性，设计一种基于视觉错误敏感度的增强算子用于局部和全局地促进显著图中候选显著区域的有意义信息。通过上述思想对输入图像进行处理，即本专利技术所述的基于方向选择性的增强显著性预测模型。根据上述构思，本专利技术采用如下技术方案：一种基于方向选择性的增强的图像显著性预测方法，包括如下步骤：步骤1、图像预处理：由于感知均匀的LAB颜色空间更加符合人类感知特性，首先将输入的RGB图像转换到LAB颜色空间，同时为了节省计算时间，进一步将L、A、B三个图像通道变换到96*96大小的图像表达。步骤2、显著性预测：通过方向选择机制(OrientationSelectivityMechanism)，人类视觉系统提取输入刺激的各种视觉特性用于场景感知和理解。由于人类视觉系统选择性地处理视觉刺激的重要部分，很自然地，通过方向选择机制提取视觉上显著的特征。受此启发，在步骤1得到的图像通道上，基于方向选择机制提取局部特征“兴奋度”图用于搜索可能显著的像素。根据指导搜索理论(GuidedSearchTheory)，全局感知信息很早地从视觉输入中提取出来，然后用于指导显著性搜索。所以，进一步在图像通道上，基于视觉敏感度提取全局特征“敏感度”图用于调制搜索过程。最后，通过计算上述两种特征的结合的局部熵得到候选显著区域的位置，水平和大小。步骤3、显著性增强：人眼对映射到凹点的注视区域是以最高的分辨率感知的因此对错误最敏感，而随着离注视区域越来越远人眼的感知分辨率和错误敏感度快速下降。通过模拟这种凹点特性，设计了一种基于视觉错误敏感度的增强算子，用于局部和全局地促进步骤2中得到的显著图中的有意义的信息。步骤4、显著图融合：对于步骤3得到的L、A、B通道的子显著图，通过高斯滤波、归一化，然后加权相加，得到最终的显著图。本专利技术方法主要是考虑到显著性预测和人类视觉系统(HumanVisualSystem)对感知信息的响应之间的关系，因此借助于认知神经科学中发现的存在于初级视觉皮层(PrimaryVisualCortex)的方向选择机制，通过利用图像中当前像素及其邻近像素间的方向选择响应，能有效地提取一种称作“兴奋度”图的局部特征，用于搜索可能显著的像素。同时，受人类视觉系统的指导搜索理论启发，通过利用视觉敏感度计算得到视觉上显著的边缘，能有效地提取一种称作“敏感度”图的全局布局特征，用于调制显著性搜索过程。然后，根据人脑活动过程高度近似于熵编码，通过结合上述局部和全局特征并计算其局部熵可以自然而然地得到候选显著区域的位置，水平和大小。进一步地，通过考虑人眼凹点特性并结合哈达玛积算子，设计了一种基于人眼错误敏感度增强的算子，用于局部和全局地促进显著图中有意义的信息并抑制噪声，得到最终的显著图。本专利技术与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点：1、本专利技术方法充分考虑了人类视觉系统对输入刺激的响应和显著性预测之间的关系，并基于这种关系提出了一种基于方向选择性的增强显著性预测模型。2、本专利技术方法首次将方向选择性用于显著性预测，并受指导搜索理论启发，结合基于视觉敏感度提取的全局轮廓信息，从局部和全局的角度预测可能的显著性区域。3、本专利技术方法考虑人眼凹点特性，设计了一种基于人眼错误敏感度增强的算子用于局部和全局地增强显著图中有意义的信息。4、本专利技术方法不用经过大量的训练和学习，仅仅依赖于输入刺激本身，就可以很好地预测各种简单和复杂场景的显著性，而且在自然和情感场景均可以取得不错的结果。附图说明图1为本专利技术提出的显著性预测算法的基本流程框图。图2为基于方向选择性的兴奋度值的示例图。图3为Toronto数据集(a)和MIT数据集(b)中不同的方向差对显著性预测结果的影响。图4为Toronto数据集中简单和复杂场景下不同模型预测结果的主观质量对比。图5为NUSEF数据集中情感和语义场景下不同模型预测结果的主观质量对比。具体实施方式本专利技术的优选实施例结合附图详述如下：本实施例提出的基于方向选择性的增强图像显著性预测方法的本文档来自技高网...

【技术保护点】
1.一种基于方向选择性的增强图像显著性预测方法，其特征在于，包括如下步骤：步骤1、图像预处理：由于感知均匀的LAB颜色空间更加符合人类感知特性，首先将输入的RGB图像转换到LAB颜色空间，同时为了节省计算时间，进一步将L、A、B三个图像通道变换到96*96大小的图像表达；步骤2、显著性预测：在步骤1得到的图像通道上，基于方向选择机制提取局部特征“兴奋度”图用于搜索可能显著的像素；进一步在图像通道上，基于视觉敏感度提取全局特征“敏感度”图用于调制搜索过程；最后，通过计算上述两种特征的结合的局部熵得到候选显著区域的位置，水平和大小；步骤3、显著性增强：设计一种基于视觉错误敏感度的增强算子，用于局部和全局地促进步骤2中得到的显著图中的有意义的信息；步骤4、显著图融合：对于步骤3得到的L、A、B通道的子显著图，通过高斯滤波、归一化，然后加权相加，得到最终的显著图。

【技术特征摘要】
1.一种基于方向选择性的增强图像显著性预测方法，其特征在于，包括如下步骤：步骤1、图像预处理：由于感知均匀的LAB颜色空间更加符合人类感知特性，首先将输入的RGB图像转换到LAB颜色空间，同时为了节省计算时间，进一步将L、A、B三个图像通道变换到96*96大小的图像表达；步骤2、显著性预测：在步骤1得到的图像通道上，基于方向选择机制提取局部特征“兴奋度”图用于搜索可能显著的像素；...

【专利技术属性】
技术研发人员：王永芳，叶鹏，
申请(专利权)人：上海大学，
类型：发明
国别省市：上海,31