用于识别图像中的干扰元素的方法、装置和系统制造方法及图纸

本公开内容涉及用于识别图像中的干扰元素的方法、装置和系统。公开了一种识别图像（比如，1100）中的干扰元素的方法。对图像（1100）确定视觉注意力图（比如，1120），视觉注意力图（1120）表示图像的一个或多个区域，所述区域中的至少一个对应于图像的对象的至少一部分。对图像（1100）确定显著区域图（比如，1110），显著区域图包括定义图像（1100）的一个或多个更多区域的视觉吸引力值的分布，所述一个或多个更多区域被归类为是显著的。确定视觉注意力图（1120）与显著区域图（1110）之间的交集，以识别图像（1100）中的干扰元素。干扰元素对应于显著的区域中的至少一个。

【技术实现步骤摘要】

本专利技术涉及图像处理领域，具体地讲，涉及图像增强。本专利技术还涉及一种用于识别图像中的干扰元素的方法和装置、以及一种包括其上记录有用于识别图像中的干扰元素的计算机程序的计算机可读介质的计算机程序产品。
技术介绍
观看图像的人将不会注意到图像的整个内容，而是将选择性地查看图像内的区域。通过组合的技术(诸如选择聚焦、颜色和亮度对比度以及图像所捕获的场景中的元素的定位)，专业级图像、照片或绘画将引导观看者的目光朝向感兴趣区域。并非所有图像从业者都一样精通。此外，图像内所捕获的场景不一定能被控制。结果，大量图像包含妨碍预期的摄影输出的干扰元素。这样的图像“干扰物”可被认为是图像中的不需要的、不必要的元素，这些元素吸引观察者的注意力离开最初预期的(或主要的)对象或感兴趣区域。图像中的干扰元素可包括伪影(artefact)。移除干扰元素通常是两步处理，该两步处理涉及检测作为干扰元素(或干扰物)的图像区域、以及移除该干扰元素(或干扰物)或使该干扰元素(或干扰物)弱化(attenuation)。然而，干扰元素的统计数据和表现形式可以有很大的差别。移除干扰元素需要了解在没有干扰元素的情况下图像看起来将是什么样的。降低干扰元素的可见性的大多数常规方法集中于移除非常具体的情况(诸如噪声、灰尘或刮擦)。在这些情况下，通常构建干扰元素(或干扰物)的模型，并利用该模型来识别图像中的伪影。一旦被识别，就使用同一模型来推断无干扰物的图像。当图像的大的区域被识别为干扰元素时，可利用修复方法来重构图像的无伪影版本。然而，修复方法众所周知是不可靠的并且计算成本高。基于目标的干扰元素弱化方法的重要缺点是，这样的方法降低了目标颜色空间中的通常具有非常小的感知重要性的干扰元素的幅度(比如，峰值信噪比(psnr)或国际照明委员会(CIE)Delta E)。然而，在摄影中或者在人类用户/观察者是预期观看者的任何时候，干扰物具有感知性。干扰元素对感知到的图像质量的冲击和影响以主观的方式变化。试图解决图像中的干扰元素问题的大多数常规方法通过回避该问题来解决该问题。例如，识别图像的对象或感兴趣区域，并且将不是对象的一部分的部分作为“噪声”(或背景)对待。然后通过裁掉图像的非对象部分或者使这些非对象部分模糊来使图像的非对象部分的可见性统一降低。尽管这样的方法可降低干扰元素(或干扰物)的可见性，但是这样的方法不一定改进图像的感知质量。通常，改变如此大且广泛，以至于从感知角度来讲，这样的方法的有效性高度依赖于图像、内容和观察者。因此，对识别图像中的干扰元素的改进方法的需求显然存在。
技术实现思路
本专利技术的一个目的是基本上克服或至少改善现有布置的一个或多个缺点。 根据本公开内容的一方面，提供了 一种识别图像中的干扰元素的方法，所述方法包括:对所述图像确定视觉注意力图(visual attention map),所述视觉注意力图表示所述图像的一个或多个区域，所述区域中的至少一个对应于所述图像的对象的至少一部分；对所述图像确定显著区域图(salient region map),所述显著区域图包括定义所述图像的一个或多个更多(further)区域的视觉吸引力值的分布，所述一个或多个更多区域被归类为是显著的；以及基于所述视觉注意力图和所述显著区域图来识别所述图像中的干扰元素，其中，所述干扰元素对应于显著的区域中的至少一个。根据本公开内容的另一方面，提供了一种用于识别图像中的干扰元素的装置，所述装置包括:用于对所述图像确定视觉注意力图的部件，所述视觉注意力图表示所述图像的一个或多个区域，所述区域中的至少一个对应于所述图像的对象的至少一部分；用于对所述图像确定显著区域图的部件，所述显著区域图包括定义所述图像的一个或多个更多区域的视觉吸引力值的分布，所述一个或多个更多区域被归类为是显著的；以及用于基于视觉注意力图和显著区域图来识别所述图像中的干扰元素的部件，其中，所述干扰元素对应于显著的区域中的至少一个。根据本公开内容的又一方面，提供了一种用于识别图像中的干扰元素的系统，所述系统包括:存储器，其用于存储数据和计算机程序；处理器，其与所述存储器耦接以执行所述计算机程序，所述计算机程序包括用于执行以下步骤的指令:对所述图像确定视觉注意力图，所述视觉注意力图表示所述图像的一个或多个区域，所述区域中的至少一个对应于所述图像的对象的至少一部分；对所述图像确定显著区域图，所述显著区域图包括定义所述图像的一个或多个更多区域的视觉吸引力值的分布，所述一个或多个更多区域被归类为是显著的；以及基于所述视觉注意力图和所述显著区域图来识别所述图像中的干扰元素，其中，所述干扰元素对应于显著的区域中的至少一个。根据本公开内容的又一方面，提供了一种其上记录有用于识别图像中的干扰元素的计算机程序的计算机可读介质，所述程序包括:用于对所述图像确定视觉注意力图的代码，所述视觉注意力图表示所述图像的一个或多个区域，所述区域中的至少一个对应于所述图像的对象的至少一部分；用于对所述图像确定显著区域图的代码，所述显著区域图包括定义所述图像的一个或多个更多区域的视觉吸引力值的分布，所述一个或多个更多区域被归类为是显著的；以及用于基于视觉注意力图和显著区域图来识别所述图像中的干扰元素的代码，其中，所述干扰元素对应于显著的区域中的至少一个。还公开了本专利技术的其它方面。附图说明现在将参照附图来描述本专利技术的一个或多个实施例，在附图中:图1是示出修改图像的方法的流程图；图2是示出如在图1的方法中执行的、确定视觉注意力图的方法的流程图；图3是示出如在图1的方法中执行的、确定视觉注意力图的可替换方法的流程图；图4是示出如在图1的方法中执行的、确定视觉注意力图的另一可替换方法的流程图；图5是示出如在图1的方法中执行的、识别图像中的一个或多个干扰元素的方法的流程图；图6是示出如在图1的方法中执行的、识别图像中的一个或多个干扰元素的另一可替换方法的流程图；图7是示出如在图1的方法中执行的、使输入图像的区域(或干扰元素)的显著性弱化的方法的流程图；图8是示出修改图像的可替换方法的流程图；图9是示出修改图像的另一可替换方法的流程图；图1OA和图1OB形成可在其上实施所描述的布置的通用计算机系统的示意性框图；图1lA示出示例性图像；图1lB示出根据所述方法对图1lA的图像确定的显著区域图；图1lC示出根据所述方法对图1lA的图像确定的视觉注意力图；图1lD示出对图1lA的图像确定的干扰物图；和图1lE示出根据图1的方法对图1lA的输入图像确定的输出图像。具体实施例方式在任何一个或多个附图中提及具有相同附图标记的步骤和/或特征的情况下，为了该描述的目的，这些步骤和/或特征具有相同的功能或操作，除非出现相反的意图。公开了设法修改图像以使得通过各种形态获得的预测的“视觉注意力图”相类似的方法。以下所述的方法使图像中的视觉上无吸引力的或分散注意力的元素的可见性最小化，并确保被不同观察者观看的图像以统一的方式被感知。具体地讲，下面参照图1来描述通过使图像中的干扰元素弱化来修改图像的方法100。所描述的方法100对图像进行修改，以使得图像中的干扰元素的可见性最小化。干扰元素是图像的这样的区域，该区域吸引观察者的注意力离开图像的预期的主要对象或主要感兴趣区本文档来自技高网...

【技术保护点】
一种识别图像中的干扰元素的方法，所述方法包括：对所述图像确定视觉注意力图，所述视觉注意力图表示所述图像的一个或多个区域，所述区域中的至少一个对应于所述图像的对象的至少一部分；对所述图像确定显著区域图，所述显著区域图包括定义所述图像的一个或多个更多区域的视觉吸引力值的分布，所述一个或多个更多区域被归类为是显著的；以及基于所述视觉注意力图和所述显著区域图来识别所述图像中的干扰元素，其中，所述干扰元素对应于显著的区域中的至少一个。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：C·弗雷德姆巴赫，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：