一种基于显著图的可变块图像修复方法技术

一种基于显著图的可变块图像修复方法，包括：1)、利用模拟生物体视觉注意机制的选择性注意模型，生成待修复图像的显著图；2)、计算未知区域边界上的各点为中心的块内的可信度、结构信息及显著度项，获得修复优先级；并以优先级最高的点为中心的块作为待修复块；3)、根据待修复块周围已知的像素均值、梯度及显著度变化调整块大小；4)、在已知区域搜索最匹配的块来填充待修复块内的像素；并更新修复像素的可信度和显著度；循环步骤2)‑4)直至图像修复毕。其利用待修复图像的显著信息改进修复的优先级，大大缓解了传统修复的贪婪问题；同时能根据待修复区域周围环境调整块大小，满足不同的修复需求。

A variable block image inpainting method based on saliency map

A variable block image restoration method based on saliency map, including: 1), selective attention model by simulating biological visual attention mechanism, saliency image inpainting; 2), calculate the unknown regions on the boundary of each point as the center of the block in reliability, structural information and significant degree, obtain repair the highest priority priority; and to the point as the center of the block as to repair; 3), the block size is adjusted according to the inpainting block around the known pixels, mean gradient and significant changes; 4), the most known search block matching in the region to be filled pixel block in the repair and update the pixel repair; credibility and salience; step 2) cycle 4) until the image restoration of bi. The use of information to repair the image significantly improved repair priority, greatly ease the problem of the traditional greedy repair; at the same time can be adjusted according to the block size of the area to be repaired the surrounding environment, to meet the different needs of the repair.

【技术实现步骤摘要】
一种基于显著图的可变块图像修复方法
本专利技术属于计算机视觉、计算机图形学领域，特别涉及一种基于显著图的可变块图像修复方法。技术背景图像修补技术具有广泛的应用领域，主要包括受损照片修复和数字视觉特效两大方面。由于保管条件或人为等种种因素，一些具有极高的收藏价值和历史价值的美术作品或老照片出现裂痕和划痕，因此对这些文物和数据进行修复具有十分重要的意义。通过数字图像修补技术，只需确定待修复的区域，计算机就可以按照指定的算法进行修复，避免了手工修复耗费的大量时间。同时，在数字视觉特效制作和虚拟现实领域方面的应用主要涉及物体的移除和场景编辑。具体应用包括对获取的场景照片中的闯入者或者固定遮挡物的移除。图像修复的问题可以如下概括：给定一幅图像，可能有残缺部分或者有需要移除的部分,然后以一种符合视觉需求的方式填补待修复区域。尽管图像修复的问题看起来简单，但是要使修复后的图像尽如人意却是非常之难。近些年涌现出大量的图像修补算法，而其大概可以归为三类：基于统计的方法，基于偏微分方程的方法，基于块的方法。基于统计的方法主要用在纹理合成上，通过参数统计模型提取输入纹理的统计数据，再调整输出图像直到其统计数据与输入相匹配。这类方法的主要缺点是其统计模型只适用于纹理合成，对包含结构信息的图像修复效果不佳。基于偏微分方程的方法将图像修补看作是将空洞周围已知像素作为边界条件下的偏微分方程或变分求解问题，因此图像修补变成已知信息向丢失信息区域的扩散过程。基于偏微分方程的方法可以很好的保存结构信息，然而在处理较大信息丢失区域或者纹理丰富的图片时，会产生模糊的修补结果。而至今为止修复效果最好一类的就是基于块的方法，这些方法以块为单位，通过复制已知区域的内容到未知区域来实现修复。然而这些方法受限于两点：其修复的贪婪性和块大小选择对修复效果的影响。尽管已有一些基于全局最优的方法试图解决其贪婪性，然而结果表明这些方法只是减轻其贪婪性，同时带来了大量的计算复杂度。同样的，在块大小选择的问题上，如果块选择过小，则不能充分考虑局部的纹理特性，如果块选择过大则可能导致块内包含过多结构信息，不利于修复。同时，块过大也易受视差和小角度旋转的影响。一般方法都是人为的选择比能包含已知区域最大可分辨纹理的块大小，而很多情况下同样的块大小不能满足所有未知区域修复的要求。本专利技术在基于块的方法基础上，利用显著信息减轻修复过程中的贪婪问题，同时根据待修复区域周围环境选择块大小以满足不同的修复需求。
技术实现思路
为了克服现有数字图像修补技术存在的上述问题，本专利技术提供一种基于显著图的可变块图像修复方法，其根据待修复图像的已知区域信息修复未知区域得到视觉上合理的修复图像，以待修复图像的显著信息来改进修复的优先级，缓解修复过程中的贪婪问题，同时可以根据块周围的环境调整块大小以满足不同的修复需求。本专利技术提供的基于显著图的可变块图像修复方法，包括以下步骤：1)、输入含有已知区域及未知区域的待修复图像，利用模拟生物体视觉注意机制的选择性注意模型，根据像素点颜色、亮度、方向特征与周边背景特征的对比，得到待修复图像所有点的显著度构成一张显著图；2)、确定未知区域边界上的点的修复优先级，分别计算每一点为中心的块内的可信度——已知像素百分比，结构信息及显著度项，将三者的乘积作为修复优先级；并选出优先级最高的点为中心的块作为待修复块；3)、在待修复块周围不同像素大小(如5*5，7*7，…，17*17)的块中，找出相邻的块之间已知的像素均值、梯度及显著度变化最大的相邻块，调整待修复块的大小为该相邻块中较小块的大小(即选择该相邻块中较小块的大小作为待修复块的大小)；使调整后的待修复块与该相邻块中较大块内已知的像素均值、梯度及显著度变化最大；4)、依据待修复块内像素颜色值及平均显著度，在已知区域搜索最匹配的块来填充待修复块内的像素；然后根据匹配代价更新已修复像素的可信度，并利用该匹配块内平均显著度更新修复像素的显著度；其中，该匹配代价是待修复块与搜索到的最匹配块内像素颜色值的欧氏距离和显著度的差的绝对值；循环重复步骤2)-4)，直至填满待修复图像的未知区域内的所有像素。上述图像修复方法中，采用的一种待修复图像的显著图生成方法，包括以下步骤：(11)先将待修复图像表示成9层的高斯金字塔，其中第0层是待修复图像，1-8层分别是用5*5的高斯滤波器对待修复图像进行滤波和采样形成的图像，大小分别为待修复图像的1/2到1/256；并分别提取高斯金字塔每一层的亮度I、红色R、绿色G、蓝色B、黄色Y及方向O特征，形成特征金字塔；同时对各种特征分别在特征金字塔的不同尺度间作差；(12)把上述得到的每一个特征图归一化到区间[01]，然后分别把每一种归一化后的特征图逐点求和，得到对应于每一种特征的显著图,综合所有特征的显著性，得到对应于待修复图像的显著图。步骤(11)中，所述亮度I、红色R、绿色G、蓝色B、黄色Y特征公式分别为：I＝(r+g+b)/3R＝r-(g+b)/2G＝g-(r+b)/2B＝b-(r+g)/2Y＝(r+g)/2-|r-g|/2-b其中，r,g,b分别对应待修复图像的红、绿、蓝三通道；所述方向O特征由方向Gabor滤波O(σ,θ)对金字塔σ∈[0..8]和方向θ∈{0°,45°,90°,135°}分别滤波得到；步骤(12)归一化之前,进一步可对每个特征图分别用二维高斯差函数进行卷积，并把卷积结果叠加回原特征图，使同种特征以侧抑制的方式在空间上竞争，卷积和迭代过程进行2-5次，以消除干扰噪声突出显著部分。本专利技术是传统基于块修复技术的一种改进图像修复方法，其利用待修复图像的显著信息改进修复的优先级，大大缓解了修复过程中的贪婪问题；同时能根据待修复区域周围环境调整块大小，满足不同的修复需求。修复算法基本自动化运行，需要很少的人工干预，特别适合于修复出现裂痕或缺损的具有极高收藏价值美术作品、老照片。附图说明图1为本专利技术方法总流程图；图2为采用本专利技术方法的修复实例1效果图；图3a、3b为采用本专利技术方法的修复实例2结果图和原图。具体实施方式以下结合附图及实例本专利技术基于显著图的可变块图像修复方法作详细说明。参照图1，基于显著图的可变块图像修复方法包括以下步骤：1)、输入待修复图像生成已知区域显著图，如图2中的(a)所示修复前原图，Ω表示未知区域，Φ表示已知区域。(11)、特征的提取：先把待修复图像表示成9层的高斯金字塔。其中第0层是输入图像，1到8层分别是用5*5的高斯滤波器对输入图像进行滤波和采样形成的图像，大小分别为输入图像的1/2到1/256。然后对金字塔每一层分别提取各种特征:亮度I、红色R、绿色G、蓝色B、黄色Y及方向O特征，形成特征金字塔。方向特征由方向Gabor滤波O(σ,θ)对金字塔σ∈[0..8]和方向θ∈{0°,45°,90°,135°}分别滤波得到。其他特征公式如下：I＝(r+g+b)/3R＝r-(g+b)/2G＝g-(r+b)/2B＝b-(r+g)/2Y＝(r+g)/2-|r-g|/2-br,g,b分别对应待修复图像的红绿蓝三通道。同时对各种特征分别在特征金字塔的不同尺度间作差。作差得到的是中心(尺度c)和外周(尺度s)的特征的对比，表示中心和外周的局部方向特征的对比。(1本文档来自技高网...

【技术保护点】
一种基于显著图的可变块图像修复方法，包括如下步骤：1)、输入含有已知区域及未知区域的待修复图像，通过如下步骤生成显著图， (11) 先把待修复图像表示成9层的高斯金字塔，其中第0层是待修复图像，1‑8层分别是用5*5的高斯滤波器对待修复图像进行滤波和采样形成的图像，大小分别为待修复图像的1/2到1/256 ；并分别提取高斯金字塔每一层的亮度I、红色R、绿色G、蓝色B、黄色Y 及方向O特征，形成特征金字塔；同时对各种特征分别在特征金字塔的不同尺度间作差；(12) 把上述得到的每一个特征图归一化到区间[0,1]，然后分别把每一种归一化后的特征图逐点求和，得到对应于每一种特征的显著图, 综合所有特征的显著性，得到对应于待修复图像的显著图；2)、确定未知区域边界上的点的修复优先级，分别计算每一点为中心的块内的可信度——已知像素百分比，结构信息及显著度项，将三者的乘积作为修复优先级；并选出优先级最高的点为中心的块作为待修复块；3)、在待修复块周围不同像素大小的块中，找出相邻的块之间已知的像素均值、梯度及显著度变化最大的相邻块，调整待修复块的大小为该相邻块中较小块的大小；4)、依据待修复块内像素颜色值及平均显著度，在已知区域搜索最匹配的块来填充待修复块内的像素；然后根据匹配代价更新已修复像素的可信度，并利用该匹配块内平均显著度更新修复像素的显著度；循环重复步骤2) ‑ 4)，直至填满待修复图像的未知区域内的所有像素。...

【技术特征摘要】
1.一种基于显著图的可变块图像修复方法，包括如下步骤：1)、输入含有已知区域及未知区域的待修复图像，通过如下步骤生成显著图，(11)先把待修复图像表示成9层的高斯金字塔，其中第0层是待修复图像，1-8层分别是用5*5的高斯滤波器对待修复图像进行滤波和采样形成的图像，大小分别为待修复图像的1/2到1/256；并分别提取高斯金字塔每一层的亮度I、红色R、绿色G、蓝色B、黄色Y及方向O特征，形成特征金字塔；同时对各种特征分别在特征金字塔的不同尺度间作差；(12)把上述得到的每一个特征图归一化到区间[0,1]，然后分别把每一种归一化后的特征图逐点求和，得到对应于每一种特征的显著图,综合所有特征的显著性，得到对应于待修复图像的显著图；2)、确定未知区域边界上的点的修复优先级，分别计算每一点为中心的块内的可信度——已知像素百分比，结构信息及显著度项，将三者的乘积作为修复优先级；并选出优先级最高的点为中心的块作为待修复块；3)、在待修复块周围不同像素大小的块中，找出相邻的块之间已知的像素均值、梯度及显著度变化最大的相邻块，调整待修复块的大小为该相邻块中较小块的大小；4)、依据待修复块内像素颜色值及平均显著度，在已知区域搜索最匹配的块来填充待修复块内的像素；然后根据匹配代价更新已修复像素的可信度，并利用该匹配块内平均显著度更新修复像素的显著度；循环重复步骤2)-4)，直至填满待修复图像的未知区域内的所有像素。2.如权利要求1所述的图像修复方法，其特征是，步骤(11)中所述亮度I、红色R、绿色G、蓝色B、黄色Y特征公式分别为：I＝(r+g+b)/3R＝r-(g+b)/2G＝g-(r+b)/2B＝b-(r+g)/2Y＝(r+g)/2-|r-g|/2-b其中，r,g,b分别对应待修复图像的红、绿、蓝三通道；所述方向O特征由方向Gabor滤波O(σ,θ)对金字塔σ∈[0,8]滤波，和由方向Gabor滤波O(σ,θ)对方向θ∈{0°,45°,90°,135°}沿着0°、45°、90°及135°四个方向分别进行滤波得到。3.如权利要求1所述的图像修复方法，其特征是，步骤(12)归一化之前,进一步对每个特征图分别用二维高斯差函数进行卷积，并把卷积结果叠加...

【专利技术属性】
技术研发人员：王好谦，李政芝，戴琼海，
申请(专利权)人：清华大学深圳研究生院，
类型：发明
国别省市：广东,44