本发明专利技术公开一种基于所需方向结构特征统计的MRF样图像修复方法，包括以下步骤：首先输入待修复图像；提取待修复图像的方向特征图像；提取方向特征图像的边缘特征，并对其进行形态学操作得到方向边缘特征图像；根据破损区域周围特征自适应选择指导图像修复过程所需的方向边缘图像；在所需的方向边缘图像和非方向边缘图像中分别统计相似样本块之间的偏移映射；自适应确定所需的方向边缘图像和非方向边缘图像的偏移映射个数；根据选择的候选标签和图割算法优化全局能量极值；输出修复后图像。本发明专利技术方法可以获得更为合适的先验信息，使得修复后图像可以更好地保持结构部分的连贯性及与邻域信息的连续一致性，使修复后图像看起来更加自然。
【技术实现步骤摘要】
本专利技术涉及基于样本块的图像修复方法，特别涉及一种基于所需方向结构特征统计的MRF样图像修复方法。
技术介绍
数字图像修复是根据破损图像内的已知信息，按照一定的规则对破损区域进行修补的一门技术，其目的是使观察者无法察觉图像曾经破损或者已被修复。随着数字图像处理技术的发展，数字图像修复技术成为当前计算机图形学和计算机视觉的一个研究热点，在文物保护，影视特技制作，图像有损压缩，特定物体移除等方面具有重大的应用价值。目前数字图像修复技术主要分为四类：基于扩散的方法、基于变换的方法、基于样本块的方法和混合修复算法。最近几年来，因基于样本块的方法在修复效果上的优良表现而受到了越来越多的关注。基于样本块的方法可以进一步的划分为基于匹配的方法和基于MRF的方法。文献1(Y.Pritch,E.Kav-Venaki,S.Peleg.Shift-map image editing[C].In:IEEE 12th International Conference on Computer Vision,2009,IEEE:151-158.)是基于MRF的修复方法中的代表性算法，其基本思想是将已知信息看作标签，未知信息作节点，则图像修复即是给任一节点分配一个合适标签的问题，并建立全局能量优化方程来度量标签与节点之间的合适程度，最后利用优化方法求解全局能量极值以获得分配以每个节点的合适标签，以此补全破损图像。该方法可以较好地修复大区域破损图像，但由于将所有的偏移位置视为候选标签，不仅计算复杂度极高，且易引入干扰，不能给未知节点分配以合适的标签，使得修复效果较差。近年来，研究学者利用统计特征提出基于MRF的修复算法：(1)文献2(K.He,J.Sun.Statistics of Patch Offsets for Image Completion[M].In:European Conference on Computer Vision,Springer Berlin Heidelberg,2012:16-29.)统计样本块与其相似块之间的偏移位置，据此选择出少数占统治地位的偏移位置作为候选标签，而后利用图割算法求解全局能量优化极值以；(2)文献3(W.Xue,R.Zhang.Graph-based image completion using patch offsets and structure feature[C].In:Fifth International Conference on Graphic and Image Processing,2014,International Society for Optics and Photonics:906906-906906-9.)引入HOG特征以寻找到更优的匹配块，并自适应确定候选标签个数以获得全局最优极值；(3)文献4(L.Yunqiang,V.Caselles.Exemplar-Based Image Inpainting Using Multiscale Graph Cuts[J].IEEE Transactions on Image Processing.2013,22(5):1699-1711.)将破损区域的临近位置的已知信息作为候选标签，利用图像的局部自相似性来补全破损图像。上述方法均是为获得合适的候选标签以计算全局能量极值，以获得良好的图像补全效果。虽然这些算法利用不同的方法以获得合适的候选标签，但对于结构信息较少的破损图像不能很好的保持其结构部分的连贯性。文献4仅利用临近位置的信息补全丢失信息，而若临近位置上并未包含合适的补全信息，则不能获得良好的修复结果。文献2和文献3虽根据样本块间偏移映射的统计来选择合适的候选标签，但是对于已知区域内结构信息较少的破损图像，仍不能很好地保持修复后图像结构部分的连贯性。因此如何利用合适的结构信息指导图像修复过程是提高基于MRF的样本块修复质量必须解决的关键问题。
技术实现思路
为克服现有基于MRF的样本块图像修复算法中存在的技术问题，本专利技术提供一种基于所需方向结构特征统计的MRF样图像修复方法，该方法能够有效地保持修复后图像中结构部分的连贯性，使修复后图像看起来更加自然，更符合人眼视觉要求，尤其适合具有复杂纹理和结构特征的真实照片或合成图像的修复。本专利技术解决上述技术问题所采用的技术方案是：一种基于所需方向结构特征统计的MRF样图像修复方法，包括以下步骤：步骤S10、输入待修复图像I，破损区域为Ω；步骤S20、提取待修复图像的方向特征图像：利用Curvelet变换将待修复图像变换到Curvelet域，将Curvelet域内的多方向多尺度系数划分为4个集合(每个集合中均包含低频系数，同时不同集合中包含不同方向的高频系数)，而后分别对每个方向上的系数作Curvelet逆变换，得到不同的方向特征图像{Ak本文档来自技高网...
【技术保护点】
一种基于所需方向结构特征统计的MRF样图像修复方法，其特征在于，包括以下步骤：步骤S10、输入待修复图像I，破损区域为Ω；步骤S20、提取待修复图像的方向特征图像：利用Curvelet变换将待修复图像变换到Curvelet域，将Curvelet域内的多方向多尺度系数划分为4个集合(每个集合中均包含低频系数，同时不同集合中包含不同方向的高频系数)，而后分别对每个方向上的系数作Curvelet逆变换，得到不同的方向特征图像{Ak}k＝1,2,3,4；步骤S30、提取方向特征图像的边缘特征，并对边缘特征进行形态学操作得到方向边缘特征图像：对提取的方向特征图像{Ak}k＝1,2,3,4进行边缘检测，得到四个方向上的边缘特征，对得到的边缘特征进行形态学操作，得到四个方向边缘特征图像{Bk}k＝1,2,3,4，其中边缘特征图像Bk在边缘点处取值为1，其余部分均为0；步骤S40、根据破损区域周围特征自适应选择指导图像修复过程所需要的方向边缘图像：方向边缘图像{Ik_edge}k∈Θ即为包含选择出的方向结构信息的图像，Ik_edge＝I·Bk，Θ为集合{1,2,3,4}中的一个子集，提取四个方向特征图像{Ak}k＝1,2,3,4中破损区域Ω周围的局部已知信息，计算其梯度模值的方差值，据此选择出指导图像修复过程所需要方向边缘图像{Ik_edge}k∈Θ中的k值，最后得到所需的方向边缘图像，其中方向边缘图像即为包含选择出的方向结构信息的图像，Ik_edge＝I·Bk，Θ为集合{1,2,3,4}中的一个子集；步骤S50、在所需的方向边缘图像和非方向边缘图像中分别统计相似样本块之间的偏移映射：用Inon_edge指代非方向边缘图像，即为待修复图像I中除去四个方向边缘特征部分的信息，表示对边缘信息取反，在方向边缘图像{Ik_edge}k∈Θ和非方向边缘图像Inon_edge中分别计算样本块与其相似块间的偏移映射，并利用二维直方图h对其进行统计，从计算得到的方向边缘图像{Ik_edge}k∈Θ的偏移映射统计hk和非方向边缘图像偏移映射h5分别选择出Kk和K5个最大值，即占统治地位的偏移映射，并将Kk和K5个偏移映射作为候选标签用于下一步的优化求解；步骤S60、自适应确定所需的方向边缘图像和非方向边缘图像的偏移映射个数：当选择出的方向边缘图像个数不同时，自适应选择其不同的偏移映射个数，以及非方向边缘图像的偏移映射个数；步骤S70、根据选择的候选标签和图割算法优化全局能量极值：根据选择的候选标签，并利用图割算法对全局能量方程进行优化求解，得到分配给每个节点的标签，其中全局能量方程包含数据项能量和平滑项能量两项，具体为：E(L)=Σx∈ΩEd(L(x))+Σ(x,x′)|x∈Ω,x′∈ΩEs(L(x),L(x′))]]>上述(x,x')是表示4邻域，L代表上节中选出的候选标签或者K＝Kk+K5是候选标签的个数，仅在破损区域边界上才选择标签而L(x)＝i就表示将位于的像素点的信息复制到位置x上，若候选标签是有效的(x+m位于已知区域)，将此时的数据项能量置为0，否则置为+∞，令a＝L(x)和b＝L(x')，将平滑项能量函数Es定义为：Es(a,b)＝||I(x+ma)‑I(x+mb)||2+||I(x'+ma)‑I(x'+mb)||2其中I(x)代表图像I位于位置x上的RGB强度值；步骤S80、输出修复后图像：将每个标签对应的信息复制到节点位置上，即：I(x)＝I(x+m)，得到修复后图像R。...
【技术特征摘要】
1.一种基于所需方向结构特征统计的MRF样图像修复方法，其特征在于，包括以下步骤：步骤S10、输入待修复图像I，破损区域为Ω；步骤S20、提取待修复图像的方向特征图像：利用Curvelet变换将待修复图像变换到Cur...
【专利技术属性】
技术研发人员：李志丹，程吉祥，谌海云，
申请(专利权)人：西南石油大学，
类型：发明
国别省市：四川;51
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。