一种数据驱动的物体图像修复系统及方法技术方案

本发明专利技术的一种数据驱动的物体图像修复系统及方法，属于图像修复技术领域。本发明专利技术的第一个目的是提供一种物体图像修复系统，包括依次连接的用户交互模块、物体匹配模块、形状修复模块和纹理修复模块以及独立的物体图像数据库和数据库标注模块；本发明专利技术的第二个目的是提供一种数据驱动的物体图像修复方法框架，包括以下步骤：数据预处理、轮廓与修复区域的标示、物体匹配、形状修复、纹理修复、数据后处理。本发明专利技术通过各模块的协同工作，克服了现有图像修复方法无法解决的物体缺失部分形状信息无法启发式推导、缺失部分无法在原图像中采样修复等问题，很好地对物体图像进行修复。

【技术实现步骤摘要】

本专利技术涉及，具体来说，是一种涉及物体识别领域中形状匹配技术、图像修复领域中结构图像修复技术、纹理修复与纹理合成技术的物体图像修复系统及方法。
技术介绍
广义的图像修复，指的是一种修改图像使得观察者在不知原图的情况下无法发现 人工修改痕迹的图像修改技术。早期图像修复的目的是将一些古老的作品恢复原貌，例如将油画作品上的裂痕或者缺失部分再通过油画技术进行修复、补齐。不过类似的工作需要具有相关技术的艺术工作者才能完成，并且是在作品的原稿上进行操作。当今数字产品例如数码相机、数码摄像机的普及，使得图像修复被赋予更多新的使命，面临更多挑战，例如用户使用数码相机拍下一张风景照后，想要去除挡在风景前方的人或物体，并使别人看不出图像的修复痕迹。在计算机视觉、数字图像处理领域，图像修复的目的是去除图像中的多余物体或者修复重建受损图像。如何让计算机很好地完成图像修复工作，而不需要用户具有过多的专业知识，逐渐成为了该领域的研究热点。目前已经很多专利所公开的方法可以较好地进行图像修复重建或者去除多余物体，但是还有问题未能很好地解决当目标物体部分被多余物体遮挡，现有的算法在去除多余物体之后，无法很好地修复目标物体图像修复的方法可以总结为一个基于已知的图片局域来填补修复区域的过程。现有专利所公开的方法主要可以分成两类一类是基于插值的图像修复方法；一类是基于范例的图像修复方法。前者的思路是采用了类似热扩散的方法，通过未知像素点周围的已知像素点来决定该点的取值，让受损区域周围的像素点，顺着等照度线的方向向修复区域内部扩散，这种方法主要是针对受损区域比较小，例如噪声或者折痕、缝隙，的图片进行修复，因为随着修复区域的增大，该方法产生的模糊效应会愈加明显，使修复效果变差。后者主要是针对修复受损区域较大的图片，是以“采样-合成”的纹理合成思路，先确定修复的位置，然后在原图中或者在其他样本图片中采样，选择最合适的样本，然后再通过图像融合技术将样本融合到修复区域。根据纹理类别的不同，我们需要采用不同的图像修复策略，策略包括修复位置的优先关系，样本的来源和图像融合技术的选择。这种方法可以很好地修复一些纹理信息，并通过调整修复位置的优先关系来保持原图一些简单的结构信息，不过与此同时计算量也相应地提高。物体图像可以看成是复杂结构信息(物体形状)和物体本身表面纹理信息相结合的复杂图像。物体图像修复，是比结构修复更加复杂的情况，从目标丢失的信息量来看，物体图像修复介于结构修复和场景修复之间，是一种新的图像修复算法分类。目前物体图像修复还没有一种很好的解决方案。因为修复物体需要克服两大难题首先物体具有特有的复杂形状结构和纹理，不再是简单的结构纹理，并且该形状结构无法通过启发式方法推导出来；再次物体被遮挡的区域可能无法在原图中进行采样修复。而现有的任何一种方法都不能很好地解决这两大问题。
技术实现思路
针对上述问题，本专利技术提供一种数据驱动的图像修复系统方法，该系统在图像中物体缺失关键部位且缺失内容未在原图中出现的情况下，在用户交互的基础上，通过带标注的图像数据库驱动进行图像修复，修复缺失部位。本专利技术的第一个目的是提供一种物体图像修复系统，通过以下技术手段实现包括依次连接的用户交互模块、物体匹配模块、形状修复模块、纹理修复模块和后处理模块以及独立作为数据准备与预处理的物体图像数据库和数据库标注模块；所述用户交互模块采用鼠标或数位板作为输入外设，用于在修复图片上标示修复区域和待修复物体的轮廓； 所述物体匹配模块用于将用户标示的待修复物体轮廓在带标注的物体图像数据库中进行轮廓匹配和颜色匹配，搜索具有最相似轮廓和最相似颜色物体的匹配图像；所述形状修复模块利用轮廓匹配模块搜索到的匹配图像，在匹配图像的轮廓上按固定分块大小对纹理和结构信息进行采样组成样本字典，通过求全局最优解的方法在样本字典中寻找最优样本分块通过纹理合成技术合成到待修复物体的轮廓上完成形状修复；所述纹理修复模块用于对形状修复后剩余的物体内部、物体外部待修复区域，采用优先度引导的贪婪修复算法(即每修复一个图像分块时，都全局搜索一个最优的样本分块)进行纹理修复；所述后处理模块用于对纹理修复后的结果在物体边缘进行修边操作，消除人工修复痕迹；所述带标注的物体图像数据库为轮廓匹配模块寻找具有与待修复物体相似轮廓图像提供数据集，数据集中包括物体图像和标注对应图像中物体轮廓的掩膜图像；所述数据库标注模块用于人工对图像数据库中的物体图像进行轮廓标注并生成掩膜图像。本专利技术还可以做以下改进所述用户交互模块，通过采用人工干预的智能前背景分离技术，可对待修复物体轮廓实现半自动化标示，即用户通过拖拽一个矩形选框包围住目标物体就能自动发现物体轮廓并进行标示，降低用户标示待修复物体轮廓工作的复杂性；所述物体匹配模块，通过增加对物体纹理的分析，可实现在带标注图像数据库中，搜索轮廓、颜色、纹理与待修复图像最相似的匹配图像；所述轮廓匹配，通过采用自包含的、尺度无关的轮廓描述子对每一个轮廓进行描述，并且使用该描述子可以对两个轮廓的相似度进行量化，使得物体匹配模块能够通过该描述子找到与待修复物体轮廓相似度最高的匹配图像；所述匹配图像，用于采样组建样本字典作为形状修复模块的输入，由于所述轮廓匹配方法采用的是尺度无关的技术，当匹配图像与待修复物体尺寸不同时，会影响修复效果，此时可以通过对匹配图像进行缩放，寻找最优的缩放尺寸；所述形状修复模块，通过在待修复轮廓上构建马尔科夫随机场并定义一个能量方程，约束随机场每一个节点上的图像分块满足分块之间颜色连续、每个节点上的分块与该节点的结构信息一致，将形状修复问题转换成随机场各节点的标号问题(每个标号对应样本字典中的一个样本分块)，并求解使得能量方程达到最小的标号方案，再将对应标号的样本分块合成到待修复轮廓上完成形状修复；所述纹理合成技术，采用寻找最优分割的方法，在两个相邻分块的重叠部分找到一条颜色差异最小的路径，通过这条路径进行分块分割并融合，消除直接覆盖分块造成的人工修复痕迹；所述纹理修复模块，采用的是逐步求局部最优解的贪婪算法，这种方法能很好修复自然纹理，但是对强规则性的纹理，例如斑马条纹，的修复效果比较一般。这里可以采用其他求解全局最优的修复方法，例如基于马尔科夫随机场的修复方法，改善修复效果。所述数据库标注模块可以通过基于学习的物体轮廓识别技术，通过输入一类物体的一个手绘轮廓模型，自动在数据库的各张图像中，找到该类物体的轮廓，并自动标注生成轮廓掩膜图像，大大降低了标注的工作量。 本专利技术的第二个目的是提供一种数据驱动的物体图像修复方法框架，该框架包括以下步骤I)数据预处理对图像数据库中的物体图像进行标注，即人工标注图像中物体的轮廓，生成轮廓掩膜，完成图像数据库的标注工作；2)轮廓与修复区域的标示用户通过人机交互方式，在待修复的图片上标出修复区域和待修复物体的轮廓，该轮廓沿着物体与背景的边界，从原图区域延伸至修复区域；3)物体匹配通过步骤2)中用户交互画出的物体轮廓，和物体区域上的颜色、纹理信息，在带标注的物体图像数据库中找到轮廓、颜色、纹理最相似的匹配图像；、4)形状修复在步骤3)获得的匹配图像上进行采样，完成待修复物体缺失部分的形状修复；5)纹理修复形状修复之后，物体轮廓上的纹理将修复区本文档来自技高网...

【技术保护点】
一种数据驱动的物体图像修复系统，其特征在于：包括依次连接的用户交互模块、物体匹配模块、形状修复模块、纹理修复模块和后处理模块以及独立作为数据准备与预处理的物体图像数据库和数据库标注模块；所述用户交互模块采用鼠标或数位板作为输入外设，用于在修复图片上标示修复区域和待修复物体的轮廓；所述物体匹配模块用于将用户标示的待修复物体轮廓在带标注的物体图像数据库中搜索具有最相似轮廓和颜色的物体的匹配图像；所述形状修复模块利用轮廓匹配模块搜索到的匹配图像，在匹配图像的轮廓上按固定分块大小对纹理和结构信息进行采样组成样本字典，通过求全局最优解的方法在样本字典中寻找最优样本分块通过纹理合成技术合成到待修复物体的轮廓上完成形状修复；所述纹理修复模块用于对形状修复后剩余的物体内部、物体外部待修复区域，采用优先度引导的贪婪修复算法（即每修复一个图像分块时，都全局搜索一个最优的样本分块）进行纹理修复；所述后处理模块用于对纹理修复后的结果在物体边缘进行修边操作，消除人工修复痕迹；所述带标注的物体图像数据库为轮廓匹配模块寻找具有与待修复物体相似轮廓图像提供数据集，数据集中包括物体图像和标注对应图像中物体轮廓的掩膜图像；所述数据库标注模块用于人工对图像数据库中的物体图像进行轮廓标注并生成掩膜图像。...

【技术特征摘要】
1.一种数据驱动的物体图像修复系统，其特征在于包括依次连接的用户交互模块、物体匹配模块、形状修复模块、纹理修复模块和后处理模块以及独立作为数据准备与预处理的物体图像数据库和数据库标注模块； 所述用户交互模块采用鼠标或数位板作为输入外设，用于在修复图片上标示修复区域和待修复物体的轮廓； 所述物体匹配模块用于将用户标示的待修复物体轮廓在带标注的物体图像数据库中搜索具有最相似轮廓和颜色的物体的匹配图像； 所述形状修复模块利用轮廓匹配模块搜索到的匹配图像，在匹配图像的轮廓上按固定分块大小对纹理和结构信息进行采样组成样本字典，通过求全局最优解的方法在样本字典中寻找最优样本分块通过纹理合成技术合成到待修复物体的轮廓上完成形状修复；所述纹理修复模块用于对形状修复后剩余的物体内部、物体外部待修复区域，采用优先度引导的贪婪修复算法(即每修复一个图像分块时，都全局搜索一个最优的样本分块)进行纹理修复； 所述后处理模块用于对纹理修复后的结果在物体边缘进行修边操作，消除人工修复痕迹； 所述带标注的物体图像数据库为轮廓匹配模块寻找具有与待修复物体相似轮廓图像提供数据集，数据集中包括物体图像和标注对应图像中物体轮廓的掩膜图像； 所述数据库标注模块用于人工对图像数据库中的物体图像进行轮廓标注并生成掩膜图像。2.根据权利要求I所述的所述用户交互模块，其特征在于通过采用人工干预的智能前背景分离技术，可对待修复物体轮廓实现半自动化标示，即用户通过拖拽一个矩形选框包围住目标物体就能自动发现物体轮廓并进行标示，降低用户标示待修复物体轮廓工作的复杂性；3.根据权利要求I所述的物体匹配模块，其特征在于通过增加对物体纹理的分析，可实现在带标注图像数据库中，通过轮廓匹配、颜色匹配、纹理匹配等技术，搜索轮廓、颜色、纹理与待修复图像最相似的匹配图像；4.根据权利要求3所述的轮廓匹配，通过采用自包含的、尺度无关的轮廓描述子对每一个轮廓进行描述，并且使用该描述子可以对两个轮廓的相似度进行量化，使得物体匹配模块能够通过该描述子找到与待修复物体轮廓相似度最高的匹配图像；5.根据权利要求4所述的匹配图像，用于采样组建样本字典作为形状修复模块的输入，由于所述轮廓匹配方法采用的是尺度无关的技术，当匹配图像与待修复物体尺寸不同时，会影响修复效果，此时可以通过对匹配图像进行缩放，寻找最优的缩放尺寸；6.根据权利要求I所述的形状修复模块，通过在待修复轮廓上构建马尔科夫随机场并定...

【专利技术属性】
技术研发人员：高成英，林倞，王淮，
申请(专利权)人：中山大学，
类型：发明
国别省市：