图像处理方法和设备技术

公开了一种图像处理方法和设备，用于去除目标图像中的去除对象，并且对目标图像进行修复。该图像处理方法包括步骤：在目标图像中定义包含去除对象的目标区域；从与目标图像相关联的其他图像中提取至少一个子区域作为图像栈，所述其他图像中均包含了与所述目标图像的拍摄视点不同的去除对象；基于最优化方法逐个像素地从所述图像栈中选择相应子区域的相同位置的像素来替换所述目标区域中的像素。利用本发明专利技术的图像处理方法和设备，用户可以在按照自己的意愿将拍摄的图像中去除对象去除的同时，对图像进行修补，从而形成理想的全景图像。

【技术实现步骤摘要】

本专利技术涉及计算机图像处理，具体涉及一种图像处理方法和设备，能够自动地将拍摄的图像中诸如遮挡物之类去除对象去除，并且 根据与其相关的其他图像中的信息对目标图像进行修补。
技术介绍
目前，数码相机日益流行，用户可以在日常生活中用数码相机记 录下大量的照片。例如，很多旅行者在一次旅行过程中会从不同的视角对某一景点 拍摄很多照片，以便给这次旅行留下美好的回忆。但是，在拍摄的照 片中经常会出现一些不想保留的对象。例如一张非常漂亮的风景图像 中出现了不想保留的人像。用户很难将目标区域(包含去除对象的图 像子区域)从图像中去除，而不留下明显的痕迹。另外，因特网上的照片共享社区变得非常流行，其中网民从网络 上将相同景点的不同图像收集起来，以产生一些著名景点的全景图 像，也就是将这些不同视角的照片缝合起来，来产生全景图像。但是 在这些图像中同样会出现一些去除对象，影响了形成的全景图像的质 量，给人们带来了遗憾。去除图像中的对象并且对图像进行修补的一种现有的方法是通 过借助于像Photoshop这样的专业图像处理软件来手动地进行，而无法自动地进行。另外， 一方面这些软件比较昂贵，另一方面用户需要 经过大量的训练才能够掌握这些软件的功能。因此，用户需要一种能 够自动去除对象并且对图像进行修补的技术。
技术实现思路
鉴于上述问题，完成了本专利技术。本专利技术的目的是提供一种图像处理方法和设备，能够自动地将拍摄的图像中诸如遮挡之类去除对象去 除，并且根据相关的其他图像中的信息对目标图像进行修补。在本专利技术的一个方面，提出了一种图像处理方法，包括步骤在 目标图像中定义包含去除对象的目标区域；从与目标图像相关联的其 他图像中提取至少一个子区域作为图像栈，所述其他图像中均包含了 与所述目标图像的拍摄视点不同的去除对象；基于最优化方法逐个像 素地从所述图像栈中选择相应子区域的相同位置的像素来替换所述 目标区域中的像素。在本专利技术的另一方面，提出了种图像处理设备，包括对象定义 装置，在目标图像中定义包含去除对象的目标区域；子区域提取装置， 从与目标图像相关联的其他图像中提取至少一个子区域作为图像栈， 所述其他图像中包含了与所述目标图像的拍摄视点不同的去除对象； 像素替换装置，基于最优化方法逐个像素地从所述图像栈中选择相应 子区域的相同位置的像素来替换所述目标区域中的像素。利用本专利技术的图像处理方法和设备，用户可以在按照自己的意愿 将拍摄的图像中去除对象去除的同时，对图像迸行修补，从而形成理 想的全景图像。附图说明从下面结合附图的详细描述中，本专利技术的上述特征和优点将更明 显，其中图1示出了根据本专利技术实施例的图像处理设备的结构框图2是说明如图1所示的图像处理设备中图像集确定单元所执行 的操作过程的流程图3是说明如图1所示的图像处理设备中子区域选择单元所执行 的操作的示意图；以及图4是说明如图1所示的图像处理设备中像素替换单元所执行的 操作的示意图。具体实施例方式下面，参考附图详细说明本专利技术的优选实施方式。 图1示出了根据本专利技术实施例的图像处理设备的结构框图。如图 l所示，根据本专利技术实施例的图像处理设备包括对象定义单元110， 定义作为全景图像一部分的目标图像中的去除对象，例如手动选择目 标图像中包括去除对象的目标区域；图像集确定单元120，从所拍摄 的若干图像中确定一个特定的相关图像集，其中的每幅图像都与目标 图像相关(所述的若干图像可以是多幅照片或者是摄制的视频中的多 个图像)，并包含有所述对象定义单元10所定义的去除对象上的至少 一部分；子区域选择单元130，从确定的所述相关图像集的每幅图像 中选择包含去除对象的子区域；子区域提取单元140，将子区域选择 单元130所选择的子区域中与目标图像最接近的那个子区域与目标 区域对准，然后将其余的子区域与该最接近的子区域对准，并且提取 这些子区域形成图像栈；像素替换单元150，利用基于最优化的方法 从图像栈的子区域中逐个像素地替换目标图像中的去除对象的像素， 在本实施例中，所述的最优化的方法可为能量最小技术；纹理对准及 融合单元160，将目标图像中替换过像素的那部分图像与该区域周围 的图像进行纹理对准，并且将其与周围的图像相融合，输出最终的处 理后想得到的目标图像，该目标图像可以用于全景图像的制作或者作 为其他的素材。下面对照附图2 4详细说明如图1所示的各个单元的详细处理 过程。本专利技术所述的对象定义单元110在使用过程中，用户可以在该单 元中利用工具软件手动地定义目标图像I^t中的目标区域R^t。这里 目标区域I^t可以是要作为全景图像一部分的单幅图像的一部分，而 目标区域包含去除对象。为了能自动实现对象的定义，在本实施例中，对象定义单元UO 也可以采用事先创建的检测模型来检测图像中的去除对象，这对于批 处理非常有利，因为能够提高处理速度。例如，如果用户要去除图像 中所有的人像，则对象定义单元IIO可以利用事先训练的人像检测模型来自动地定义该图像中的去除对象。同样，用户也可以事先训练其 他的对象模型来定义图像中的去除对象。如上所述，图像集确定单元120从用户旅行中所拍摄的所有图像 中获得与去除对象相关的图像，作为相关图像集。图2是说明如图1 所示的图像处理设备中图像集确定单元所执行的处理过程的流程图。如图2所示，在步骤Sll，从用户一次旅行所拍摄的图像的相册 1(1,iV)二ai/二l，…W中输入一幅图像。用户一次旅行中通常要从各 个角度对某个景物进行拍摄，以留作纪念。虽然这些图像的拍摄视点 并不是连续的，但是通常在一个视点所拍摄的图像中包含了在其他视 点拍摄的部分景物，因此可以将其用于目标图像的修补。在步骤S12,检测该幅图像和目标图像Idest的特征并且进行特征匹配，从而找出匹配的特征对。例如这里可以采用SIFT特征。有关 SIFT特征的描述可以参见非专利文献1 (P. P6rez， M. Gangnet， and A. Blake. Poisson image editing. ACM Transactions on Graphics (SIGGRAPH'03), 2(3):313-318)。该非专利文献1通过引用被合并与 此。但是，也可以采用其他的特征，例如边缘特征等等。接下来，在步骤S13，基于这些匹配的特征对， 一些鲁棒性的计 算机视觉技术，例如RANSAN估计可以被用来判断两幅图像中是否 存在重叠区域，并且借此滤除那些与摄像机视点变换矩阵T;不一致 的匹配者。然后，基于剩余的这些匹配者，进一步精确地估计图像之 间的视点变换。在步骤S14，根据计算的视点变换，验证目标图像和输入的图像 之间是否存在重叠区域。如果在步骤S14的判断是肯定的，则在步骤S15，进一步判断该 输入的图像中是否包含目标区。否则，流程转到步骤S17。如果在步骤S15的判断是肯定的，也就是输入的图像中包含有目 标区，则在步骤S16将该输入的图像添加到相关图像集中，否则，流 程转到步骤S17。接下来，在步骤S17，判断该输入的图像是否是相册中的最后一 幅图像。如果是，则流程结束，否则在步骤S18，从相册中输入下一幅图像，然后进行与上述相同的处理过程。这样，针对相册中的每幅图像进行上述的处理之后，图像集确定单元120就本文档来自技高网...

【技术保护点】
一种图像处理方法，包括步骤：　在目标图像中定义包含去除对象的目标区域；　从与目标图像相关联的其他图像中提取至少一个子区域作为图像栈，所述其他图像中均包含了与所述目标图像的拍摄视点不同的去除对象；　基于最优化方法逐个像素地从 所述图像栈中选择相应子区域的相同位置的像素来替换所述目标区域中的像素。

【技术特征摘要】

【专利技术属性】
技术研发人员：王建宇，谢杰成，徐成华，王嘉，
申请(专利权)人：日电中国有限公司，
类型：发明
国别省市：11[中国|北京]