一种基于运动目标跟踪的图像处理方法及装置制造方法及图纸

本发明专利技术公开一种基于运动目标跟踪的图像处理方法及装置，所述方法包括：获取所拍摄的N帧图像，其中N为大于2的正整数；记录最后一帧图像为结果帧；提取每帧图像中运动目标的轮廓，并将结果帧中提取的运动目标的轮廓坐标记为目标轮廓；将N帧图像中运动目标的轮廓与结果帧中的目标轮廓相距最远的一帧图像记为目标帧；从目标帧中提取与结果帧中的目标轮廓区域坐标相同的区域作为区域图像；将所提取的区域图像拼接到结果帧的目标轮廓区域。本发明专利技术通过处理多帧视频，检测到运动目标位置移动，恢复被遮挡区域的真实背景图像，完成运动物体擦除的效果。

【技术实现步骤摘要】
【专利摘要】本专利技术公开一种基于运动目标跟踪的图像处理方法及装置，所述方法包括：获取所拍摄的N帧图像，其中N为大于2的正整数；记录最后一帧图像为结果帧；提取每帧图像中运动目标的轮廓，并将结果帧中提取的运动目标的轮廓坐标记为目标轮廓；将N帧图像中运动目标的轮廓与结果帧中的目标轮廓相距最远的一帧图像记为目标帧；从目标帧中提取与结果帧中的目标轮廓区域坐标相同的区域作为区域图像；将所提取的区域图像拼接到结果帧的目标轮廓区域。本专利技术通过处理多帧视频，检测到运动目标位置移动，恢复被遮挡区域的真实背景图像，完成运动物体擦除的效果。【专利说明】一种基于运动目标跟踪的图像处理方法及装置
本专利技术涉及图像处理技术，尤其涉及一种基于运动目标跟踪的图像处理方法及装置。
技术介绍
在图像拍摄过程中，尤其是在复杂环境中进行拍摄时，例如在人员密集的公园进行拍摄，由于行走的人流不断，往往拍摄的图像中会包含不希望的人的图像。目前很多拍摄设备都通过处理一张静态图片，使用图像修复方法去除运动目标。传统的主要的方法有以下几种:(I)偏微分方程的方法=Bertalmio采用偏微分方程(PDE)的方法进行图像修复，取得了较好的效果。用户需指定需要修复的区域，算法将待修补的区域边界的等值线外部的信息沿轮廓法向扩散到中间待修补的象素上。该算法利用局部颜色的光滑度沿着等值线扩散，考虑了各向异性的扩散，以保证边缘处的边界连续，但该方法计算不稳定。(2)整体变分方法和基于曲率的扩散模型:整体变分方法(TV，TotalVariational)采用了欧拉-拉格朗日方程和各向异性的扩散，基于曲率的扩散模型(O)D, Curvature-DrivenDiffusion)方法是整体变分方的一种扩展,在扩散过程中考虑了轮廓的几何信息(曲率)，可以处理较大的区域，但边界处往往很模糊。(3)高斯卷积核对图像进行滤波的方法:利用了高斯卷积核对图像进行滤波，能快速地修复破损区域，但该算法仅考虑了破损区域边缘一周的图像颜色值，使得其仅适用于破损区域为2-3个象素宽度的情形。(4)纹理合成的方法:纹理合成的方法，能较好地去除图像中的大块污斑，但由于算法运行时间不是与掩模区域成正比，而是与图像大小成正比，因此修复时间相对较长。上述现有处理算法都是通过处理被擦除目标周围区域图像并填充到被擦除区域，因此，无法真正恢复被擦除目标遮挡住的真实背景。此外，当要处理的目标区域较大时，擦除的效果非常差；而且需要手动设置擦除区域的位置、面积等参数，因此，操作不方便而且不准确。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的基于运动目标跟踪的图像处理方法及装置。依据本专利技术的一个方面，提供了 一种基于运动目标跟踪的图像处理方法，该方法包括:获取所拍摄的N帧图像，其中N为大于2的正整数；记录最后一帧图像为结果帧；提取每帧图像中运动目标的轮廓，并将结果帧中提取的运动目标的轮廓坐标记为目标轮廓；将N帧图像中运动目标的轮廓与结果帧中的目标轮廓相距最远的一帧图像记为目标帧；从目标帧中提取与结果帧中的目标轮廓区域坐标相同的区域作为区域图像；将所提取的区域图像拼接到结果帧的目标轮廓区域。可选地，本专利技术方法中所述提取每帧图像中运动目标的轮廓的步骤包括:对所获取的N帧图像建立背景模型，以获取每帧图像的背景图像；基于所获取的每帧图像的背景图像，提取每帧图像中运动目标的前景图像；基于所述运动目标的前景图像提取每帧图像中的运动目标的轮廓。可选地，本专利技术方法中在所述对所获取的N帧图像建立背景模型的步骤之前还包括:将所获取的N帧图像转换为灰度图像；所述对所获取的N帧图像建立背景模型的步骤具体地为:对所述灰度图像建立背景模型；所述基于所获取的每帧图像的背景图像来提取每帧图像中运动目标的前景图像的步骤具体为:将每帧图像的灰度图像与其对应的背景图像进行差分，提取运动目标的前景二值图像。可选地，本专利技术方法中所述对所述图像建立背景模型的步骤具体为:通过混合高斯背景模型、两帧差分算法、三帧差分算法、和背景减除算法中之一对所述图像建立背景模型。可选地，本专利技术方法中所述将所提取的区域图像拼接到结果帧的目标轮廓区域的步骤具体为:通过尺度不变特征变换特征匹配算法、ORB自然特征匹配算法或其他视频防抖动技术将所提取的区域图像拼接到目标帧的目标轮廓区域附近。可选地，本专利技术方法中所述通过尺度不变特征变换特征匹配算法将所提取的区域图像拼接到结果帧的目标轮廓区域的步骤包括:提取结果帧的目标轮廓区域周围图像的特征点；提取目标帧的目标轮廓区域周围图像的特征点；匹配提取到结果帧的目标轮廓区域周围图像的特征点与目标帧轮廓区域周围图像的特征点，获得各特征点在水平和垂直方向上的相对偏移量；在计算目标帧的目标轮廓区域在背景图像上的实际覆盖位置时，加上所述相对偏移量，获得所述区域图像在结果帧中的拼接位置；将所述区域图像拼接在结果帧中的所述拼接位置。可选地，本专利技术方法中获取所拍摄的N帧图像的步骤之前还包括:设置所获取的图像的帧数N，以使得在所获取图像中的第一帧和最后一帧中运动目标的位置不重合。此外，本专利技术还提供一种基于运动目标跟踪的图像处理装置，包括:图像采集缓存模块，其适于采集运动目标的视频中的最新N帧序列图像并缓存，其中N为大于2的正整数；检测模块，其适于检测所述装置的拍照键是否被按下；记录模块，其适于在所述检测模块检测到所述装置的拍照键被按下时，记录缓存的最后一帧图像为结果帧；轮廓提取模块，其适于对所缓存的每一帧图像提取运动目标的轮廓，并将结果帧中提取的运动目标的轮廓坐标记为目标轮廓；目标帧确定模块，其适于在提取过运动目标轮廓的每帧图像中寻找运动目标的轮廓与结果帧图像中的目标轮廓相距最远的一帧图像，记为目标帧；区域图像提取模块，其适于从所述目标帧中提取与结果帧中的目标轮廓区域相同的区域作为区域图像；拼接模块，其适于将所提取的区域图像拼接到结果帧的目标轮廓区域附近。可选地，所述轮廓提取模块包括:背景图像获取单元，其适于对所缓存的最新N帧图像建立背景模型，以获取每帧图像的背景图像；前景图像提取单元，其适于将每一帧图像与其对应的背景图像进行差分，提取运动目标的前景图像；轮廓提取单元，其适于基于所述前景图像提取单元所提取的运动目标的前景图像，提取每帧图像中运动目标的轮廓。可选地，所述轮廓提取模块还包括:图像转换模块，其适于将所缓存的最新N帧图像从彩色图像转换为灰度图像；其中，所述背景图像获取模块对所述图像转换模块获得的所述灰度图像建立背景模型，获取每帧图像的背景图像。可选地，本专利技术所述的装置还包括:设置模块，其适于设置在运动目标的视频中采集的序列图像的帧数N，以使得在所采集的序列图像中的第一帧和最后一帧中运动目标的位置不重合。本专利技术通过处理多帧视频，检测到运动目标位置移动，恢复被遮挡区域的真实背景图像，完成运动物体擦除的效果。可处理面积较大的运动目标，且擦除效果不受运动目标面积影响。可自动识别运动目标并进行擦除，无需或仅需少量人工干预。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的【具本文档来自技高网...

【技术保护点】
一种基于运动目标跟踪的图像处理方法，其包括：获取所拍摄的N帧图像，其中N为大于2的正整数；记录最后一帧图像为结果帧；提取每帧图像中运动目标的轮廓，并将结果帧中提取的运动目标的轮廓坐标记为目标轮廓；将N帧图像中运动目标的轮廓与结果帧中的目标轮廓相距最远的一帧图像记为目标帧；从目标帧中提取与结果帧中的目标轮廓区域坐标相同的区域作为区域图像；将所提取的区域图像拼接到结果帧的目标轮廓区域。

【技术特征摘要】

【专利技术属性】
技术研发人员：张刚，唐雨，
申请(专利权)人：北京奇虎科技有限公司，奇智软件北京有限公司，
类型：发明
国别省市：