视频序列中划痕的修复方法技术

本发明专利技术公开了视频序列中划痕的修复方法，它包括步骤：（１）读入视频序列和每一帧划痕检测掩模；（２）梯度按垂直和水平方向离散化，利用整体变分修复模型沿垂直或水平方向修复划痕；（３）梯度按斜向离散化，利用整体变分修复模型沿斜向修复划痕；（４）通过权值令步骤（２）、（３）结合起来，既沿水平或垂直方向又沿斜向方修复划痕；（５）利用阈值或迭代次数判断迭代修复是否结束；（６）输出保存修复后的视频序列。该方法省略划痕两端相关性弱的像素点的计算，避免了错误信息的传递，并且使用了两种梯度离散化方法，实现既可以向修复点传递水平或垂直方向的信息又可以传递斜向的信息使修复结果更加准确。

Method for repairing scratches in video sequences

The invention discloses a method for repairing scratches in the video sequence, which comprises the following steps: (1) read each frame of video sequences and scratch detection mask; (2) according to the discrete gradient in vertical and horizontal direction, the total variation inpainting model along the vertical or horizontal direction to repair scratches; (3) the gradient by oblique the discretization of the total variation inpainting model along the diagonal scratches; (4) to step through weight (2), (3) combine along the horizontal or vertical direction and along the inclined to repair scratches; (5) whether the end number of judgment by iterative repair or iterative threshold; (6) output save the video sequence after repair. The calculation of pixel method omits the weak correlation between the ends of the scratch, to avoid spreading false information, and the use of the two gradient discretization method, which not only can transfer the horizontal or vertical direction to repair point information and can transmit information to the cable to repair more accurate results.

【技术实现步骤摘要】

本专利技术属于数字视频图像处理领域，具体地说是涉及一种应用于电影电视的胶片和磁带的数字化。
技术介绍
划痕是视频序列中最常见的一种损伤，产生的主要原因是胶片在播放、拷贝以及倒巻过程中被坚硬颗粒引起的刮擦，主要为垂直和水平划痕两种，表现为黑色和白色，宽度通常为3 10个像素。视频序列中的划痕通常在相同位置附近持续出现若干帧。划痕的形状细长，两端的相关性比较弱，甚至有些划痕在垂直或者水平方向贯穿整帧画面，两端可利用的信息有限，增加了划痕的修复难度。由于垂直划痕在连续帧上持续出现在相同位置，从视频序列前后帧中可获得的有用信息非常有限，时域的修复方法并不适合，常采用空间插值的方法修复]，如LeeC.H. Restoringspline interp- olation of CT images . IEEE Transactions on Medical Imaging,September 1983， 2 (3) : 142-149.禾口 Li S. Z., Chan K. L., Wang H. Bayesian image restorationand segmentation by constrained optimization .CVPR， 96，Int. Conf. on ComputerVision and Pattern Recognition, Jun 1996, {18} : 1_6还有Philippe Thevenaz， Thieny Blu，Michael Unser. Interpolation Revisited. IEEE Trans on MedicalImaging, Jul. 2000， 19(7) :739-758，利用邻近像素点灰度值的加权平均来计算未知像素点的灰度值，这种方法修复速度比较快，但不能保持画面的结构特征，视觉效果上会有一定的模糊和平滑效应。另外还有利用小波域对垂直划痕修复，如T. Bretschneider, 0. Kao, P. J. Bonws.Removal of Verti- cal Scratches in Digitised Historical Film Sequences Using WaveletDecomposition . New Zealand: Proceedings of the Image and Vision Computing,2000， 38-43，这种方法利用三次样条插值修复垂直方向的小波系数，有效的保留了图像的高频分量，但在局部图像上仍能看出轻微的划痕痕迹，实际上就是频域的插值方法。而后出现图像修补技术，Chan等人提出的基于整体变分(Total Variation, TV)模型的图像修补方法，T. Chan, J. Shen. Mathematical Models for Local Non-texture I叩aintings .SIAM. Applied Mathematics, 2002， 62 (3): 1019 - 1043和Rudin L. I. ，0sher S. TotalVariation Based Image Restoration with Free Local Constraints . Austin: IEEEInternational Conference on Image Proc， 1994, {1} : 31-35还有Rudin L. I. ， 0sher S, FatemiE. Nonlinear Total Variation Based Noise Removal Algorithms . Physical ，1992 ,60 (4) :259-268，具有抑制图像噪声的同时保持图像的边缘结构的优点，主要思想是最小化整体变分，将待修补区域周围的信息各向异性的传播到修补区域中，对小块损伤区域修复效果良好，但由于划痕两端相关性较弱，可利用的信息比较有限，继续利用八邻域的像素点会产生错误积累。而且，需要主观标出划痕的损伤区域，对于数据量庞大的视频序列工作量比较大。通过对上海文广音像资料馆提供的带有划痕损伤的视频资料进行修复的分析，划痕的修复有以下不足-1、 由于垂直和水平划痕在连续帧上持续出现在相同位置，从视频序列前后帧中可获得的有用信息非常有限，时域的修复方法并不适合。2、 现有的其它方法对划痕的修复是利用划痕的邻域一周的像素点进行修复，由于垂直和水平划痕的形状特点，垂直划痕的上端和下端以及水平划痕的左端和右端的距离比较远，相关性比较弱，甚至有些划痕在垂直或水平方向贯穿整帧画面，划痕的两端没有可利用的信息，用现有的方法修复垂直和水平划痕会产生错误信息的传递，也影响了修复的速度。3、 现有的整体变分修复模型的梯度离散化方法是按水平和垂直方向进行分解的，计算修复像素点水平和垂直方向邻域像素点的梯度分量，利用梯度分量和邻域像素点向修复区域扩散信息。这种分解方法对修复水平和垂直方向的边缘结构效果较好，但没考虑斜向信息的传递，对含有斜向边缘结构的修复区域会产生错误修复。
技术实现思路
鉴于以上所述现有技术存在的问题和不足，本专利技术的目的在于提供一种，该方法利用视频画面的空间信息修复划痕，根据划痕形状选取相关性强的修复点邻域的像素点来修复划痕，不仅能向修复区域扩散、传递包含水平和垂直方向的结构信息，还能传递斜向的结构信息，进而提高划痕的修复效果。为达到上述目的，本专利技术采用以下技术解决方案实现，上述，其具体步骤如下(1) ，读入视频序列和每一帧划痕检测掩模；(2) ，选择视频画面中存在的划痕方向，计算修复点的梯度分量，向修复点传递梯度分量和邻域像素点的信息，若存在的是垂直划痕，则转步骤(2-1)，若存在的是水平划痕，则转步骤(2-2)。(2-1)，视频画面上存在的是垂直划痕，沿水平方向修复划痕，计算修复点的水平方向上的梯度分量，向修复点传递水平梯度分量和水平方向邻域像素点的信息；9(2-2),视频画面上存在的是水平划痕，沿垂直方向修复划痕，计算修复点的垂直方向上的梯度分量，向修复点传递垂直梯度分量和垂直方向邻域的像素点的信息；(3) ，对TV半点格式求解梯度进行改变，其梯度从按垂直和水平方向分解变为按正方形对角线方向进行分解，计算修复点的斜向方向上的四个梯度分量，沿斜向修复划痕，向划痕传递斜向梯度分量和斜向邻域像素点的信息。(4) ，对步骤(2-1)或(2-2)设置一个权值为a，对步骤(3)设置一个权值为^，通过各自的权值令步骤(2)和步骤(3)结合起來对视频画面中的划痕进行修复。(5)，分别以设定的阈值^或设定修复迭代次数控制迭代修复是否结束。(6)，输出保存修复后的视频序列。本专利技术的与现有技术相比具体有的优点在于1、 该方法把步骤(2)和步骤(3)结合起来对划痕进行修复，使用了两种梯度离散化方法，步骤(2)梯度按水平和垂直方向离散化与步骤(3)按对角线方向离散化，实现既可以向修复点传递水平或垂直方向的信息又可以传递斜向的信息使修复结果更加准确。2、 该方法的步骤(2)，对垂直划痕的修复只沿水平方向进行，对水平划痕的修复只沿垂直方向进行，计算量减少了一半，并且计算梯度分量时省略修本文档来自技高网...

【技术保护点】
一种视频序列中划痕的修复方法，其特征在于包括如下步骤：（１），读入视频序列和每一帧划痕检测掩模；（２），选择视频画面中存在的划痕方向，计算修复点的梯度分量，向修复点传递梯度分量和邻域像素点的信息，若存在的是垂直划痕，则转步骤（２－１），若存在的是水平划痕，则转步骤（２－２）；（２－１），视频画面上存在的是垂直划痕，沿水平方向修复划痕，计算修复点的水平方向上的梯度分量，向修复点传递水平梯度分量和水平方向邻域像素点的信息；（２－２），视频画面上存在的是水平划痕，沿垂直方向修复划痕，计算修复点的垂直方向上的梯度分量，向修复点传递垂直梯度分量和垂直方向邻域的像素点的信息；（３），对ＴＶ半点格式求解梯度进行改变，其梯度从按垂直和水平方向分解变为按正方形对角线方向进行分解，计算修复点的斜向方向上的四个梯度分量，沿斜向修复划痕，向划痕传递斜向梯度分量和斜向邻域像素点的信息；（４），对步骤（２－１）或（２－２）设置一个权值为ｑ↓［１］，对步骤（３）设置一个权值为ｑ↓［２］，通过各自的权值令步骤（２）和步骤（３）结合起来，对视频画面中的划痕进行修复；（５），分别以设定的阈值θ或设定修复迭代次数控制迭代修复是否结束；（６），输出保存修复后的视频序列。...

【技术特征摘要】

【专利技术属性】
技术研发人员：谷伊，韩军，蒋慧钧，闵友钢，王亚萍，
申请(专利权)人：上海大学，
类型：发明
国别省市：31[中国|上海]