电影划痕损伤的检测修复方法技术

一种图像处理技术领域的电影划痕损伤的检测修复方法，包括划痕检测和划痕修复两部分。划痕的检测过程分为划痕位置定位和划痕细节获取两个模块：先利用垂直划痕的空域亮度特征模型定位划痕在水平方向上的位置，再利用划痕的形态学特征获取这些划痕在垂直方向上的细节信息。划痕的修复在时空域处理图像，结合前后帧的信息对图像缺失部分进行修复，既利用了图像在一帧内的自相似性，又利用了图像帧间的相关性。本发明专利技术系统修复过程完全自动化，改善了旧电影划痕的修复效果，降低了人力成本和时间成本，可以广泛应用于各种视频序列的划痕修复中。

Method for detecting and repairing film scratch damage

The invention discloses a method for detecting and repairing film scratch damage in the field of image processing technology, which comprises two parts: scratch detection and scratch repair. The detection process of scratch acquisition module for two position and scratch scratch details: the first use of airspace location feature model vertical scratches scratches brightness in the horizontal direction of the position, then use morphological features to obtain these scratches scratches in the vertical direction of the details. The restoration of the image is processed in spatio-temporal domain, and the missing part of the image is reconstructed with the information of the front and back frames. The image is not only self similar in one frame, but also used in the correlation between frames. The system repairing process of the invention is completely automatic, the repairing effect of the old film scratches is improved, and the labor cost and time cost are reduced, and the utility model can be widely applied to scratch repair of various video sequences.

【技术实现步骤摘要】

本专利技术涉及的是一种图像处理
的方法，具体是一种电影划痕损伤的检测 修复方法。
技术介绍
电影胶片是一种容易老化的化学物质，并且由于不恰当的保存、播放和拷贝，使得 许多旧影片或损坏或丢失。划痕是电影胶片中经常出现的损伤，形成原因主要有两个一是 视频在拍摄过程中颗粒对胶片产生了划伤，二是视频在播放过程中胶片与摄像机摩擦产生 了损伤。因此，划痕通常呈线状分布在电影胶片中，一般为3 10个像素宽，长短不一，或 为白色或为黑色，所覆盖区域图像信息被严重破坏。研究针对旧电影中划痕损伤的检测修 复方法，是该领域的重要工作。划痕检测是划痕修复之前的一个重要步骤，检测方法的精确度直接影响到划痕修 复的效果。经典的划痕检测方法有基于划痕亮度模型的检测方法，如Brimi模型，可以较为 精确地检测到垂直划痕在图像水平方向上的位置，但是由于没有考虑到划痕的形态特性， 因此无法获得垂直划痕在垂直方向上的长度和具体位置等细节信息。另一些方法利用了划 痕的边缘特性进行检测，虽然可以获得划痕的细节信息，但由于作用于整幅图像并且缺少 定量的分析，主观性较大，不可避免地会检出许多同样具有边缘特性的干扰物体，产生误检 和漏检现象。利用划痕检测所得到的划痕掩模可进行划痕修复。大多数划痕修复方法都采用基 于一定模型的插值的方法，多项式插值假设图像缺失部分与其周围像素满足多项式模型， 选择多项式阶数进行拟合，从而得到合适的模型系数。多项式插值计算简单，可有效恢复图 像低频信息，但是很难恢复图像高频信息，无法保留图像纹理细节。随机模型如自回归(AR) 模型和马尔科夫随机(MRF)模型能更好地拟合缺失部分像素，尤其是恢复高频信息，但是 计算量大，实现复杂。2002年，BaHester和Bertalmio提出了“修补”的概念，用递归的方 法对图像缺失区域从外围向内部进行修补，直至填满整个区域，这种方法适用于图像中含 有较小缺失信息的情况，并不适于划痕修复。
技术实现思路
本专利技术针对现有技术存在的上述不足，提供一种， 能够有效地修复划痕损伤，相对于传统的检测和修复方法有更好的效果和较低的方法复杂 度，有较广阔的应用前景。本专利技术是通过以下技术方案实现的，本专利技术包括划痕的检测和划痕的修复两个部 分。其中，划痕的检测包括划痕位置定位和划痕细节获取两个模块，先利用垂直划痕 的空域亮度特征模型定位划痕在水平方向上的位置，再利用划痕的形态学特征获取这些划 痕在垂直方向上的细节信息，划痕位置定位和划痕细节获取这两个模块之间相辅相成，前者对于划痕水平位置的预定位缩小了后者的作用范围从而去除了后者检出的大量干扰噪 声，而后者对于前者进行了细化从而提取出了垂直划痕的长度及垂直方向上的位置信息；划痕检测的具体步骤如下1)对图像A进行垂直投影，计算图像矩阵每一列的均值，得到一个一维水平向量， 做水平方向上的均值滤波，得到图像的亮度截面cross (j)，这一步放大了划痕余弦衰减的 特性；2)选取cross (j)的所有极值点，根据划痕特性，对得到的极值点进行宽度约束、 亮度约束和韦伯能量约束，从而筛选出符合划痕特性的极值点；3)根据求出的划痕水平位置以及划痕的宽度，获得划痕的初级掩模；4)对原始图像A做直方图均衡，加强图像中划痕与背景图像的对比度，用canny算 子对图像进行边缘检测，并做形态学膨胀操作，沿水平轴方向增加划痕特性，提取出图像的 边缘骨架，记作D ；5)分别用结构算子By Be, Bh对D进行开操作后记作& (D),(D)^⑷)，将三者 进行OR操作后得M = ζΒ (D) I ζΒκ (D) I ζΒΗ (D)，将D和M相减，获得包含噪声在内的划痕细 节图；6)将步骤3)中得到的划痕的初级掩模与步骤5)中得到的划痕细节图有效结合， 并做后处理，获得划痕的最终掩模。所述的划痕余弦特性模型用公式表示为P ‘2ρ ρωρ式中i为图像χ轴，j为图像y轴。rs(j)是图像第j列划痕的起始位置，(j)为 图像第j列划痕的终端位置，bp为划痕最小亮度，P1代表余弦曲线的极值点位置，kp为划痕 的衰减系数，ωρ为划痕宽度的一半，sgn为阶跃函数。步骤6)中所述的将划痕初级掩模和划痕细节图有效结合，即对两图进行与操作， 利用划痕的初级掩模约束带有噪声的划痕图，去除划痕位置周围的干扰噪声，同时利用带 噪声的划痕细节图提取初级掩模中的划痕细节信息，得到Maskprevi。us，接着进行后处理，得 到划痕最终掩模。本专利技术的划痕检测部分的方法与现有方法相比，优点在于精确度高，划痕位置定 位和划痕细节获取这两个模块之间相辅相成，前者对于划痕水平位置的预定位缩小了后者 的作用范围从而去除了后者检出的大量干扰噪声，而后者对于前者进行了细化从而提取出 了垂直划痕的长度及垂直方向上的位置信息；计算复杂度低，划痕位置定位的方法复杂度 只有O(N) (N为待检测图像列数)，远小于通过神经网络预筛选划痕的方法和小波域进行划 痕检测的方法。本专利技术的划痕修复部分将现有的误码掩盖方法-基于块的双边滤波(BBF)方法扩 展到时域中，提出了基于时空域的3D-BBF划痕修复方法，具体步骤为首先判断划痕类型，如果划痕在前后帧同一位置附近重复出现，划痕类型为I类 划痕，选择二维的BBF方法，反之，如果划痕只在当前帧存在，划痕类型为II类划痕，对图像 序列进行镜头边界分割，再采用时空域3D-BBF方法。所述的时空域3D-BBF方法将图像分成许多子块，若含有划痕信息的待修复子块 在当前帧的中心点位置为(X，y)，大小为mXn，则搜索区域在前后帧的中心点位置也均为 (X，y)，大小为ρ X q，(P > m，q > η)，ρ和q的大小根据需要选定，通常为^iX 2η。区域大 意味着方法复杂度的增加，但同时对于前后帧偏移程度的容忍度提高，方法从待修复子块 与搜索域修补子块之间的地理距离和像素值之差两方面进行评估，进而计算出合适的修补 子块权值，经过3D-BBF方法进行划痕修复后，划痕区域的像素值为当前帧及前后帧搜索区 域内所有大小为mXn的子块的加权平均之和。本专利技术的划痕修复部分的方法，与现有方法相比，优点在于修复效果好，3D-BBF 在时空域处理图像，既利用了图像在一帧内的自相似性，又利用了图像帧间的相关性，它在 修复连续几帧存在的划痕时，效果比BBF略好，但在修复只在当前帧存在的划痕时，效果显 著提高；计算复杂度低，大多数基于时域的修复方法需要用到运动估计和运动补偿，大大增 加了方法复杂度，而3D-BBF方法不需要对划痕进行运动补偿。与现有技术相比，本专利技术的划痕检测修复系统的有益效果是修复过程完全自动 化，改善了旧电影划痕的修复效果，降低了人力成本和时间成本，可以广泛应用于各种视频 序列的划痕修复中。附图说明图1是本专利技术示意图。图2是划痕检测流程示意图。图3是划痕修复流程示意图。图4是划痕修复方法原理示意图。图5是经典的划痕测试图。图6是图5修复后的图像。图7是含有细微划痕的电影图像帧。图8是图7修复后的图像。图9是含有明显划痕的电影图像帧。图10是图9修复后的图像。具体实施例方式下面对本专利技术的实施例作详细说明，本实施例在以本专利技术技术方案为前提下进行 实施，给出了详细的实施方式和具体本文档来自技高网...

【技术保护点】
１．一种电影划痕损伤的检测修复方法，包括划痕的检测和划痕的修复两个部分，其特征在于：１）划痕的检测：划痕的检测过程分为划痕位置定位和划痕细节获取两个步骤：先利用垂直划痕的空域亮度特征模型定位划痕在水平方向上的位置，再利用划痕的形态学特征获取这些划痕在垂直方向上的细节信息，划痕位置定位和划痕细节获取这两个步骤之间相辅相成，前者对于划痕水平位置的预定位缩小了后者的作用范围从而去除了后者检出的大量干扰噪声，而后者对于前者进行了细化从而提取出了垂直划痕的长度及垂直方向上的位置信息；２）划痕的修复：将误码掩盖方法－基于块的双边滤波方法扩展到时域中，并应用于划痕修复中，提出了基于时空域的３Ｄ－ＢＢＦ划痕修复方法，３Ｄ－ＢＢＦ方法在时空域处理图像，既利用了图像在一帧内的自相似性，又利用了图像帧间的相关性，由于一些划痕在电影序列几帧内连续存在，另一些划痕只在当前帧存在，３Ｄ－ＢＢＦ方法在修复前者时，效果比ＢＢＦ略好，但在修复后者时，效果显著提高。

【技术特征摘要】

【专利技术属性】
技术研发人员：庄晓宇，杨小康，陈立，周智圆，于沛，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：31