一种基于自适应阈值时空信息的旧电影斑点噪声检测方法技术

一种基于自适应阈值时空信息的旧电影斑点噪声检测方法涉及数字图像处理领域，通过对时间域和空间域信息进行全面约束，对老旧电影中的斑点损伤进行检测，检测出的斑点模板图可以清晰反映出斑点所在位置信息。首先对待检测帧的图像进行运动估计，以像素块为单位在前后帧之间进行匹配，对于每一帧图像得到两个运动矢量矩阵，分别记录当前帧图像的每个像素在前、后帧对应位置的运动矢量。然后基于上一步得到的运动估计结果，采用改进的SDI算法和ESROD算法对斑点进行全面检测，并经过自适应调整阈值，将所有可能成为斑点的区域都检测出来。之后进一步对斑点区域进行筛选，使用时空约束条件筛选出精确的斑点位置，得到斑点检测结果。

【技术实现步骤摘要】
一种基于自适应阈值时空信息的旧电影斑点噪声检测方法
本专利技术涉及数字图像处理方法，特别涉及一种基于自适应阈值时空信息的旧电影斑点噪声检测方法。
技术介绍
斑点检测方法主要分为基于空间不连续性和时间不连续性的检测方法。A.C.Kokaram和P.J.W.Rayner在直观法的基础上结合运动估计和运动补偿技术提出了SDIa(SpikeDetectionIndex-a)检测算法，该算法是一种最基本的基于斑点时间域不连续特性的检测法。它首先提出了利用视频序列中的相邻三帧来检测斑点，先分别计算当前待检测帧的像素点与前后运动补偿后参考帧对应像素差值的平方，然后将两数中较小的数值与已设定阈值进行比较。若检测位置像素值超过该阈值，则认为当前像素点属于斑点。之后A.C.Kokaram又提出了SDIa算法的改进算法，即SDIp(SpikeDetectionIndex-p)检测算法，该算法较SDIa检测算法相比，提出了当前待检测帧与前后参考帧的两个差值的同号约束性，这样可以排除多帧内灰度渐变所引入的误点，使斑点检测效果更佳准确。该类方法都严重依赖于运动估计的准确性，且仅考虑了斑点的时间不连续性，而没有考虑到空间一致性，因此检测准确性较低。传统的斑点检测索引算法(SpikeDetectionIndex，SDI)算法是一种最基本的基于斑点空间不连续特性的检测法。它首先提出了利用视频序列中的相邻三帧来检测斑点，先分别计算当前待检测帧的像素点与前后运动补偿后参考帧对应像素差值的平方；然后将两数中较小的数值与已设定阈值进行比较。若检测位置像素值超过该阈值，则认为当前像素点属于斑点。但此算法仅利用单帧空域信息，受到滤波器大小的限制，没有利用时域上斑点不连续的信息，因此将像素判定为斑点的限制条件较少，检测准确率不高且斑点的边缘处像素也容易被认定为斑点。而传统的等级差分检测器(SimplifiedRank-OrderedDifference，SROD)算法是对运动估计后的相邻前后帧的若干像素进行统计排序，取相邻两帧中经运动估计后匹配位置的点及竖直位置上下相邻两点，然后经过排序找到其中的最大最小值，与待检测点做差，获得的结果再和阈值进行比较。若当前像素大于阈值则判定为斑点。该算法参考了斑点的时间域特性，通过阈值的判断来确定斑点，改善了检测效果。但是传统方法仅考虑了竖直相邻两点，没有全面的利用空间信息，因此检测准确度也较低。通过进一步利用斑点的时空域信息进行精确筛选，并使用阈值自适应调整方法，可以获得较为理想的斑点检测效果。
技术实现思路
本专利技术的目的在于，通过对时间域和空间域信息进行全面约束，对老旧电影中的斑点损伤进行检测，检测出的斑点模板图可以清晰反映出斑点所在位置信息。本专利技术是采用以下技术手段实现的：一种基于自适应阈值时空信息的旧电影斑点噪声检测方法，整体流程图如附图1所示；首先对待检测帧的图像进行运动估计，以像素块为单位在前后帧之间进行匹配，对于每一帧图像得到两个运动矢量矩阵，分别记录当前帧图像的每个像素在前、后帧对应位置的运动矢量。然后基于上一步得到的运动估计结果，采用改进的SDI算法和ESROD算法对斑点进行全面检测，并经过自适应调整阈值，将所有可能成为斑点的区域都检测出来。之后进一步对斑点区域进行筛选，使用时空约束条件筛选出精确的斑点位置，得到斑点检测结果。所述的具体内容如下：(1)视频连续帧图像的运动估计本专利技术的运动估计采用块匹配运动估计，把图像帧划分为若干互不重叠的块，并以块为单位寻找目标帧中每块在前帧和后帧中最优匹配的块的相对位置，输入图像为连续3帧，Ii-1,Ii和Ii+1，其中Ii为当前帧。对于每个当前帧计算出两个匹配运动矢量矩阵qi和hi，分别记录了当前帧的每个像素点到其前后帧中对应点所要经过的位移距离。本专利技术的块匹配算法采用三步搜索策略进行，首先从原点开始，以4为步长，在周围距离步长的8个点处计算相似度函数，进行块匹配比较，然后将步长减半，并将中心点移到上一步中确定的相似度函数值最小的点，重新在周围距离步长的8个点处进行块匹配计算并比较，找出相似度函数值最小的点，若此时步长为1，则该点所在位置即为匹配点，记录下这个匹配点与当前帧的点的横纵坐标位置距离使用这种算法得到每个像素点的运动矢量，之后调用时只需用当前点加上该距离即可。(2)采用改进的SDI和ESROD算法全面检测斑点本专利技术为了获得所有可能属于斑点的区域，首先对图像进行初步斑点检测。在初步检测中，本专利技术借鉴已有的SDI和SROD判断准则，提出采用单向素插值与邻域像素排序相结合的斑点噪声判断准则进行噪声点检测。本专利技术首先在序列中利用经过运动补偿后的相邻三帧来检测当前帧的斑点噪声。对当前帧Ii中的位于坐标(x,y)处的像素Ii(x,y)，计算与前后运动补偿参考帧对应像素差值；然后将两数中绝对值较小的与设定阈值T1进行比较。同时，对当前帧与前后帧的两个差值进行同号性约束。本专利技术对于当前帧位于坐标(x,y)处的像素Ii(x,y)，取前后两帧的相对应像素点，及其邻域Ns内的水平与竖直方向的4个相邻点，共10个参考点进行排序。像素点集合为{P(x,y)|(x,y)∈Ns}，在集合中找出最大值max(P(x,y))和最小值min(P(x,y))，与阈值T2进行比较，判断当前像素点是否属于斑点。(3)自适应调整阈值为了合理设置阈值，本专利技术设计了阈值自适应调整策略。首先设定一个较小的初始阈值T1＝5，此时算法智能只能检测出少量斑点。设得到的检测结果模板图为M0，标注M0中连通的斑点块，并记录斑点块的个数为n0；将当前的阈值增加迭代步长ΔT＝2，再次进行检测。迭代检测，第i次检测模板图记为Mi；记录标注检测结果中连通的斑点块并记录斑点块的熟练ni。直到ni＝ni-1，表示阈值增加后没有出现新的斑点，斑点区域没有扩大，结束迭代。此时结果作为初检检测结果。(4)时空约束条件精确筛选斑点位置本专利技术第二步对初步检测的斑点区域进行更加细致的时空约束筛选。由于真正的斑点区域在前后帧都没有与之相似的区域，而图中完整的景物块在前帧或者后帧的斑点附近区域可以找到对应的形状灰度相似的像素区域，所以采用时间域约束进行筛选。在空间域中，伪斑点在其周围区域没有呈现出孤立的斑点形状，而真正斑点在一帧内往往与其周围区域像素灰度差很大，因此采用空间域约束来进一步筛选。(5)斑点检测效果评价为了验证本专利技术算法的有效性，对不同算法进行了对比试验。具体比较的方法包括：单独使用的传统的SROD算法和SDI算法。使用本专利技术算法对来自影片《泰然尼克号》和《花样年华》的视频内容进行了测试。测试视频帧为4096片《泰然尼、1920片《泰然尼像素彩色视频序列。常用的评价方法主要采用主观评价结果和客观的计算检测准确率方法。附图说明：图1基于自适应阈值时空信息的旧电影斑点噪声检测方法流程图；图2斑点检测结果对比图。具体实施方式根据上述描述，以下介绍本专利技术具体的实施流程。步骤1：视频连续帧图像的运动估计本专利技术的运动估计采用块匹配运动估计，把图像帧划分为若干互不重叠的块，并以块为单位寻找目标帧中每块在前帧和后帧中最优匹配的块的相对位置，输入图像为连续3帧，Ii-1,Ii和Ii+1，其中Ii为第i个当前要处理的帧。对于每个当前帧计本文档来自技高网...

【技术保护点】
1.一种基于自适应阈值时空信息的旧电影斑点噪声检测方法，其特征在于，包括以下步骤：(1)视频连续帧图像的运动估计运动估计采用块匹配运动估计，把图像帧划分为若干互不重叠的块，并以块为单位寻找目标帧中每块在前帧和后帧中最优匹配的块的相对位置，输入图像为连续3帧，Ii‑1,Ii和Ii+1，其中Ii为当前帧；对于每个当前帧计算出两个匹配运动矢量矩阵qi和hi，分别记录了当前帧的每个像素点到其前后帧中对应点所要经过的位移距离；块匹配算法采用三步搜索策略进行，首先从原点开始，以4为步长，在周围距离步长的8个点处计算相似度函数，进行块匹配比较，然后将步长减半，并将中心点移到上一步中确定的相似度函数值最小的点，重新在周围距离步长的8个点处进行块匹配计算并比较，找出相似度函数值最小的点，若此时步长为1，则该点所在位置即为匹配点，记录下这个匹配点与当前帧的点的横纵坐标位置距离，使用这种算法得到每个像素点的运动矢量，之后调用时只需用当前点加上该运动矢量即可；(2)采用改进的SDI和ESROD算法全面检测斑点首先在序列中利用经过运动补偿后的相邻三帧来检测当前帧的斑点噪声；对当前帧Ii中的位于坐标(x,y)处的像素Ii(x,y)，计算与前后运动补偿参考帧对应像素差值；然后将两数中绝对值较小的与设定阈值T1进行比较；同时，对当前帧与前后帧的两个差值进行同号性约束；对于当前帧位于坐标(x,y)处的像素Ii(x,y)，取前后两帧的相对应像素点，及其邻域Ns内的水平与竖直方向的4个相邻点，共10个参考点进行排序；像素点集合为{P(x,y)|(x,y)∈Ns}，在集合中找出最大值max(P(x,y))和最小值min(P(x,y))，与阈值T2进行比较，判断当前像素点是否属于斑点；(3)自适应调整阈值首先设定一个较小的初始阈值；设得到的检测结果模板图为M0，标注M0中连通的斑点块，并记录斑点块的个数为n0；将当前的阈值增加迭代步长ΔT＝2，再次进行检测；迭代检测，第i次检测模板图记为Mi；记录标注检测结果中连通的斑点块并记录斑点块的数量ni；直到ni＝ni‑1，表示阈值增加后没有出现新的斑点，斑点区域没有扩大，结束迭代；此时结果作为初检检测结果；(4)时空约束条件精确筛选斑点位置。...

【技术特征摘要】
1.一种基于自适应阈值时空信息的旧电影斑点噪声检测方法，其特征在于，包括以下步骤：(1)视频连续帧图像的运动估计运动估计采用块匹配运动估计，把图像帧划分为若干互不重叠的块，并以块为单位寻找目标帧中每块在前帧和后帧中最优匹配的块的相对位置，输入图像为连续3帧，Ii-1,Ii和Ii+1，其中Ii为当前帧；对于每个当前帧计算出两个匹配运动矢量矩阵qi和hi，分别记录了当前帧的每个像素点到其前后帧中对应点所要经过的位移距离；块匹配算法采用三步搜索策略进行，首先从原点开始，以4为步长，在周围距离步长的8个点处计算相似度函数，进行块匹配比较，然后将步长减半，并将中心点移到上一步中确定的相似度函数值最小的点，重新在周围距离步长的8个点处进行块匹配计算并比较，找出相似度函数值最小的点，若此时步长为1，则该点所在位置即为匹配点，记录下这个匹配点与当前帧的点的横纵坐标位置距离，使用这种算法得到每个像素点的运动矢量，之后调用时只需用当前点加上该运动矢量即可；(2)采用改进的SDI和ESROD算法全面检测斑点首先在序列中利用经过运动补偿后的相邻三帧来检测当前帧的斑点噪声；对当前帧Ii中的位于坐标(x,y)处的像素Ii(x,y)，计算与前后运动补偿参考帧对应像素差值；然后将两数中绝对值较小的与设定阈值T1进行比较；同时，对当前帧与前后帧的两个差值进行同号性约束；对于当前帧位于坐标(x,y)处的像素Ii(x,y)，取前后两帧的相对应像素点，及其邻域Ns内的水平与竖直方向的4个相邻点，共10个参考点进行排序；像素点集合为{P(x,y)|(x,y)∈Ns}，在集合中找出最大值max(P(x,y))和最小值min(P(x,y))，与阈值T2进行比较，判断当前像素点是否属于斑点；(3)自适应调整阈值首先设定一个较小的初始阈值；设得到的检测结果模板图为M0，标注M0中连通的斑点块，并记录斑点块的个数为n0；将当前的阈值增加迭代步长ΔT＝2，再次进行检测；迭代检测，第i次检测模板图记为Mi；记录标注检测结果中连通的斑点块并记录斑点块的数量ni；直到ni＝ni-1，表示阈值增加后没有出现新的斑点，斑点区域没有扩大，结束迭代；此时结果作为初检检测结果；(4)时空约束条件精确筛选斑点位置。2.根据权利要求1所述的方法，其特征在于，视频连续帧图像的运动估计具体为：以当前帧为参考帧，对前后两帧图像进行运动估计；采用的图像块大小为8×8像素；图像块相似度函数采用均方误差MSE计算，公式为：其中，B为N1×N2大小的块，N1、N2为图像块的长宽，经过分析斑点的形状将块的大小设定为8×8，B为N1×N2大小的块，x、y为当前检测坐标，u＝1、v＝1为水平和竖直方向上移动的位移。3.根据权利要求1所述的方法，其特征在于，采用改进的SDI和ESROD算法全面检测斑点具体为：首先对图像进行初步斑点检测；在初步检测中，借鉴已有的SDI和SROD判断准则，提出采用单向素插值与邻域像素排序相结合的斑点噪声判断准则进行噪声点检测；准则1：单向素差值判断准则(1)首先在序列中利用经过运动补偿后的相邻三帧来检测当前帧的斑点噪声；d1和d2分别为对当前帧Ii中的位于坐标(x,y)处的像素Ii(x,y)，计算与前后运动补偿参考帧对应像素差值：d1＝(Ii(x,y)-Ii-1(x,y))，d2＝(Ii(x,y)-Ii+1(x,y))；SDIi(x,y)为每一帧图像的像素点，与前后运动补偿参考帧对应像素差值的最小值；(2)然后将两数中绝对值较小的与设定阈值T1进行比较；首先设置较小的阈值，设为5，之后下一步使用阈值自适应算法再进行调整；同时，对当前帧与前后帧的两个差值进行同号性约束，具体如公式(2)所示，SDIi(x,y)为单像素差值判断算子：SDIi(x,y)＝min(|d1|,|d2|)<T1(2)准则2：邻域像素排序判断准则对于原始SROD算法的改进算法增强邻域像素判断准则ESROD，对于当前帧位于坐标(x,y)处的像素Ii(x,y)进行计算；...

【专利技术属性】
技术研发人员：李晓光，刘晨，李嘉锋，卓力，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京,11