当前位置: 首页 > 专利查询>上海大学专利>正文

一种运动路径指引的老电影黑帧修复方法技术

技术编号:17781043 阅读:27 留言:0更新日期:2018-04-22 10:18
本发明专利技术公开一种运动路径指引的老电影黑帧修复方法,包括:运动路径估计步骤,其中使用光流估计获得前后参考帧之间的运动路径约束;预插值步骤,其中使用自适应的双向帧插值插得预处理中间帧;黑洞填补步骤,其中对预处理中间帧中的黑洞进行领域像素填补,从而提高终插值的准确性;以及终插值步骤,其中对包含运动路径约束的预处理中间帧进行基于块的帧重构,从而将老电影中的黑帧修复成过渡自然的中间帧。本发明专利技术方法不仅能较好的满足重建效果,而且也兼顾了计算复杂度,对于大部分的老电影镜头,甚至一些较为复杂的变形镜头也能较好的还原中间帧。

【技术实现步骤摘要】
一种运动路径指引的老电影黑帧修复方法
本专利技术涉及计算机图像修复领域,具体涉及一种运动路径指引的老电影黑帧修复方法。
技术介绍
老电影由于其反映了早年社会的面貌、表达了早期艺术的形态,成为现如今珍贵的历史影像资料,有着重大的研究和保存价值。然而,胶片电影由于受历史原因和技术的影响,再加上胶片本身物理上无法抵抗自然环境,长久下来在保存上出现了斑点、划痕、褪色、缺损等诸多问题。而这些问题在影片被胶转磁数字化后仍然存在。当老电影部分胶片缺损时,黑帧常作为替补帧出现弥补空格,从而保持影片播放的帧率。然而,黑帧的插入在影片播放过程中会出现视觉上的闪跳,很影响观感。现在对视频插帧的研究主要依赖于前后帧的相关性,找到相应运动规律,从而推导出中间帧的画面状态。最为常见的解决方式是计算物体的光流估计,利用运动补偿进行帧插值。Mahajan等提出基于路径的插值方法,通过在源图中寻找到一条路径,该路径可供插值帧中的每个像素进行移动和拷贝。Meyer等提出基于相位的方法,这类方法假设轻微的移动可以用单个像素颜色的相位移动编码得到。Saito等提出基于块的快速帧插值,该方法利用匹配块得到两帧之间的位移矢量,再将块平移到合适的位置进行帧插值。然而,虽然现有的算法各有各的优势,但存在重建效果差或计算复杂的问题。
技术实现思路
针对现有技术存在的缺陷,本专利技术的目的是提供一种运动路径指引的老电影黑帧修复方法,从而将老电影中的黑帧修复成过渡自然的中间帧。为达到上述目的,本专利技术采用如下技术方案:一种运动路径指引的老电影黑帧修复方法,具体步骤如下:步骤1),运动路径估计:使用光流估计获得前后参考帧之间的运动路径约束;步骤2),预插值:使用自适应的双向帧插值插得预处理中间帧;步骤3),黑洞填补:对预处理中间帧中的黑洞进行领域像素填补,从而提高终插值的准确性;步骤4),终插值:对包含运动路径约束的预处理中间帧进行基于块的帧重构,从而将老电影中的黑帧修复成过渡自然的中间帧。上述步骤1)中的运动路径估计,具体为:通过计算前向参考帧与后向参考帧对应像素点的位移矢量得到位移矢量集(u,v),其中,假设前向参考帧中的像素点为(x,y,t),后向参考帧中的对应像素点为(x',y',t'),则两像素差值如公式(1)其中,s表示从t帧到t'帧的时间差,运动路径表示前后参考帧对应像素在时间维度的运动矢量,那么,从t帧到t'帧的运动路径表示为(u,v,s)。上述帧间的对应像素位移矢量集,通过计算层标记光流估计来获得:首先,找到一个满足一定假设条件的能量函数,然后,将该能量函数最小化得到最优的位移矢量,再使用金字塔结构分层迭代位移矢量,从而得到最佳的位移矢量集(u,v)。上述能量函数由三项目组成:数据项、平滑项和对称项,具体定义如公式(2)所示:其中,(u12,v12)表示从帧I1到帧I2的光流场,(u21,v21)表示从帧I2到帧I1的光流场,EData、ESmooth、ESym分别表示数据项、平滑项和对称项,α、β是各项目的占比系数。上述步骤2)中的预插值,使用双向插值方法得到预处理的中间帧,对于多帧的插值,从前后参考帧中自适应的选择较佳的像素值进行预填充。上述双向插值方法是:首先,利用步骤1)中的前向光流场和后向光流场分别进行前向插值和后向插值,然后,使用前向插值和后向插值中所有有效像素对预处理中间帧进行填充。对于多帧的预插值,预估前一半的帧内容更接近前向参考帧,而后一半的帧内容更接近后向参考帧,对于不同的帧内容,自适应的选择合适的参考帧优先填充预处理中间帧的像素值。上述步骤3)中的黑洞填补,对预处理中间帧中仍未被填充的黑洞使用近领域像素进行填补,从而纠正部分错误像素,减少后期块匹配的错误率。上述步骤4)中的终插值,使用双帧参考进行块匹配,从前后参考帧中找到与预处理中间帧最为匹配的匹配块,使用该匹配块替换预处理中间帧中的块,从而使得得到的最终中间插值帧在细节上更为自然,又因为预处理中间帧中包含运动路径约束,使得最终插值帧继承了前后帧的过渡状态,从而满足老电影电影镜头黑帧的替换修复。上述块匹配的过程中,使用相似性度量找寻前后参考帧中与预处理中间帧中待匹配块最相似的块,为了加快搜索速度,使用邻近块传播和随机搜索的方法进行相似块的搜寻。与现有技术相比,本专利技术具有如下的优点:本专利技术一种运动路径指引的老电影黑帧修复方法,不仅能较好的满足重建效果,而且也兼顾了计算复杂度,对于大部分的老电影镜头,甚至一些较为复杂的变形镜头也能较好的还原中间帧。附图说明图1是表示本专利技术的老电影黑帧修复方法的主流程图。图2是表示运动路径的时空示意图。图3是表示本专利技术的老电影黑帧修复方法的预插值和黑洞填补的子流程图。图4是表示预处理中间帧黑洞填补前(a)和黑洞填补后(b)的效果对比图。图5是表示在终插值步骤使用单帧参考进行块匹配(a)和使用双帧参考进行块匹配(b)的效果对比图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白,下面将结合本专利技术实施例中的附图,对本专利技术实施例中的技术方案进行清楚、完整地描述,应当理解,此处所描述的具体实施例仅用以解释本专利技术,并不用于限定本专利技术。所描述的实施例仅仅是本专利技术一部分实施例,而不是全部的实施例。基于本专利技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本专利技术保护的范围。如图1所示,一种运动路径指引的老电影黑帧修复方法,其特征在于,具体步骤如下:步骤1),运动路径估计:使用光流估计获得前后参考帧之间的运动路径约束;步骤2),预插值:使用自适应的双向帧插值插得预处理中间帧;步骤3),黑洞填补:对预处理中间帧中的黑洞进行领域像素填补,从而提高终插值的准确性;步骤4),终插值:对包含运动路径约束的预处理中间帧进行基于块的帧重构,从而将老电影中的黑帧修复成过渡自然的中间帧。所述步骤1)中的运动路径估计,具体为:通过计算前向参考帧与后向参考帧对应像素点的位移矢量得到位移矢量集(u,v),其中,假设前向参考帧中的像素点为(x,y,t),后向参考帧中的对应像素点为(x',y',t'),则两像素差值如公式(1)其中,s表示从t帧到t'帧的时间差,运动路径表示前后参考帧对应像素在时间维度的运动矢量,那么,从t帧到t'帧的运动路径表示为(u,v,s)。图2直观的展示了蓝色方块从帧I1到帧I2的运动路径。根据位移矢量插值得到的预处理中间帧包含了运动路径约束,因而能使之后帧重建完整的保留了帧间过渡状态。帧间对应像素位移矢量集可以通过计算层标记光流估计来获得。首先,找到一个满足一定假设条件的能量函数,然后,将该能量函数最小化得到最优的位移矢量,再使用金字塔结构分层迭代位移矢量,从而得到最佳的位移矢量集(u,v)。计算光流估计的能量函数由三项目组成:数据项、平滑项和对称项,具体定义如公式(2)所示:其中,(u12,v12)表示从帧I1到帧I2的光流场,(u21,v21)表示从帧I2到帧I1的光流场,EData、ESmooth、ESym分别表示数据项、平滑项和对称项,α、β是各项目的占比系数。如图3的子流程图所示,预处理中间帧的获取包括了步骤2)预插值和步骤3)黑洞填补。在步骤2)中,使用双向插值方法得到预处理的中间帧,对于多帧的插值本文档来自技高网...
一种运动路径指引的老电影黑帧修复方法

【技术保护点】
一种运动路径指引的老电影黑帧修复方法,其特征在于,具体步骤如下:步骤1),运动路径估计:使用光流估计获得前后参考帧之间的运动路径约束;步骤2),预插值:使用自适应的双向帧插值插得预处理中间帧;步骤3),黑洞填补:对预处理中间帧中的黑洞进行领域像素填补,从而提高终插值的准确性;步骤4),终插值:对包含运动路径约束的预处理中间帧进行基于块的帧重构,从而将老电影中的黑帧修复成过渡自然的中间帧。

【技术特征摘要】
1.一种运动路径指引的老电影黑帧修复方法,其特征在于,具体步骤如下:步骤1),运动路径估计:使用光流估计获得前后参考帧之间的运动路径约束;步骤2),预插值:使用自适应的双向帧插值插得预处理中间帧;步骤3),黑洞填补:对预处理中间帧中的黑洞进行领域像素填补,从而提高终插值的准确性;步骤4),终插值:对包含运动路径约束的预处理中间帧进行基于块的帧重构,从而将老电影中的黑帧修复成过渡自然的中间帧。2.根据权利要求1所述的运动路径指引的老电影黑帧修复方法,其特征在于,所述步骤1)中的运动路径估计,具体为:通过计算前向参考帧与后向参考帧对应像素点的位移矢量得到位移矢量集(u,v),其中,假设前向参考帧中的像素点为(x,y,t),后向参考帧中的对应像素点为(x',y',t'),则两像素差值如公式(1)其中,s表示从t帧到t'帧的时间差,运动路径表示前后参考帧对应像素在时间维度的运动矢量,那么,从t帧到t'帧的运动路径表示为(u,v,s)。3.根据权利要求2所述的运动路径指引的老电影黑帧修复方法,其特征在于,所述帧间的对应像素位移矢量集,通过计算层标记光流估计来获得:首先,找到一个满足一定假设条件的能量函数,然后,将该能量函数最小化得到最优的位移矢量,再使用金字塔结构分层迭代位移矢量,从而得到最佳的位移矢量集(u,v)。4.根据权利要求3所述的运动路径指引的老电影黑帧修复方法,其特征在于,所述能量函数由三项目组成:数据项、平滑项和对称项,具体定义如公式(2)所示:其中,(u12,v12...

【专利技术属性】
技术研发人员:夏天然丁友东于冰黄曦谢志峰黄东晋
申请(专利权)人:上海大学
类型:发明
国别省市:上海,31

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1