用于可缩放的帧速率上转换的方法和设备技术

方法包含执行分级运动估计操作来从第一帧和第二帧生成内插帧，内插帧位于第一帧和第二帧之间，所述分级运动估计包含执行两个或者更多个过程迭代，每个迭代包含：（a）对第一帧和第二帧执行初始双向运动估计操作来产生包括多个运动向量的运动字段，（b）对于多个运动向量执行运动字段细化操作，（c）对第一帧和第二帧执行附加的双向运动估计操作以及（d）重复步骤（b）到（c）直到遇到停止准则。

【技术实现步骤摘要】
【国外来华专利技术】用于可缩放的帧速率上转换的方法和设备
技术介绍
现代的帧速率上转换(FRUC)方案通常基于时间运动补偿的帧内插(MCFI)。此任务中的重要挑战是反映真实运动的运动向量的计算、在连续帧之间的对象运动的实际轨迹。典型的FRUC方案使用基于块匹配的运动估计(ME)，由此通过剩余帧能量的最小化而获得结果，但是不幸的是，它不反映真实运动。因此可存在对帧速率上转换的新方法的需要。【附图说明】当结合附图考虑时，通过参考下文的详细描述可容易地得到本文描述的实施例和其很多附带优势的理解，其中: 图1是根据示范性和非限制性实施例的流程图； 图2是根据示范性和非限制性实施例的流程图； 图3是根据示范性和非限制性实施例的流程图； 图4是根据示范性和非限制性实施例的流程图； 图5是根据示范性和非限制性实施例的对连续帧的差值和(SAD)处理的图示； 图6A-图6B是根据示范性和非限制性实施例的遮挡处理的图示； 图7是根据示范性和非限制性实施例的装置的图表。【具体实施方式】根据本文描述的各种示范性实施例，提供了用于提高复杂性可缩放帧速率上转换(FRUC)的方法，特别是用于视频序列的2X帧速率上转换。现代的帧速率上转换方案很大程度上基于时间运动补偿的帧内插(MCFI)。此任务中的一个最重要的挑战是反映真实运动的运动向量的计算，真实运动是在连续帧之间的对象运动的实际轨迹。如上所述，典型的FRUC方案使用基于块匹配的运动估计(ME)来最小化剩余帧的能量并且不反映真实运动。根据各种示范性和非限制性实施例，本文描述了允许复杂性可缩放性并且利用双向块匹配搜索的迭代方案。这样的方法增加了在运动检测的每个迭代处的所计算的运动向量的准确性。如以下更完整描述的，示范性实施例采用迭代搜索而改变图像块(包括帧的一部分)的大小。在一个示范性实施例中，过程开始于相对大的帧块大小来找到帧内的全局运动并且进行到用于本地运动区域的更小的块大小。为避免与内插的帧上的遮挡所造成的空洞有关的问题，使用双向运动估计。这显著地降低了使用所计算的运动向量的帧内插的复杂性。通过匹配当前帧中的块与先前帧中的对应块以及后续帧中的对应块，进行典型的块匹配运动估计。与此相反，通过识别具有在计算的内插和/或中间帧中的关联的运动向量的块并且比较所识别的块与先前帧和后续帧两者中的类似块(从该先前帧和该后续帧计算内插帧)，进行双向运动估计(ME)。在双向运动估计的背后是帧间运动是一致和线性的假设。参考图1，图示了示范性和非限制性实施例的流程图。以缩略形式讨论的各种步骤在提交于_的美国专利申请第_号(Gilmutdinov等人)中更详细地描述,通过引用将其内容并入本文。请注意，图示的示范性处理的输入是两个连续帧Ft_1、Ft+1，其中t代表形成输出的内插帧Ft的中间位置。根据这样的示范性实施例,计算并且插入内插帧有效地加倍引起2x帧速率上转换的文件中的帧数量。如对于本领域的技术人员会是明显的，本文讨论的过程步骤可应用于其中可对于不同的FRUC倍数重复一次或多次帧内插的实例。在步骤10处，执行帧预处理。帧预处理可涉及移除如可出现在帧或多个帧中的黑色边缘并且扩展每个帧来适应最大块大小。在示范性和非限制性实施例中，最大的块大小被选择为二(2)的幂。帧扩展可以用任何合适的方式来执行。例如，可填充帧来适应块大小。在示范性实施例中，由块大小均匀分割帧的尺寸。如本文所使用的，“帧”指代形成视频序列的一系列图像中的单个图像而“块”指代具有可识别的运动向量的帧的一部分(其中运动是可检测的)。在步骤12处，执行分级运动估计。参考图2，图示了图示分级运动估计的步骤的扩展流程图。请注意，到步骤20的输入再次是两个连续帧FtfFwtj在步骤20处，执行初始双向运动估计。参考图3，详 细图示了步骤20的初始双向运动估计。在步骤30处，两个连续帧Ft_1、Ft+1形成输入。接着，在步骤32处， 每个帧Ft_1、Ft+1被分割成块B[N]。然后，在步骤34处，对于每个块，在步骤36处应用双向梯度搜索，并且在步骤38处，为该块计算运动向量。最后，在步骤39处，在处理完所有块B [N]之后，双向运动估计结束。参考图4，详细图示并且描述了步骤36的双向梯度搜索。图示的梯度搜索返回可以是包括两个阵列(在范围(_R[n]到R[n]]中的整数值^和&，其中R[n]是对于迭代数量η的搜索的半径)的运动字段的ME结果。两个阵列都具有(W/B[n]，H/B[n])分辨率，其中B [η]是对于阶段迭代数量η的块大小，并且W和H是扩展帧宽度和高度。在步骤40处，双向梯度搜索开始。在步骤41处，在每个帧FtfFw中识别块B [η]，其中每个块B [N]位于中间帧Ft中的块B [N]的位置的估计。在示范性实施例中，使A、B、C、D和E为在任一帧Ft_p Ft+1中的插值的基础帧中的块的最左上角像素的邻近像素。构建块B [η] *Β [η]，以便A、B、C、D和E像素在块的左上角。接着，在步骤42处，在来自当前内插帧的块和来自如以下描述的具有惩罚的先前帧和后续帧的五个位置A、B、C、D和E之间计算绝对差值和(SAD)。已经估计在先前帧和后续帧中的块B [N]的位置，SAD比较起到更精细地确定在两个帧υ?+1中的块B [N]的最准确位置的作用。这通过将块的估计位置向上、向下、向左和向右偏置一个像素并且确定哪个偏置引起最准确捕获两个帧FtfFw中的块Β[η}的位置的放置来完成。如以上提到的，在示范性实施例中利用惩罚来执行梯度搜索。具体地，采用取决于当前阶段号和运动向量长度的运动向量3的惩罚值:本文档来自技高网...

【技术保护点】
一种方法，包括：执行分级运动估计操作来从第一帧和第二帧生成内插帧，所述内插帧位于所述第一帧和所述第二帧之间，所述分级运动估计包括执行两个或者更多个过程迭代，每个迭代包括：（a）对所述第一帧和所述第二帧执行初始双向运动估计操作来产生包括多个运动向量的运动字段；（b）对于所述多个运动向量执行运动字段细化操作；（c）对所述第一帧和所述第二帧执行附加的双向运动估计操作；以及（d）重复步骤（b）到（c）直到遇到停止准则。

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括: 执行分级运动估计操作来从第一帧和第二帧生成内插帧，所述内插帧位于所述第一帧和所述第二帧之间，所述分级运动估计包括执行两个或者更多个过程迭代，每个迭代包括: (a)对所述第一帧和所述第二帧执行初始双向运动估计操作来产生包括多个运动向量的运动字段； (b)对于所述多个运动向量执行运动字段细化操作； (c)对所述第一帧和所述第二帧执行附加的双向运动估计操作；以及 Cd)重复步骤(b)到(C)直到遇到停止准则。2.如权利要求1所述的方法，其中所述停止准则包括已经重复步骤(b)到(C)预定义的次数。3.如权利要求1所述的方法，其中所述停止准则包括通过重复步骤(b)到(c)影响的所述多个运动向量的百分比小于预定义的阈值。4.如权利要求1所述的方法，其中所述初始双向运动估计操作和所述附加的双向运动估计操作中的至少一个包括双向梯度搜索。5.如权利要求4所 述的方法，其中所述双向梯度搜索利用所述第一帧和所述第二帧的至少一个色度分量。6.如权利要求4所述的方法，其中所述双向梯度搜索利用在所述内插帧以及所述第一帧和所述第二帧中的至少一个之间的差值和(SAD)操作。7.如权利要求6所述的方法，其中所述SAD包括自适应惩罚。8.如权利要求7所述的方法，其中所述自适应惩罚的值取决于阶段值和运动向量长度。9.如权利要求1所述的方法，还包括对所生成的内插帧执行遮挡检测来检测一个或多个遮挡。10.如权利要求9所述的方法，还包括执行所述一个或多个遮挡的后处理。11.一种制品，包括: 计算机可读介质，具有存储在其上的指令，当处理...

【专利技术属性】
技术研发人员：MR吉尔穆特迪诺夫，AI维塞洛夫，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国;US