当前位置: 首页 > 专利查询>英特尔公司专利>正文

运动估计中的回退检测制造技术

技术编号:13992121 阅读:95 留言:0更新日期:2016-11-13 23:28
讨论了涉及在视频处理中对运动估计的使用进行管理的技术。这类技术可以包括:确定将两个视频帧各自划分为相应的区域;针对所述相应区域生成相平面相关性;基于所述相平面相关性判定所述视频帧是否为运动估计相关;以及基于所述判定提供视频帧预测模式指示符。

【技术实现步骤摘要】
【国外来华专利技术】优先权声明本申请要求于2014年4月15提交的题为“FALLBACK DETECTION IN MOTION ESTIMATION(运动估计中的回退检测)”的美国专利申请序号14/252,944的优先权,该美国专利申请以其全部内容通过引用结合在此。
技术介绍
对视频序列的运动估计是如帧率上变频(FRC)和视频压缩等视频处理技术中的重要组成部分。例如,帧率上变频可以在视频序列中提供附加的帧(例如,被添加于现有帧之间的帧)以提高视频质量。例如,帧率上变频可以用于在视频序列中改进平滑度以及去除颤动(例如,电影电视颤动)。视频压缩可以用于减小用于存储在存储器中或传输至另一个设备等的视频数据的大小。例如,可以部分地通过使用运动估计和运动压缩技术对帧进行预测来压缩视频序列,以便在设备(具体为手持式设备)中使用更少的存储器或者以在通信介质上使用更少的带宽。然而,FRC和视频压缩可能在使用运动估计和运动压缩技术生成或压缩的帧中引起令人讨厌的伪像。这种伪像会使用户在视频播放过程中的体验降级。伪像可以包括例如方块伪像、边缘或边界伪像或者噪声等。这种伪像可能在特定的视频环境中更加流行,如,在场景变化过程中、当没有或极少运动存在时、在快速运动场景过程中、或在视觉上复杂的场景中。由此,当应用运动估计和/或运动压缩时,现有技术并不提供高质量、无伪像的视频序列。随着视频处理和播放在广泛的设备中变得更加流行,这种问题可能变得关键。附图说明在附图中通过举例而非限制的方式展示了在此所描述的材料。为了展示的简单和清楚,图中所展示的元件不一定按比例绘制。例如,为清楚起见,某些元件的尺寸相对于其他元件可能被放大了。另外,在认为适当的情况下,在附图之间对参考标记加以重复以表示相应的或相似的元件。在附图中:图1是用于在视频处理器中管理运动估计的示例系统的原理图;图2展示了视频序列的示例部分;图3展示了示例视频帧的示例区域;图4展示了示例视频帧的示例区域;图5展示了示例帧预测模式模块;图6是展示用于在视频处理中管理运动估计的示例过程的流程图;图7是示例系统的原理图;图8是示例系统的原理图;以及图9展示了全部根据本公开的至少部分实现方式安排的示例设备。具体实施方式现在参照附图描述一个或多个实施例或实现方式。虽然对特定配置和安排进行了论述,但应理解,这仅出于说明目的来进行。相关领域的技术人员将认识到,在不背离本描述的精神和范围的情况下可以采用其他配置和安排。将对相关领域的技术人员明显的是,在此描述的技术和/或安排还可以在除了在此描述的系统和应用之外的各种各样的其他系统和应用中被采用。虽然以下描述阐述可以在如例如片上系统(SoC)架构的架构中显现各实现方式,在此描述的技术和/或安排的实现方式不局限于具体的架构和/或计算系统并且出于类似目的可以由任何架构和/或计算系统实现。例如,采用例如多个集成电路(IC)芯片和/或封装体、和/或各种计算设备和/或消费电子产品(CE)设备(如机顶盒、智能电话等)的各架构可以实现在此描述的技术和/或安排。另外,虽然以下描述可以阐述许多特定的细节(如逻辑实现、系统部件的类型和内在关系、逻辑划分/集成选择等),要求保护的主题可以在没有这些特定细节的情况下被实践。在其他情形下,可以不详细示出某些材料(如,例如,控制结构和完整的软件指令序列),以便不模糊在此公开的材料。在此公开的材料可以在硬件、固件、软件、或其任意组合中实现。在此公开的材料还可以被实现为存储于机器可读介质上的指令,这些指令可以被一个或多个处理器读取或执行。机器可读介质可以包括用于存储或传输具有由机器(例如,计算设备)可读的形式的信息的任何介质和/或机制。例如,机器可读介质可以包括只读存储器(ROM);随机存取存储器(RAM);磁盘存储介质;光存储介质;闪存器;电、光、声或其他形式的传播信号(例如,载波、红外信号、数字信号等)等等。说明书中提到“一种实现方式”、“实现方式”、“示例实现方式”等表明所描述的实现方式可以包括具体特征、结构、或特性,但每个实施例可能不一定包括这个具体特征、结构、或特性。此外,这些短语不一定指同一实现方式。另外,当结合一个实施例描述特定的特征、结构或特性时,应理解,结合无论在此是否明确地描述的其他实现方式来实施这种特征、结构或特性在本领域技术人员的认知范围内。在此描述的方法、设备、装置、计算平台和制品涉及在视频处理中管理运动估计。如上所述,在各实现方式中提供帧率上变频(FRC)或视频压缩可能是有利的。如讨论的,帧率上变频可以为视频序列提供附加的帧(例如,插值视频帧)以提高视频质量,并且视频压缩可以预测视频序列中的视频帧(例如,预测视频帧)以减小用于存储或传输等的视频数据的大小。同样如讨论的,在一些示例中,FRC或视频压缩可能在使用运动估计和运动压缩技术生成或压缩的帧中引起令人讨厌的伪像,这会使用户在视频播放过程中的体验降级。在一些实施例中,在视频处理中管理运动估计可以包括判定视频帧是否为运动估计相关。如果视频帧是运动估计相关,则使用运动估计和运动压缩技术来预测视频帧之间的视频帧(例如,针对FRC)或者来预测视频帧之一(例如,基于用于压缩的另一个帧)可能是有利的。如果视频帧是非运动估计相关,则使用回退或默认技术或者根本不使用技术来预测视频帧可能是有利的。例如,在回退模式中,可以使用视频帧的混合或重复使用视频帧之一等来创建FRC帧。在回退模式的视频压缩中,视频帧可能不被预测或者它们可以使用其他技术(例如,帧内预测)被预测或者它们例如可以是基于另一个视频运动估计和压缩预测的。在实施例中,在视频处理中管理运动估计可以包括将视频帧(例如,视频序列的两个帧)划分为相应的区域。这些区域可以是全局区域或局部区域等。在一些示例中,视频帧可以被划分为全局区域和局部区域两者。可以针对相应的区域对中的每个区域生成相平面相关性。可以分析相位相关性(例如,可以评估相平面相关性的峰值)以判定视频帧是否为运动估计相关。在此进一步讨论用于判定视频帧是否为运动估计相关的各种各样的技术。可以基于视频帧是否为运动估计相关的判定来提供视频帧预测模式指示符。例如,视频帧预测模式指示符可以指示真或假、运动估计模式或回退模式等等之一。图1是根据本公开的至少部分实现方式安排的用于在视频处理中管理运动估计的示例系统100的原理图。系统101可以实现一种用于在视频处理中管理运动估计的方法(例如,经由计算机或其他设备)。如图1所示,系统100可以包括区域生成模块102、相平面相关性模块104、运动估计相关性检测模块106、帧预测模式模块108以及帧预测模块110。如所示,区域生成模块102和/或帧预测模块110(以及如所需要的系统100的其他模块)可以接收视频序列101。视频序列101可以包括视频帧的任何适当的视频序列。视频序列101可以是从任何适当的源接收的,如存储器、视频采集设备(例如,视频相机、摄录像机等)、另一个设备等等。视频序列可以包括任何适当的分辨率,如视频图形阵列(VGA)、高清晰度(HD)、全HD(例如,1080p)、4K分辨率图像等等。图2展示了根据本公开的至少部分实现方式安排的视频序列101的示例部分。如图2所示,视频序列101可以包括视频本文档来自技高网...

【技术保护点】
一种用于在视频处理中管理运动估计的计算机实现的方法,所述方法包括:将视频序列的第一视频帧划分为第一区域并且将所述视频序列的第二视频帧划分为与所述第一区域相对应的第二区域;生成多个相平面相关性,其中,所述多个相平面相关性中的每个相平面相关性基于相应的一对第一区域和第二区域;至少部分地基于所述多个相平面相关性判定所述第一视频帧与所述第二视频帧是否为运动估计相关;以及至少部分地基于所述判定提供视频帧预测模式指示符。

【技术特征摘要】
【国外来华专利技术】2014.04.15 US 14/252,9441.一种用于在视频处理中管理运动估计的计算机实现的方法,所述方法包括:将视频序列的第一视频帧划分为第一区域并且将所述视频序列的第二视频帧划分为与所述第一区域相对应的第二区域;生成多个相平面相关性,其中,所述多个相平面相关性中的每个相平面相关性基于相应的一对第一区域和第二区域;至少部分地基于所述多个相平面相关性判定所述第一视频帧与所述第二视频帧是否为运动估计相关;以及至少部分地基于所述判定提供视频帧预测模式指示符。2.如权利要求1所述的方法,其中,判定所述第一视频帧与所述第二视频帧是否为运动估计相关包括:评估在所述多个相平面相关性中的一个或多个峰值。3.如权利要求1所述的方法,进一步包括在生成所述多个相平面相关性之前:缩小所述第一区域和所述第二区域的尺寸。4.如权利要求1所述的方法,其中,判定所述第一视频帧与所述第二视频帧是否为运动估计相关包括基于以下中的至少一者判定所述相平面相关性中的一个或多个相平面相关性是否指示强相关性或弱相关性:所述第一相平面相关性的最大峰值与所述第一相平面相关性的平均值之差同第一阈值的比较;或者所述第一相平面相关性的所述最大峰值与所述第一相平面相关性的第二大峰值之差同第二阈值的比较。5.如权利要求1所述的方法,其中,所述第一区域和所述第二区域包括全局区域,其中,当所述多个相平面相关性中的每个相平面相关性指示弱相关性时,确定所述第一视频帧与所述第二视频帧为非运动估计相关,并且其中,针对所述多个相平面相关性中的第一相平面相关性的第一弱相关性是基于以下中的至少一者确定的:所述第一相平面相关性的最大峰值与所述第一相平面相关性的平均值之差同第一阈值的比较;或者所述第一相平面相关性的所述最大峰值与所述第一相平面相关性的第二大峰值之差同第二阈值的比较。6.如权利要求1所述的方法,其中,所述第一区域和所述第二区域包括全局区域,其中,当所述多个相平面相关性中的任一个相平面相关性指示快速运动时,确定所述第一视频帧与所述第二视频帧为非运动估计相关,并且其中,针对所述多个相平面相关性中的第一相平面相关性的第一快速运动是基于与所述第一相平面相关性的最大峰值相关联的运动向量同阈值的比较确定的。7.如权利要求1所述的方法,其中,所述第一区域和所述第二区域包括局部区域,并且其中,判定所述第一视频帧与所述第二视频帧是否为运动估计相关是基于指示弱相关性的所述多个局部相平面相关性的数量与阈值的比较。8.如权利要求7所述的方法,其中,所述阈值至少部分地基于所述第一视频帧与所述第二视频帧是否为运动估计相关而是自适应的。9.如权利要求8所述的方法,其中,所述帧预测模式指示符包括回退模式并且所述阈值在第一值处,其中,指示弱相关性的所述多个全局相平面相关性与所述多个局部相平面相关性的总数小于所述阈值,所述方法进一步包括:将所述帧预测模式指示符设置为运动估计模式;以及将所述阈值从所述第一值增加至比所述第一值大的第二值。10.如权利要求1所述的方法,其中,所述第一区域和所述第二区域包括全局区域,并且其中,所述多个相平面相关性包括全局相平面相关性,所述方法进一步包括:将所述第一视频帧划分为第三区域并且将所述第二视频帧划分为与所述第三区域相对应的第四区域,其中,第一区域少于第三区域;以及生成多个局部相平面相关性,其中,所述多个局部相平面相关性中的每个局部相平面相关性基于相应的一对第三区域和第四区域,其中,判定所述第一视频帧与所述第二视频帧是否为运动估计兼容是至少部分地基于所述多个局部相平面相关性。11.如权利要求10所述的方法,其中,基于与所述多个全局相平面相关性和所述多个局部相平面相关性中的每一个的每个最大峰值相关联的每个运动向量同阈值的比较来确定所述第一视频帧与所述第二视频帧为非运动估计相关。12.如权利要求1所述的方法,进一步包括:基于判定所述第一视频帧与所述第二视频帧是否为运动估计相关来确定回退类型指示符,其中,所述回退类型指示符包括以下各项中的至少一项:无回退指示符、场景变化指示符、无动作指示符、快速运动指示符或困难场景指示符,其中,提供所述帧预测模式指示符至少部分地基于所述回退类型指示符。13.如权利要求12所述的方法,进一步包括:至少部分地基于所述回退类型指示符和前一个回退计数器值来确定当前回退计数器值,其中:如果所述回退类型指示符是所述场景变化指示符,则所述当前回退计数器值被重置为零,如果所述回退类型指示符是所述无回退指示符,则所述当前回退计数器值是相对于所述前一个回退计数器值确定的,并且如果所述回退类型指示符是所述无运动指示符、所述快速运动指示符或所述困难场景指示符中的任一项,则所述当前回退计数器值相对于所述前一个回退计数器值增大,以及基于所述当前回退计数器值确定所述帧预测模式指示符,其中:如果所述回退计数器在第一阈值处,则所述帧预测模式指示符被设置为回退模式,如果所述回退计数器在小于所述第一阈值的第二阈值处,则所述帧预测模式指示符被设置为运动估计模式,并且如果所述回退计数器在所述第一阈值与所述第二阈值之间,则所述帧预测模式指示符不变。14.如权利要求1所述的方法,其中,确定所述多个相平面相关性中的个体相平面相关性包括:对个体第一区域和相应的第二区域应用离散傅立叶变换;确定所述经变换的个体第一区域与所述经变换的相应的第二区域之间的互功率谱;对所述互功率谱应用离散傅立叶逆变换;以及对所述经逆变换的互功...

【专利技术属性】
技术研发人员:V·科瓦塞维奇Z·潘迪奇A·贝里克M·马尔克维奇V·伊里奇
申请(专利权)人:英特尔公司
类型:发明
国别省市:美国;US

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1