使用滤波和子空间投影的视频编译的恢复制造技术

技术编号:21407346 阅读:24 留言:0更新日期:2019-06-19 09:36
描述了恢复由源帧的重构产生的劣化帧。一种方法包括:使用第一恢复参数,为劣化帧的劣化图块生成第一引导图块,确定投影操作的投影参数,以及在编码比特流中编码第一恢复参数和投影参数。投影操作将源帧的源图块和劣化图块之间的差异与第一引导图块和劣化图块之间的差异相关联。

Recovery of Video Compiler Using Filtering and Subspace Projection

The restoration of degraded frames generated by reconstruction of source frames is described. One method includes: using the first recovery parameter to generate the first guide block for the degraded block of the degraded frame, determining the projection parameters of the projection operation, and encoding the first recovery parameter and projection parameters in the coded bit stream. The projection operation correlates the difference between the source block and the degraded block of the source frame with the difference between the first boot block and the degraded block.

【技术实现步骤摘要】
【国外来华专利技术】使用滤波和子空间投影的视频编译的恢复相关申请的交叉引用本申请要求2016年11月4日提交的美国临时专利申请序列号62/417,545的权益,其全部公开内容通过引用结合于此。
技术介绍
数字视频流可以使用帧序列或静态图像来表示视频。数字视频可以用于各种应用,包括例如视频会议、高清视频娱乐、视频广告或用户生成的视频的共享。数字视频流可以包含大量数据,并且消耗计算设备的大量计算或通信资源以用于处理、传输或存储视频数据。已经提出了各种方法来减少视频流中的数据量,包括压缩和其它编码技术。使用压缩的编码可以通过将帧或图像分成随后被压缩的块来执行,通常使用导致一些数据丢失的编码技术。解码器可以将一个或多个滤波器应用于重构帧,以便去除或平滑由(例如有损)编码引起的伪像。
技术实现思路
本公开一般涉及视频编译,尤其涉及使用滤波和子空间投影的恢复。本公开的实施方式的一个方面是一种恢复由源帧的重构产生的劣化帧的方法。该方法包括使用第一恢复参数生成用于劣化帧的劣化图块的第一引导图块,确定投影操作的投影参数,以及在编码比特流中编码第一恢复参数和投影参数。投影操作将源帧的源图块和劣化图块之间的差异与第一引导图块和劣化图块之间的差异相关联。因此,在不降低编码或压缩过程的效率的情况下,可以提高编码帧的质量(或提供减少的损耗)。例如,劣化帧可能由编码和解码过程中出现的保真度或质量的降低引起。恢复参数可以是描述源图块或帧与引导图块以及原始帧两者之间的差异的值的实际值或近似值。例如,恢复参数可以包括例如从半径和噪声值的码本中选择的半径和/或噪声值。图块可以是帧的至少一部分。可选地,生成第一引导图块可以包括下述中的一个或多个(以任意组合):从半径和噪声值的码本中选择半径和噪声值;对劣化图块的像素位置处的每个像素:使用所述半径确定相对于以像素为中心的第一窗口中的劣化图块的像素值的像素均值和像素方差;使用像素方差和噪声值来确定基线值;使用像素均值和基线值来确定平滑值;使用以像素为中心的第二窗口中的劣化图块的像素值,确定平均基线值和平均平滑值;和/或基于劣化图块中共位的像素值、平均基线值和平均平滑值来确定第一引导图块的像素位置中的引导像素值。可选地,第一窗口可以具有与第二窗口相同的大小(或不同的大小)。可选地,第二窗口可以是3×3窗口。可以使用其他大小窗口。例如,可以是正方形。可选地,可以通过以下各项来使用加权和来近似平均基线值:将权重分配给第二窗口的至少一些像素位置,使得权重之和是2的幂;计算加权和;以及将加权和移位2的幂。可以使用其他能力。可选地,投影操作可以包括相应的差异项,每个差异项使用相应的引导图块,以及其中,投影参数包括每个相应差异项的相应投影参数。可选地,该方法可以进一步包括:基于第二恢复参数,生成用于劣化图块的第二引导图块,其中,确定投影操作的投影参数包括:确定投影操作的投影参数,投影操作进一步将源帧的源图块和劣化图块之间的差异与第二引导图块和劣化图块之间的差异相关联。可选地,该方法可以进一步包括从码本或其他数据集或库中选择第一恢复参数。另一方面是一种用于恢复由源帧的重构产生的劣化帧的装置。该装置包括处理器,处理器被配置为执行存储在非暂时性存储介质中的指令以使用第一恢复参数,生成用于劣化帧的第一劣化图块的第一引导图块;确定投影操作的投影参数;以及在编码比特流中编码第一恢复参数和投影参数。存储在非暂时性存储介质中以生成第一引导图块的指令可以包括可由处理器执行以执行以下操作的指令:从半径和噪声值的码本中选择半径和噪声值;以及对第一劣化图块的像素位置:使用所述半径,确定相对于像素位置周围的第一窗口内的第一劣化图块的像素值的像素均值和像素方差;使用像素方差和噪声值来确定基线值;使用像素均值和基线值来确定平滑值;使用围绕像素位置的第二窗口中的第一劣化图块的像素值,确定平均基线值和平均平滑值;以及使用第一劣化图块中共位的像素值、平均基线值和平均平滑值来确定第一引导图块的像素位置中的引导像素值。可选地,第一窗口可以具有与第二窗口相同的大小。可选地,第二窗口可以是3×3窗口。可选地,处理器可以被配置为通过执行存储在非暂时性存储介质中的指令以执行以下各项来使用加权和来近似平均平滑值:将权重分配给第二窗口的每个像素位置,使得权重之和是2的幂;计算加权和;以及将加权和移位2的幂。可选地,投影操作可以包括相应的差异项,每个差异项使用相应的引导图块,并且投影参数包括用于每个相应的差异项的相应的不同投影参数。可选地,处理器可以进一步被配置为执行存储在非暂时性存储介质中的指令以:基于第二恢复参数,生成用于第一劣化图块的第二引导图块,其中,确定投影参数包括确定投影操作的投影参数。可选地,处理器可以进一步被配置为执行存储在非暂时性存储介质中的指令以:从码本中选择第一恢复参数。可选地,处理器可以进一步被配置为执行存储在非暂时性存储介质中的指令以:在编码比特流中编码用于第一恢复参数和投影参数的第一恢复类型;以及基于第二恢复类型,生成用于劣化帧的第二劣化图块的第二引导图块,其中,从包括维纳滤波器和双边滤波器的集合中选择第二恢复类型。另一方面是一种恢复劣化帧的方法。该方法包括从编码比特流确定第一投影参数和第二投影参数;从编码比特流确定第一恢复参数和第二恢复参数;使用第一恢复参数生成用于劣化图块的第一引导图块;使用第二恢复参数生成用于劣化图块的第二引导图块;以及使用第一引导图块、第二引导图块、第一恢复参数和第二恢复参数,执行投影操作以生成重构帧的重构图块。可选地,投影操作可以包括使用第一恢复参数,将源帧的源图块与劣化图块之间的差异与第一引导图块和劣化图块之间的差异相关联的第一项,以及使用第二恢复参数,将源帧的源图块和劣化图块之间的差异与第二引导图块和劣化图块之间的差异相关联的第二项。可选地,确定第一恢复参数和第二恢复参数可以包括:从编码比特流中确定用于第一恢复参数的码本中的第一索引;基于第一索引,从码本中检索第一恢复参数;从编码比特流中确定用于第二恢复参数的码本中的第二索引;以及基于第二索引,从码本中检索第二恢复参数。应注意到,上述任何特征可以与本专利技术的任何特定方面或实施例一起使用。在实施例、附加权利要求和附图的下述详细描述中公开了本公开的这些和其他方面。附图说明本文的描述参考附图,其中相似的附图标记在几个视图中指代相似的部件。图1是视频编码和解码系统的示意图。图2是可以实现传送站或接收站的计算设备的示例的框图。图3是待编码并且随后解码的视频流的图。图4是根据本公开的实施方式的编码器的框图。图5是根据本公开的实施方式的解码器的框图。图6是根据本公开的实施方式的用于在编码器处恢复劣化帧的过程的流程图。图7是根据本公开的实施方式的用于生成劣化图块的引导图块的过程的流程图。图8是根据本专利技术的实施方式的3×3像素窗口的图示。图9A和9B是根据本公开的实施方式的分配给3×3窗口的位置的权重的示例的图示。图10是根据本公开的实施方式的用于在解码器处恢复劣化帧的过程的流程图。具体实施方式如上所述,与编译视频流相关的压缩方案可以包括将图像分成块,并且使用一种或多种技术来生成数字视频输出比特流以限制在输出中包括的信息。可以解码所接收的比特流以由有限的信息来重新创建块和源图像。编码视频流或本文档来自技高网...

【技术保护点】
1.一种恢复由源帧的重构产生的劣化帧的方法,所述方法包括:使用第一恢复参数生成用于所述劣化帧的劣化图块的第一引导图块;确定投影操作的投影参数,所述投影操作将所述源帧的源图块和所述劣化图块之间的差异与所述第一引导图块和所述劣化图块之间的差异相关联;以及在编码比特流中编码所述第一恢复参数和所述投影参数。

【技术特征摘要】
【国外来华专利技术】2016.11.04 US 62/417,5451.一种恢复由源帧的重构产生的劣化帧的方法,所述方法包括:使用第一恢复参数生成用于所述劣化帧的劣化图块的第一引导图块;确定投影操作的投影参数,所述投影操作将所述源帧的源图块和所述劣化图块之间的差异与所述第一引导图块和所述劣化图块之间的差异相关联;以及在编码比特流中编码所述第一恢复参数和所述投影参数。2.如权利要求1所述的方法,其中,生成所述第一引导图块包括:从半径和噪声值的码本中选择半径和噪声值;对所述劣化图块的像素位置处的每个像素:使用所述半径,确定相对于以该像素为中心的第一窗口中的劣化图块的像素值的像素均值和像素方差;使用所述像素方差和所述噪声值来确定基线值;使用所述像素均值和所述基线值来确定平滑值;使用以该像素为中心的第二窗口中的劣化图块的像素值,确定平均基线值和平均平滑值;以及基于所述劣化图块中的共位像素值、所述平均基线值和所述平均平滑值来确定所述第一引导图块的像素位置中的引导像素值。3.如权利要求2所述的方法,其中,所述第一窗口具有与所述第二窗口相同的大小。4.如权利要求2或3所述的方法,其中,所述第二窗口是3×3窗口。5.如权利要求2至4中任一项所述的方法,其中,所述平均基线值是通过下述操作以使用加权和来近似的:将权重分配给所述第二窗口的至少一些像素位置,使得所述权重之和是2的幂;计算所述加权和;以及将所述加权和移位2的幂。6.如前述权利要求中任一项所述的方法,其中,所述投影操作包括相应的差异项,每个差异项使用相应的引导图块,以及其中,所述投影参数包括每个相应的差异项的相应的投影参数。7.如前述权利要求中任一项所述的方法,进一步包括:基于第二恢复参数,生成用于所述劣化图块的第二引导图块,其中,确定所述投影操作的投影参数包括:确定所述投影操作的投影参数,所述投影操作进一步将所述源帧的源图块和所述劣化图块之间的差异与所述第二引导图块和所述劣化图块之间的差异相关联。8.如前述权利要求中任一项所述的方法,进一步包括:从码本中选择所述第一恢复参数。9.一种用于恢复由源帧的重构产生的劣化帧的装置,包括:处理器,所述处理器被配置为执行存储在非暂时性存储介质中的指令以:使用第一恢复参数生成用于所述劣化帧的第一劣化图块的第一引导图块;确定投影操作的投影参数;以及在编码比特流中编码所述第一恢复参数和所述投影参数。10.如权利要求9所述的装置,其中,存储在所述非暂时性存储介质中以生成所述第一引导图块的指令包括可由所述处理器执行以执行以下操作的指令:从半径和噪声值的码本中选择半径和噪声值;对所述第一劣化图块的像素位置:使用所述半径,确定相对于所述像素位置周围的第一窗口内的所述第一劣化图块的像素值的像素均值和像素方差;使用所述像素方差和所述噪声值来确定基线值;使用所述像素均值和所述基线值来确定平滑值;使用围绕所述像素位置的第二窗口中的所述第一劣化图块的像素值,确定平均基线值和平均平滑值;以及使用所述第一劣...

【专利技术属性】
技术研发人员:德巴尔加·慕克吉
申请(专利权)人:谷歌有限责任公司
类型:发明
国别省市:美国,US

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1