用于将舒适噪声添加到视频序列的方法和控制器技术

本发明专利技术涉及一种用于将舒适噪声添加到视频序列的方法和控制器。提供了一种将舒适噪声添加到视频序列的方法。该方法包括：将视频编码器的去块滤波器的参数设置为在视频序列期间改变值；使用去块滤波器的、被设置为在视频序列期间改变值的参数对视频序列的帧进行编码，从而在视频序列中引入舒适噪声；以及将编码帧和在对视频序列的帧进行编码时使用去块滤波器的哪些参数的指示一起包括在比特流中。

【技术实现步骤摘要】
用于将舒适噪声添加到视频序列的方法和控制器
本专利技术涉及视频领域。具体地，本专利技术涉及用于将舒适噪声添加到视频序列的方法和相关联的控制器。
技术介绍
视频相机通常被用于监控目的。由相机监控的场景可能在一些时间段期间包括移动物体，从而在由相机捕获的视频中引入运动。在其他时间段期间，场景可能仅包括静止物体，从而导致由相机捕获的视频缺乏运动，即，视频将是静止视频。为了处理场景中的变化的运动量，相机可以根据帧中所描绘的场景中的运动量来动态地调整其帧速率。与在帧中没有或具有很少运动时相比，在帧中存在运动的时间段期间，可以使用更高的帧速率。例如，当帧中具有有限的运动或没有运动时，帧速率可以低至1Hz，这意味着每秒只有一帧。在如此低的帧速率下，视频中的时间噪声将非常小。结果，观看视频的用户将发现该视频看起来不自然并且冻结，并且用户可能开始想知道是否存在相机的硬件或软件故障。处理场景中的变化的运动量的另一种方式是使用编码技术，其中由编码器应用的压缩率水平随图像内容的重要性而变化。例如，与不存在运动的视频帧的部分相比，描绘移动物体的视频帧的部分可以用更低的压缩率来编码。具体地，可以使用空块来编码不存在运动的视频帧的部分，该空块有时被称为“跳块”或“P跳块”。在场景中没有运动量或具有有限量的运动量的时间段期间，帧因此将用大部分的空块来编码。由于空块将显示为前一帧中对应块的副本，因此这还将具有视频中存在非常少的时间噪声的效果。因此，同样，观看视频的用户将发现该视频看起来不自然并且冻结，并且用户可能开始想知道相机是否存在硬件或软件故障。因此，如上所述，使用低帧速率或使用大量空块对视频进行编码可能由于没有时间噪声而在视频中引入人为静止。这种人为静止不是由场景本身缺乏运动引起的，因为以高帧速率捕获的静态场景的视频可能由于传感器处的噪声而仍然包括时间噪声，而是这种人为静止是由帧速率的选择或者如上所述在对视频进行编码时使用的编码方法引起的。为了减轻人为静止以避免视频看起来不自然和冻结，可以将合成时间噪声(有时也被称为舒适噪声)添加到视频。将舒适噪声添加到视频的一种方式是在解码器侧将噪声添加到视频的图像。然而，这将具有必须使用非标准解码器的效果。另一选项可以是使用在编码器处导出并且在胶片颗特性消息(h.264标准所允许的)中被发送给解码器的参数化模型来在解码器侧处将胶片颗粒特性添加到视频。然而，该选项的缺点是编码视频的比特率可能增加。因此存在改进的空间。
技术实现思路
鉴于上述内容，因此目的是提供一种将舒适噪声添加到视频序列的方式，该方式在比特率方面是有效的并且允许使用标准解码器。根据第一方面，上述目的通过一种将舒适噪声添加到视频序列的方法来实现，该方法包括：将视频编码器的去块滤波器的参数设置为在视频序列期间改变值；使用去块滤波器的、被设置为在视频序列期间改变值的参数对视频序列的帧进行编码，从而在视频序列中引入舒适噪声；以及将编码帧与在对视频序列的帧进行编码时使用去块滤波器的哪些参数的指示一起包括在比特流中。目前的编码技术按块(blockwise)对视频编码。更详细地，帧被分割成像素块，其根据所使用的标准有时也被称为宏块或编码单元。当帧被编码或解码时，按块来扫描帧并且帧被逐块地编码或解码。由于相邻块可以被不同地编码，因此这最终可能导致块在解码帧中可见。为了减轻解码帧的块效应(blockiness)，目前的大多数编码标准(诸如h.264和h.265)规定在编码器和解码器中包括去块滤波器。去块滤波器可以被视为平滑滤波器，该平滑滤波器意在将解码帧中的块之间的可见边界平滑化。本公开源于以下认识：通过在视频序列期间不时地改变去块滤波器的参数，将在视频序列中引入合成时间噪声，从而有效地产生舒适噪声。例如，考虑两个会看起来相同的帧(例如，这些可以是两个连续的跳帧)。通过用区块滤波器的不同参数来对这两个帧应用该滤波器，在滤波之后，这两个帧将显示为略微不同。该细微差异用于模拟帧之间的时间噪声，并且观看视频的那些帧的用户将不再感受到视频被冻结。使用去块滤波器来引入舒适噪声的优点在于可以使用已经存在于标准化编解码器中的功能，意味着不需要特定的编码器或解码器。例如，该方法可以在h.264标准的框架内实现。此外，由于无论如何都将使用去块滤波器(尽管具有默认设置)，因此所产生的比特率的增加是最小的。舒适噪声通常是指被添加到视频序列以改善用户体验的合成时间噪声。舒适噪声可以减轻人为静止，从而避免视频看起来不自然和冻结。可以根据连续的图片组GOP结构对视频序列的帧进行编码，并且可以将去块滤波器的参数设置为在GOP结构期间改变值。GOP是视频流的连续帧的集合，并且GOP结构指定帧内编码(intra-coded)的帧(I帧)和帧间编码的帧(P帧、B帧)在GOP中布置的顺序。GOP结构以帧内编码的帧开始，其后是一个或多个帧间编码的帧。因此，可以将去块参数设置为在GOP结构期间改变值，意味着去块参数可以在两个帧内编码的帧之间将值改变至少一次。如上所述，将去块滤波器的参数设置为在视频序列期间或在GOP结构期间改变值。改变设置的频率可以取决于具体应用，并且可以例如取决于帧速率。可以将参数设置为在帧速率增加时更少地改变值，反之亦然。将参数设置为改变值的时间实例通常以预定义的方式被确定，并且不取决于视频流的图像内容。例如，可以将去块滤波器的参数设置为根据预定义的时间模式来改变值。具体地，可以将去块滤波器的参数设置为在GOP结构期间根据预定义模式来改变值。预定义模式可以涉及何时改变值，诸如针对GOP结构中的哪些帧来改变值。预定义模式还可以指定去块滤波器的参数应该在其之间改变的值。在一些实施例中，去块滤波器的参数被设置为在GOP结构的每个帧之间改变值。在低帧速率的情况下，这可能是特别令人感兴趣的。在其他实施例中，去块滤波器的参数被设置为更少地改变值，这对于更高的帧速率可能是优选的。更具体地，将去块滤波器的参数设置为改变值的速率可以随着视频序列的帧速率的增加而降低。编码器和解码器的去块滤波器优选地是同步的，即它们在对相同帧进行编码/解码时应该使用相同的参数值。出于这个原因，在对帧进行编码时使用的去块滤波器的参数值优选地以一种方式或其他方式从编码器传送到解码器。例如，比特流中的每个编码帧可以包括：在对该帧进行编码时使用去块滤波器的哪些参数的指示。更具体地，参考h.264标准，可以使用由一个或多个数据切片跟随的图片参数集标头(PPS标头)来用信号通知每个编码帧的数据。在PPS标头(header)中，可以设置用于激活去块滤波器的标志，并且在对帧的每个切片进行编码时所使用的去块滤波器的参数可以在对应的切片标头中用信号来通知。如果每帧使用若干切片，则如果需要，去块滤波器可以相应地针对不同切片采用不同值。去块滤波器可以与不同参数相关联。例如，h.264中的去块滤波器与“强度”参数和“边缘”参数相关联。每个参数可以采用多个不同值。例如，h.264的“强度”参数可以取-3和+3之间的整数值，h.264的“边缘”参数可以取-3和+3之间的整数值。因此，当组合参数时，参数值的多个组合(即，参数值的排列)是可行的。它们在本文中被称为多个可能的参数组合。因此，在h.264中，存在7×7＝49个可能的参数组本文档来自技高网...

【技术保护点】
1.一种将舒适噪声添加到视频序列(102)的方法，包括：将视频编码器(120)的去块滤波器(344)的参数设置(S02)为在所述视频序列(102)期间改变值，使用所述去块滤波器(344)的、被设置为在所述视频序列(102)期间改变值的参数对所述视频序列(102)的帧进行编码(S04)，从而在所述视频序列(102)中引入舒适噪声，以及将编码帧与在对所述视频序列(102)的帧进行编码时使用所述去块滤波器(344)的哪些参数的指示一起包括(S06)在比特流(104)中。

【技术特征摘要】
2017.12.21 EP 17209272.81.一种将舒适噪声添加到视频序列(102)的方法，包括：将视频编码器(120)的去块滤波器(344)的参数设置(S02)为在所述视频序列(102)期间改变值，使用所述去块滤波器(344)的、被设置为在所述视频序列(102)期间改变值的参数对所述视频序列(102)的帧进行编码(S04)，从而在所述视频序列(102)中引入舒适噪声，以及将编码帧与在对所述视频序列(102)的帧进行编码时使用所述去块滤波器(344)的哪些参数的指示一起包括(S06)在比特流(104)中。2.根据权利要求1所述的方法，其中，根据连续的图片组GOP结构(510)对所述视频序列(102)的帧进行编码，并且将所述去块滤波器(344)的参数设置为在GOP结构(510)期间改变值。3.根据权利要求2所述的方法，其中，将所述去块滤波器(344)的参数设置为在所述GOP结构(510)期间根据预定义模式来改变值。4.根据权利要求2所述的方法，其中，将所述去块滤波器(344)的参数设置为在所述GOP结构(510)的每个帧之间改变值。5.根据权利要求1所述的方法，其中，所述去块滤波器(344)的参数被设置为改变值的速率随着所述视频序列(102)的帧速率的增加而降低。6.根据权利要求1所述的方法，其中，所述比特流中的每个编码帧包括在对帧进行编码时使用所述去块滤波器(344)的哪些参数的指示。7.根据权利要求1所述的方法，其中，所述编码器(120)的所述去块滤波器(344)具有多个可能参数组合(602)，其中，将所述去块滤波器(344)的参数设置为使得所述去块滤波器(344)的参数在所述多个可能参数组合(602)的严格的子集(604)内改变值。8.根据权利要求5所述的方法，其中，在所述视频序列(102)期间更新参数组合的所述子集(...

【专利技术属性】
技术研发人员：亚历山大·特雷松，维克托·埃德帕尔姆，伏莱德瑞克·皮尔，
申请(专利权)人：安讯士有限公司，
类型：发明
国别省市：瑞典,SE