用于多个图像帧的帧内刷新编码的方法技术

本发明专利技术公开了用于多个图像帧的帧内刷新编码的方法。本发明专利技术涉及使用周期性帧内刷新的视频编码，并具体涉及一种可以基于图像帧中的运动而自适应填充图像帧之间的帧内编码区域的方法和编码器。

Intra refresh coding method for multiple image frames

【技术实现步骤摘要】
用于多个图像帧的帧内刷新编码的方法
本专利技术涉及使用周期性帧内刷新的视频编码，且更具体地涉及一种可以基于图像帧中的运动而自适应填充在图像帧之间的帧内编码区域的方法和编码器。
技术介绍
H.264编码(和类似标准)的共同问题是I帧位率尖峰。该问题对于监视摄像机通常更严重，因为在相同网络上可以存在海量摄像机且典型的监视场景具有非常大(x10-x100)的I帧对P帧尺寸比率。理想地，网络将优选恒定位率。减小摄像机的位率尖峰的一种解决方案是在多个图像帧之上扩展I帧并替代地迫使每个图像帧的一部分(帧内刷新区域)被编码为I块。在一组图像帧之上移动帧内刷新区域越过图像帧，由此“刷新”了图像。该方法称作周期性帧内刷新或简称帧内刷新。然而，该方法伴随着不希望的位率代价。为了工作，帧内刷新要求帧内刷新区域的更新图案适用于在图像帧的图像数据中的移动，例如由所捕获场景中运动导致，或者由于捕获场景时摄像机的移动，以便块匹配算法仍然可以很好地发挥作用。这接着意味着在许多情形中，迫使图像帧的不必要部分被编码为I块。因此在该上下文内需要改进。
技术实现思路
有鉴于此，本专利技术的目的因此在于克服或减轻上面讨论的问题中的至少一些问题。具体地，目的在于提供一种用于基于与图像帧相关联的运动水平而动态地选择图像帧的应当被帧内编码的区域的尺寸的方法、装置、软件和系统。根据本专利技术的第一方面，提供了一种用于视频流的多个图像帧的帧内刷新编码的方法，其中帧内刷新编码是基于限定了图像帧的应当被帧内编码的区域的预定义周期性帧内刷新图案，该方法包括，对于每个图像帧：·接收与图像帧相关联的当前运动水平，当前运动水平评估了与视频流中的之前被编码的图像帧的图像数据相比，图像帧的图像数据的多大一部分已经改变，·根据预定义周期性帧内刷新图案确定图像帧的帧内编码区域。假如当前运动水平并未超过第一阈值，该方法包括：·对图像帧的帧内编码区域进行帧内编码，以及·对剩余的图像帧进行帧间编码；假如当前运动水平超过第一阈值，该方法包括：·扩展图像帧的帧内编码区域以在所确定的程度上与多个图像帧当中的之前被编码的帧内编码区域重叠，·对图像帧的已扩展帧内编码区域进行帧内编码，以及·对剩余的图像帧进行帧间编码。“帧间编码”通常意味着将剩余的图像帧(即，并未迫使帧内编码的部分)编码为P帧或B帧。这接着意味着将剩余帧的宏块进行帧间编码或帧内编码，编码器所作出的决定取决于例如块匹配的结果、剩余部分尺寸等等。“周期性帧内刷新图案”通常意味着循环图案，其限定了应该迫使图像帧的哪些区域/部分/宏块进行帧内编码，也即被编码为I块。图案是周期性/循环的意味着每隔n个图像帧，图案重新开始。接收当前运动水平，当前运动水平评估了与视频流的之前被编码的图像帧的图像数据相比，图像帧的图像数据的多大一部分已经改变。之前被编码的图像帧可以是视频流的时间上在先的图像帧或者视频流的时间上后续的图像帧(即，在B帧编码的情形中)。运动水平可以由连接至实施本实施例的编码器的另一单元计算，或者由编码器计算。运动水平可以以任何合适的方式确定，例如通过将待编码的图像帧的图像数据与视频流中前一帧的图像数据比较。在一些实施例中，针对之前被编码的图像帧确定/计算运动水平，且该运动水平用作当前运动水平的评估，也即待编码的图像帧的运动水平。有利地，这例如仅允许针对每二个、每三个、每五个等等图像帧确定运动水平，这降低了计算复杂性。这样的实施例也有助于用于对视频流的多个图像帧进行编码的分布式架构，因为可以分立地执行运动检测，也即使用另一处理器，且可以随后将运动水平发送至编码器以用作待编码的图像帧的运动水平的评估。因此应该注意，当编码时无需针对后续用作评估的图像帧确定运动水平。在一些实施例中，针对例如在待编码帧之前的帧确定运动水平。然而，这样的措施可以仍然是针对待编码帧的运动水平的良好评估(最佳猜测)。本专利技术是基于与对像素块帧间编码的位率成本(其接着与运动水平相关)相比，帧内刷新填充的代价(即，与在视频流中连续图像帧之间具有重叠的帧内刷新区域相关联的位率代价)与对像素块(I-块)帧内编码的位率成本的比率相关联的实现。在图像中运动的情形中可以需要重叠，以提高具有特定图像内容的帧间块可以称作在具有相同或类似图像内容的之前图像帧中的帧内块的可能性。然而，对帧内块编码的位率成本高于对帧间块编码的成本。假定如此，本专利技术人已经认识到，通过动态地选择帧内刷新填充的最佳水平(也即在视频流中图像帧之间帧内编码区域之间的重叠)，可以最小化位率代价。换言之，基于图像数据中的运动水平而动态地调节整个图像帧序列的帧内刷新区域的覆盖率，例如由于在所描绘场景中运动水平和/或由于视频捕获装置的视场的调节(视频捕获装置的平移和/或倾斜和/或缩放调节)。因此，在低的当前运动水平(也即低于第一阈值)的情形中，所确定的帧内编码区域(例如图像帧的切片或片段，或者分散在图像帧之上的多个宏块，或者任何其他合适的配置)也即如预定义周期性帧内刷新图案中所限定的那样使用，且迫使所确定帧内编码区域的宏块编码为I块。如上所限定对图像帧的剩余部分进行帧间编码。因为当前运动水平低，图像帧的剩余部分的大多数宏块将被编码为帧间块，甚至当减小/移除了图像帧之间的帧内刷新填充时。然而，如果当前运动水平超过运动水平阈值，将帧内编码区域扩展至所确定(预定义)的程度。这意味着帧内编码区域将与多个图像帧当中的之前被编码的帧内编码区域重叠(或重叠更多)，与如果当前运动水平并非如不重叠、或较少重叠将发生的那么高相比。如上所述对图像帧的剩余部分进行帧间编码。因为在该情形中填充增大，图像帧的剩余部分的大多数宏块将被编码为帧间块。然而，帧内刷新区域的位率成本增大，因为扩展了帧内编码区域。通过将当前运动水平限定为与视频流的之前被编码的图像帧的图像数据相比图像帧的图像数据的多大一部分已经改变的评估，该措施可以有利地用于确定帧内刷新填充的程度，因为该评估可以用于评估如果没有使用填充或使用较小填充，图像帧的帧间编码部分的多少宏块将以帧内块结束。可以针对将图像帧的较大部分编码为帧内刷新区域(即，增大填充(也即扩展帧内刷新区域))的成本而对由于运动而导致的额外帧内块的评估成本加权。根据一些实施例，对于多个图像帧，在预定义周期性帧内刷新图案中的区域并未重叠。因此，在当前运动水平低于第一阈值时，这导致在图像帧的帧内编码区域与多个图像帧当中的之前被编码的帧内编码区域之间没有采用填充。有利地，这可以减小帧内刷新编码的位率代价。根据一些实施例，扩展图像帧的帧内编码区域的步骤包括：扩展图像帧的帧内编码区域以与视频流中紧接着的前一个参考图像帧的帧内编码区域重叠。参考图像帧意味着其图像数据用于限定当前被编码的图像帧中被帧间编码的宏块的图像数据的图像帧。因此，可以提高编码效率。在其他实施例中，采用允许沿两个时间方向的多个参考的GOP结构，例如一个后向参考帧和一个前向参考帧，或者采用长期参考帧和紧接着的前一个参考帧，或者采用本文档来自技高网...

【技术保护点】
1.一种用于视频流的多个图像帧(102)的帧内刷新编码的方法，其中所述帧内刷新编码是基于限定图像帧(102a-102c)的应当被帧内编码的区域(104a-104c)的预定义周期性帧内刷新图案(100a-100d)，所述方法包括，对于每个图像帧：/n接收(S02)与所述图像帧相关联的当前运动水平；/n根据所述预定义周期性帧内刷新图案确定(S04)所述图像帧的帧内编码区域(104a-104c)；/n一旦所述当前运动水平未超过第一阈值(506)：/n对所述图像帧的所述帧内编码区域进行帧内编码(S14)；以及/n对所述图像帧的不同于所述帧内编码区域的区域进行帧间编码(S16)；/n一旦所述当前运动水平超过所述第一阈值：/n扩展(S08)所述图像帧的所述帧内编码区域以在所确定的程度(302c、402b、402c、504、510、512)上与所述多个图像帧当中的之前被编码的帧内编码区域重叠；/n对所述图像帧的已扩展帧内编码区域进行帧内编码(S14)；以及/n对所述图像帧的与所述已扩展帧内编码区域不同的区域进行帧间编码(S16)。/n

【技术特征摘要】
20181122 EP 18207682.81.一种用于视频流的多个图像帧(102)的帧内刷新编码的方法，其中所述帧内刷新编码是基于限定图像帧(102a-102c)的应当被帧内编码的区域(104a-104c)的预定义周期性帧内刷新图案(100a-100d)，所述方法包括，对于每个图像帧：
接收(S02)与所述图像帧相关联的当前运动水平；
根据所述预定义周期性帧内刷新图案确定(S04)所述图像帧的帧内编码区域(104a-104c)；
一旦所述当前运动水平未超过第一阈值(506)：
对所述图像帧的所述帧内编码区域进行帧内编码(S14)；以及
对所述图像帧的不同于所述帧内编码区域的区域进行帧间编码(S16)；
一旦所述当前运动水平超过所述第一阈值：
扩展(S08)所述图像帧的所述帧内编码区域以在所确定的程度(302c、402b、402c、504、510、512)上与所述多个图像帧当中的之前被编码的帧内编码区域重叠；
对所述图像帧的已扩展帧内编码区域进行帧内编码(S14)；以及
对所述图像帧的与所述已扩展帧内编码区域不同的区域进行帧间编码(S16)。


2.根据权利要求1所述的方法，其中，对于所述多个图像帧，所述预定义周期性帧内刷新图案中的区域不重叠。


3.根据权利要求1所述的方法，其中，扩展所述图像帧的所述帧内编码区域的步骤包括：
扩展所述图像帧的所述帧内编码区域以与所述视频流中紧接着的前一个参考图像帧的帧内编码区域重叠。


4.根据权利要求1所述的方法，一旦所述当前运动水平超过所述第一阈值，进一步包括步骤：
一旦所述当前运动水平超过第二阈值(508)，所述第二阈值大于所述第一阈值，
扩展所述图像帧的所述帧内编码区域以在第一程度(402c、512)上与所述多个图像帧当中的之前被编码的帧内编码区域重叠，
一旦所述当前运动水平未超过所述第二阈值，
扩展所述图像帧的所述帧内编码区域以在第二程度(402b、510)上与所述多个图像帧当中的之前被编码的帧内编码区域重叠，其中所述第一程度大于所述第二程度。


5.根据权利要求1所述的方法，其中，所述帧内编码区域由一个或多个切片或片段来限定，且所述已扩展帧内编码区域由一个或多个切片或片段来限定。


6.根据权利要求1所述的方法，其中，所述预定义周期性帧内刷新图案限定在两个连续图像帧之间仅沿垂直方向或沿水平方向位移的帧内编码区域。


7.根据权利要求6所述的方法，其中，所述预定义周期性帧内刷新图案限定沿垂直方向位移的帧内编码区域，其中扩展所述图像帧的所述帧内编码区域的步骤包括增大所述图像帧的所述帧内编码区域的高度。


8.根据权利要求6所述的方法，其中，所述预定义周期性帧内刷新图案限定沿水平方向位移的帧内编码区域，其中扩展所述图像帧的所述帧内编码区域的步骤包括增大所述图像帧的所述帧内编码区域的宽度。


9.根据权利要求1所述的方法，进一步包...

【专利技术属性】
技术研发人员：维克托·埃德帕尔姆，玛雅·沙阿，
申请(专利权)人：安讯士有限公司，
类型：发明
国别省市：瑞典;SE