对视频流的图像帧进行编码和传输制造技术

本发明专利技术涉及对视频流的图像帧进行编码和传输，具体提供了一种用于对视频流(100)的多个图像帧(110)进行编码和传输的方法，该方法包括：对多个图像帧进行帧内刷新编码；对多个图像帧中的一个图像帧(111)进行编码以产生该一个图像帧的已编码图像数据，该已编码图像数据被组织在多个数据分组(113)中，其中编码包括对该一个图像帧进行帧内帧编码；在时间段(120)内传输帧内刷新编码的图像帧；传输多个数据分组，其中多个数据分组的传输被分布在在其期间帧内刷新编码的图像帧被传输的时间段内。还提供了用于接收和存储多个图像帧的相关方法，以及用于执行该方法的设备和计算机程序产品。

【技术实现步骤摘要】
对视频流的图像帧进行编码和传输
本专利技术涉及用于对视频流的图像帧进行编码、传输和存储的方法和设备。特别地，本专利技术涉及这样的方法和设备，其中编码涉及帧内刷新编码。
技术介绍
H.264编码(和类似的标准)的共同问题是帧内帧(I帧)比特率尖峰。由于可以在网络中被连接并被一起使用的大量摄像机，并且由于一般的监控摄像机场景具有非常大的(x10-x100)I帧与预测帧(P帧)大小比，所以这个问题对于监控摄像机来说通常更严重。理想地，从网络的观点来看，恒定的比特率将是优选的。一种用于减小摄像机的比特率尖峰的解决方案是将I帧扩展到多个图像帧上，并且改为使每个图像帧的一部分(帧内刷新区域)被强制编码为I块。帧内刷新区域在一组图像帧上跨图像帧移动，从而“刷新”图像。该方法被称为周期性的帧内刷新或仅被称为帧内刷新。帧内刷新编码技术提供用于在对视频流进行编码和传输时处理比特率尖峰的选项。然而，帧内刷新编码可以相反地缺少对存储的帧内刷新编码的视频流的播放的支持。缺少支持是由于播放需要从完整的I帧开始。所设计的传统的帧内刷新编码的视频流缺少或者仅包含少许这样的I帧。因此，所存储的帧内刷新编码的视频流必须被从头播放，或者在播放最终可以开始之前可能经过很长的持续时间或大量帧。由于这个原因，视频通常被存储在固定时间/帧数的组块中，使得每个组块将在其开始处包含I帧。然而，这样的组块是不灵活的，并且对于从何处开始播放仅提供有限选项。因此在这种情况下存在改进的空间。
技术实现思路
本专利技术的目的是提供用于低比特率帧内刷新编码的方法、设备和软件，这些方法、设备和软件还使得所存储的视频流能够播放或提高所存储的视频流的播放的可能性，从而至少减轻现有技术中的问题中的一些。根据本专利技术的第一方面，提供了一种用于对视频流的多个图像帧进行编码和传输的方法。该方法包括对多个图像帧进行帧内刷新编码。该方法进一步包括对多个图像帧中的一个图像帧进行编码以产生该一个图像帧的已编码图像数据，该已编码图像数据被组织在多个数据分组中。编码包括对该一个图像帧进行帧内帧编码。该方法进一步包括在时间段内传输帧内刷新编码的图像帧。该方法进一步包括传输多个数据分组。多个数据分组的传输被分布在在其期间帧内刷新编码的图像帧被传输的时间段内。术语数据分组通常可以被理解为包含或装入被传输的实际信息(即，已编码图像数据)的传送单元。数据分组一般包括头和有效载荷部分。数据分组也可以被称为数据报。本专利技术源于这样的认识，即流量整形的概念可以有利地被用于解决所存储的帧内刷新编码的视频流的播放问题。通过以固定的间隔将帧内帧编码的图像帧包括在所传输的已编码数据中，使得从这些帧开始的播放成为可能。通过延迟包括帧内帧编码的图像帧的数据分组中的一些的传输，使得多个数据分组的传输被分布在在其期间帧内刷新编码的图像帧被传输的时间段内，相对比特率重的I帧跨越更长的持续时间的有效分布被提供。因此，视频流中的比特率尖峰可以被消除或被至少减轻。然而，可以通过组合最近接收的数据分组来在传输的接收端处重新创建一个图像帧，使得当对视频流进行解码和显示时它可以充当I帧。播放可以至少从任何帧内帧编码的图像帧开始，例如重新创建的I帧。因此，所存储的视频流的播放可以从视频流中的大量的图像帧开始，同时保持比特率合理地低并且没有尖峰。另外通过传输视频流中的所有图像帧的帧内刷新编码的版本，方便了正常的流播放(即，在由提供商递送的同时由终端用户持续接收并呈现给终端用户的码流)。根据第一方面的实施例，帧内刷新编码的图像帧和多个数据分组在同一比特流内被传输。数据分组中的至少一些可以被嵌入在比特流中的两个帧内刷新编码的图像帧之间。以这种方式，由于解码器将不需要访问两个不同的比特流以进行解码，所以可以使解码更简单。根据第一方面的实施例，比特流被组织成网络抽象层(NAL)单元。多个数据分组可以与相同的NAL单元类型相关联，该NAL单元类型在所使用的视频编解码标准中是未指定的或者是用户定义的。这样的实施例的优点在于，以其它方式未使用的或多余的NAL单元类型可以被用于数据分组。这允许标准的解码器对所接收的帧内刷新编码的流进行解码以进行流式播放，并且忽略包括I帧的多个数据分组。根据第一方面的实施例，帧内刷新编码的图像帧和多个数据分组在至少两个单独的比特流中被传输。以这种方式，可以使编码更简单且更不复杂。根据第一方面的实施例，将多个图像帧中的一个图像帧编码为多个数据分组的步骤包括将一个图像帧的图像数据划分为多个图像数据段。编码步骤进一步包括将多个图像数据段中的每一个单独编码为一个或多个数据分组。多个图像数据段中的每一个的编码包括对每个图像数据段进行帧内帧编码。多个图像数据段的帧内帧编码被分布在在其期间帧内刷新编码的图像帧被传输的时间段内。术语图像数据段可以被理解为图像帧的任何子部分或与图像帧有关的图像数据的任何子部分。例如，图像数据段可以包括图像帧的一个或多个编码单元(例如，宏块、编码树单元等)。在一个实施例中，图像数据段包括图像帧的条带或图块。由于具有在时间段内分布传输资源需求(即，比特率)的优点，这样的实施例可以使得能够在相同的时间段内分布编码资源需求。这对于例如低通用性能设备或低功率设备特别相关。对于解码也是如此，即，解码资源需求可以被分布在时间段内。根据第一方面的实施例，将多个图像帧中的一个图像帧编码为多个数据分组的步骤包括对该一个图像帧的所有图像数据整体地进行帧内帧编码。编码步骤进一步包括将帧内帧编码的图像数据划分为多个数据分组，以在在其期间帧内刷新编码的图像帧被传输的时间段内进行分布式传输。这样，可以实现更简单并且通常更可靠的帧内帧编码。通过首先对一个图像帧进行编码，可以根据已编码的一个图像帧的已知比特率要求来有利地调整划分步骤。因此，对于已编码视频流的传输可以实现甚至更稳定的比特率。根据第一方面的实施例，多个数据分组中的每个数据分组的产生的比特大小对于多个数据分组基本上相同。与前面提到的作为实施例的有利效果的特征有关，由于对于已编码视频流的传输所获得的产生的更稳定的比特率，这种特征是有益的。根据第一方面的实施例，数据分组中的至少一个包括元数据，该元数据指示该一个图像帧在多个图像帧中的时间顺序位置。术语元数据可以被理解为与例如视频流内的该一个图像帧的时间点或帧号有关的数据。这样的实施例在帮助传输的接收端上的解码器或其它类型的设备知道I帧对应于视频流的哪个图像帧方面可以是有益的。特别地，这样的元数据可以帮助在所接收的视频流中的所接收的帧内刷新编码的图像帧中的正确的时间顺序位置处插入该一个图像帧。根据本专利技术的第二方面，提供了一种被配置为用于对视频流的多个图像帧进行编码和传输的设备。该设备包括编码器，该编码器包括适于对多个图像帧进行帧内刷新编码并将多个图像帧中的一个图像帧编码为多个数据分组的电路。编码包括对一个图像帧进行帧内帧编码。该设备进一步包括传输器，该传输器包括适于在时间段内传输帧内刷新编码的图像帧并传输多个数据分组的电本文档来自技高网...

【技术保护点】
1.一种用于对视频流的多个图像帧进行编码和传输的方法，所述方法包括：/n使用周期性的帧内刷新编码技术对所述多个图像帧进行编码，以产生帧内刷新编码的图像帧；/n对所述多个图像帧中的一个图像帧进行帧内帧编码，以产生所述一个图像帧的已编码图像数据，所述已编码图像数据被组织在多个数据分组中；/n在第一时间段期间，传输所述帧内刷新编码的图像帧；并且/n传输所述多个数据分组，其中，所述数据分组中的至少一些被延迟，使得所述多个数据分组的所述传输被分布在所述第一时间段内。/n

【技术特征摘要】
20191129 EP 19212614.21.一种用于对视频流的多个图像帧进行编码和传输的方法，所述方法包括：
使用周期性的帧内刷新编码技术对所述多个图像帧进行编码，以产生帧内刷新编码的图像帧；
对所述多个图像帧中的一个图像帧进行帧内帧编码，以产生所述一个图像帧的已编码图像数据，所述已编码图像数据被组织在多个数据分组中；
在第一时间段期间，传输所述帧内刷新编码的图像帧；并且
传输所述多个数据分组，其中，所述数据分组中的至少一些被延迟，使得所述多个数据分组的所述传输被分布在所述第一时间段内。


2.根据权利要求1所述的方法，其中，所述帧内刷新编码的图像帧和所述多个数据分组在同一比特流内被传输，其中，所述数据分组中的至少一些被嵌入在所述比特流中的两个帧内刷新编码的图像帧之间。


3.根据权利要求2所述的方法，其中，所述比特流被组织成网络抽象层NAL单元，其中，所述多个数据分组与相同的NAL单元类型相关联，所述NAL单元类型在所使用的视频编解码标准中是未指定的或者是用户定义的。


4.根据权利要求1所述的方法，其中，所述帧内刷新编码的图像帧和所述多个数据分组在至少两个单独的比特流中被传输。


5.根据权利要求1所述的方法，其中，将所述多个图像帧中的所述一个图像帧编码为所述多个数据分组的步骤包括：
将所述一个图像帧的图像数据划分为多个图像数据段；并且
将所述多个图像数据段中的每一个单独帧内编码为一个或多个数据分组，其中，在所述第一时间段内分布地执行所述多个图像数据段的所述帧内编码。


6.根据权利要求1所述的方法，其中，将所述多个图像帧中的所述一个图像帧编码为所述多个数据分组的步骤包括：
对所述一个图像帧的所有图像数据整体地进行帧内帧编码；并且
将所述帧内帧编码的图像数据划分为所述多个数据分组，以在在其期间所述帧内刷新编码的图像帧被传输的所述时间段内进行分布式传输。


7.根据权利要求1所述的方法，其中，所述多个数据分组中的每个数据分组的产生的比特大小对于所述多个数据分组是相同的。


8.根据权利要求1所述的方法，其中，所述数据分组中的至少一个包括元数据，所述元数据指示所述一个图像帧在所述多个图像帧中的时间顺序位置。


9.一种被配置为用于对视频流的多个图像帧进行编码和传输的设备，所述设备包括：
编码器，包括适于执行以下操作的电路：
使用周期性的帧内刷新编码技术对所述多个图像帧进行编码，以...

【专利技术属性】
技术研发人员：维克托·埃德帕尔姆，玛雅·沙阿，
申请(专利权)人：安讯士有限公司，
类型：发明
国别省市：瑞典;SE