以支持辅助帧的视频编码格式编码视频流的方法和编码器技术

本发明专利技术涉及以支持辅助帧的视频编码格式编码视频流的方法和编码器。特别地，本发明专利技术涉及视频编码领域。提供一种方法，该方法包括以下步骤：接收由视频捕获设备捕获的第一图像数据；将第一图像数据用作第一辅助帧的图像数据；将第一辅助帧编码为帧内帧；以及将第一帧编码为引用第一辅助帧的帧间帧，其中第一帧的运动矢量正表示要应用于第一图像数据的第一图像变换。

Method and Encoder for Encoding Video Stream in Video Coding Format Supporting Auxiliary Frames

The invention relates to a method and an encoder for encoding a video stream in a video encoding format supporting an auxiliary frame. In particular, the present invention relates to the field of video coding. Provided is a method comprising the following steps: receiving the first image data captured by the video capture device; using the first image data as the image data of the first auxiliary frame; encoding the first auxiliary frame as an intra frame; and encoding the first frame as an inter frame referring to the first auxiliary frame, where the motion vector of the first frame is indicated to be applied to the first image data. Image transformation.

【技术实现步骤摘要】
以支持辅助帧的视频编码格式编码视频流的方法和编码器
本专利技术涉及视频编码领域。特别地，本专利技术涉及以支持辅助帧的视频编码格式对视频流进行编码的方法和编码器。
技术介绍
视频捕获设备或视频摄像机用于捕获数字图像或帧的流，数字图像或帧可以在被传输到显示器以被显示或由例如软件进一步处理之前被编码和解码。由于视频捕获设备的光学系统的缺陷或限制，经解码的数字图像可能显示几何失真。不期望的失真的另一示例可能由视频捕获设备的振动引起。在其中操作员的工作质量或者来自视频分析软件的输出可取决于经解码的视频流的质量的监视情形下，这些类型的失真可能是不利的。如今，许多监视系统允许在对视频流进行编码之前对捕获的视频流中的数字图像进行复杂变换。这样的复杂变换的示例包括拼接、反扭曲、数字平移倾斜变焦(DPTZ)、电子稳像(EIS)、桶形失真校正(BDC)等。这些变换需要特定硬件，并且对监视系统资源(例如存储器带宽)的负荷很重。作为副作用，这些变换可能去除捕获的数字图像的原始视场的部分，以及数字图像的失真部分。因此在此背景下存在改进的需求。
技术实现思路
鉴于以上，本专利技术的目的因此是克服或至少减轻上面讨论的问题。特别地，目的在于提供一种编码方法和编码器，在需要对视频流的捕获帧进行复杂的变换时，编码方法和编码器减少对视频捕获系统的资源的负荷，并且便于获取原始捕获的图像数据。根据本专利技术的第一方面，通过一种以视频编码格式对视频流进行编码的方法来实现上述目的，其中视频编码格式支持在经编码的视频流中包括辅助帧，辅助帧由经编码的视频流中的另一帧引用并且包括补充该另一帧的图像数据，其中辅助帧的图像数据不旨在当对经编码的视频流进行解码时显示，而是与该另一帧的数据结合使用，以获得要显示的图像数据，方法包括以下步骤：接收由视频捕获设备捕获的第一图像数据；将第一图像数据用作第一辅助帧的图像数据；将第一辅助帧编码为帧内帧；以及将第一帧编码为引用第一辅助帧的帧间帧，其中第一帧的运动矢量正表示要应用于第一图像数据的第一图像变换。辅助帧通常意味着图像数据的存储，该图像数据补充经编码的视频流中的另一帧(也称为主图像)。换句话说，该另一帧引用辅助帧。辅助帧可以以各种形式使用，以帮助显示用于补充但通常不如此显示的帧。辅助帧也可以称为辅助图像、辅助图像项、非显示帧、辅助图片等。辅助帧的已知应用包括将其用于α平面或深度图。因此，第一帧(以及下面的第二帧、第三帧等)也可以称为主图像或主帧。“第一帧的运动矢量正表示要应用于第一图像数据的第一图像变换”(以及针对第二帧、第三帧等的类似表达)通常意味着运动矢量以典型地连续的图像变换对某些坐标的图像变换进行采样。对坐标进行采样通常由用于第一帧的一个或多个宏块大小确定，如下面将进一步解释的。在例如H.265编码标准(以及诸如Google的VP10的其他较新的编码标准)内，帧可以被标记为“不显示”，这意味着帧不被显示给用户。例如，在H.265中，可以通过将切片头(sliceheader)中的pic_output_flag设置为假或者将SEI头中的no_display_flag设置为真来完成标记。专利技术人已经认识到，除了正常编码/压缩数据之外，这些辅助帧与引用辅助帧的帧一起可用于存储与复杂图像变换有关的数据，以提供其中需要对原始图像数据(由视频捕获设备捕获)进行复杂图像变换的视频流的有效编码。对于本实施例，在编码处理开始之前不需要对原始图像数据进行预处理(例如，用于桶形失真校正等)，这减少了例如视频捕获设备的资源的负荷，并且不需要执行这种预处理步骤的硬件或软件。本实施例还可以是有利的，原因在于经编码的视频流可以由支持编码器使用的视频编码格式的标准视频流解码器来解码，因为上述方法遵循这种视频编码格式的标准。另一个优点可能是，由于辅助帧的图像数据是由视频捕获设备捕获的原始图像数据，因此这样的数据被包括在经编码的视频流中，并且如果需要，稍后可以由定制解码器获取。根据一些实施例，方法还包括以下步骤：接收由视频捕获设备捕获的第二图像数据，将第二辅助帧编码为引用第一辅助帧的帧间帧，其中第二辅助帧的编码是基于第二图像数据和第一图像数据之间的比较进行的，以及将第二帧编码为引用第二辅助帧的帧间帧，其中第二帧的运动矢量正表示要应用于第二图像数据的第二图像变换。诸如本文所述的视频编码格式等一些视频压缩标准规定了根据帧内帧(例如，I-帧)以及帧间帧(例如P-帧或B-帧)实现的时间视频压缩。帧内帧基本上是仅使用要编码的图像帧中的信息进行编码的图像帧。此外，根据对于要编码的图像帧捕获的所有图像数据来计算帧内帧。因此，帧内帧有时称为全帧。帧间帧(也称为预测帧或差分帧)是基于来自先前(以及可选地随后)编码的图像帧的信息以及当前编码的帧的信息，即帧间帧可被描述为利用先前(以及可选地随后)图像帧中的时间冗余信息。实现这种类型的编解码器(压缩标准)的编码器通常生成帧内帧，接着是预定数量的帧间帧，以及然后是新的帧内帧，接着是相同数量的帧间帧。若干帧间帧跟随帧内帧的这种序列的长度常常被称为图片组长度(GOP长度)。对于一些压缩标准(例如H.265)，可以在编码期间调整GOP长度。关于本实施例，第二辅助帧的编码利用了时间视频压缩。因此，第二辅助帧的编码利用了先前的、第一、辅助帧中的时间冗余信息。因此，经编码的第二辅助帧可以包含与第一辅助帧的图像数据(即，第一图像数据)和描述第一辅助帧中不存在的图像内容的图像数据相关的第二图像数据的运动矢量位移以及预测误差(也称为残值)二者。应当注意，上面公开的实施例可以以迭代的方式实现，这意味着可以根据定义的GOP长度对视频捕获设备捕获的第三、第四等图像数据进行重复。此后，如本领域技术人员所理解的，可以开始若干帧间帧跟随帧内帧的新序列。根据一些实施例，第二图像变换等于第一图像变换。在对第二帧进行编码时，该实施例可能是有利的，原因在于第二帧的运动矢量可等于第一帧的运动矢量，并且因此不需要再次确定/计算。因此，可以降低编码处理的复杂性。例如，在一些实施例中，对第二帧进行编码的步骤包括复制第一帧并将第一帧的副本引用到第二辅助帧。在其他实施例中，复制第一帧的运动矢量并将其用作第二帧的运动矢量。在又一实施例中，其中预先计算第一帧的运动矢量和第二帧的运动矢量，对第一帧和第二帧进行编码的步骤分别包括(例如，从编码器的存储器或连接到编码器的设备的存储器)获取预先计算的运动矢量。由于第一图像变换和第二图像变换是相等的(例如，由于视频记录设备的恒定镜头失真)，因此可以预先计算特定视频记录设备的运动矢量并将其用于由该视频记录设备记录的所有图像数据。根据一些实施例，第一图像变换和第二图像变换至少部分地中和由视频记录设备的镜头引起的第一图像数据和第二图像数据的失真。这种失真的示例可以是桶形失真、枕形失真、胡子失真以及由视频记录设备的广角镜头引起的失真。在这样的实施例中，第一图像变换和第二图像变换通常是相等的，但是例如由于视频捕获设备的图像传感器的功能不规则，可能出现小的差异。在一些实施例中，忽略这种不规则并且假设第一图像变换和第二图像变换是相等的。根据一些实施例，第二图像变换不同于第一图像变换。这增加了编码方法的灵活性。根据一些实施例，第一图像变换和第二图像变换涉及包本文档来自技高网...

【技术保护点】
1.一种用于以视频编码格式对视频流进行编码的方法，其中所述视频编码格式支持在经编码的视频流中包括辅助帧，所述辅助帧由所述经编码的视频流中的另一帧引用并且包括补充所述另一帧的图像数据，其中所述辅助帧的所述图像数据不旨在当对所述经编码的视频流进行解码时显示，而是与所述另一帧的数据结合使用，以获得要显示的图像数据，所述方法包括以下步骤：接收第一图像数据，所述第一图像数据为由视频捕获设备捕获的原始图像数据；将所述第一图像数据用作第一辅助帧的图像数据；将所述第一辅助帧编码为帧内帧；以及将第一帧编码为引用所述第一辅助帧的帧间帧，其中所述第一帧的运动矢量正表示要应用于所述第一图像数据的第一图像变换。

【技术特征摘要】
2017.10.18 EP 17197036.11.一种用于以视频编码格式对视频流进行编码的方法，其中所述视频编码格式支持在经编码的视频流中包括辅助帧，所述辅助帧由所述经编码的视频流中的另一帧引用并且包括补充所述另一帧的图像数据，其中所述辅助帧的所述图像数据不旨在当对所述经编码的视频流进行解码时显示，而是与所述另一帧的数据结合使用，以获得要显示的图像数据，所述方法包括以下步骤：接收第一图像数据，所述第一图像数据为由视频捕获设备捕获的原始图像数据；将所述第一图像数据用作第一辅助帧的图像数据；将所述第一辅助帧编码为帧内帧；以及将第一帧编码为引用所述第一辅助帧的帧间帧，其中所述第一帧的运动矢量正表示要应用于所述第一图像数据的第一图像变换。2.根据权利要求1所述的方法，进一步包括以下步骤：接收第二图像数据，所述第二图像数据为由所述视频捕获设备捕获的原始图像数据；将第二辅助帧编码为引用所述第一辅助帧的帧间帧，其中所述第二辅助帧的所述编码是基于所述第二图像数据和所述第一图像数据之间的比较进行的；以及将第二帧编码为引用所述第二辅助帧的帧间帧，其中所述第二帧的运动矢量正表示要应用于所述第二图像数据的第二图像变换。3.根据权利要求2所述的方法，其中所述第二图像变换等于所述第一图像变换。4.根据权利要求2所述的方法，其中所述第一图像变换和所述第二图像变换不同。5.根据权利要求2所述的方法，其中所述第一图像变换和所述第二图像变换至少部分地中和由所述视频记录设备的镜头引起的所述第一图像数据和所述第二图像数据的失真。6.根据权利要求5所述的方法，其中所述失真是包括以下的列表中的一种：桶形失真、枕形失真、胡子失真和由所述视频记录设备的广角镜头引起的失真。7.根据权利要求3所述的方法，其中对所述第二帧进行编码的所述步骤包括复制所述第一帧并将所述第一帧的副本引用到所述第二辅助帧。8.根据权利要求2所述的方法，其中所述第一图像变换和所述第二图像...

【专利技术属性】
技术研发人员：维克托·埃德帕尔姆，汉普斯·林瑟，
申请(专利权)人：安讯士有限公司，
类型：发明
国别省市：瑞典,SE