以支持辅助帧的视频编码格式编码视频流的方法及编码器技术

一种以支持辅助帧的视频编码格式编码视频流的方法及编码器。本发明专利技术涉及视频编码领域。尤其是，它涉及一种以支持辅助帧的视频编码格式编码视频流的方法及编码器，其中此类辅助帧结合引用所述辅助帧的帧，能够用于码率控制，因为所述辅助帧的图像数据包括由视频捕获设备捕获的图像数据的按比例缩小版本，且计算并确定引用所述辅助帧的帧的移动矢量，以对所述图像数据的按比例缩小版本进行按比例放大，从而再次具有预期分辨率。

Method and Encoder for Encoding Video Stream in Video Coding Format Supporting Auxiliary Frames

A method and an encoder for encoding video stream in a video encoding format supporting auxiliary frames. The invention relates to the field of video coding. In particular, it relates to a method and an encoder for encoding video streams in a video encoding format supporting auxiliary frames, in which such auxiliary frames can be used for rate control in conjunction with frames referring to the auxiliary frames, since the image data of the auxiliary frames includes scaled-down versions of image data captured by the video capture device, and calculates and determines frames referring to the auxiliary frames. A moving vector is used to scale up the scaled down version of the image data so as to have the desired resolution again.

【技术实现步骤摘要】
以支持辅助帧的视频编码格式编码视频流的方法及编码器
本专利技术涉及视频编码领域。尤其是，它涉及一种以支持辅助帧的视频编码格式编码视频流的方法及编码器。
技术介绍
过去几年见证了数字及在线视频和他们的应用大受欢迎。经例如互联网的视频流播、直播视频和录制视频，变得比观看诸如电视之类的视频或租DVD的传统方式更为流行。流播视频时可能出现的问题是其上进行流播的互联网连接的带宽对于流播视频的分辨率(HD，4K，1080P等)太低，或是互联网连接的带宽波动。带宽不足可能导致流播视频断断续续，这使得视频因延迟而无法观看。一种在有限带宽的互联网连接上对视频进行流播而准备的方法为码率控制。码率控制在视频编码中起着重要作用，其中码率控制确保编码的比特流能够被成功传输、并充分利用有限带宽。换言之，它根据固定或可变的带宽来调整视频输出比特。通常，码率控制与压缩和帧频一起作用，这在低比特率时往往造成糟糕的质量。US2004/120398(Zhang等)公开了一种用于对包含图像序列的视频进行适配性编码的方法，其中各图像为具有两个域的图片。将视频的各图像编码为帧，从编码的帧中提取速率失真特性，同时将视频的各图像并行地编码为两个域，并从域中提取速率失真特性。根据提取的速率失真特性来确定成本函数的参数值λ，并根据提取的速率失真特性和参数λ来构造成本函数。然后，取决于构造的用于图像的成本函数的值，为各图像选择帧编码或域编码。US62263276(Igarashi等)公开了一种将表示图片的帧视为由区域构成的编码器。对于各区域，编码器决定基于帧或基于域的正交变换哪一个在减少那一区域的空间冗余方面会最有效。对于各区域，编码器决定基于帧或基于与的预测编码哪个在减少那一区域的时间冗余方面会最有效。编码器使用最有效的正交变换技术、并使用最有效的预测编码技术对图片帧的各区域进行编码，以生成编码的信号。解码器对编码的信号进行解码。编码的信号记录在记录介质上，在传输信道上传送、或广播。“用于H.264/AVC的帧内帧的适配性划分预测编码”(Piao等)公开了一种为H.264/AVC的渐进式时序列提出的帧内帧编码策略。在提出的方法中，在水平或垂直方向对每个其它像素进行采样，无任何反混淆过滤，接着生成偶像素和奇像素的两个子帧。分别用帧内及帧间帧编码方法对偶像素及奇像素子帧进行编码。该提出的方法能够扩展到多层情况，其中将偶像素子帧再次细分为偶像素子帧和奇像素子帧，等等，以进一步提高编码效率。因此在这种背景下，有改进的需求。
技术实现思路
鉴于上述情况，因此本申请的目的是克服或至少减轻上面讨论的问题。尤其是，目的是提供一种当需要视频流的捕获帧的复杂变换时减轻视频捕获系统的资源负担、便于检索原始捕获的图像数据的编码方法及编码器。根据本专利技术的第一方面，提供了一种用于以视频编码格式对视频流进行编码的方法，其中视频编码格式支持将辅助帧纳入编码的视频流，辅助帧被编码的视频流中的另一帧引用，并且该辅助帧包括对编码的视频流中的另一帧进行补充的图像数据，该辅助帧包括标记值，所述标记值指示：不旨在当对编码的视频流进行解码时显示辅助帧的图像数据、而是将所述辅助帧(110)的图像数据用于与所述另一帧的数据结合以用于获取要显示的图像数据。该方法包括步骤：-接收由视频捕获设备捕获的第一图像数据-确定解码时、用于视频流的预期分辨率，-对第一图像数据进行按比例缩小，以获得按比例缩小的第一图像数据，其中按比例缩小的第一图像数据具有低于预期分辨率的第一分辨率，-准备空的第一辅助帧，其中第一辅助帧的图像数据具有等于预期分辨率的分辨率，并包括全都具有同一预定义值的比特，-将按比例缩小的第一图像数据粘贴到第一辅助帧的图像数据，-将第一辅助帧编码为帧内帧，-确定第一图像变换，用于将第一辅助帧的图像数据中的按比例缩小的第一图像数据按比例放大到具有预期分辨率的按比例放大的第一图像数据，-根据至少一个预定的宏块尺寸，通过对由第一图像变换所导致的像素的移动进行采样来确定第一移动矢量，-将第一图像数据编码成作为引用第一辅助帧的帧间帧的第一帧，其中第一帧的移动矢量与第一移动矢量相对应。辅助帧通常意指对编码的视频流中的另一帧(也叫作主图像)进行补充的图像数据的存储。换言之，所述另一帧引用辅助帧。辅助帧能够以各种形式用于辅助显示它所补充的帧，但一般本身不被显示。辅助帧可以称作辅助图形，辅助图像项、非显示的帧、辅助图片等。辅助帧的公知应用包括将它用于提供透明信息的图像平面或深度图。第一帧(以下为第二、第三等)因而也可以叫做主图像或主帧。在此公开文本中，术语“分辨率”通常指图像中的像素数目。分辨率有时用图像的宽及高以及图像中的像素总数来标识。用于分辨率的另一术语为“尺寸”或像素尺寸。“预期分辨率”通常意指旨在以例如4K、1080P、720P、DVD、VCD、1920x1080等来显示视频流的分辨率。例如，客户端可以请求某个分辨率(例如1080P)的视频流，或编码器可以以其它方式知晓旨在以哪个分辨率对编码的视频流进行解码，例如编码器中的硬编码值，或基于IP地址或类似于请求的客户端。预期分辨率还可以包括像素总数和长宽比，例如3.6百万像素和16*9。根据一些实施方式，预期分辨率可以基于旨在显示编码的视频流的电子图像设备的像素密度。术语“第一辅助帧的图像数据具有与预期分辨率相对应的分辨率”(用于第二、第三帧等的类似表达)通常意指辅助帧的图像数据的尺寸与具有预期分辨率的图像的尺寸相对应，例如用于1080P的预期分辨率的1920x1080。在例如H.265编码标准(诸如谷歌的VP10指令之类的其它较新的编码标准)内，一个帧能够被标记为“不显示”，意指不向用户显示该帧。在例如H.265中，能够通过将片头中的pic_output_flag设为假或将SEI头中的no_display标记设为真，进行标记。专利技术人已意识到此类辅助帧连同引用辅助帧的帧能够用于码率控制，因为辅助帧的图像数据包括由视频捕获设备捕获的图像数据的按比例缩小版本，计算/确定引用辅助帧的帧的移动矢量，以对图像数据的按比例缩小版本进行按比例放大，从而再次具有预期分辨率。按比例缩小因子，即第一分辨率，能够被确定为实现编码的视频流的比特尺寸按需缩小。因相较于具有预期分辨率的图像数据、能够使用较少的比特对辅助帧的按比例缩小的图像数据进行编码，所以可以减少用于传输编码的视频流所需的带宽。在此实施方式中，辅助帧的、不包括按比例缩小的图像数据的部分图像数据将为空，因此能用极少的比特编码。例如，将第一辅助帧编码为I-帧的步骤可以包括将第一宏块尺寸用于第一辅助帧的、对包括按比例缩小的第一图像数据的图像数据进行编码，将第二宏块数据用于对第一辅助帧的、不包括按比例缩小的第一图像数据的图像数据进行编码，其中第一宏块尺寸小于第二宏块尺寸。结果，可以提供进一步的实现码率控制的方法。本实施方式可以进一步有利，在于因上面的方法遵循此类视频编码格式的标准，所以支持编码器所用的视频编码格式的标准视频解码器能够对编码的视频流进行解码。而且，用户将受益于能够以标准的兼容方式接收低分辨率的视频流，而不必重启流。根据一些实施方式，该方法进一步包括步骤：-接收由视频捕获设备捕获的第二图像数据，-对第二图像数据进行本文档来自技高网...

【技术保护点】
1.一种以视频编码格式编码视频流的方法，其中所述视频编码格式支持将辅助帧(110)纳入编码的视频流(416)，所述辅助帧(110)被所述编码的视频流(416)中的另一帧(112)引用，并且所述辅助帧(110)包括对所述编码的视频流(416)中的另一帧进行补充的图像数据，所述辅助帧(110)包括标记值，所述标记值指示：不旨在当对所述编码的视频流(416)进行解码时显示所述辅助帧(110)的图像数据、而是将所述辅助帧(110)的图像数据用于与所述另一帧的数据结合以获得要显示的图像数据，所述方法包括步骤：接收由视频捕获设备(104)捕获的第一图像数据(106a)，确定(S502)解码时所述视频流(106)的预期分辨率，对所述第一图像数据(106a)进行按比例缩小(S504)，以获取按比例缩小的第一图像数据(114)，其中所述按比例缩小的第一图像数据(114)具有低于所述预期分辨率的第一分辨率，准备空的第一辅助帧(110a)，其中所述第一辅助帧(110a)的图像数据具有等于所述预期分辨率的分辨率，并包括全都具有同一预定义值的比特，将所述按比例缩小的第一图像数据(114)粘贴(S506)到所述第一辅助帧(110a)的图像数据，将所述第一辅助帧(110a)编码为帧内帧，确定第一图像变换，用于将所述第一辅助帧(110a)的图像数据(106)中的按比例缩小的第一图像数据(114)按比例放大到具有所述预期分辨率的按比例放大的第一图像数据，根据至少一个预定的宏块尺寸，通过对所述第一图像变换导致的像素的移动进行采样来确定(S508)第一移动矢量(120)，以及将所述第一图像数据(106a)编码成作为引用所述第一辅助帧(110a)的帧间帧的第一帧(112a)，其中所述第一帧(112a)的移动矢量(120)与所述第一移动矢量(120)相对应。...

【技术特征摘要】
2017.10.18 EP 17197037.91.一种以视频编码格式编码视频流的方法，其中所述视频编码格式支持将辅助帧(110)纳入编码的视频流(416)，所述辅助帧(110)被所述编码的视频流(416)中的另一帧(112)引用，并且所述辅助帧(110)包括对所述编码的视频流(416)中的另一帧进行补充的图像数据，所述辅助帧(110)包括标记值，所述标记值指示：不旨在当对所述编码的视频流(416)进行解码时显示所述辅助帧(110)的图像数据、而是将所述辅助帧(110)的图像数据用于与所述另一帧的数据结合以获得要显示的图像数据，所述方法包括步骤：接收由视频捕获设备(104)捕获的第一图像数据(106a)，确定(S502)解码时所述视频流(106)的预期分辨率，对所述第一图像数据(106a)进行按比例缩小(S504)，以获取按比例缩小的第一图像数据(114)，其中所述按比例缩小的第一图像数据(114)具有低于所述预期分辨率的第一分辨率，准备空的第一辅助帧(110a)，其中所述第一辅助帧(110a)的图像数据具有等于所述预期分辨率的分辨率，并包括全都具有同一预定义值的比特，将所述按比例缩小的第一图像数据(114)粘贴(S506)到所述第一辅助帧(110a)的图像数据，将所述第一辅助帧(110a)编码为帧内帧，确定第一图像变换，用于将所述第一辅助帧(110a)的图像数据(106)中的按比例缩小的第一图像数据(114)按比例放大到具有所述预期分辨率的按比例放大的第一图像数据，根据至少一个预定的宏块尺寸，通过对所述第一图像变换导致的像素的移动进行采样来确定(S508)第一移动矢量(120)，以及将所述第一图像数据(106a)编码成作为引用所述第一辅助帧(110a)的帧间帧的第一帧(112a)，其中所述第一帧(112a)的移动矢量(120)与所述第一移动矢量(120)相对应。2.根据权利要求1所述的方法，进一步包括步骤：接收由所述视频捕获设备(104)捕获的第二图像数据(106b)，对所述第二图像数据(106b)进行按比例缩小，以获得按比例缩小的第二图像数据，其中所述按比例缩小的第二图像数据的分辨率为所述第一分辨率，准备空的第二辅助帧(110b)，其中所述第二辅助帧(110b)的图像数据具有等于所述预期分辨率的分辨率，将所述按比例缩小的第二图像数据粘贴到所述第二辅助帧(110b)的图像数据，将所述第二辅助帧(110b)编码为引用所述第一辅助帧(110a)的帧间帧，确定第二图像变换，用于将所述第二辅助帧(110b)的图像数据中的所述按比例缩小的第二图像数据按比例放大为具有所述预期分辨率的按比例放大的第二图像数据，通过对所述第二图像变换进行采样来确定第二移动矢量，将所述第二图像数据(106b)编码成作为引用所述第二辅助帧(110b)的帧间帧的第二帧(112b)，其中所述第二帧(112b)的移动矢量与第二移动矢量相对应。3.根据权利要求1所述的方法，进一步包括步骤：由视频记录设备(104)捕获第三图像数据(106c)，对所述第三图像数据(106c)进行按比例缩小，以获得按比例缩小的第三图像数据(116)，其中所述按比例缩小的第三图像数据(116)具有第二分辨率，所述第二分辨率不同于所述第一分辨率并且且低于所述预期分辨率，准备空的第三辅助帧(110c)，其中所述第三辅助帧(110c)的图像数据具有等于所述预期分辨率的分辨率，将所述按比例缩小的第三图像数据(116)粘贴到所述第三辅助帧(110c)的图像数据，将所述第三辅助帧(110c)编码为帧内帧，确定第三图像变换，用于将所述第三辅助帧(110c)的图像数据中的所述按比例缩小的第三图像数据按比例放大为具有所述预期分辨率的按比例放大的第三图像数据，通过对所述第三图像变换进行采样来确定第三移动矢量，将所述第三图像数据编码成作为引用所述第三辅助帧(110c)的帧间帧的第三帧(112c)，其中所述第三帧(112c)的移动矢量与所述第三移动矢量相对应。4.根据权利要求1所述的方法，进一步包括步骤：确定要被以第三分辨率纳入所述编码的视频流(416)的所述第一图像数据(106a)的一部分ROI1(302)，所述第三分辨率高于所述第一分辨率，将具有所述第三分辨率的ROI1(302)粘贴(S506)到所述第一辅助帧(110a)的图像数据，以使得所述ROI1(302)不会覆写所述按比例缩小的第一图像数据(114)、或变得被所述按比例缩小的第一图像数据(114)覆写，从而使所述ROI1(302)不与所述按比例缩小的第一图像数据(114)重叠，确定第四图像变换，用于将具有所述预期分辨率的ROI(302)插入所述按比例放大的第一图像数据，通过对所述第四图像变换进行采样来确定第四移动矢量(120)，其中将所述第一图像数据(106a)编码(S510)成作为帧间帧的所述第一帧(112a)的步骤包括：将所述第一帧(112a)的移动矢量确定为与所述第一移动矢量和所述第四移动矢量相对应。5.根据权利要求4所述的方法，进一步包括步骤：接收由所述视频捕获设备(104)捕获的第二图像数据(106b)，对所述第二图像数据(106b)进行按比例缩小，以获得按比例缩小的第二图像数据，其中所述按比例缩小的第二图像数据的分辨率为所述第一分辨率，准备空的第二辅助帧(110b)，其中所述第二辅助帧(110b)的图像数据具有等于所述预期分辨率的分辨率，将所述按比例缩小的第二图像数据粘贴到所述第二辅助帧(110b)的图像数据，将所述第二辅助帧(110b)编码为引用所述第一辅助帧(110a)的帧间帧，确定第二图像变换，用于将所述第二辅助帧(110b)的图像数据中的所述按比例缩小的第二图像数据按比例放大为具有所述预期分辨率的按比例放大的第二图像数据，通过对所述第二图像变换进行采样来确定第二移动矢量，将所述第二图像数据(106b)编码成作为引用所述第二辅助帧(110b)的帧间帧的第二帧(112b)，其中所述第二帧(112b)的移动矢量与所述第二移动矢量相...

【专利技术属性】
技术研发人员：维克托·埃德帕尔姆，汉普斯·林瑟，
申请(专利权)人：安讯士有限公司，
类型：发明
国别省市：瑞典,SE