用于对多个图像帧编码的方法和装置制造方法及图纸

本发明专利技术提供了一种用于对多个图像帧编码的方法和装置。本发明专利技术涉及图像编码的领域。具体地，本发明专利技术涉及一种用于使用分立的两个编码器对多个图像帧编码的方法和装置，其中每个图像帧被划分为两个部分以各自由两个编码器之一编码，其中两个部分之间的边界根据编码器之一的搜索窗口的尺寸而在图像帧之间偏移。因此，仅需要在第一编码器和第二编码器之间沿一个方向为了运动搜索目的而复制像素数据。

Method and device for encoding multiple image frames

【技术实现步骤摘要】
用于对多个图像帧编码的方法和装置
本专利技术涉及图像编码的领域。具体地，本专利技术涉及一种用于使用分立的两个编码器对多个图像帧编码的方法和装置，其中每个图像帧被划分为两个部分以各自由两个编码器之一编码。
技术介绍
近年来，监控相机(例如，网络相机监控系统)的数目已经增长。类似地，由监控相机的图像传感器所捕捉的图像的可能图像分辨率已经增大。这从监控角度是有利的，因为可以捕捉所监控场景中的更多细节。然而，从编码器角度，该发展已经导致由高分辨率图像传感器所捕捉的图像可能对于一个编码器(编码器芯片)而言太大而无法以可接受的帧率编码。有利地，可以采用在例如H.265编码中的区块(tile)/条带(slice)的概念，以从由两个或更多编码器所编码的图像数据产生单个已编码图像。当待寻找运动向量时产生问题，因为这意味着理论上，两个编码器均需要访问整个参考帧，这要求在两个编码器之间沿两个方向复制。实际上，尽管在整个参考帧中不执行运动向量搜索，但是在有限的搜索窗口中执行，以便在足够短时间中完成搜索以维持所需帧率。因此，将无需从一个编码器复制整个参考帧条带或区块至另一个编码器，而是仅复制足够大的部分以适应搜索窗口。从第一编码器复制图像数据至第二编码器以及反之亦然是麻烦的。也需要同步化以确保在新图像帧的编码开始之前两个编码器已经完成了前一个图像帧。因此在该上下文内需要改进。
技术实现思路
考虑到以上，因此本专利技术的目的在于克服或至少缓解以上讨论的问题。具体地，目的在于提供一种装置和方法，其中仅需要在第一编码器和第二编码器之间沿一个方向为了运动搜索以用于预测编码的目的而复制像素数据。根据本专利技术的第一方面，提供了一种用于对多个图像帧编码的方法，多个图像帧包括第一图像帧和第二图像帧，每个图像帧使用第一编码器和第二编码器被编码，第一编码器具有用于块匹配的限定尺寸的第一搜索窗口，方法包括：沿作为水平方向或垂直方向的第一方向划分第一图像帧的图像数据，以形成图像数据的第一部分和第二部分；通过使用第一编码器对图像数据的第一部分编码并使用第二编码器对图像数据的第二部分编码，而对第一图像帧编码；沿第一方向划分第二图像帧的图像数据以形成图像数据的第三部分和第四部分，其中在第二图像帧中的图像数据的第三部分和第四部分之间的边界的位置相对于在第一图像帧中的图像数据的第一部分和第二部分之间的边界的位置偏移，使得图像数据的第三部分的尺寸与图像数据的第一部分的尺寸相比较小，其中一旦第一方向是水平方向，偏移是第一搜索窗口的高度的一半，其中边界沿垂直方向偏移；其中一旦第一方向是垂直方向，偏移是第一搜索窗口的宽度的一半，其中边界沿水平方向偏移；以及通过使用第一编码器对图像数据的第三部分编码并使用第二编码器对图像数据的第四部分编码，而对第二图像帧编码。在本公开中，表述“沿第一方向划分第一(第二、第三等)图像帧的图像数据”通常指图像数据的部分之间的边界具有通常方向，但是边界可以是笔直或阶梯式的。例如，对于图像帧的图像数据中的特定行或列的宏块(CTU)，一些宏块可以是图像数据的第一部分的一部分，且剩余宏块可以是图像数据的第二部分的一部分。通常，划分图像数据导致图像数据的两个相干部分，其中图像数据的第一部分可以表示第一区块或条带，并且其中图像数据的第二部分可以表示第二区块或条带。专利技术人已经认识到，可以通过采用在连续图像帧流的图像帧之间的动态条带或区块边界而减缓必须在第一编码器和第二编码器之间复制图像数据的计算负担，使得对于第一帧，例如图像帧的75％在第一编码器中被编码，且25％在第二编码器中被编码。随后针对下一帧，图像数据的两个部分之间的边界被移动少许(偏移)，与搜索窗口的尺寸成比例且垂直于边界的方向。这意味着，针对第二图像帧由第一编码器编码的图像数据的部分(即，图像数据的第三部分)的尺寸比针对第一图像帧由第一编码器编码的图像数据的部分(即，图像数据的第一部分)的尺寸较小，且已经根据边界的方向做出了减小。因此，由第二编码器编码的图像数据的部分的尺寸在第一图像帧和第二图像帧之间增大。因此，对于第二图像帧，例如75％减去第一编码器的搜索窗口的一半在第一编码器中被编码，且25％加上第一编码器的搜索窗口的一半在第二编码器中被编码。如上所述，取决于是沿水平方向还是沿垂直方向划分图像数据，搜索窗口的高度或宽度用于限定偏移，且边界在图像数据的部分之间沿与边界的方向垂直的方向偏移。这种动态移动在图像数据的两个部分之间的边界的方式导致对逐渐缩减的条带或区块编码的(第一)编码器将无需来自另一(第二)编码器的任何数据以用于帧间编码。利用以上实施例，使用由第一编码器利用(例如多个图像帧之中的前一图像帧或参考帧的)之前边界位移所编码的图像数据，确保了对于第一编码器，对应于整个搜索窗口的像素数据已经在第一编码器处可获得。此外，以上实施例可以导致两个编码器之间的同步化需求被放松。如果两个编码器为了帧间编码目的均需要来自另一个编码器的图像数据，两个编码器必须在复制图像数据至另一编码器之前完成对参考帧的至少相关区域的编码。利用以上实施例，其中第一编码器无需来自另一编码器的(被编码并随后被解码的)图像数据，因此同步化需求被放松，如以下进一步将描述的。以上实施例的有利副作用是，针对第一图像帧和第二图像帧的相应部分的解锁将在第一图像帧和第二图像帧之间相对彼此移动，导致稍后解码的图像流的视觉品质改善。本实施例的又一优点在于，可以使用具有分立缓冲存储器(为了参考编码目的)的分立编码器(芯片)，减小了复杂性和成本。根据一些实施例，其中对第二图像帧进行帧间编码，其中第二编码器具有用于块匹配的限定尺寸的第二搜索窗口，方法进一步包括以下步骤：沿第一方向划分图像数据的第一部分，以形成图像数据的第一子部分和第二子部分，其中第一子部分由图像数据的第一部分的与图像数据的第二部分相邻的图像数据构成，其中一旦第一方向是水平方向，第一子部分具有等于第一搜索窗口的高度的一半加上第二搜索窗口的高度的一半的高度；一旦第一方向是垂直方向，第一子部分具有等于第一搜索窗口的宽度的一半加上第二搜索窗口的宽度的一半的宽度；其中使用第一编码器对图像数据的第一部分编码包括：对图像数据的第一子部分编码以形成已编码图像数据的第一子部分，其中方法进一步包括以下步骤：通过第一编码器对已编码图像数据的第一子部分解码以形成已解码数据的第一子部分，并将已解码图像数据的第一子部分从第一编码器复制至第二编码器。如上所述，第二编码器为了对图像数据的第四部分帧间编码的目的将需要来自第一编码器的数据。通过以上实施例，实现了将足够的图像数据(与第一编码器和第二编码器的搜索窗口尺寸、以及划分图像帧的图像数据的方向相关)复制至第二编码器的低复杂性过程。复制的数据(图像数据的已编码第一子部分的已解码版本)放置在第二编码器中的缓冲存储器(参考缓冲存储器，参考存储器等)中，与图像数据的已编码第二部分的已解码版本一起用于帧间编码，当对图像数据的第四部本文档来自技高网...

【技术保护点】
1.一种用于对多个图像帧(102)编码的方法，所述多个图像帧(102)包括第一图像帧(102a)和第二图像帧(102b)，每个图像帧使用第一编码器(408)和第二编码器(410)被编码，所述第一编码器具有用于块匹配的限定尺寸的第一搜索窗口，所述方法包括：/n沿作为水平方向或垂直方向的第一方向划分(S304)所述第一图像帧(102a)的图像数据，以形成图像数据的第一部分(104a)和第二部分(106a)；/n通过使用所述第一编码器对所述图像数据的第一部分编码(S202)并使用所述第二编码器对所述图像数据的第二部分编码(S204)，而对所述第一图像帧编码(S306)；/n沿所述第一方向划分(S312)所述第二图像帧的图像数据以形成图像数据的第三部分(104b)和第四部分(106b)，其中在所述第二图像帧中的所述图像数据的第三部分和第四部分之间的边界的位置相对于在所述第一图像帧中的所述图像数据的第一部分和第二部分之间的边界的位置偏移(110)，使得所述图像数据的第三部分的尺寸与所述图像数据的第一部分的尺寸相比较小，/n其中一旦所述第一方向是水平方向，所述偏移是所述第一搜索窗口的高度的一半，其中所述边界沿垂直方向偏移；/n其中一旦所述第一方向是垂直方向，所述偏移是所述第一搜索窗口的宽度的一半，其中所述边界沿水平方向偏移；以及/n通过使用所述第一编码器对所述图像数据的第三部分编码(S212)并使用所述第二编码器对所述图像数据的第四部分编码(S214)，而对所述第二图像帧编码(S314)。/n...

【技术特征摘要】
20181206 EP 18210628.61.一种用于对多个图像帧(102)编码的方法，所述多个图像帧(102)包括第一图像帧(102a)和第二图像帧(102b)，每个图像帧使用第一编码器(408)和第二编码器(410)被编码，所述第一编码器具有用于块匹配的限定尺寸的第一搜索窗口，所述方法包括：
沿作为水平方向或垂直方向的第一方向划分(S304)所述第一图像帧(102a)的图像数据，以形成图像数据的第一部分(104a)和第二部分(106a)；
通过使用所述第一编码器对所述图像数据的第一部分编码(S202)并使用所述第二编码器对所述图像数据的第二部分编码(S204)，而对所述第一图像帧编码(S306)；
沿所述第一方向划分(S312)所述第二图像帧的图像数据以形成图像数据的第三部分(104b)和第四部分(106b)，其中在所述第二图像帧中的所述图像数据的第三部分和第四部分之间的边界的位置相对于在所述第一图像帧中的所述图像数据的第一部分和第二部分之间的边界的位置偏移(110)，使得所述图像数据的第三部分的尺寸与所述图像数据的第一部分的尺寸相比较小，
其中一旦所述第一方向是水平方向，所述偏移是所述第一搜索窗口的高度的一半，其中所述边界沿垂直方向偏移；
其中一旦所述第一方向是垂直方向，所述偏移是所述第一搜索窗口的宽度的一半，其中所述边界沿水平方向偏移；以及
通过使用所述第一编码器对所述图像数据的第三部分编码(S212)并使用所述第二编码器对所述图像数据的第四部分编码(S214)，而对所述第二图像帧编码(S314)。


2.根据权利要求1所述的方法，其中，对所述第二图像帧进行帧间编码，其中所述第二编码器具有用于块匹配的限定尺寸的第二搜索窗口，其中所述方法进一步包括以下步骤：
沿所述第一方向划分所述图像数据的第一部分，以形成图像数据的第一子部分(108)和第二子部分，其中所述第一子部分由所述图像数据的第一部分的与所述图像数据的第二部分相邻的图像数据构成，其中
一旦所述第一方向是水平方向，所述第一子部分具有等于所述第一搜索窗口的高度的一半加上所述第二搜索窗口的高度的一半的高度；
一旦所述第一方向是垂直方向，所述第一子部分具有等于所述第一搜索窗口的宽度的一半加上所述第二搜索窗口的宽度的一半的宽度；
其中使用所述第一编码器对所述图像数据的第一部分编码包括：对所述图像数据的第一子部分编码以形成已编码图像数据的第一子部分，
其中所述方法进一步包括以下步骤：
通过所述第一编码器对所述已编码图像数据的第一子部分解码以形成已解码数据(412)的第一子部分，并将已解码图像数据的第一子部分从所述第一编码器复制(S206、S216、S308)至所述第二编码器。


3.根据权利要求2所述的方法，其中，在将已解码图像数据的第一子部分从所述第一编码器复制至所述第二编码器的步骤之后，所述第一编码器和所述第二编码器在分别对所述图像数据的第三部分和第四部分编码时，彼此独立地操作。


4.根据权利要求2所述的方法，其中，一旦完成了通过所述第一编码器对所述图像数据的第一子部分的编码，就执行通过所述第一编码器对所述已编码图像数据的第一子部分解码以形成已解码数据的第一子部分、并将已解码图像数据的第一子部分从所述第一编码器复制至所述第二编码器的步骤。


5.根据权利要求1所述的方法，其中，在开始使用所述第二编码器对所述图像数据的第二部分编码之前的时间点，开始使用所述第一编码器对所述图像数据的第一部分编码。


6.根据权利要求1所述的方法，其中，在完成使用所述第二编码器对所述图像数据的第二部分编码之前的时间点，开始使用所述第一编码器对所述图像数据的第三部分编码。
<...

【专利技术属性】
技术研发人员：比约恩·阿多，
申请(专利权)人：安讯士有限公司，
类型：发明
国别省市：瑞典;SE