视频处理方法和设备技术

提供了一种图像处理方法和设备,可以避免损失视频的编码性能，且可以减轻带宽压力以及提升编码效率。该方法包括：从当前图像的当前图像块中，确定子图像块；从位于参考图像中且与所述当前图像块位置对应的第一区域内，获取用于对所述子图像块进行帧间预测的参考数据；利用所述参考数据，对所述子图像块进行帧间预测；利用重建后的所述当前图像块的像素，对所述第一区域内的像素进行更新处理。

Video processing methods and equipment

【技术实现步骤摘要】
【国外来华专利技术】视频处理方法和设备版权申明本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者该专利披露。
本申请实施例涉及视频编解码领域，并且更具体地，涉及一种视频处理方法和设备。
技术介绍
在图像编解码的帧间预测的过程中，选取的参考图像与当前待编码图像越相似，则帧间预测产生的残差越小，从而可以提升帧间预测的编码效率。现有的一些技术可以利用视频中的各图像构建一个包含场景的背景内容的高质量的特定参考图像，例如可以为长期参考帧。并从而可以利用该特定参考图像进行帧间预测。对于该特定的长期参考帧，在进行待编码块的运动矢量的确定时，可以将所有运动矢量均置为零，认为构造生成的长期参考帧中的背景图像不存在任何运动，直接使用零运动矢量作为构造生成的长期参考帧中当前编码块的运动矢量，不再进行运动搜索。在这种做法下，忽略了可能的拍摄装置的微小运动，背景的本身的微小运动，若仅使用零运动矢量，则会损失视频的编码性能。
技术实现思路
本申请实施例提供一种图像处理方法和设备,可以避免损失视频的编码性能，且可以减轻带宽压力以及提升编码效率。第一方面，提供了一种视频处理方法，包括：从当前图像的当前图像块中，确定子图像块；从位于参考图像中且与所述当前图像块位置对应的第一区域内，获取用于对所述子图像块进行帧间预测的参考数据；利用所述参考数据，对所述子图像块进行帧间预测；利用重建后的所述当前图像块的像素，对所述第一区域内的像素进行更新处理。第二方面，提供了一种处理设备，包括：确定单元，用于从当前图像的当前图像块中，确定子图像块；获取单元，用于从位于参考图像中且与所述当前图像块位置对应的第一区域内，获取用于对所述子图像块进行帧间预测的参考数据；预测单元，用于利用所述参考数据，对所述子图像块进行帧间预测；更新处理单元，用于利用重建后的所述当前图像块的像素，对所述第一区域内的像素进行更新处理。第三方面，提供了一种计算机系统，包括：存储器，用于存储计算机可执行指令；处理器，用于访问该存储器，并执行该计算机可执行指令，以执行述第一方面的方法。第四方面，提供了一种计算机存储介质，该计算机存储介质中存储有程序代码，该程序代码可以用于指示执行上述第一方面的方法。第五方面，提供了一种计算机程序产品，该程序产品包括程序代码，该程序代码可以用于指示执行上述第一方面的方法。因此，在本申请实施例中，在针对当前图像中的当前图像块包括的子图像块，从参考图像中获取用于帧间预测的参考数据，获取的范围不超过在参考图像中与当前图像块位置对应的区域，并且利用重建的当前图像块对参考图像的对应位置的区域进行更新处理，由此可以避免仅使用零运动矢量，所带来的视频编码性能的损失，并且可以实现对参考图像的像素进行逐图像块的更新方式以减轻带宽压力，并且可以避免搜索范围过大带来的编码效率低的问题。附图说明为了更清楚地说明本申请实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是多个编码单元的编码过程的示意性图。图2是根据本申请实施例的视频处理方法的示意性图。图3是根据本申请实施例的对图像进行图像块划分的示意性图。图4是根据本申请实施例的对图像块进行子图像块划分的示意性图。图5是根据本申请实施例的用于获取参考数据的区域的示意性图。图6是根据本申请实施例的图像块的滤波完成顺序的示意性图。图7是根据本申请实施例的图像块与子图像块的位置关系的示意性图。图8是根据本申请实施例的获取参考数据的搜索区域的示意性图。图9是根据本申请实施例的视频处理设备的示意性框图。图10是根据本申请实施例的计算机系统的示意性框图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的
的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。视频是由多个图像构成的。对视频进行编码/解码时，视频中不同的图像可采用不同的预测方式。根据图像所采用的预测方式，可以将图像区分为帧内预测图像和帧间预测图像，其中帧间预测图像可以包括前向预测图像和双向预测图像。I图像是帧内预测图像，也称为关键帧；P图像是前向预测图像，也即采用之前已编码/解码的一个P图像或者I图像作为参考图像；B图像是双向预测图像，也即采用前后的图像作为参考图像。一种实现方式是编码/解码端将多张图像进行编码/解码后产生一段一段的图像组(group of picture，GOP)，该GOP是由一张I图像，以及多张B图像(或双向预测图像)和/或P图像(或前向预测图像)构成的图像组。解码端在播放时则是读取一段一段的GOP进行解码后读取画面再渲染显示。在现代视频编码/解码标准中，可以通过将图像分成多个小块来对不同分辨率的图像进行编码/解码，即图像可以被分成多个图像块。图像可以被分成任何数量的图像块。例如，该图像可以被分成一个m×n图像块阵列。图像块可以具有矩形形状、正方形形状、圆形形状或任何其他形状。图像块可以具有任何尺寸，例如p×q像素。每个图像块都可以具有相同尺寸和/或形状。可替代地，两个或更多图像块可以具有不同的尺寸和/或形状。图像块可以具有或者可以不具有任何重叠部分。在一些实施例中，该图像块在一些编码/解码标准中被称为宏块或最大编码单元(largest coding unit，LCU)。对于H.264标准，图像块被称为宏块，其大小可以是16×16像素。对于高效率视频编码(high efficiency video coding，HEVC)标准，图像块被称为最大编码单元，其大小可以是64×64像素。在另一些实施例中，一个图像块也可以不是一个宏块或最大编码单元，而是包含一个宏块或最大编码单元的部分，或者包含至少两个完整的宏块(或最大编码单元)，或者包含至少一个完整的宏块(或最大编码单元)和一个宏块(或最大编码单元)的部分，或者包含至少两个完整的宏块(或最大编码单元)和一些宏块(或最大编码单元)的部分。如此，在图像被分成多个图像块之后，可以分别对图像数据中的这些图像块进行编码/解码。编码过程包括预测、变换、量化和熵编码等处理。其中，预测包括帧内预测和帧间预测两种类型，其目的在于利用预测块数据去除当前待编码图像块的冗余信息。帧内预测利用本帧图像的信息获得参考数据(例如，可以为预测块数据)。帧间预测利用参考图像的信息获本文档来自技高网...

【技术保护点】
一种视频处理方法，其特征在于，包括：/n从当前图像的当前图像块中，确定子图像块；/n从位于参考图像中且与所述当前图像块位置对应的第一区域内，获取用于对所述子图像块进行帧间预测的参考数据；/n利用所述参考数据，对所述子图像块进行帧间预测；/n利用重建后的所述当前图像块的像素，对所述第一区域内的像素进行更新处理。/n

【技术特征摘要】
【国外来华专利技术】一种视频处理方法，其特征在于，包括：
从当前图像的当前图像块中，确定子图像块；
从位于参考图像中且与所述当前图像块位置对应的第一区域内，获取用于对所述子图像块进行帧间预测的参考数据；
利用所述参考数据，对所述子图像块进行帧间预测；
利用重建后的所述当前图像块的像素，对所述第一区域内的像素进行更新处理。


根据权利要求1所述的方法，其特征在于，所述参考图像属于长期参考图像、构造帧和/或不被输出的帧。


根据权利要求1或2所述的方法，其特征在于，所述从位于参考图像中且与所述当前图像块位置对应的第一区域内，获取用于对所述子图像块进行帧间预测的参考数据，包括：
在确定所述参考图像具有长期参考图像的标识时，从所述参考图像的所述第一区域内，获取所述参考数据；或，
在确定所述参考图像具有不被输出的标识时，从所述参考图像的所述第一区域内，获取所述参考数据；或，
在确定所述参考图像具有构造帧的标识时，从所述参考图像的所述第一区域内，获取所述参考数据；或，
在确定所述参考图像具有不被输出的标识，且进一步确定所述参考图像具有构造帧的标识时，从所述参考图像的所述第一区域内，获取所述参考数据。


根据权利要求1或2所述的方法，其特征在于，所述从位于参考图像中且与所述当前图像块位置对应的第一区域内，获取用于对所述子图像块进行帧间预测的参考数据，包括：
在确定所述参考图像为长期参考图像时，从所述参考图像的所述第一区域内，获取所述参考数据；或，
在确定所述参考图像为不被输出的帧时，从所述参考图像的所述第一区域内，获取所述参考数据；或，
在确定所述参考图像为构造帧时，从所述参考图像的所述第一区域内，获取所述参考数据；或，
在确定所述参考图像为不被输出的帧，且进一步确定所述参考图像为构造帧时，从所述参考图像的所述第一区域内，获取所述参考数据。


根据权利要求1至4中任一项所述的方法，其特征在于，所述从位于参考图像中且与所述当前图像块位置对应的第一区域内，获取用于对所述子图像块进行帧间预测的参考数据，包括：
从所述第一区域内的第二区域中，获取所述参考数据；
其中，所述第二区域为所述第一区域中的部分区域。


根据权利要求5所述的方法，其特征在于，所述第一区域中除所述第二区域之外的其他部分区域的至少部分像素用于：获取所述第二区域中的至少一个像素的像素值。


根据权利要求5或6所述的方法，其特征在于，所述第一区域中除所述第二区域之外的其他部分区域的至少部分像素用于：与所述第二区域中的至少部分像素进行插值运算。


根据权利要求5至7中任一项所述的方法，其特征在于，所述从所述第一区域内的第二区域中，获取所述参考数据，包括：
对所述第二区域，进行子像素搜索，以获取第一搜索结果；
基于所述第一搜索结果，获取所述参考数据。


根据权利要求1至4中任一项所述的方法，其特征在于，所述从位于参考图像中且与所述当前图像块位置对应的第一区域内，获取用于对所述子图像块进行帧间预测的参考数据，包括：
对所述第一区域进行整像素搜索，以获取第二搜索结果；
基于所述第二搜索结果，获取所述参考数据。


根据权利要求1至9中任一项所述的方法，其特征在于，所述第一区域内用于搜索的搜索范围小于或等于特定区域的搜索范围。


根据权利要求10所述的方法，其特征在于，在所述参考图像为构造帧时，所述特定区域为非构造帧中用于获取参考数据的区域；或，
在所述参考图像为长期参考图像时，所述特定区域为短期参考图像中用于获取参考数据的图像块。


根据权利要求1至11中任一项所述的方法，其特征在于，所述利用重建后的所述当前图像块的像素，对所述第一区域内的像素进行更新处理，包括：
利用所述当前图像块的完成滤波后的像素，对所述第一区域内的像素进行更新处理。


根据权利要求1至12中任一项所述的方法，其特征在于，所述利用重建后的所述当前图像块的像素，对所述第一区域内的像素进行更新处理，包括：
在所述当前图像块的一部分像素先滤波完成时，先利用滤波后的所述一部分像素，对所述第一区域内与所述一部分像素位置对应部分的像素进行更新处理。


根据权利要求1至13中任一项所述的方法，其特征在于，所述第一区域在所述参考图像的位置与所述当前图像块在所述当前图像中的位置相同。


根据权利要求1至14中任一项所述的方法，其特征在于，所述当前图像块为编码树单元CTU，所述子图像块编码单元；或所述当前图像块为编码单元，所述子图像块为预测单元。


根据权利要求1至15中任一项所述的方法，其特征在于，所述方法用于编码端。


根据权利要求16所述的方法，其特征在于，在所述从位于参考图像中且与所述当前图像块位置对应的第一区域内，获取用于对所述子图像块进行帧间预测的参考数据之前，所述方法还包括：
根据所述当前图像块在所述当前图像中的位置，从所述参考图像中，确定所述第一区域和/或所述第一区域内用于获取所述参考数据的区域。


根据权利要求16或17所述的方法，其特征在于，所述方法还包括：
在码流中携带标志位，用于向解码端指示：从位于所述参考图像中且与所述当前图像块位置对应的第一区域内，获取用于对所述子图像块进行帧间预测的参考数据。


根据权利要求1至15中任一项所述的方法，其特征在于，所述方法用于解码端。


根据权利要求19所述的方法，其特征在于，在所述从位于参考图像中且与所述当前图像块位置对应的第一区域内，获取用于对所述子图像块进行帧间预测的参考数据之前，所述方法还包括：
根据所述编码端传送的码流中的运动矢量信息，从所述参考图像中，确定所述第一区域和/或所述第一区域内用于获取所述参考数据的区域。


...

【专利技术属性】
技术研发人员：李蔚然，郑萧桢，
申请(专利权)人：深圳市大疆创新科技有限公司，
类型：发明
国别省市：广东;44