视频处理的方法与装置制造方法及图纸

提供一种视频处理的方法与装置，该方法包括：从参考帧缓存中获取M个参考块的数据，M为正整数；在对N个图像块进行Merge模式或Skip模式的帧间预测时，从M个参考块中确定是否存在N个图像块中每个图像块的参考块，N为正整数。通过预先从参考帧缓存访问M个参考块的数据，并在预先获取的M个参考块中确定是否存在N个图像块中每个图像块的参考块，可以实现从预先获取的M个参考块中获取Merge模式或Skip模式的帧间预测所需的多个数据，从而可以减少向参考帧缓存请求数据的次数。

【技术实现步骤摘要】
【国外来华专利技术】视频处理的方法与装置版权申明本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者该专利披露。
本申请涉及视频编码领域，并且更为具体地，涉及一种视频处理的方法与装置。
技术介绍
为了减少视频存储和传输所占用的带宽，需要对视频数据进行编码处理。预测是视频编码流程中的重要环节，预测的目的在于，针对一个图像块，获取与其最相近的一个块(可以称为参考块)，然后将该图像块与其参考块相减得到残差。预测分为帧内预测与帧间预测。帧间预测，就是要获得当前图像块的运动矢量(motionvector，MV)，然后根据该MV确定参考块在参考帧中的位置。高效视频编码(HighEfficiencyVideoCoding，HEVC)标准提出两种帧间预测模式：Merge模式与Skip模式。在Merge模式与Skip模式中，根据图像块的候选运动矢量获取该图像块的参考块，其中，需要根据候选运动矢量从参考帧中获取数据来获取当前块的参考块。在硬件编码器中，就是要向参考帧缓存(buffer)请求数据。HEVC标准提供了灵活的块划分结构，一帧图像划分为多个子块。例如，先将一帧图像划分为多个编码树单元(CodingTreeUnit，CTU)，一个CTU可划分为一个或多个编码单元(CodingUnit，CU)，一个CU又可划分为一个或多个预测单元(PredictionUnit，PU)。在HEVC标准下，针对每个PU，都需要根据其候选运动矢量从参考帧缓存中获取数据，这导致在一个CTU的帧间编码过程中，需要多次向参考帧缓存请求数据，这会增加硬件设计的难度，也会降低帧间预测的效率。
技术实现思路
本申请提供一种视频处理的方法与装置，通过预先从参考帧缓存访问M个参考块的数据，可以实现从预先获取的M个参考块中获取Merge模式或Skip模式的帧间预测所需的多个数据，从而可以减少向参考帧缓存请求数据的次数。第一方面，提供一种视频处理的方法，该方法包括：从参考帧缓存中获取M个参考块的数据，M为正整数；在对N个图像块进行Merge模式或Skip模式的帧间预测时，从M个参考块中确定是否存在N个图像块中每个图像块的参考块，N为正整数。第二方面，提供一种编码装置，该编码装置包括处理器与存储器，该存储器用于存储指令，该处理器用于执行该存储器存储的指令，并且对该存储器中存储的指令的执行使得，该处理器执行如下操作：从参考帧缓存中获取M个参考块的数据，M为正整数；在对N个图像块进行Merge模式或Skip模式的帧间预测时，从M个参考块中确定是否存在N个图像块中每个图像块的参考块，N为正整数。第三方面，提供一种芯片，该芯片包括处理模块与通信接口，该处理模块用于控制该通信接口与外部进行通信，该处理模块用于实现第一方面提供的方法。第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被计算机执行时使得所述计算机实现第一方面提供的方法。第五方面，提供一种包含指令的计算机程序产品，该指令被计算机执行时使得该计算机实现第一方面提供的方法。因此，在本申请中，通过预先从参考帧缓存访问M个参考块的数据，并在预先获取的M个参考块中确定是否存在N个图像块中每个图像块的参考块，可以实现从预先获取的M个参考块中获取Merge模式或Skip模式的帧间预测所需的多个数据，从而无需针对每个图像块的帧间预测均向参考帧缓存请求一次或多次数据，减少了向参考帧缓存发送请求的次数，缓解了对参考帧缓存的管理压力，降低了编码复杂度，从而可以提升编码效率。附图说明图1为视频编码的架构示意图。图2为HEVC标准下的块划分结构的示意图。图3为本申请实施例提供的视频处理的方法的示意性流程图。图4为本申请实施例提供的视频处理的方法的另一示意性流程图。图5为本申请实施例提供的视频处理的方法的又一示意性流程图。图6为本申请实施例提供的编码装置的示意性框图。具体实施方式下面将结合附图，对本申请实施例中的技术方案进行描述。为了便于理解本申请实施例，先描述本申请实施例涉及的相关概念。1、视频编码基本架构为了减少视频存储和传输所占用的带宽，需要对视频数据进行编码处理。视频编码的基本架构如图1所示。首先将一帧图像划分为若干的图像块，然后对每个图像块进行预测、变换、量化和熵编码。其中，预测分为帧内预测和帧间预测。帧内预测使用当前图像帧上已编码的块来生成当前图像块(下文简称为当前块)的参考块(或称为预测块)，而帧间预测使用参考帧(或称为参考图像)来获取当前块的参考块。然后将当前块与参考块相减得到残差数据。通过残差数据与变换矩阵，将时域信号变换到频域上，得到变换系数。对变换系数进行量化，来缩小变换系数的动态范围，以进一步压缩信息。对于量化后的变换系数，一是通过熵编码得到熵编码的比特流；二是经过反量化和反变换后与参考块相加，再进行环内滤波得到重建帧图像，可以基于重建帧图像确定较优的预测方式。在帧间预测中，对于当前块，从参考帧中搜索与其最相似的一个块作为当前块的参考块，然后将当前块与参考块相减得到残差，残差经过后续变换、量化和熵编码形成比特流。从参考帧中搜索与当前块最相似的块的过程称为运动搜索。通过运动搜索得到当前块的参考块。当前块相对于参考块的位置偏移称为当前块的运动向量(motionvector，MV)。可以理解到，若获得当前块的MV，就可以获得参考块在参考帧中的位置，即获得当前块的参考块。2、Merge模式与Skip模式的帧间预测在高效视频编码(HighEfficiencyVideoCoding，HEVC)标准中，提出三种帧间预测模式：普通帧间预测(interpredictmode)、合并模式(Mergemode)与跳过模式(Skipmode)。其中，Merge模式和Skip模式属于两种特殊的帧间预测模式。从前文对帧间预测的描述可以理解到，帧间预测的目的，就是要得到当前块的MV，然后根据该MV确定参考块在参考图像中的位置。相邻图像块之间具有相似性，例如，当前块和临近块都属于同一个物体，在镜头移动的时候，它们移动的距离和方向自然是相似或相同的，因此，很多时候并不需要去计算当前块的MV，可以将相邻块的MV作为当前块的MV。Merge模式与Skip模式就是基于这种思路的帧间预测模式。在Merge模式中，针对当前块，通过其相邻块(时域相邻块，和/或空域相邻块)得到一个运动矢量预测值(motionvectorprediction，MVP)候选列表，从中选出最优的一个MVP作为当前块的MV，然后根据该MV直接确定参考块在参考帧中的位置，即根据该MV确定参考块。在HEVC标准中，Merge模式最多可从相邻块获取5个候选运动矢量，并从中选择出一个作为当前块的运动矢量。在Merge模式中，MVP和MV相同，即运动矢量差(MotionVectorDi本文档来自技高网...

【技术保护点】
1.一种视频处理的方法，其特征在于，包括：/n从参考帧缓存中获取M个参考块的数据，M为正整数；/n在对N个图像块进行Merge模式或Skip模式的帧间预测时，从所述M个参考块中确定是否存在所述N个图像块中每个图像块的参考块，N为正整数。/n

【技术特征摘要】
【国外来华专利技术】1.一种视频处理的方法，其特征在于，包括：
从参考帧缓存中获取M个参考块的数据，M为正整数；
在对N个图像块进行Merge模式或Skip模式的帧间预测时，从所述M个参考块中确定是否存在所述N个图像块中每个图像块的参考块，N为正整数。


2.根据权利要求1所述的方法，其特征在于，所述从参考帧缓存中获取M个参考块的数据，包括：
根据第一图像块的S个候选运动矢量从所述参考帧缓存中获取所述M个参考块，所述S为小于或等于所述M的正整数，其中，所述第一图像块与所述N个图像块属于同一个图像单元块。


3.根据权利要求2所述的方法，其特征在于，所述第一图像块包括所述N个图像块中的部分或全部图像块。


4.根据权利要求3所述的方法，其特征在于，所述第一图像块为所述图像单元块。


5.根据权利要求1至4中任一项所述的方法，其特征在于，所述N个图像块中包括第二图像块；
其中，所述在对N个图像块进行Merge模式或Skip模式的帧间预测时，从所述M个参考块中确定是否存在所述N个图像块中每个图像块的参考块，包括：
从所述M个参考块中确定是否存在所述第二图像块的参考块；
其中，所述方法还包括：
在所述M个参考块中存在所述第二图像块的参考块的情况下，对所述第二图像块进行Merge模式或Skip模式的帧间预测。


6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
在所述M个参考块中不存在所述第二图像块的参考块的情况下，跳过所述第二图像块的Merge模式或Skip模式的帧间预测。


7.根据权利要求5所述的方法，其特征在于，所述第二图像块的候选运动矢量包括多个；
其中，所述从所述M个参考块中确定是否存在所述第二图像块对应的参考块，包括：
从所述M个参考块中确定是否存在所述第二图像块的第j个候选运动矢量对应的参考块，j为1,…,P，所述P为所述多个候选运动矢量的个数。


8.根据权利要求7所述的方法，其特征在于，所述从所述M个参考块中确定是否存在所述第二图像块的第j个候选运动矢量对应的参考块，包括：
根据下列因素，从所述M个参考块中确定是否存在所述第二图像块的第j个候选运动矢量对应的参考块：
所述第二图像块的位置、所述第j个候选运动矢量、所述M个参考块的位置。


9.根据权利要求7或8所述的方法，其特征在于，所述从所述M个参考块中确定是否存在所述第二图像块的第j个候选运动矢量对应的参考块，包括：
在所述第j个候选运动矢量的水平分量与垂直分量分别指向整像素的情况下，若所述第二图像块在进行所述第j个候选运动矢量的位移后的位置位于所述M个参考块中任一个参考块的位置内，确定所述M个参考块中存在所述第j个候选运动矢量对应的参考块。


10.根据权利要求8所述的方法，其特征在于，在所述第j个候选运动矢量的水平分量，和/或垂直分量指向分像素的情况下，所述因素还包括预设值，所述预设值与运动矢量的最小精度和/或插值滤波器的抽头数量相关。


11.根据权利要求10所述的方法，其特征在于，所述从所述M个参考块中确定是否存在所述第二图像块的第j个候选运动矢量对应的参考块，包括：
若所述第二图像块在进行所述第j个候选运动矢量的位移后的位置位于所述M个参考块中的第i个参考块的收缩位置内，确定所述M个参考块中存在所述第j个候选运动矢量对应的参考块，i为1,…,M，其中，
在所述第j个候选运动矢量的水平分量指向分像素、垂直分量指向整像素的情况下，所述第i个参考块的收缩位置表示所述第i个参考块经过左边界与右边界分别向里收缩所述预设值之后的位置，
在所述第j个候选运动矢量的水平分量指向整像素、垂直分量指向分像素的情况下，所述第i个参考块的收缩位置表示所述第i个参考块经过上边界与下边界分别向里收缩所述预设值之后的位置，
在所述第j个候选运动矢量的水平分量指向分像素、垂直分量指向分像素的情况下，所述第i个参考块的收缩位置表示所述第i个参考块经过左边界、右边界、上边界与下边界分别向里收缩所述预设值之后的位置。


12.根据权利要求7或8所述的方法，其特征在于，所述从所述M个参考块中确定是否存在所述第二图像块的第j个候选运动矢量对应的参考块，包括：
若所述第二图像块在进行所述第j个候选运动矢量的位移后的位置位于所述M个参考块中的第i个参考块的收缩位置内，确定所述M个参考块中存在所述第j个候选运动矢量对应的参考块，其中，
所述第i个参考块的收缩位置表示所述第i个参考块经过左边界、右边界、上边界与下边界分别向里收缩预设值之后的位置，所述预设值与运动矢量的最小精度相关，所述i为1,…,M。


13.根据权利要求7至12中任一项所述的方法，其特征在于，所述在所述M个参考块中存在所述第二图像块的参考块的情况下，对所述第二图像块进行Merge模式或Skip模式的帧间预测，包括：
在所述M个参考块中存在所述第j个候选运动矢量对应的参考块的情况下，采用所述第j个候选运动矢量对应的参考块对所述第二图像块进行Merge模式或Skip模式的帧间预测。


14.根据权利要求7至12中任一项所述的方法，其特征在于，所述方法还包括：
在所述M个参考块中不存在所述第j个候选运动矢量对应的参考块的情况下，跳过采用所述第j个候选运动矢量对应的参考块对所述第二图像块进行Merge模式或Skip模式的帧间预测过程。


15.根据权利要求1至14中任一项所述的方法，其特征在于，所述N个图像块中每个图像块为预测单元PU。


16.根据权利要求2至4中任一项所述的方法，其特征在于，所述第一图像块为下列中任一种：编码树单元CTU、编码单元CU、预测单元PU。


17.一种编码装置，其特征在于，包括：
存储器，用于存储指令；
处理器，用于执行所述存储器存储的指令，执行如下操作：
从参考帧缓存中获取M个参考块的数据，M为正整数；
在对N个图像块进行Merge模式或Skip模式的帧间预测时，从所述M个参考...

【专利技术属性】
技术研发人员：王悦名，郑萧桢，
申请(专利权)人：深圳市大疆创新科技有限公司，
类型：发明
国别省市：广东;44