用于视频编解码的帧内-帧间预测的方法及装置制造方法及图纸

本申请公开一种视频编解码的方法及装置。依据一种方法，当前块中的边界区域被确定。对于边界区域中的每个像素，帧内预测子和帧间预测子可以被推导出。透过混合帧内预测子和帧间预测子，帧内‑帧间预测子被生成。使用帧内‑帧间预测子，当前块的边界区域中的像素被编码或解码。对于当前块中不属于边界区域的剩余像素，使用帧间预测子或帧内预测子，这些像素被编码或解码。在另一方法中，透过将帧内加权因子与帧间加权因子之和缩放成2的幂，帧内‑帧间预测流程被实现，以避免除法操作的需要。在又一方法中，帧内‑帧间预测基于当前块尺寸被应用。

Intra frame prediction method and device for video codec

【技术实现步骤摘要】
【国外来华专利技术】用于视频编解码的帧内-帧间预测的方法及装置交叉申请本申请主张2017年1月7日申请的美国临时专利申请62/516,157的优先权，该申请的全文被本申请引用。
本申请涉及视频编解码帧间预测。具体而言，本申请涉及一种透过混合帧间与帧内预测的新的帧间预测。
技术介绍
视频数据需要较大的存储空间来存储或者较宽的带宽来传输。随着较高分辨率和较高帧率的增长，如果视频数据以未压缩的形式被存储或传输，则存储或传输带宽需求将是巨大的。因此，使用视频编解码技术，视频数据通常以已压缩的格式被存储或传输。使用较新的视频压缩格式，例如，H.264/AVC标准和高效视频编解码(HighEfficiencyVideoCoding，HEVC)标准，编解码效率实际上已被提高。为了保持可控的复杂度，图像通常被分割成块，例如，宏块(macroblock，MB)或最大编码单元(LCU)/编码单元(CU)，以用于视频编解码。视频编解码标准通常基于块适应性采用帧间/帧内预测。图1示出了集成环路处理的示例性适应性帧间/帧内视频编解码系统。对于帧间预测，运动估计(MotionEstimation，ME)/运动补偿(MotionCompensation，MC)112用于基于来自于一个或多个其他图像的视频数据提供预测数据。开关114选择帧内预测110或帧间预测数据，所选择的预测数据被提供给加法器116，以形成预测误差，也称为残差。随后，预测误差，先由变换(Transform，T)118进行处理，后由量化(Quantization，Q)120进行处理。随后，已变换且已量化残差由熵编码器122进行编解码，以被包含在对应于已压缩视频数据的视频比特流中。随后，与变换系数相关的比特流与辅助信息一起被封装，例如，运动、编解码模式和与图像区域相关的其他信息。辅助信息，例如，帧间预测数据、运动信息和环路滤波器信息，也可以透过熵编码进行压缩，以降低所需带宽。因此，如图1所示，与辅助信息相关的数据被提供给熵编码器122。当帧间预测模式被使用时，一个或多个参考图像也必须在编码器端被重构。因此，已变换且已量化残差由逆量化(InverseQuantization，IQ)124和逆变换(InverseTransformation，IT)126进行处理，以恢复残差。随后，残差在重构(Reconstruction，REC)128处与预测数据136相加，以重构视频数据。已重构视频数据可以被存储在参考图像缓存器134中，并用于其他帧的预测。如图1所示，在编码系统中，输入的视频数据经历一系列处理。由于一系列的处理，来自于重构128的已重构视频数据可能经受不同的损坏。因此，环路滤波器130通常在已重构视频数据被存储到参考图像缓存器134之前被应用于已重构视频数据，以便提高视频质量。例如，去块(deblockingfilter，DF)滤波器和样本适应性偏移(SampleAdaptiveOffset，SAO)已在高效视频编解码(HighEfficiencyVideoCoding，HEVC)标准中使用。滤波器信息可以必须被包括在比特流中，使得解码器可以适当地恢复所需信息。因此，环路滤波器信息被提供给熵编码器122以包含在比特流中。在图1中，在已重构样本被存储在参考图像缓存器134之前，环路滤波器130被应用于已重构视频。图1中的系统旨在示出典型的视频编码器的示例性结构。在帧内预测中，当前块由来自于空间相邻块的先前已解码边界样本预测。对于HEVC，存在33种不同的角度模式、DC模式和平面模式，以用于从4x4到32x32的块尺寸。下一代视频编解码正被开发以进一步提高编解码效率，其公开了改进的帧内预测。例如，在JEM-6(Chenetal.,“AlgorithmDescriptionofJointExplorationTestModel6(JEM6)”,JointVideoExplorationTeam(JVET)ofITU-TSG16WP3andISO/IECJTC1/SC29/WG11,6thMeeting:Hobart,AU,31March–7April2017,Document:JVET-F1001)中，公开了更细粒度任意方向帧内预测，其中67种帧内预测模式被使用，包括平面模式、DC模式和65种角度模式。下一代视频编解码所支持的编码单元被扩大到265x256。在帧间预测中，每个块将试图在一个或多个先前已编码帧(称为参考帧)中，查找相似块，运动信息将被发信或推导出。在HEVC中，运动信息通常包括水平运动向量平移值和垂直运动向量平移值，一个或两个参考图像索引如果是在B片段中的预测区域的情况，以及哪个参考图像列表与每个索引相关的标识。在HEVC中，帧间预测也包括合并模式，以继承来自于空间或时间相邻块的运动信息。合并候选列表在编码器端和解码器端被保持。自列表选择的候选可以由合并索引表示，而无需发信运动信息。其被称为合并模式，是因为其形成合并区域以共享所有运动信息。合并模式相似于AVC中的直接模式和跳过模式。在下一代视频编解码中，不同的帧间预测技术已被公开，以提高编解码效率的性能。例如，在VCEG-AZ07(Chenetal.,“FurtherimprovementstoHMKTA-1.0”,VideoCodingExpertsGroup(VCEG)ofITU-TSG16Q,2015)中，公开了基于模型的MV推导(pattern-basedMVderivation，PMVD)方法。PMVD方法在VCEG-AZ07中也称为帧率向上转换(FrameRateUpConversion，FRUC)。FRUC包括用于双向预测块的双边匹配和用于单向预测块的模板匹配。依据PMVD(又称为FRUC)推导的预测子可以被插入到合并列表中，作为另一候选。图2示出了帧率向上转换(FrameRateUpConversion，FRUC)双向匹配模式的示例，其中基于两个参考图像，当前块210的运动信息被推导出。透过在两个不同参考图像(即Ref0和Ref1)中沿着当前块的运动轨迹240查找两个块(即220和230)之间的最佳匹配，当前块的运动信息被推导出。在连续运动轨迹的假设下，指向两个参考块的与Ref0相关的运动向量运动向量MV0和与Ref1相关的运动向量运动向量MV1将与当前图像(即Curpic)和两个参考图像Ref0和Ref1之间的时间距离，即TD0和TD1成比例。图3标出了模板匹配FRUC模式的示例。当前图像(即Curpic)中的当前块310的相邻区域(即320a和320b)用作模板，以与参考图像(即图3中的Ref0)中的相应模板(即330a和330b)匹配。模板320a/320b与模板330a/330b之间的最佳匹配将确定解码器侧推导运动向量340。虽然图3中显示了Ref0，但是Ref1也可以用作参考图像。在HEVC中，仅平移运动模型被应用于运动补偿预测(motioncompensationprediction，MCP)。虽然在实际世界中，存在很多种运动，例如，放大/缩小、旋转、透视运本文档来自技高网...

【技术保护点】
1.一种视频编解码的方法，由视频编码器或视频解码器执行，该方法包括：/n在编码器侧处，接收与当前图像中的当前块相关的数据，或在视频解码器侧，接收包括当前块的已压缩数据的视频比特流；/n对于该当前块中的边界区域中的每个边界区域像素：/n自多个帧内参考像素推导出帧内预测子，其中该多个帧内参考像素在该当前图像中位于该当前块的顶端边界之上或位于该当前块的左侧边界的左侧，且该多个帧内参考像素先于该当前块被编解码；/n在参考图像中推导出包括位于参考块中的多个帧间参考像素的帧间预测子，其中该参考块先于该当前块被编解码；/n透过混合该帧内预测子和该帧间预测子，生成帧内-帧间预测子；以及/n使用该帧内-帧间预测子，编码或解码每个边界区域像素；以及/n对于该当前块中不属于该边界区域的多个剩余像素：/n使用帧间预测子或帧内预测子，编码或解码该多个剩余像素。/n

【技术特征摘要】
【国外来华专利技术】20170607 US 62/516,1571.一种视频编解码的方法，由视频编码器或视频解码器执行，该方法包括：
在编码器侧处，接收与当前图像中的当前块相关的数据，或在视频解码器侧，接收包括当前块的已压缩数据的视频比特流；
对于该当前块中的边界区域中的每个边界区域像素：
自多个帧内参考像素推导出帧内预测子，其中该多个帧内参考像素在该当前图像中位于该当前块的顶端边界之上或位于该当前块的左侧边界的左侧，且该多个帧内参考像素先于该当前块被编解码；
在参考图像中推导出包括位于参考块中的多个帧间参考像素的帧间预测子，其中该参考块先于该当前块被编解码；
透过混合该帧内预测子和该帧间预测子，生成帧内-帧间预测子；以及
使用该帧内-帧间预测子，编码或解码每个边界区域像素；以及
对于该当前块中不属于该边界区域的多个剩余像素：
使用帧间预测子或帧内预测子，编码或解码该多个剩余像素。


2.根据权利要求1所述的视频编解码的方法，其特征在于，该边界区域对应于靠近该多个帧内参考像素的该当前块的前N列和靠近该多个帧内参考像素的该当前块的前N行中的至少一个，其中N为大于0的整数。


3.根据权利要求2所述的视频编解码的方法，其特征在于，与位于该当前块的第一列或第一行处的最大梯度相关的位置是基于该帧内预测子或帧间预测子，或者该帧内预测子与该帧间预测子之间的差值推导出的，其中该位置用于确定N的值。


4.根据权利要求2所述的视频编解码的方法，其特征在于，
与位于该当前块的第一列或第一行处的最大梯度相关的位置是基于该帧内预测子或帧间预测子，或者该帧内预测子与该帧间预测子之间的差值推导出的；以及
如果该最大梯度实质上大于该当前块的该第一列或该第一行所计算的多个垂直梯度和多个水平梯度的平均梯度，则该位置用于确定N的值，否则设定N为默认值。


5.根据权利要求2所述的视频编解码的方法，其特征在于，该帧内预测子和多个相邻已重构像素之间、该帧间预测子和该多个相邻已重构像素之间或者该帧间预测子与该帧内预测子之间的最大差值相关的位置被推导出，且该位置用于确定N的值。


6.根据权利要求2所述的视频编解码的方法，其特征在于，N为预定义的，或者基于该当前块的尺寸被发信。


7.根据权利要求1所述的视频编解码的方法，其特征在于，还包括：
基于该帧间预测子、该帧内预测子或该帧内预测子与该帧间预测子之间的差值，检测该当前块中的多个模型边缘；以及
该边界区域基于该多个模型边缘而被确定。


8.根据权利要求7所述的视频编解码的方法，其特征在于，检测该多个模型边缘包括：
依据与该帧内预测子相关的帧内预测模式是靠近垂直方向还是水平方向，基于用于每行或每列的该帧间预测子、该帧内预测子或该帧内预测子与该帧间预测子之间的差值，计算最大梯度。


9.根据权利要求8所述的视频编解码的方法，其特征在于，该边界区域包括每行或每列中的一个边缘像素。


10.根据权利要求9所述的视频编解码的方法，其特征在于，该边界区域还包括与该当前块的同一行或同一列中的一个边缘像素相邻的任何相邻像素。


11.根据权利要求10所述的视频编解码的方法，其特征在于，该边界区域还包括位于当前行或列中的当前边缘像素与先前行或列中的先前边缘像素之间的该当前行或列中的任何额外像素。


12.根据权利要求9所述的视频编解码的方法，其特征在于，对于该当前块中不属于该边界区域的目标像素，如果该目标像素位于与该目标像素相同的行或列中的一个边缘像素之上或左侧，则该目标像素使用该帧内预测子被编码或解码。


13.根据权利要求9所述的视频编解码的方法，其特征在于，对于该当前块中不属于该边界区域的目标像素，如果该目标像素位于与该目标像素相同的行或列中的一个边缘像素之下或右侧，则该目标像素使用该帧间预测子被编码或解码。


14.一种视频编解码的装置，在视频编解码系统中，该装置包括一个或多个电子设备或处理器，用于：
在编码器侧处，接收与当前图像中的当前块相关的数据，或在视频解码器侧，接收包括当前块的已压缩数据的视频比特流；
对于边界区域中的每个边界区域像素：
自多个帧内参考像素推导出帧内预测子，其中该多个帧内参考像素在该当前图像中位于该当前块的顶端边界之上或位于该当前块的左侧边界的左侧，且该多个帧内参考像素先于该当前块被编解码；
在参考图像中推导出包括位于参考块中的多个帧间参考像素的帧间预测子，其中该参考块先于该当前块被编解码；
透过混合该帧内预测子和该帧间预测子，生成帧内-帧间预测子；以及
使用该帧内-帧间预测子，编码或解码每个边界区域像素...

【专利技术属性】
技术研发人员：赖贞延，陈庆晔，徐志玮，黄毓文，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾;71