用于视频编解码的运动细化的方法以及装置制造方法及图纸

本发明专利技术公开了使用基于模式的MV推导(PMVD)、双向光流(BIO)或解码器侧MV细化(DMVR)以细化双向预测块的运动的方法以及装置。根据本发明专利技术的一个方法，分别决定来自参考图像列表0以及列表1中的第一以及第二参考图像中与所述当前块有关的第一以及第二运动补偿参考块。使用对应于所述第一运动补偿参考块以及所述第二运动补偿参考块的参考数据而不使用在所述第一运动补偿参考块以及所述第二运动补偿参考块外的其他参考数据，应该所述PMVD进程、BIO进程或DMVR进程以生成所述当前块的运动细化，以便减少所需要的系统存储器频宽。本发明专利技术也公开了基于块的BIO的适应性块尺寸。

Motion thinning methods and devices for video coding and decoding

【技术实现步骤摘要】
【国外来华专利技术】用于视频编解码的运动细化的方法以及装置相关引用本专利技术要求递交于2016年12月22日，号码为62/437,759的美国临时专利申请以及递交于2016年12月27日，号码为62/439,200的美国临时专利申请的优先权。该美国临时专利申请整体通过引用纳入其中。
本专利技术涉及使用基于模式的MV推导(Pattern-basedMVDerivation，PMVD)、双向光流(Bi-directionalOpticalflow，BIO)或者解码器侧MV细化(Decoder-sideMVRefinement，DMVR)来细化双向预测块运动的运动补偿，特别地，本专利技术涉及与所述PMVD、BIO或者DMVR进程有关的频宽减小(bandwidthreduction)。
技术介绍
双向光流(BIO)双向光流(BIO)是在JCTVC-C204(2010年10月7-15日，在中国广州举行的，ITU-TSG16WP3以及ISO/IECJTC1/SC29/WG11的联合视频编解码小组(JCT-VC)第三次会议，E.Alshina等人：Bi-directionalopticalflow，文献：JCTVC-C204)以及VCEG-AZ056(2015年6月19-26日，在波兰华沙举行的ITU-TSG16问题6，视频编解码专家组(VCEG)第52次会议，E.Alshina等人:Knowntoolsperformanceinvestigationfornextgenerationvideocoding，文献：VCEG-AZ05)中公开的运动估计/补偿技术。基于如图1所示的光流以及稳定运动的假设，BIO推导样本级运动细化(sample-levelmotionrefinement)，其中B切片(slice)(双向切片)120中的当前像素122由参考图像0中的一个像素以及参考图像1中的一个像素进行预测。如图1所示，当前像素122由参考图像1(110)中的像素B(112)以及参考图像0(130)中的像素A(132)进行预测。在图1中，Vx以及Vy是在x方向以及y方向上的像素位移向量(pixeldisplacementvector)，其使用双向光流(BIO)模式推导。其仅应用于真正的双向预测的块，双向预测的块从对应于先前帧以及后续帧的两个参考帧预测得到。在VCEG-AZ05中，BIO利用5×5窗口(window)去推导每一样本的运动细化。因此，对于N×N块，需要(N+4)×(N+4)块的运动补偿结果以及对应的梯度信息去推导N×N块的基于样本的运动细化(sample-basedmotionrefinement)。根据VCEG-AZ05，使用6抽头梯度滤波器以及6抽头插值滤波器去生成用于BIO的梯度信息。因此，BIO的计算复杂度比传统的双向预测的计算复杂度要高出许多。为了进一步提高BIO的性能，提出了后续方法。在HEVC中常规的双向预测中，使用方程式(1)生成预测子(predictor)，其中P(0)以及P(1)分别是列表0以及列表1的预测子。PConventional[i,j]＝(P(0)[i,j]+P(1)[i,j]+1)＞＞1(1)在JCTVC-C204以及VECG-AZ05中，使用方程式(2)生成BIO预测子。POpticalFlow＝(P(0)[i,j]+P(1)[i,j]+vx[i,j](Ix(0)-Ix(1)[i,j])+vy[i,j](Iy(0)-Iy(1)[i,j])+1)＞＞1(2)在方程式(2)中，Ix(0)以及Ix(1)分别表示列表0以及列表1预测子中x方向的梯度；Iy(0)以及Iy(1)分别表示列表0以及列表1预测子中y方向的梯度；Vx以及Vy分别表示x以及y方向上的偏移。Vx以及Vy的推导进程如下所示。首先，价值函数被定义为diffCost(x,y)以找到最佳值Vx以及Vy。为了找到最佳值Vx以及Vy以使价值函数diffCost(x,y)最小化，使用了5×5窗口。Vx以及Vy的解可以通过使用S1、S2、S3、S5以及S6来表示。最小价值函数，mindiffCsot(x,y)可以根据以下推导：通过对方程式(3)以及方程式(4)进行求解，Vx以及Vy可以根据方程式(5)解出：其中：在上述方程式中，对应于列表0图像中位于(x,y)处像素的x方向的梯度，对应于列表1图像中位于(x,y)处像素的x方向的梯度，对应于列表0图像中位于(x,y)处像素的y方向的梯度，以及对应于列表1图像中位于(x,y)处像素的y方向的梯度。在VCEG-AZ05中，BIO在HEVC的参考软件上实施以及BIO经常应用于由真正双向进行预测的那些块。在HEVC中，使用一个用于亮度分量的8抽头的插值滤波器以及一个用于色度分量的4抽头插值滤波器，以执行分数运动补偿(fractionalmotioncompensation)。考虑到用于BIO中一个8×8CU中一个待处理像素的一个5X5窗口，最坏情况下所需要的频宽从(8+7)×(8+7)×2/(8x8)＝7.03增加到(8+7+4)×(8+7+4)×2/(8x8)＝11.28参考像素/每一当前像素。在JVETD0042(2016年10月15-21日，在中国成都举行的ITU-TSG16WP3以及ISO/IECJTC1/SC29/WG11的联合视频开发团队(JointVideoExplorationTeam，JVET)，第4次会议，A.Alshin等人：“AHG6:关OnBIOmemorybandwidth”，文献:JVET-D0042)中，如果这些像素在当前块外，为了减少所需要的频宽，所需要的数据包括运动补偿像素以及x与y方向上的梯度将被设置为0。如图2所示，中心的正方形是用于当前块的原始MC区域(210)，以及为了通过使用所推导的位移以及梯度进一步细化预测子，BIO进程需要预测子以及区域A(220)以及区域B(230)中对应的梯度以分别推导位移。在JVETD0042中，来自于区域A(220)以及区域B(230)的数据将被设置为0以节约所需要的频宽。因为梯度从额外的6抽头滤波器生成，可以通过使用与原始HEVC中相同的区域生成梯度以及运动补偿像素。因此，通过使用JVETD0042中的方法，在BIO进程中没有额外的频宽需求。然而，相比于原始的运动补偿设计，使用额外的6抽头滤波器以生成x和y方向上的梯度比较复杂。将需要两个额外的6抽头滤波器：一个用于生成梯度以及另一个用于当运动向量是分数的时候执行插值。而且，VCEG-AZ05中还提出了基于块的进程来减少所需要的计算复杂度。因此，后续示出了一个低复杂度的BIO。在低复杂度的BIO中，使用了基于块的推导进程而不是基于像素的推导进程，其中每一块被拆分成多个4X4块(本专利技术中称为BIO块)用于基于块的BIO进程。在原始的BIO中，5X5窗口被用于推导用于每一像素的运动，在基于块的BIO中，6X6窗口用于每一4X4块以推导用于块的运动。根据低复杂度的BIO，通过将系数等于{-1,0,1}的3抽头滤波器应用于多个运动补偿像素，梯度的计算也被简化。在图2中，较小块250对应于用于基于块的BIO的4X4块。虚线块260对应于用于推导与4X4块有关的运动信息的6X6窗口。对于窗口本文档来自技高网...

【技术保护点】
1.一种视频编解码方法，其使用基于模式的MV推导(PMVD)、双向光流(BIO)或解码器侧MV细化(DMVR)以细化双向预测块的运动，其特征在于，所述方法包括：接收与当前图像中当前块有关的输入数据，其中使用双向预测对所述当前块进行编码；决定来自于参考图像列表0的第一参考图像中与所述当前块有关的第一运动补偿参考块，其中所述第一运动补偿参考块包括在所述第一参考图像中所述当前块对应的块附近的额外周围第一像素，用于执行所述当前块的任何分数向量所需要的插值滤波；决定来自于参考图像列表1的第二参考图像中与所述当前关有关的第二运动补偿参考块，其中所述第二运动补偿参考块包括在所述第二参考图像中所述当前块对应的块附近的额外周围第二像素，用于执行所述当前块的任何分数向量所需要的插值滤波；使用对应于所述第一运动补偿参考块以及所述第二运动补偿参考块的参考数据而不使用在所述第一运动补偿参考块以及所述第二运动补偿参考块外的其他参考数据，应用PMVD进程、BIO进程或者DMVR进程去生成所述当前块的运动细化；以及根据所述运动细化，基于运动补偿预测对所述当前块进行编码或解码。

【技术特征摘要】
【国外来华专利技术】2016.12.22 US 62/437,759;2016.12.27 US 62/439,2001.一种视频编解码方法，其使用基于模式的MV推导(PMVD)、双向光流(BIO)或解码器侧MV细化(DMVR)以细化双向预测块的运动，其特征在于，所述方法包括：接收与当前图像中当前块有关的输入数据，其中使用双向预测对所述当前块进行编码；决定来自于参考图像列表0的第一参考图像中与所述当前块有关的第一运动补偿参考块，其中所述第一运动补偿参考块包括在所述第一参考图像中所述当前块对应的块附近的额外周围第一像素，用于执行所述当前块的任何分数向量所需要的插值滤波；决定来自于参考图像列表1的第二参考图像中与所述当前关有关的第二运动补偿参考块，其中所述第二运动补偿参考块包括在所述第二参考图像中所述当前块对应的块附近的额外周围第二像素，用于执行所述当前块的任何分数向量所需要的插值滤波；使用对应于所述第一运动补偿参考块以及所述第二运动补偿参考块的参考数据而不使用在所述第一运动补偿参考块以及所述第二运动补偿参考块外的其他参考数据，应用PMVD进程、BIO进程或者DMVR进程去生成所述当前块的运动细化；以及根据所述运动细化，基于运动补偿预测对所述当前块进行编码或解码。2.如权利要求1所述的视频编解码方法，其特征在于，其中所述BIO进程包括计算所述第一运动补偿参考块中多个第一像素的多个第一梯度以及所述第二运动补偿参考块中多个第二像素的多个第二梯度，使用所述多个第一梯度以及所述多个第二梯度推导x方向以及y方向上的位移，以及基于所述x方向以及所述y方向上的所述位移生成所述运动细化。3.如权利要求2所述的视频编解码方法，其特征在于，其中所述计算所述多个第一梯度以及所述多个第二梯度使用对应于{-1,0,1}的3抽头滤波器用于所述第一运动补偿参考块以及所述第二运动补偿参考块的非边界像素，以及所述计算所述多个第一梯度以及所述多个第二梯度通过使用对应于{-1,1}的2抽头滤波器用于所述第一运动补偿参考块以及所述第二运动补偿参考块的边界像素，避免需要在所述第一运动补偿参考块以及所述第二运动补偿参考块外的参考像素；以及其中所述边界像素在所述第一运动补偿参考块或所述第二运动补偿参考块的1像素边界中。4.如权利要求1所述的视频编解码方法，其特征在于，其中如果用于所述当前块的边界像素的所述PMVD进程、所述BIO进程或所述DMVR进程需要任何在所述第一运动补偿参考块以及所述第二运动补偿参考块外的参考像素，所述PMVD进程、所述BIO进程或所述DMVR进程用于所述当前块的边界像素以生成所述当前块的所述运动细化被跳过。5.如权利要求1所述的视频编解码方法，其特征在于，其中如果用于所述当前块的所述PMVD进程、所述BIO进程或所述DMVR进程需要在所述第一运动补偿参考块以及所述第二运动补偿参考块外的一个或多个运动补偿参考像素，通过填充生成所述一个或多个运动补偿参考像素。6.一种视频编解码的装置，其使用基于模式的MV推导(PMVD)、双向光流(BIO)或解码器侧MV细化(DMVR)以细化双向预测块的运动，所述视频编解码装置包括一个或多个电子电路或处理器，其特征在于，用于：接收与当前图像中当前块有关的输入数据，其中使用双向预测对所述当前块进行编码；决定来自于参考图像列表0的第一参考图像中与所述当前块有关的第一运动补偿参考块，其中所述第一运动补偿参考块包括在所述第一参考图像中所述当前块对应的块附近的额外周围第一像素，用于执行所述当前块的任何分数向量所需要的插值滤波；决定来自于参考图像列表1的第二参考图像中与所述当前关有关的第二运动补偿参考块，其中所述第二运动补偿参考块包括在所述第二参考图像中所述当前块对应的块附近的额外周围第二像素，用于执行所述当前块的任何分数向量所需要的插值滤波；使用对应于所述第一运动补偿参考块以及所述第二运动补偿参考块的参考数据而不使用在所述第一运动补偿参考块以及所述第二运动补偿参考块外的其他参考数据，应用PMVD进程、BIO进程或者DMVR进程去生成用于所述当前块的运动细化；根据所述运动细化，基于运动补偿预测对所述当前块进行编码或解码。7.一种存储程序指令的非暂态计算机可读媒介，使得装置的处理电路执行视频编解码方法，其特征在于，所述方法包括：接收与当前图像中当前块有关的输入数据，其中使用双向预测对所述当前块进行编码；决定来自于参考图像列表0的第一参考图像中与所述当前块有关的第一运动补偿参考块，其中所述第一运动补偿参考块包括在所述第一参考图像中所述当前块对应的块附近的额外周围第一像素，用于执行所述当前块的任何分数向量所需要的插值滤波；决定来自于参考图像列表1的第二参考图像中与所述当前块有关的第二运动补偿参考块，其中所述第二运动补偿参考块包括在所述第二参考图像中所述当前块对应的块附近的额外周围第二像素，用于执行所述当前块的任何分数向量所需要的插值滤波；使用对应于所述第一运动补偿参考块以及所述第二运动补偿参考块的参考数据而不使用在所述第一运动补偿参考块以及所述第二运动补偿参考块外的其他参考数据，应用PMVD进程、BIO进程或者DMVR进程去生成用于所述当前块的运动细化；根据所述运动细化，基于运动补偿预测对所述当前块进行编码或解码。8.一种视频编解码方法，其使用基于块的双向光流(BIO)以细化双向预测块的运动，所述方法包括：接收与视频序列相关的当前图像中当前块有关的输入数据，其中使用双向预测对所述当前块进行编码；基于所述视频序列的视频分辨率、与所述当前块有关的特性以及所述当前块的尺寸中的一个或其组合，将所述当前块拆分成一个或多个BIO块；决定来自于参考图像列表0的第一参考图像中与所述当前块有关的第一运动补偿参考块，其中所述第一运动补偿参考块包括在所述第一参考图像中所述当前块对应的块附近的额...

【专利技术属性】
技术研发人员：陈庆晔，庄子德，黄毓文，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾,71