用于视频编解码的基于双向光流的运动细化的方法及装置制造方法及图纸

本发明专利技术公开了一种使用双向光流(Bi‑directional optical flow，BIO)的方法及装置，其用于真实双向预测块。根据本发明专利技术的方法，公开了免除法的双向光流流程，其中使用包括右移而无任何除法操作的操作推导出x运动偏移和y运动偏移。根据另一方法，透过将双向光流流程应用到参考块，生成用于当前块的细化预测子，其中应用双向光流流程包括将分界线条件依存双向光流流程有条件地应用到与参考块相关的分界线像素。

Method and device of motion refinement based on bidirectional optical flow for video coding and decoding

The invention discloses a method and device for using bi-directional optical flow (bio), which is used for real bi-directional prediction block. According to the method of the invention, a bidirectional optical flow process of the exemption method is disclosed, in which X motion offset and y motion offset are derived by using an operation including a right shift without any division operation. According to another method, a thinning predictor for the current block is generated by applying the two-way optical flow process to the reference block. The application of the two-way optical flow process includes conditionally applying the boundary condition dependent two-way optical flow process to the boundary pixels related to the reference block.

【技术实现步骤摘要】
【国外来华专利技术】用于视频编解码的基于双向光流的运动细化的方法及装置相关引用本专利技术主张在2017年03月16日提出的第62/472,002号的美国临时专利申请、在2017年03月22日提出的第62/474,702号的美国临时专利申请、在2017年04月01日提出的第62/480,359号的美国临时专利申请的优先权，以上申请案整体以引用的方式并入本文。
本专利技术涉及使用双向光流(bi-directionalopticalflow，BIO)的运动补偿，以细化用于双向预测块的运动。具体地，本专利技术涉及与双向光流相关的频宽的降低和复杂度的降低。
技术介绍
双向光流双向光流是JCTVC-C204(E.Alshina,etal.,Bi-directionalopticalflow,JointCollaborativeTeamonVideoCoding(JCT-VC)ofITU-TSG16WP3andISO/IECJTC1/SC29/WG11,3rdMeeting:Guangzhou,CN,7-15October,2010,Document:JCTVC-C204)和VCEG-AZ05(E.Alshina,etal.,Knowntoolsperformanceinvestigationfornextgenerationvideocoding,ITU-TSG16Question6,VideoCodingExpertsGroup(VCEG),52ndMeeting:19–26June2015,Warsaw,Poland,Document:VCEG-AZ05)中公开的运动估计/运动补偿技术。如图1所示，双向光流基于光流和稳定运动的假设推导出样本层运动细化(refinement)，其中B片段(slice)(即双向预测(bi-prediction)片段)120中的当前像素122由参考图像0(即130)中的一个像素和参考图像1(即110)中的一个像素预测。如图1所示，当前像素122由参考图像1(即110)中的像素B(即112)和参考图像0(即130)中的像素A(即132)预测。在图1中，vx和vy是x方向和y方向的像素位移向量，其是使用双向光流模型推导出的。双向光流仅被使用以用于真实双向预测块，其可以自对应于先前图像和在后图像的两个参考图像预测。在VCEG-AZ05中，双向光流采用5x5窗口以推导出每个样本的运动细化。因此，对于NxN块，(N+4)x(N+4)块的运动补偿结果和相应的梯度信息被需要，以推导出用于NxN块的基于样本的运动细化。根据VCEG-AZ05，6抽头(Tap)梯度滤波器和6抽头插值滤波器被用于生成双向光流的梯度信息。因此，双向光流的计算复杂度比传统的双向预测的计算复杂度高得多。为了进一步提高双向光流的性能，提出了如下方法。在HEVC中的传统的双向预测中，使用方程式(1)，生成预测子，其中P(0)和P(1)分别是列表0预测子和列表1预测子。PConventional[i,j]＝(P(0)[i,j]+P(1)[i,j]+1)>>1(1)在JCTVC-C204和VECG-AZ05中，使用方程式(2)，生成双向光流预测子。POpticalFlow＝(P(0)[i,j]+P(1)[i,j]+vx[i,j](Ix(0)-Ix(1)[i,j])+vy[i,j](Iy(0)-Iy(1)[i,j])+1)>>1(2)在方程式(2)中，Ix(0)和Ix(1)分别表示列表0预测子和列表1预测子中的x方向梯度；Iy(0)和Iy(1)分别表示列表0预测子和列表1预测子中的y方向梯度；vx和vy分别表示x方向的偏移和y方向的偏移。vx和vy的推导流程如下所示。首先成本函数被定义成diffCost(x,y)，以查找最佳值vx和vy。为了查找最佳值vx和vy，以最小化成本函数diffCost(x,y)，一个5x5窗口被使用。vx和vy的解法可以透过使用S1,S2,S3,S5和S6来表示。最小成本函数mindiffCost(x,y)可以根据如下推导出：透过求解方程式(3)和方程式(4)，根据方程式(5)可以解得vx和vy：其中，在上述方程式中，对应于列表0图像中位于(x,y)处的像素的x方向梯度，对应于列表1图像中位于(x,y)处的像素的x方向梯度，对应于列表0图像中位于(x,y)处的像素的y方向梯度，对应于列表1图像中位于(x,y)处的像素的y方向梯度。在一些相关技术中，S2可以被忽略，并且根据如下可以解得vx和vy：其中，根据上述方程式，在vx和vy的推导中，除法操作被需要。由于S1,S2,S3,S5和S6中存在很多像素值的累加及平方，所需要的比特深度较大。如果视频序列中的像素值的比特深度是10比特，支持vx的32比特/28比特的一个除法器和支持vy的36比特/29比特的另一除法器将被需要。如果比特深度由分数插值滤波器进行增加，则这些除法器将变成vx的40比特/36比特和vy的44比特/37比特。当所需要的比特深度变得如此之大时，直接使用查找表(look-up-table，LUT)以替换除法是不实用的。因此，需要开发方法以在双向光流流程中简化除法操作。在上述方程式中，参数S1,S2,S3,S5和S6与x方向梯度和y方向梯度相关。例如，S1是计算列表0中的参考块的x方向梯度与列表1中的参考块的x方向梯度的总和得出的。总和的平方用作S1。S5是计算列表0中的参考块的y方向梯度与列表1中的参考块的y方向梯度的总和得出。总和的平方用作S5。为了简便，在本专利技术中，参数S1,S2,S3,S5和S6称为梯度参数。实际上，梯度参数S1,S2,S3,S5和S6经常使用具有预定义比特深度的固定点表示。vx和vy的推导将需要乘法操作、加法操作和除法操作。在这些操作中，除法操作在实施方面更耗成本。在VCEG-AZ05中，双向光流在HEVC参考软件的顶部实施，并且其总是应用于以真实双向而被预测的这些块(即，真实双向预测块)。在HEVC中，用于亮度分量的一个8抽头插值滤波器和用于色度分量的一个4抽头插值滤波器用于执行分数运动补偿。在双向光流中，考虑到一个5x5窗口以用于双向光流中的一个8x8编码单元(codingunit，CU)中的一个待处理像素，最差情况中所需带宽自每当前像素(8+7)x(8+7)x2/(8x8)＝7.03个参考像素增加到每当前像素(8+7+4)x(8+7+4)x2/(8x8)＝11.28个参考像素。在JVETD0042(A.Alshin,etal.,“AHG6:OnBIOmemorybandwidth”,JointVideoExplorationTeam(JVET)ofITU-TSG16WP3andISO/IECJTC1/SC29/WG11,4thMeeting:Chengdu,CN,15–21October2016,Document:JVET-D0042)中本文档来自技高网...

【技术保护点】
1.一种视频编解码方法，使用双向光流以用于真实双向预测块，该方法包括：/n接收与当前图像中的当前块相关的输入数据，其中该当前块使用双向预测编解码；/n确定来自于参考图像列表0的第一参考图像中与该当前块相关的第一参考块以及来自于参考图像列表1的第二参考图像中与该当前块相关的第二参考块，其中该第一参考块和该第二参考块由真实双向运动向量所指向；/n基于该第一参考块推导出多个第一x梯度和多个第一y梯度，并基于该第二参考块推导出多个第二x梯度和多个第二y梯度；/n基于该多个第一x梯度、该多个第一y梯度、该多个第二x梯度、该多个第二y梯度、该第一参考块的多个第一像素值、该第二参考块的多个第二像素值或者其组合，推导出梯度参数集，其中所有梯度参数使用固定点表示；/n使用包括右移而无任何除法操作的多个操作推导出x运动偏移和y运动偏移，其中该x运动偏移对应于第一分子除以第一分母，该y运动偏移对应于第二分子除以第二分母，并且该第一分子、该第一分母、该第二分子和该第二分母自两个梯度参数的乘积的线性组合或者该多个梯度参数的线性组合生成；/n根据该第一参考块、该第二参考块、该多个第一x梯度与该多个第一y梯度、该多个第二x梯度与该多个第二y梯度、该x运动偏移、该y运动偏移或者其组合，生成用于该当前块的细化预测子；以及/n基于该细化预测子，编码或解码该当前块。/n...

【技术特征摘要】
【国外来华专利技术】20170316 US 62/472,002;20170322 US 62/474,702;20171.一种视频编解码方法，使用双向光流以用于真实双向预测块，该方法包括：
接收与当前图像中的当前块相关的输入数据，其中该当前块使用双向预测编解码；
确定来自于参考图像列表0的第一参考图像中与该当前块相关的第一参考块以及来自于参考图像列表1的第二参考图像中与该当前块相关的第二参考块，其中该第一参考块和该第二参考块由真实双向运动向量所指向；
基于该第一参考块推导出多个第一x梯度和多个第一y梯度，并基于该第二参考块推导出多个第二x梯度和多个第二y梯度；
基于该多个第一x梯度、该多个第一y梯度、该多个第二x梯度、该多个第二y梯度、该第一参考块的多个第一像素值、该第二参考块的多个第二像素值或者其组合，推导出梯度参数集，其中所有梯度参数使用固定点表示；
使用包括右移而无任何除法操作的多个操作推导出x运动偏移和y运动偏移，其中该x运动偏移对应于第一分子除以第一分母，该y运动偏移对应于第二分子除以第二分母，并且该第一分子、该第一分母、该第二分子和该第二分母自两个梯度参数的乘积的线性组合或者该多个梯度参数的线性组合生成；
根据该第一参考块、该第二参考块、该多个第一x梯度与该多个第一y梯度、该多个第二x梯度与该多个第二y梯度、该x运动偏移、该y运动偏移或者其组合，生成用于该当前块的细化预测子；以及
基于该细化预测子，编码或解码该当前块。


2.如权利要求1所述视频编解码方法，其特征在于，还包括:
确定该第一分母的第一最高有效位位置Nx和该第二分母的第二最高有效位位置Ny，其中该x运动偏移是使用包括右移该第一分子和该第一分母Nx比特，以及右移该第二分子和该第二分母Ny比特的多个操作推导出。


3.如权利要求2所述视频编解码方法，其特征在于，(2Px/2(K-1))的多个值被存储在第一查找表中，并且(2Py/2(K-1))的多个值被存储在第二查找表中，其中2(K-1)对应于该第一分母和该第二分母的多个可能值，并且该x运动偏移使用包括乘法和右移Px比特的多个操作推导出，该y运动偏移使用包括乘法和右移Py比特的多个操作推导出。


4.如权利要求3所述视频编解码方法，其特征在于，该第一查找表与该第二查找表相同。


5.如权利要求3所述视频编解码方法，其特征在于，该第一查找表与该第二查找表不相同。


6.如权利要求3所述视频编解码方法，其特征在于，K对应于1。


7.如权利要求2所述视频编解码方法，其特征在于，该右移该第一分子和该第一分母Nx比特，或者该右移该第二分子和该第二分母Ny比特使用舍入偏移。


8.一种视频编解码装置，使用双向光流以用于真实双向预测块，该视频编解码装置包括一个或多个电子电路或处理器，用于：
接收与当前图像中的当前块相关的输入数据，其中该当前块使用双向预测编解码；
确定来自于参考图像列表0的第一参考图像中与该当前块相关的第一参考块以及来自于参考图像列表1的第二参考图像中与该当前块相关的第二参考块，其中该第一参考块和该第二参考块由真实双向运动向量所指向；
基于该第一参考块推导出多个第一x梯度和多个第一y梯度，并基于该第二参考块推导出多个第二x梯度和多个第二y梯度；
基于该多个第一x梯度、该多个第一y梯度、该多个第二x梯度、该多个第二y梯度、该第一参考块的多个第一像素值、该第二参考块的多个第二像素值或者其组合，推导出梯度参数集，其中所有梯度参数使用固定点表示；
使用包括右移而无任何除法操作的多个操作推导出x运动偏移和y运动偏移，其中该x运动偏移对应于第一分子除以第一分母，该y运动偏移对应于第二分子除以第二分母，并且该第一分子、该第一分母、该第二分子和该第二分母自两个梯度参数的乘积的线性组合或者该多个梯度参数的线性组合生成；
根据该第一参考块、该第二参考块、该多个第一x梯度与该多个第一y梯度、该多个第二x梯度与该多个第二y梯度、该x运动偏移、该y运动偏移或者其组合，生成用于该当前块的细化预测子；以及
基于该细化预测子，编码或解码该当前块。


9.一种非暂时性计算机可读介质，存储有多个程序指令，使得装置的处理电路执行视频编解码方法，且该方法包括：
接收与当前图像中的当前块相关的输入数据，其中该当前块使用双向预测编解码；
确定来自于参考图像列表0的第一参考图像中与该当前块相关的第一参考块以及来自于参考图像列表1的第二参考图像中与该当前块相关的第二参考块，其中该第一参考块和该第二参考块由真实双向运动向量所指向；
基于该第一参考块推导出多个第一x梯度和多个第一y梯度，并基于该第二参考块推导出多个第二x梯度和多个第二y梯度；
基于该多个第一x梯度、该多个第一y梯度、该多个第二x梯度、该多个第二y梯度、该第一参考块的多个第一像素值、该第二参考块的多个第二像素值或者其组合，推导出梯度参数集，其中所有梯度参数使用固定点表示；
使用包括右移而无任何除法操作的多个操作推导出x运动偏移和y运动偏移，其中该x运动偏移对应于第一分子除以第一分母，该y运动偏移对应于第二分子除以第二分母，并且该第一分子、该第一分母、该第二分子和该第二分母自两个梯度参数的乘积的线性组...

【专利技术属性】
技术研发人员：陈庆晔，庄子德，黄毓文，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾;TW