基于局部照明补偿的运动补偿双向预测制造技术

本申请描述了用于计算双向预测译码单元(CU)的局部照明补偿(LIC)参数的系统、方法和手段。LIC参数可以用于生成当前CU的调整样本并且用于解决时间相邻图片之间可能存在的局部照明变化。可以基于双向预测参考模板样本和当前CU的模板样本来计算LIC参数。可以基于邻近时间参考CU的参考模板样本生成双向预测参考模板样本。例如，可以基于对参考模板样本求平均来生成双向预测参考模板样本。参考模板样本可以对应于当前CU的模板样本。CU可以是或可以包括译码块和/或可以通过划分译码块而推导的子块。

【技术实现步骤摘要】
【国外来华专利技术】基于局部照明补偿的运动补偿双向预测相关申请的交叉引用本申请要求2018年1月16日提交的美国临时申请序列号62/617,964、2018年3月23日提交的美国临时申请序列号62/647,273、以及2018年12月31日提交的美国临时申请序列号62/786,671的权益，其内容通过引用并入本文。
技术介绍
视频译码系统可用于压缩视频信号，例如，以减少这些信号的存储空间和/或传输带宽。存在各种类型的视频译码系统，诸如基于块的、基于小波的、基于对象的系统、基于块的混合视频译码系统和/或类似系统。基于块的视频译码系统可以支持国际视频译码标准，例如MPEG1/2/4部分2、H.264/MPEG-4第10部分AVC、VC-1、和/或高效率视频译码(HEVC)。
技术实现思路
本文公开了用于基于双向预测的参考模板样本和模板样本计算局部照明补偿(LIC)参数的系统、方法和手段。计算的LIC参数可用于解决时间相邻图片之间可能存在的局部照明变化。例如，针对当前译码单元(CU)计算的的LIC参数可用于生成当前CU的调整样本以解决局部照明变化。可以处理视频CU。举例来说，视频CU可为或可包含译码块或子块。可以通过划分常规译码块来推导子块。可以在视频比特流中接收当前CU。可以双向预测当前CU。可以确定当前CU是否是双向预测的。如果当前CU是双向预测的，则可以识别与当前CU相关联的参考模板样本。举例来说，参考模板样本可与当前CU的时间参考CU相邻。参考模板样本可以对应于与当前CU相邻的当前CU的模板样本。例如，当前CU的模板样本可以是当前CU的相邻样本。可以例如基于当前CU的运动矢量来识别与时间参考CU相邻的参考模板样本。可以基于参考模板样本生成双向预测的参考模板样本。例如，可以基于对与时间参考CU相邻的参考模板样本求平均来生成双向预测的参考模板样本。可以识别当前CU的参考模板样本。参考模板样本可以与当前CU的时间参考CU相邻，其对应于当前CU的模板样本。双向预测的参考模板样本可用于计算LIC参数。例如，可以基于生成的双向预测的参考模板样本和当前CU的模板样本来计算LIC参数。在示例中，可以通过最小化双向预测的参考模板样本与当前CU的模板样本之间的差异来计算LIC参数。可以基于最小均方差(LMSE)方法来最小化双向预测的参考模板样本与当前CU的模板样本之间的差异。在示例中，可以基于使用与双向预测的参考模板样本和当前CU的模板样本相关联的最小值和最大值的线性模型方法来计算LIC参数。计算的LIC参数可以应用于双向预测的CU并且生成经调整的双向预测的当前CU。可以在重叠块运动补偿(OBMC)阶段应用LIC参数。例如，可确定当前CU的子块是否在当前CU的边界处。如果当前CU的子块处于当前CU的边界处，则可识别子块的一个或多个相邻子块。可以将与相邻子块相关联的一个或多个运动矢量应用于子块中的样本以推导一个或多个模板参考样本。可以基于模板参考样本生成OBMC预测的样本。例如，可以基于对模板参考样本求平均来生成OBMC预测的样本。LIC参数可以应用于生成的OBMC预测的样本。在示例中，在运动补偿阶段计算的LIC参数可以缓存在存储器或缓冲器中，并且可以在OBMC阶段使用。在示例中，LIC参数可以从存储器或缓冲器中取出，并且可以在OBMC阶段使用。在示例中，可以识别当前CU的模板样本。可以对模板样本进行二次采样。可以基于二次采样的模板样本来计算LIC参数。例如，可以在二次采样的模板样本中识别当前CU的模板样本。在示例中，可以识别用于LIC参数计算的参考模板样本。参考模板样本可以与对应于当前CU的模板样本的时间参考CU相邻。参考模板样本可以被二次采样。可以基于二次采样的参考模板样本来计算LIC参数。可以从二次采样的参考模板样本中识别用于LIC计算的参考模板样本(例如，与对应于当前CU的模板样本的时间参考CU相邻的参考模板样本)。附图说明图1是示出基于块的混合视频编码系统的示例的图。图2是示出基于块的视频解码器的示例的图。图3是示出示例性局部照明补偿(LIC)处理的图。图4是示出示例性高级时间运动矢量预测(ATMVP)操作的图。图5是示出示例性空间-时间运动矢量预测(STMVP)操作的图。图6A是示出使用模板匹配的示性例帧速率上转换(FRUC)操作的图。图6B是示出使用双边匹配的示例性FRUC操作的图。图7是示出示例性重叠块运动补偿(OBMC)操作的图。图8A-8B是示出当应用LIC时与为译码块生成预测信号相关联的示例运动补偿操作的图。图9是示出示例性双向LIC操作的图。图10A-10B是示出当应用双向LIC时的示例性运动补偿操作的图。图11A-11B是示出当在OBMC阶段一次推导LIC参数时的示例性运动补偿操作的图。图12A-12B是示出示例性运动补偿操作的图，在该运动补偿操作期间，可以将从常规运动补偿推导的LIC参数重用于OBMC。图13A-13B是示出在已经生成OBMC的预测信号之后执行LIC的示例性运动补偿操作的图。图14A-14B是示出示例性运动补偿操作的示图，其中在常规运动补偿阶段推导LIC参数，并且在OBMC之后执行基于LIC的样本调整。图15示出了具有广义双向预测(GBi)支持的视频编码器的示例性框图。图16示出了GBi模块的示例性框图。图17示出了支持GBi模块的视频解码器的示例性框图。图18示出了GBi模块的示例性框图。图19A是示出其中可以实现一个或多个公开的实施方式的示例性通信系统的系统图。图19B是说明根据实施方式的可在图19A中所示的通信系统内使用的示例性无线发射/接收单元(WTRU)的系统图。图19C是示出根据实施方式的可以在图19A所示的通信系统内使用的示例性无线电接入网络(RAN)和示例性核心网络(CN)的系统图。图19D是示出根据实施方式的可以在图19A所示的通信系统内使用的另一示例性RAN和另一示例性CN的系统图。具体实施方式现在将参考各附图描述说明性实施方式的详细描述。尽管该描述提供了可能实现的详细示例，但是应该注意，细节旨在是示例性的，并且决不限制本申请的范围。视频译码系统可以压缩数字视频信号，例如，以减少与这类信号的存储和/或传送相关联的存储空间和/或传输带宽。视频译码系统可以包括基于块的系统、基于小波的系统、基于对象的系统和/或类似系统。基于块的视频译码系统可以支持国际视频译码标准，例如MPEG-1/2/4第2部分、H.264/MPEG-4第10部分AVC、VC-1、和/或高效率视频译码(HEVC)。与前一代视频译码技术(例如，H.264/MPEGAVC)相比，HEVC可以提供比特率节省(例如，大约50％)或等效的感知质量。可以通过HEVC实现优越的译码效率(例如，使用额外的译码工具)。诸如联合开发模型(JEM)的软件代码库可以基于HEVC模型(HM)本文档来自技高网...

【技术保护点】
1.一种译码方法，包括：/n接收视频比特流中的当前译码单元(CU)；/n确定所述当前CU是否是双向预测的；/n识别与第一时间参考CU相邻的第一参考模板样本集合和与第二时间参考CU相邻的第二参考模板样本集合，所述第一参考模板样本集合和所述第二参考模板样本集合对应于与所述当前CU相邻的模板样本集合；/n基于所识别的第一参考模板样本集合和所识别的第二参考模板样本集合，生成双向预测参考模板样本集合；/n基于所生成的双向预测参考模板样本集合和所述当前CU的所述模板样本集合，计算局部照明补偿(LIC)参数；以及/n应用所计算的LIC参数以生成所述当前CU内的调整后的样本。/n

【技术特征摘要】
【国外来华专利技术】20180116 US 62/617,964;20180323 US 62/647,273;20181.一种译码方法，包括：
接收视频比特流中的当前译码单元(CU)；
确定所述当前CU是否是双向预测的；
识别与第一时间参考CU相邻的第一参考模板样本集合和与第二时间参考CU相邻的第二参考模板样本集合，所述第一参考模板样本集合和所述第二参考模板样本集合对应于与所述当前CU相邻的模板样本集合；
基于所识别的第一参考模板样本集合和所识别的第二参考模板样本集合，生成双向预测参考模板样本集合；
基于所生成的双向预测参考模板样本集合和所述当前CU的所述模板样本集合，计算局部照明补偿(LIC)参数；以及
应用所计算的LIC参数以生成所述当前CU内的调整后的样本。


2.根据权利要求1所述的方法，其中所述当前CU包括当前块或当前子块。


3.根据权利要求1所述的方法，其中生成所述双向预测参考模板样本集合包括对与所述第一时间参考CU相邻的所述第一参考模板样本集合和与所述第二时间参考CU相邻的所述第二参考模板样本集合求平均。


4.根据权利要求1所述的方法，其中与所述第一时间参考CU相邻的所述第一参考模板样本集合和与所述第二时间参考CU相邻的所述第二参考模板样本集合基于所述当前CU的运动矢量而被识别。


5.根据权利要求1所述的方法，其中所述LIC参数基于最小化所述双向预测参考模板样本集合与所述当前CU的所述模板样本集合之间的差异而被计算。


6.根据权利要求5所述的方法，其中所述双向预测参考模板样本集合与所述当前CU的所述模板样本集合之间的差异基于最小均方误差(LMSE)方法而被最小化。


7.根据权利要求1所述的方法，其中所述LIC参数基于使用线性模型方法而被计算，所述线性模型方法使用与所述双向预测参考模板样本集合和所述当前CU的模所述板样本集合相关联的最小值和最大值。


8.根据权利要求1所述的方法，还包括：
确定所述当前CU的子块是否在所述当前CU的边界处；
识别所述子块的多个相邻子块；
将与所识别的多个相邻子块相关联的多个运动矢量应用于所述子块中的样本，以推导多个模板参考样本；
基于所述多个模板参考样本，生成重叠块运动补偿(OBMC)预测样本；以及
将所计算的LIC参数应用于所述OBMC预测样本。


9.根据权利要求8所述的方法，其中所计算的LIC参数被缓存在存储器或缓冲器中，并且所计算的LIC参数被从所述存储器或所述缓冲器中取出。


10.根据权利要求1所述的方法，其中所述当前CU的所述模板样本集合包括所述当前CU的相邻样本集合。


11.一种...

【专利技术属性】
技术研发人员：修晓宇，贺玉文，叶艳，索拉夫·班德亚帕德耶，
申请(专利权)人：VID拓展公司，
类型：发明
国别省市：美国;US