具有缩放比约束的视频编码或解码方法和装置制造方法及图纸

视频处理方法与装置，通过参考图像再取样(reference picture resampling)来处理当前图像中的当前块，包括：接收当前块的输入视频数据，决定该当前图像的缩放窗口以及参考图像的缩放窗口。该当前图像与参考图像可以有不同的缩放窗口尺寸大小。该当前图像的缩放窗口宽度、高度、或尺寸大小以及该参考图像的缩放窗口宽度、高度、或尺寸大小之间的比例被约束在比例约束(ratio constraint)之内。依据该比例，来从该参考图像产生参考块，并且用来编码或解码该当前块。或解码该当前块。或解码该当前块。

Video coding or decoding method and device with scaling ratio constraint

【技术实现步骤摘要】
【国外来华专利技术】具有缩放比约束的视频编码或解码方法和装置
[0001]交叉引用
[0002]本专利技术要求分别于2019年12月11日提交的序号为62/946,540、名称为“Method of Scaling Ratio Constraint”、2019年12月18日提交的序号为62/949,506、名称为“Method of Scaling Window Constraint”的美国临时专利申请的优先权。所述美国临时专利申请在此通过引用将其全文并入。


[0003]本专利技术关于在视频编码和解码系统中的视频处理方法与装置。尤其，本专利技术关于用于参考图像再取样(reference picture resampling)的缩放比例约束。

技术介绍

[0004]多功能视频编解码(VVC)标准是即将出现的新兴视频编解码标准，其通过强化现有编解码工具并且在编解码器的多种构建块中引入多种新的编解码工具，并基于先前的高效率视频编码(HEVC)标准而逐渐发展。VVC标准改善了压缩性能以及传输和储存的效率，并支援如高动态范围(High Dynamic Range)和全方位360视频(omni
‑
directional 360 video)等新格式。VVC标准使得移动网络中的视频传输更加有效，由于它允许数据速率较差的系统或位置能更快地接收较大的档案。VVC支援层级编解码(layer coding)、空间或信号杂讯比(SNR)的时间缩放性(scalability)。
[0005]参考图像再取样(reference picture resampling，RPR)在VVC标准中，用于自适性串流服务的快速呈现切换是令人期待的，以在同一时间传递相同视频内容的多种呈现，每一种呈现具有不同的特性。不同的特性涉及不同的空间解析度或不同的样本比特深度。在即时视频通信中，通过允许在不插入I
‑
图像的情况下改变在编解码视频序列中的解析度，不仅视频数据可以无缝地适应动态频道条件与使用者偏好，而且由于I
‑
图像所引起的跳动效果(beating effect)也可以被去除。参考图像再取样(RPR)允许具有不同解析度的图像可以在帧间预测彼此参考。图1绘示出应用参考图像再取样的一例子来编码或解码一当前图像，其中当前图像的帧间编解码块是从具有相同或不同尺寸大小的参考图像加以预测。空间缩放性在串流应用中是有益的。当支援空间缩放性时，参考图像的图像尺寸大小可以与当前图像不同。VVC标准中采用了RPR，以支援即时产生(on
‑
the
‑
fly)的上取样和下取样运动补偿。
[0006]表格1显示了在序列参数集(Sequence Parameter Set，SPS)中发信RPR致能旗标以及最大图像尺寸大小的例子。在序列参数集(SPS)中所发信的RPR致能旗标sps_ref_pic_resampling_enabled_flag被用来指示出RPR是否被致能于参考该SPS的图像中。当此RPR致能旗标等于1时，参考该SPS的当前图像可能具有切片，这些切片参考了在参考图像层的当前条目(active entry)中的参考图像，而该参考图像层具有和该当前图像不同的以下七个参数中的一或多个参数。该七个参数包括与下列相关联的语法元素：图像宽度pps_pic_width_in_luma_samples、图像高度pps_pic_height_in_luma_samples、左方缩放窗口偏移
量pps_scaling_win_left_offset、右方缩放窗口偏移量pps_scaling_win_right_offset、上方缩放窗口偏移量pps_scaling_win_top_offset、下方缩放窗口偏移量pps_scaling_win_bottom_offset，次图像数目sps_num_subpics_minus1。对参考参考图像(该参考图像具有和当前图像不同的七个参数中的一或多个)的当前图像，该参考图像可以属于与包含该当前图像的层为相同的层或不同层。语法元素sps_res_change_in_clvs_allowed_flag等于1指明图像空间解析度可能在参考SPS的编解码层视频序列(Coded Layer Video Sequence，CLVS)之内有改变，而且此语法元素等于0指明图像空间解析度在参考SPS的任何CLVS之内没有改变。最大图像尺寸大小是通过语法元素sps_pic_width_max_in_luma_samples和sps_pic_height_max_in_luma_samples在SPS中加以发信，并且最大图像尺寸大小不可大于在相对应视频参数集(Video Parameter Set，VPS)中所发信的输出层集(Output Layer Set，OLS)解码后图像缓冲(Decoded Picture Buffer，DPB)的图像尺寸大小。
[0007]表格1
[0008][0009]当使用RPR来预测一当前图像时，一图像尺寸大小比例是从参考图像宽度或高度以及当前图像宽度或高度来加以推导出。图像尺寸大小比例被约束在1/8和2之间的一范围之内。例如，在亮度样本中所测量的图像宽度与高度是通过在一图像参数集(Picture Parameter Set，PPS)中所发信的语法元素pic_width_in_luma_samples和pic_height_in_luma_samples来加以推导出。语法元素pic_width_in_luma_samples指明参考PPS的每一解码后图像的宽度(以亮度样本为单位)。此语法元素不可等于0而且应该为Max(8，MinCbSizeY)的一整数倍数，而且被约束为小于或等于pic_width_max_in_luma_samples。当一次图像存在旗标subpics_present_flag等于1或当RPR致能旗标ref_pic_resampling_enabled_flag等于0时，此语法元素pic_width_in_luma_samples的数值应该等于pic_width_max_in_luma_samples。语法元素pic_height_in_luma_samples指明参考PPS的每一解码后图像的高度(以亮度样本为单位)。此语法元素不可等于0而且应该为Max(8，MinCbSizeY)的一整数倍数，而且应该小于或等于pic_height_max_in_luma_samples。当一次图像存在旗标subpics_present_flag等于1或当RPR致能旗标ref_pic_resampling_enabled_flag等于0时，此语法元素pic_height_in_luma_samples的数值被设定等于pic_height_max_in_luma_samples。
[0010]在VVC草案6中的RPR当前设计，当一当前图像与参考图像的图像尺寸大小被指明时，以下约束必须满足。此约束限制该参考图像与当前图像的图像尺寸大小比例在[1/8，2]本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种视频处理方法，使用在视频编码或解码系统中，该方法包括：接收当前图像中的当前块的输入视频数据；决定该当前图像的缩放窗口宽度、高度、或尺寸大小；决定参考图像的缩放窗口宽度、高度、或尺寸大小，其中该当前图像的该缩放窗口宽度、高度、或尺寸大小与该参考图像的该缩放窗口宽度、高度、或尺寸大小之间的比例是在比例约束之内；依据该当前图像的该缩放窗口宽度、高度、或尺寸大小与该参考图像的该缩放窗口宽度、高度、或尺寸大小之间的该比例，来从该参考图像产生参考块；使用该参考块来进行用于该当前块的运动补偿；以及编码或解码该当前图像中的该当前块。2.根据权利要求1所述的视频处理方法，其特征在于，该比例约束是在1/8与2之间。3.根据权利要求2所述的视频处理方法，其特征在于，该缩放窗口尺寸大小包括：该缩放窗口宽度与该缩放窗口高度二者，而且当该当前图像的该缩放窗口宽度的二倍是大于或等于该参考图像的该缩放窗口宽度，当该当前图像的该缩放窗口高度的二倍是大于或等于该参考图像的该缩放窗口高度，当该当前图像的该缩放窗口宽度是小于或等于该参考图像的该缩放窗口宽度的八倍，以及当该当前图像的该缩放窗口高度是小于或等于该参考图像的该缩放窗口高度的八倍的时候，该当前图像的该缩放窗口尺寸大小与该参考图像的该缩放窗口尺寸大小之间的该比例是在该比例约束之内。4.根据权利要求1所述的视频处理方法，其特征在于，该当前图像的该缩放窗口宽度是通过该当前图像的图像宽度，左方缩放窗口偏移量与右方缩放窗口偏移量来加以推导，以及该当前图像的该缩放窗口高度是通过该当前图像的图像高度，上方缩放窗口偏移量与下方缩放窗口偏移量来加以推导。5.根据权利要求4所述的视频处理方法，其特征在于，该当前图像的该缩放窗口宽度是通过将该左方缩放窗口偏移量与该右方缩放窗口偏移量从该当前图像的该图像宽度减去来加以推导；以及该当前图像的该缩放窗口高度是通过将该上方缩放窗口偏移量与该下方缩放窗口偏移量从该当前图像的该图像高度减去来加以推导。6.根据权利要求4所述的视频处理方法，其特征在于，该当前图像的该图像宽度、左方缩放窗口偏移量、右方缩放窗口偏移量、图像高度、上方缩放窗口偏移量、以及该下方缩放窗口偏移量，被发信于与该当前图像相关联的图像参数组中。7.根据权利要求4所述的视频处理方法，其特征在于，该左方缩放窗口偏移量、右方缩放窗口偏移量、上方缩放窗口偏移量、以及下方缩放窗口偏移量是在色度样本中加以测量。8.根据权利要求7所述的视频处理方法，其特征在于，该当前图像的该缩放窗口宽度是通过变数SubWidthC进一步加以推导，以及该当前图像的该缩放窗口高度是通过变数SubHeightC进一步加以推导，其中该变数SubWidthC与SubHeightC指示出与水平与垂直维度中的色度比特平面相关联的下取样比例。9.根据权利要求8所述的视频处理方法，其特征在于，该当前图像的该缩放窗口宽度是通过下列加以推导：将该变数SubWidthC乘以该左方缩放窗口偏移量与该右方缩放窗口偏移量的总和，然后从该当前图像的该图像宽度加以减去；以及该当前图像的该缩放窗口高度是通过下列加以推导：将该变数SubHeight...

【专利技术属性】
技术研发人员：庄子德，徐志玮，陈庆晔，蔡佳铭，陈俊嘉，欧莱娜，
申请(专利权)人：寰发股份有限公司，
类型：发明
国别省市：