子画面比特流提取和重新定位制造技术

本文所述的系统和方法采用支持子画面提取和重新定位过程的高级语法设计。输入视频可被编码成多个表示，每个表示可被表示为层。层画面可被划分成多个子画面。每个子画面可具有其自身的图块划分、分辨率、颜色格式和位深度。每个子画面独立于同一层的其他子画面进行编码，但可从来自其从属层的对应子画面帧间预测。每个子画面可引用子画面参数集，其中发信号通知子画面属性诸如分辨率和坐标。每个子画面参数集可引用PPS，其中发信号通知整个画面的分辨率。的分辨率。的分辨率。

【技术实现步骤摘要】
【国外来华专利技术】子画面比特流提取和重新定位
[0001]相关申请的交叉引用
[0002]本申请是2019年3月11日提交的名称为“Sub
‑
Picture Bitstream Extraction and Reposition”的美国临时专利申请序列号62/816,703和2019年5月31日提交的名称为“Sub
‑
Picture Bitstream Extraction and Reposition”的美国临时专利申请序列号62/855,446的非临时申请，并且根据35U.S.C.
§
119(e)要求这两个美国临时专利申请的权益，这两个临时专利申请据此全文以引用方式并入本文。

技术介绍

[0003]360
°
视频是出现在媒体行业中的一种快速增长的新格式。VR设备的可用性不断增加促使了该格式的产生，而且该格式能够为观看者提供非常新鲜的临场感。与常规的直线视频(2D或3D)相比，360
°
视频对视频处理和递送提出了一组新的而且困难的工程挑战。实现舒适度和沉浸式用户体验要求高视频质量和非常低的延迟，而大视频尺寸可能妨碍递送高质量360
°
视频。
[0004]视频编码标准指定要遵循的语法以用于在比特流中传送视频和相关信息。在一些情况下，可能期望仅使用可用语法的特定子集，例如以降低复杂性。整个比特流语法的不同子集被称为不同“配置文件”。即使使用特定配置文件，视频编码器和解码器设备的存储器和处理能力也可能存在广泛的变化。虽然不同的视频可遵循由特定配置文件指定的语法，但那些不同的视频可能仍然需要编码器和解码器的性能的较大变化。所需性能可与比特流中发信号通知的某些值(诸如解码画面的尺寸)高度相关。
[0005]为了解决这个问题，一些视频编码标准在每个配置文件内指定“级别”。“级别”是对比特流中发信号通知的语法元素和变量可能取的值施加的预定义的一组约束。这些约束中的一些对各个值施加限制；其他约束对值的算术组合施加限制。例如，特定级别可以对画面宽度乘以画面高度乘以每秒解码的画面数量施加限制。
[0006]在一些标准中，将级别与“层”一起指定。一般来讲，为较低层指定的级别比为较高层指定的级别受到更大约束。层用作对比特流中发信号通知的值施加的级别约束的类别。级别约束在层内嵌套，使得能够解码具有特定层和级别的比特流的解码器预期能够解码符合相同层、该级别的较低层或低于该级别的任何级别的所有比特流。
[0007]在一些视频编码标准中，以语法结构诸如“profile_tier_level()”结构发信号通知配置文件、层和级别信息。例如，在HEVC中，“profile_tier_level()”结构包含“general_level_idc”元素，该元素指示比特流的编码视频序列符合的级别。

技术实现思路

[0008]本文描述的实施方案包括在视频编码和解码(统称为“编码”)和比特流重写过程中使用的方法。
[0009]在一些实施方案中，一种方法包括：在比特流中对包括至少一个画面的视频进行编码，画面包括多个子画面；以及在该比特流中发信号通知每个相应子画面的级别信息；其
中对于每个子画面，级别信息指示对相应子画面的语法元素的值的预定义的一组约束。
[0010]一些实施方案还包括发信号通知相应子画面的层或配置文件中的一者或多者。
[0011]在一些实施方案中，子画面中的至少一个子画面是使用多个层在该比特流中编码的分层子画面，并且针对每个层在该比特流中发信号通知级别信息。
[0012]在一些实施方案中，每个子画面与层相关联，并且层内的每个子画面独立于同一层中的其他子画面进行编码。
[0013]在一些实施方案中，一种方法还包括在该比特流中发信号通知至少一个输出子画面集，其中该输出子画面集识别多个子画面的至少一个子集并且包括该子集中的每个子画面的级别信息。
[0014]在一些实施方案中，一种方法还包括在该比特流中发信号通知至少一个输出子画面集，其中该输出子画面集识别多个子画面的至少一个子集并且包括该子集中的每个子画面的位置偏移信息。
[0015]在一些实施方案中，一种方法还包括在该比特流中发信号通知至少一个输出子画面集，其中该输出子画面集识别多个子画面的至少一个子集并且包括该子集中的每个子画面的尺寸信息。
[0016]在一些实施方案中，在profile_tier_level()数据结构中发信号通知子画面的级别信息。
[0017]在一些实施方案中，一种方法包括从该比特流解码多个相应子画面中的每个子画面的级别信息，其中对于每个子画面，该级别信息指示对相应子画面的语法元素的值的预定义的一组约束；以及根据该级别信息从该比特流解码多个子画面。
[0018]在一些实施方案中，一种方法还包括至少部分地基于级别信息选择子画面的输出子画面集，其中对多个子画面进行解码包括对所选择的输出子画面集进行解码。
[0019]在一些实施方案中，一种方法还包括对于子画面中的至少一个子画面，对指示相应子画面的层的信息进行解码。
[0020]在一些实施方案中，一种方法还包括对于子画面中的至少一个子画面，对指示相应子画面的配置文件的信息进行解码。
[0021]在一些实施方案中，子画面中的至少一个子画面是使用多个层在该比特流中编码的分层子画面，并且该方法还包括针对这些层中的至少一个层从该比特流解码级别信息。
[0022]在一些实施方案中，每个子画面与层相关联，并且层内的至少一个子画面独立于同一层中的其他子画面进行解码。
[0023]一些实施方案还包括从该比特流解码至少一个输出子画面集，其中该输出子画面集识别多个子画面的至少一个子集并且包括该子集中的每个子画面的级别信息。
[0024]一些实施方案还包括从所解码的多个子画面合成至少一个输出帧。
[0025]一些实施方案还包括从该比特流解码至少一个输出子画面集，其中该输出子画面集识别多个子画面的至少一个子集并且包括该子集中的每个子画面的位置偏移信息，并且其中输出帧基于该位置偏移信息合成。
[0026]一些实施方案还包括从该比特流解码至少一个输出子画面集，其中该输出子画面集识别多个子画面的至少一个子集并且包括该子集中的每个子画面的尺寸信息，并且其中输出帧基于该尺寸信息合成。
[0027]在一些实施方案中，在profile_tier_level()数据结构中对子画面的级别信息进行解码。
[0028]在一些实施方案中，信号包括：对包括至少一个画面的视频进行编码的信息，画面包括多个子画面；和每个相应子画面的级别信息；其中对于每个子画面，级别信息指示对相应子画面的语法元素的值的预定义的一组约束。该信号可存储在计算机可读介质上。该计算机可读介质可以是非暂态介质。
[0029]在另外的实施方案中，提供编码器、解码器和比特流重写/提取系统以执行本文所述的方法。
[0030]一些实施方案包括一种处理器本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，所述方法包括：在比特流中对包括至少一个画面的视频进行编码，所述画面包括多个子画面；以及在所述比特流中发信号通知每个相应子画面的级别信息；其中对于每个子画面，所述级别信息指示对所述相应子画面的语法元素的值的预定义的一组约束。2.根据权利要求1所述的方法，还包括对于每个所述子画面，发信号通知指示所述相应子画面的层的信息。3.根据权利要求1至2中任一项所述的方法，还包括对于每个所述子画面，发信号通知指示所述相应子画面的配置文件的信息。4.根据权利要求1至3中任一项所述的方法，其中所述子画面中的至少一个子画面是使用多个层在所述比特流中编码的分层子画面，并且其中针对每个所述层在所述比特流中发信号通知所述级别信息。5.根据权利要求1至4中任一项所述的方法，其中每个所述子画面与层相关联，并且其中层内的每个子画面独立于同一层中的其他子画面进行编码。6.根据权利要求1至5中任一项所述的方法，还包括在所述比特流中发信号通知至少一个输出子画面集，其中所述输出子画面集识别所述多个子画面的至少一个子集并且包括所述子集中的每个所述子画面的所述级别信息。7.根据权利要求1至6中任一项所述的方法，还包括在所述比特流中发信号通知至少一个输出子画面集，其中所述输出子画面集识别所述多个子画面的至少一个子集并且包括所述子集中的每个所述子画面的位置偏移信息。8.根据权利要求1至7中任一项所述的方法，还包括在所述比特流中发信号通知至少一个输出子画面集，其中所述输出子画面集识别所述多个子画面的至少一个子集并且包括所述子集中的每个所述子画面的尺寸信息。9.根据权利要求1至8中任一项所述的方法，其中在profile_tier_level()数据结构中发信号通知所述子画面的所述级别信息。10.一种装置，所述装置包括：处理器，所述处理器被配置为至少执行：在比特流中对包括多个子画面的视频进行编码；以及在所述比特流中发信号通知每个相应子画面的级别信息；其中对于每个子画面，所述级别信息指示对所述相应子画面的语法元素的值的预定义的一组约束。11.根据权利要求10所述的装置，其中所述子画面中的至少一个子画面是使用多个层在所述比特流中编码的分层子画面，并且其中针对每个所述层在所述比特流中发信号通知所述级别信息。12.根据权利要求10至11中任一项所述的装置，其中每个所述子画面与层相关联，并且其中层内的每个子画面独立于同一层中的其他子画面进行编码。13.根据权利要求10至12中任一项所述的装置，其中所述处理器被进一步配置为在所述比特流中发信号通知至少一个输出子画面集，其中所述输出子画面集识别所述多个子画面的至少一个子集并且包括所述子集中的每个所述子画面的所述级别信息。
14.根据权利要求10至13中任一项所述的装置，其中所述处理器被进一步配置为在所述比特流中发信号通知至少一个输出子画面集，其中所述输出子画面集识别所述多个子画面的至少一个子集并且包括所述子集中的每个所述子画面的位置偏移信息。15.根据权利要求10至14中任一项所述的装置，其中所述处理器被进一步配置为在所述比特流中发信号通知至少一个输出子画面集，其中所述输出子画面集识别所述多个子画面的至少一个子集并且包括所述子集中的...

【专利技术属性】
技术研发人员：贺勇，
申请(专利权)人：VID拓展公司，
类型：发明
国别省市：