支持多视图可适性的OLS制造技术

公开了一种视频译码机制。该机制包括：接收包括输出层集(output layer set，OLS)和视频参数集(video parameter set，VPS)的码流，其中，所述OLS包括一层或多层编码图像，所述VPS包括OLS模式识别码(ols_mode_idc)，表示对于每个OLS，所述每个OLS中的所有层均为输出层；根据所述VPS中的ols_mode_idc确定所述输出层；对来自所述输出层的编码图像进行解码，以产生解码图像；转发所述解码图像，以显示为解码视频序列的一部分。解码视频序列的一部分。解码视频序列的一部分。

【技术实现步骤摘要】
支持多视图可适性的OLS
[0001]本申请是分案申请，原申请的申请号是202080066116.9，原申请日是2020年9月18日，原申请的全部内容通过引用结合在本申请中。
[0002]相关申请的交叉引用
[0003]本专利申请要求王业奎于2019年9月24日递交、申请号为62/905,132、申请名称为“对支持多视图可适性的输出层集的指示”的美国临时专利申请的权益，其通过引用结合在本申请中。


[0004]本专利技术通常涉及视频译码，具体地涉及在多层码流中配置输出层集(output layer set，OLS)，以支持多视图视频的空间可适性和信噪比(signal to noise，SNR)可适性。

技术介绍

[0005]即使是相对较短的视频，也需要大量的视频数据来描述，这可能会导致数据在带宽容量受限的通信网络中进行流式传输或以其它方式传输时遇到困难。因此，视频数据通常需要先进行压缩，然后通过现代电信网络进行传输。由于内存资源可能有限，在存储设备中存储视频时，该视频的大小也可能是一个问题。视频压缩设备通常在源侧使用软件和/或硬件对该视频数据进行译码，然后进行传输或存储，从而减少用于表示数字视频图像所需的数据量。然后，对视频数据进行解码的视频解压缩设备在目的地侧接收压缩后的数据。在网络资源有限以及对更高视频质量的需求不断增长的情况下，需要改进压缩和解压缩技术，从而能够在几乎不影响图像质量的情况下提高压缩比。

技术实现思路

[0006]在一个实施例中，本专利技术包括一种由解码器实现的方法。所述方法包括：所述解码器的接收器接收包括输出层集(output layer set，OLS)和视频参数集(video parameter set，VPS)的码流，其中，所述OLS包括一层或多层编码图像，所述VPS包括OLS模式识别码(ols_mode_idc)，表示对于每个OLS，所述每个OLS中的所有层均为输出层；所述解码器的处理器根据所述VPS中的ols_mode_idc确定所述输出层；所述解码器的处理器对来自所述输出层的编码图像进行解码，以产生解码图像。
[0007]一些视频译码系统用于仅解码并输出由层ID表示的最高编码层以及一个或多个被指示的较低层。由于解码器可能不希望解码最高层，因此这可能会在可适性方面带来问题。具体地，解码器通常请求解码器能够支持的最高层，但是解码器通常又无法解码高于被请求层的层。在一个特定的示例中，解码器可能希望接收和解码总编码层为15层中的第三层。该第三层可以在没有第4层到第15层的情况下被发送到解码器，因为不需要通过这些层来解码第三层。但是，解码器可能无法正确解码和显示该第三层，因为最高层(第15层)不存在，而且视频系统总是被指示要解码并显示该最高层。因此，在此类系统中尝试视频可适性
时会产生错误。因为解码器需要始终支持最高层，会导致系统无法根据不同的硬件和网络要求调整到中间层，所以这个问题很严重。使用多视图后，这个问题更加严重。在多视图中，将输出不止一层进行显示。例如，用户可以使用耳机，并且可以向每只眼睛显示不同的层，从而创建三维(three dimensional，3D)视频的印象。不支持可适性的系统也不支持多视图可适性。
[0008]本示例包括一种支持多视图可适性的机制。这些层包含在多个OLS中。编码器可以发送包含这些层的OLS，以调整到特定的特性，如大小或SNR。进一步地，所述编码器可以，例如，在VPS中传输ols_mode_idc语法元素。所述ols_mode_idc语法元素可以设置为1，表示支持多视图可适性。例如，所述ols_mode_idc可以表示OLS的总数等于所述VPS中指定的层的总数，表示第i个OLS包括层0～层i(包括首尾值)，并表示对于每个OLS，所有层都被视为输出层。这样可以支持可适性，因为所述解码器可以接收并解码特定OLS中的所有层。由于所有层均为输出层，因此所述解码器可以选择和渲染所需的输出层。这样，经编码的层的总数可能不会对解码过程产生影响，并且可以避免错误，同时仍然可以提供可适性多视图视频。因此，所公开的机制改进了编码器和/或解码器的功能。此外，所公开的机制还可以减小码流的大小，从而减少编码器侧和解码器侧对处理器、存储器和/或网络资源的使用。在一个特定实施例中，使用所述ols_mode_idc可以为包括共用很多数据的多个OLS的多个编码码流节省比特，从而节省了流媒体服务器中的比特，并为传输此类码流节省带宽。例如，将所述ols_mode_idc设置为1的优点是支持多视图应用等的使用案例，其中，两个或多个视图(每个视图由一层表示)将同时输出并显示。
[0009]可选地，根据上述任一方面，在本方面的另一种实现方式中，所述ols_mode_idc表示所述VPS指定的OLS的总数等于所述VPS指定的层数。
[0010]可选地，根据上述任一方面，在本方面的另一种实现方式中，所述ols_mode_idc表示第i个OLS包括层索引为0～i(包括首尾值)的层。
[0011]可选地，根据上述任一方面，在本方面的另一种实现方式中，所述ols_mode_idc等于1。
[0012]可选地，根据上述任一方面，在本方面的另一种实现方式中，所述VPS包括vps_max_layers_minusl(VPS maximum layers minus one)，表示所述VPS指定的层数，其是参考所述VPS的每个编码视频序列(coded video sequence，CVS)中允许的最大层数。
[0013]可选地，根据上述任一方面，在本方面的另一种实现方式中，当所述ols_mode_idc等于0时，或者当所述ols_mode_idc等于1时，所述OLS的总数(TotalNumOlss)等于vps_max_layers_minus1+1。
[0014]可选地，根据上述任一方面，在本方面的另一种实现方式中，第i个OLS中的层数(NumLayersInOls[i])和所述第i个OLS中第j层的网络抽象层(network abstraction layer，NAL)单元头层标识(nuh_layer_id)的值(LayerIdInOLS[i][j])推导如下：
[0015][0016][0017]其中，vps_layer_id[i]为第i个VPS层标识，TotalNumOlss为所述VPS指定的OLS的总数，each_layer_is_an_ols_flag(each layer is an OLS flag)表示至少一个OLS是否包括不止一层。
[0018]在一个实施例中，本专利技术包括一种由编码器实现的方法。所述方法包括：编码器的处理器对包括一个或多个OLS的码流进行编码，其中，所述一个或多个OLS包括一层或多层编码图像；所述处理器将VPS编码到所述码流中，其中，所述VPS包括ols_mode_idc，表示对于每个OLS，所述每个OLS中的所有层均为输出层；耦合到所述处理器的存储器存储所述码流，以发送给解码器。
[0019本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种解码的方法，其特征在于，所述方法包括：接收包括输出层集OLS和视频参数集VPS的码流，其中，所述OLS包括一层或多层编码图像，所述VPS包括OLS模式识别码ols_mode_idc，当所述ols_mode_idc等于1时，表示所述VPS指定的OLS的总数等于VPS指定的层数，第i个OLS包括层索引为0～i的层，所述层索引包括0和i，且对于每个OLS，所述每个OLS中的所有层均为输出层；其中，第0个OLS中的层数(NumLayersInOls[0])为1，第0个OLS中的第0层的网络抽象层NAL单元头层标识(nuh_layer_id)的值(LayerIdInOLS[0][0])等于vps_layer_id[0]，所述vps_layer_id[0]表示第0层的nuh_layer_id的值；根据所述VPS中的ols_mode_idc的值确定所述输出层；解码所述输出层，以产生解码图像。2.根据权利要求1所述的方法，其特征在于，所述VPS指定的层数表示为vps_max_layers_minus1+1，所述vps_max_layers_minus1+1表示参考所述VPS的每个编码视频序列CVS中允许的最大层数。3.根据权利要求1至2中任一项所述的方法，其特征在于，当所述ols_mode_idc等于0时，对于每个OLS，仅所述每个OLS中的最高层为输出层。4.根据权利要求1至3中任一项所述的方法，其特征在于，所述VPS包括each_layer_is_an_ols_flag和vps_all_independent_layers_flag，当所述vps_all_independent_layers_flag等于1且所述each_layer_is_an_ols_flag等于0时，则推断所述ols_mode_idc的值等于2；其中，所述each_layer_is_an_ols_flag等于0表示至少一个OLS包括不止一层，所述vps_all_independent_layers_flag等于1表示所述VPS指定的所有层都是独立译码的，不需要使用层间预测。5.根据权利要求4所述的方法，其特征在于，如果所述each_layer_is_an_ols_flag等于1，则第i个OLS中的层数(NumLayersInOls[i])等于1，所述第i个OLS中第0层的nuh_layer_id的值(LayerIdInOLS[i][0])等于vps_layer_id[i]，其中，1≤i<TotalNumOlss，vps_layer_id[i]为第i层的nuh_layer_id的值，TotalNumOlss为所述VPS指定的OLS的总数。6.根据权利要求1至5中任一项所述的方法，其特征在于，如果ols_mode_idc等于1，则第i个OLS中的层数(NumLayersInOls[i])等于i+1，所述第i个OLS中第j层的nuh_layer_id的值(LayerIdInOLS[i][j])等于vps_layer_id[j]；其中，1≤i<TotalNumOlss，0≤j<NumLayersInOls[i]，vps_layer_id[j]为第j层的nuh_layer_id的值，TotalNumOlss为所述VPS指定的OLS的总数。7.一种视频译码设备，其特征在于，包括：处理器、耦合到所述处理器的接收器、耦合到所述处理器的存储器和耦合到所述处理器的发送器，其中，所述处理器、所述接收器、所述存储器和所述发送器用于执行根据权利要求1至6中任一项所述的方法。8.一种非瞬时性计算机可读介质，其特征在于，包括供视频译码设备使用的计算...

【专利技术属性】
技术研发人员：王业奎，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：