基于特征的多视图表示及编码制造技术

本公开各方面提供了一种用于视频解码的方法、装置和非暂时性计算机可读存储介质。该装置包括处理电路，该处理电路被配置为对来自多视图码流的多个图片的至少一个第一关键图片进行解码。该多个图片对应于不同的视图。至少一个第一关键图片对应于不同的视图中的至少一个第一视图。该处理电路确定至少一个第一关键图片中的内容的第一特征信息。该处理电路基于多视图码流对第一特征信息的第一特征变化进行解码。第一特征变化指示至少一个第一关键图片中的一个关键图片和第一图片之间的内容变化。该处理电路基于解码的第一特征变化、第一特征信息和至少一个第一关键图片中的关键图片来重建第一图片。键图片来重建第一图片。键图片来重建第一图片。

【技术实现步骤摘要】
【国外来华专利技术】基于特征的多视图表示及编码
相关申请的交叉引用
[0001]本申请要求于2022年7月11日提交的美国专利申请号为17/861,667，名称为“FEATURE
‑
BASED MULTI
‑
VIEW REPRESENTATION AND CODING”的优先权权益，该专利申请要求于2021年7月13日提交的美国临时申请号为63/221.351，名称为“Features Based Multi
‑
View Representation and Delivery”的优先权。在先申请的全部内容以引用的方式并入本文中。


[0002]本申请描述了总体上涉及视频编码的实施例。

技术介绍

[0003]本文所提供的背景描述是出于总体上呈现本公开内容的目的。专利技术人的某些工作(即已在此
技术介绍
部分中作出描述的工作)以及说明书中关于某些尚未成为申请日之前的现有技术的内容，无论是以明确或隐含的方式均不被视为相对于本公开的现有技术。
[0004]可以使用具有运动补偿的帧间图片预测来执行图像和/或视频编码和解码。未压缩的数字图像和/视频可以包括一系列图片，每个图片具有例如为1920x1080的亮度样本及相关的色度样本的空间维度。该一系列图片可以具有例如每秒60幅图片或60Hz的固定的或可变的图片速率(也非正式地称为帧率)。未压缩的图像和/或视频有特定的位速率要求。例如，每样本8位的1080p60 4：2：0的视频(60Hz帧率的1920x1080亮度样本分辨率)需要接近1.5Gbit/s的带宽。一小时的此类视频需要600GB以上的存储空间。
[0005]图像和/或视频编码和解码的一个目的可以是通过压缩来减少输入图像和/或视频信号中的冗余。压缩可以帮助减少前述带宽和/或存储空间需求，在某些情况下可以减少两个数量级或大于两个数量级。尽管这里的描述使用视频编码/解码作为说明性示例，但在不脱离本公开的精神的情况下，相同的技术可以以类似的方式应用于图像编码/解码。可以采用无损压缩和有损压缩，以及它们的组合。无损压缩是指可以从已压缩的原始信号中重建原始信号的精确副本的技术。当使用有损压缩时，重建信号可能与原始信号不相同，但原始信号与重建信号之间的失真足够小，以使重建信号对预期的应用是有用的。以视频为例，有损压缩被广泛应用。可容忍的失真量取决于应用，例如某些消费者流媒体应用的用户相比电视分配应用的用户来说可以容忍更高的失真。可达到的压缩率可以反映：更高的可容许/接受的失真可以产生更高的压缩率。
[0006]视频编码器和视频解码器可以利用多种广泛类别的技术，例如，包括：运动补偿、变换、量化以及熵编码。
[0007]视频编解码器技术可以包括称为帧内编码的技术。在帧内编码中，在不参考来自先前重建的参考图片的样本或其他数据的情况下表示样本值。在某些视频编解码器中，图片在空间上细分为样本块。当所有的样本块都以帧内模式编码时，该图片可以是帧内图片。帧内图片及其派生方式(例如独立的解码器刷新图片)可以用于重置解码器状态，并且因此
可以用作编码视频码流和视频会话中的第一张图片，或者用作静止图像。可以使帧内块的样本进行变换，并且可以在熵编码之前对变换系数进行量化。帧内预测可以是一种使预变换域中的样本值最小化的技术。在某些情况下，变换后的DC值越小，且AC系数越小，则在给定的量化步长尺寸下就需要越少的比特来表示熵编码后的块。
[0008]诸如从例如MPEG
‑
2代编码技术已知的，传统帧内编码不使用帧内预测。然而，一些更新的视频压缩技术包括从例如周围的样本数据和/或元数据中尝试的技术，该周围样本数据和/或元数据是在空间上相邻的且在解码顺序上在先的数据块的编码和/或解码期间获得的。此类技术此后称为“帧内预测”技术。应注意，至少在某些情况下，帧内预测仅使用来自正在重建的当前图片的参考数据，而不使用来自参考图片的参考数据。
[0009]帧内预测可以有许多不同的形式。当在给定的视频编码技术中可以使用不止一种这样的技术时，可以以帧内预测模式对使用中的技术进行编码。在某些情况下，模式可以具有子模式和/或参数，并且这些子模式和/或参数可以单独编码或包含在模式码字中。对于给定模式、子模式和/或参数组合使用哪个码字可能会对通过帧内预测的编码效率增益产生影响，且用于将码字转换为码流的熵编码技术同样对其也可以产生影响。
[0010]H.264引入了某种帧内预测模式，并在H.265中对其进行了改进，并在诸如联合探索模型(Joint Exploration Model，JEM)、下一代视频编码(Versatile Video Coding，VVC)、基准集(Benchmark Set，BMS)等新的编码技术中进一步进行了改进。可以使用属于已经可用样本的相邻样本值来形成预测器块。根据方向将相邻样本的样本值复制到预测器块中。对所使用方向的参考可以编码在码流中，或者可以对其本身进行预测。
[0011]参考图1，右下方描绘的是从H.265的33种可能的预测器方向(对应于35种帧内模式中的33种角度模式)中得知的9个预测器方向的子集。箭头收敛的点(101)表示正在被预测的样本。箭头表示正在被预测的样本的方向。例如，箭头(102)表示从在右上方、与水平线呈45度角的一个或多个样本中预测样本(101)。同样，箭头(103)表示从在样本(101)的左下方、与水平方线呈22.5度角的一个或多个样本中预测样本(101)。
[0012]仍然参考图1，在左上方描绘了4
×
4个样本的正方形块(104)(用粗体虚线表示)。正方形块(104)包含16个样本，每个样本使用“S”及其在Y维度上的位置(例如，行索引)和其在X维度上的位置(例如列索引)来标记。例如，样本S21是Y维度上(从顶部开始)的第二个样本，以及X维度上(从左侧开始)的第一个样本。类似地，样本S44在Y维度和X维度上都是块(104)中的第四个样本。由于块的大小为4x4个样本，因此S44在右下角。图1中还示出了参考样本，它们遵循类似的编号方案。参考样本用R及其相对于块(104)的Y位置(例如行索引)和X位置(列索引)来标记。在H.264和H.265二者中，预测样本都与正在重建的块相邻，因此，无需使用负值。
[0013]帧内图片预测可以通过从信号通知的预测方向所占用的相邻样本复制参考样本值来工作。例如，假设已编码视频码流包括信令(signaling)，该信令针对该块指示与箭头(102)一致的预测方向，也就是说，样本是从与水平方向成45度角的右上角的一个或多个预测样本进行预测的。在这种情况下，根据同一个参考样本R05预测样本S41、S32、S23和S14。然后，根据参考样本R08预测样本S44。
[0014]在某些情况下，可以例如通过插值来组合多个参考样本的值，以便计算参考样本，尤其是当方向不能被45度整除时。
[0015]随着视频编码技术的发展，可能的方向的数量已经增加。在H.264(2003年)中本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于视频解码器中的视频解码的方法，所述方法包括：对来自多视图码流的多个图片中的至少一个第一关键图片进行解码，所述多个图片对应于不同视图，所述至少一个第一关键图片对应于所述不同视图中的至少一个第一视图；确定所述多个图片中的至少一个第一关键图片中的内容的第一特征信息；基于所述多视图码流，对所述第一特征信息的第一特征变化进行解码，所述第一特征变化指示所述至少一个第一关键图片中的一个关键图片与第一图片之间的内容变化；以及基于所解码的第一特征变化、所述第一特征信息和所述至少一个第一关键图片中的所述关键图片来重建所述第一图片。2.根据权利要求1所述的方法，其中，所述至少一个第一关键图片对应于第一时间实例；所述至少一个第一关键图片包括多个第一关键图片；所述不同视图中的至少一个第一视图包括多个第一视图；所述第一特征信息包括由所述多个第一视图指示的第一三维3D特征信息，以及所述确定第一特征信息包括基于第一预定3D特征模型和所述多个第一关键图片确定在所述第一时间实例处的所述第一3D特征信息。3.根据权利要求2所述的方法，其中，所述第一3D特征信息用于解码所述不同视图中的每个视图的图片。4.根据权利要求2所述的方法，其中，所述多个第一关键图片包括在所述第一时间实例处的每个关键图片。5.根据权利要求2所述的方法，所述方法包括：基于第二预定3D特征模型确定所述第一时间实例处的所述多个图片中的多个第二关键图片中的内容的第二3D特征信息，所述多个第二关键图片对应于所述不同视图中的多个第二视图的第一时间实例。6.根据权利要求1所述的方法，其中，所述第一特征信息与所述至少一个第一视图中的一个第一视图相关联；对于所述不同视图中不是所述第一视图的每个视图，所述方法还包括：基于每个视图的关键图片和所述不同视图中的相邻视图的另一关键图片来确定相应的特征信息；基于所述多视图码流对所述相应的特征信息的特征变化进行解码，所述特征变化对应于每个视图的相应的图片；以及基于所述相应的特征变化、所述相应的特征信息和每个视图的关键图片来生成每个视图的图片。7.根据权利要求4所述的方法，其中，所述不同视图中的一个视图的所述第一图片处于第二时间实例。8.根据权利要求1所述的方法，其中，所述方法包括对所述对应于不同视图的多个图片的子集进行解码，所述多个图片的子集属于对应于相应的时间实例的所述至少一个第一视图中的一个第一视图，所述第一视图的多个图片的子集包括所述至少一个第一关键图片中的关键图片；所述第一图片属于所述不同视图中的第二视图；
所述第一图片和所述至少一个第一关键图片中的关键图片对应于第一时间实例；以及第一特征变化指示在所述第一时间实例处的所述第二视图的第一图片和在所述第一时间实例处的所述第一视图的关键图片之间的特征变化。9.根据权利要求7所述的方法，所述方法进一步包括：将所述至少一个第一视图中的一个第一视图的每个图片解码为关键图片，所述第一视图的每个图片对应于相应的时间实例。10.一种用于视频解码的装置，包括：处理电路，配置为：对来自多视图码流的多个图片中的至少一个第一关键图片进行解码，所述多个图片对应于不同视图，所述至少一个第一关键图片对应于所述不同视图中的至少一个第一视图；确定所述多个图片中的所述至少一个第一关键图片中的内容的第一特征信息；基于所述多视图码流将对所述第一特征信息的第一特征改变进行解码，所述第一特征变化指示所述至少一个第一关键图片中的一个关键图片与第一图片之间的内容变化；以及基于所解码的第一特征变化、所述第一特征信息和所述至少一个第一关键...

【专利技术属性】
技术研发人员：许晓中，刘杉，
申请(专利权)人：腾讯美国有限责任公司，
类型：发明
国别省市：