用于识别视频解码差错的方法和装置制造方法及图纸

公开了用于识别视频解码差错的示例方法、装置、系统和制品。一种示例装置包括图集生成器，用于为从视频的输入视图生成的一个或多个图集生成图集数据；散列生成器，用于执行下列操作：对图集数据执行散列操作以生成散列值；以及将散列值包括在消息中；以及复用器，用于对一个或多个图集、与图集数据相对应的编码图集数据、和消息进行组合以生成视频比特流。集数据、和消息进行组合以生成视频比特流。集数据、和消息进行组合以生成视频比特流。

【技术实现步骤摘要】
【国外来华专利技术】用于识别视频解码差错的方法和装置
[0001]相关申请
[0002]本专利要求2020年4月3日递交的美国临时申请63/004,741号的权益。特此通过引用将美国临时申请63/004,741号全部并入在此。特此要求美国临时申请63/004,741号的优先权。


[0003]本公开概括而言涉及视频处理，更具体而言，涉及用于识别视频解码差错的方法和装置。

技术介绍

[0004]在视频压缩/解压缩(编解码器)系统中，压缩效率和视频质量是重要的性能标准。例如，视觉质量是许多视频应用中的用户体验的一个重要方面。压缩效率影响到存储视频文件所需要的存储器量和/或传输和/或流传输视频内容所需要的带宽量。视频编码器通常压缩视频信息以使得更多的信息可通过给定的带宽被发送或者被存储在给定的存储器空间中，等等。压缩的信号或数据随后被解码器解码，该解码器对信号或数据进行解码或解压缩来显示给用户。在大多数示例中，带有更大压缩的更高视觉质量是想要的。
[0005]当前，正在为沉浸式视频编码和点云编码开发标准，包括基于视频的点云压缩(Video
‑
based Point Cloud Compression，V
‑
PCC)和MPEG沉浸式视频编码(MPEG Immersive Video Coding，MIV)。这种标准尝试在沉浸式视频和点云编码的情境中建立并且改善压缩效率和重建质量。
附图说明
[0006]图1是结合本文公开的示例用于对视频编码和/或解码的示例环境。
[0007]图2是代表可被执行来实现图1的示例编码系统的机器可读指令的流程图。
[0008]图3是代表可被执行来实现图1的示例解码系统的机器可读指令的流程图。
[0009]图4是被构造来执行图3的指令以实现图1的编码系统的示例处理平台的框图。
[0010]图5是被构造来执行图3的指令以实现图1的解码系统的示例处理平台的框图。
[0011]附图不是按比例的。相反，在附图中可能放大了层或区域的厚度。一般而言，相同的标号将在各幅图和伴随的书面描述的各处被用于指代相同或相似的部件。如本专利中所使用的，叙述任何部件(例如，层、膜、区、区域或板)以任何方式在另一部件上(例如，定位在其上、位于其上、被布置在其上、或者被形成在其上，等等)，表明所提及的部件或者与另一部件接触，或者所提及的部件在另一部件上方，有一个或多个中间部件位于其间。提及连接(例如，附接、耦合、连接、以及接合)应被宽泛解释，并且可包括元素的集合之间的中间构件和元素之间的相对运动，除非另有指示。因此，提及连接不一定推断出两个元素是直接连接并且彼此之间有固定关系的。叙述任何部件与另一部件“接触”，意思是在这两个部件之间没有中间部件。虽然附图中示出了具有清晰线条和边界的层和区域，但这些线条和/或边界
中的一些或者全部可能是理想化的。在现实中，边界和/或线条可能是难以察觉的，混合的，和/或不规则的。
[0012]本文中在识别可被分开提及的多个元素或组件时使用描述语“第一”、“第二”、“第三”，等等。除非另有指明或者基于其使用上下文另有理解，否则这种描述语并不打算灌输优先级、物理顺序或者列表中的排列或者时间上的排序的任何含义，而只是被用作用于分开提及多个元素或组件的标签，以便容易理解所公开的示例。在一些示例中，描述语“第一”在详细描述中可被用于提及某一元素，而同一元素在权利要求中可被用不同的描述语来提及，例如“第二”或“第三”。在这种情况中，应当理解，这种描述语只是为了容易引用多个元素或组件而使用的。
具体实施方式
[0013]在沉浸式视频编码和点云编码的情境中，可以利用视频标准，例如基于视觉体积视频的编码(Visual Volumetric Video
‑
based Coding，V3C)和基于视频的点云压缩(V
‑
PCC)以及MPEG沉浸式视频编码(MIV)。对于这样的标准，可能有要求要确认解码器符合这样的标准。例如，可能有一个或多个要求，即解码器获得未更改和/或未破坏的比特流，和/或解码器对获得的比特流进行正确解码。
[0014]在V3C/V
‑
PCC中，使用点云在用于纹理(例如颜色)以及用于几何(例如深度)的平面上的多个投影，来压缩动态点云。在动态点云被压缩之后，压缩后的动态点云被分割以从投影平面提取相似深度的矩形区域，这被称为斑块(patch)。这些斑块被打包成带有占用图谱(occupancy map)的图集或图集瓦片(atlas tile)。占用图谱指示出图集的要被使用的部分(例如，图集中打包的斑块内的占用区域)。此外，斑块信息元数据被用来指示出如何在投影平面和画布(例如，图集或图集瓦片)之间映射斑块。二维(2D)视频编解码器，例如高效率视频编码(high efficiency video coding，HEVC)，被用来利用画布的几何和纹理成分的空间和时间冗余。关于原始投影中的和图集或图集瓦片中的斑块的大小和位置的信息被作为编码图集瓦片数据来标示。占用信息也被标示。图集可以被细分为非重叠数据块的网格，并且块大小可被包括在比特流中。图集数据包括每个块指示(例如，数据块的斑块标识和/或索引)的斑块值。该块可以对应于斑块，或者可以是斑块的子集。在一些示例中，斑块与其他斑块重叠。斑块数据在比特流中被标示的顺序(例如，与斑块标识符相对应)被用于确定特定块位置的斑块优先级，例如，较高斑块标识符值的斑块可以有优先权。
[0015]在经由V3C/V
‑
PCC和MIV标准进行编码时，矩形斑块由投影视图形成，并且被排列成图集。斑块在图集内可能重叠，并且最后标示的斑块在解决重叠时有优先权。这些标准定义了一种标示机制，来为图集中的每个斑块发送编码的图集数据，包括如下信息：该信息包括斑块在其相应的投影视图中的大小和位置和/或斑块标识符。图集数据是每个图集中的数据块与斑块的映射。在一些示例中，这样的信息被包括在编码图集瓦片数据语法结构内。编码图集数据是一种每斑块的标示。编码图集数据可以由解码器解码以获得图集数据。在一些示例中，编码图集瓦片数据语法结构在每个帧时间或实例中被标示。在一些示例中，编码图集瓦片数据语法结构在多个连续的帧时间或实例中持续存在。与不同的图集或图集瓦片相对应的多个编码图集瓦片数据语法结构可以在同一访问单元(比特流的具有相同解码顺序计数(例如，与特定时间实例相对应的V
‑
PCC/MIV比特流的数据)的成分(例如，图集数
据、纹理视频、几何视频、占用视频，等等)的一部分)内被标示，所有这些都对应于同一帧时间、实例或者图片顺序计数(Picture Order Count，POC)值。例如，一种标准可以定义一种操作来计算图集数据(例如，变量2D阵列，BlockToPatchMap[y][x](也被称为DecoderToPatchMap[y][x]))，它表示图集空间中的块到相应斑块的映射，其中x和y是块大小粒度的块坐本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种视频编码装置，包括：图集生成器，用于为从视频的输入视图生成的一个或多个图集生成图集数据；散列生成器，用于执行下列操作：对所述图集数据执行散列操作以生成散列值；以及将所述散列值包括在消息中；以及复用器，用于对所述一个或多个图集、与所述图集数据相对应的编码图集数据、和所述消息进行组合以生成视频比特流。2.如权利要求1所述的装置，还包括：接口，用于将所述比特流数据传输到解码设备。3.如权利要求1所述的装置，其中，所述图集数据包括与所述输入视图的块到斑块映射图谱相对应的变量二维阵列。4.如权利要求1所述的装置，其中，所述图集数据对应于块到相应斑块的映射。5.如权利要求1所述的装置，其中，所述图集生成器用于执行下列操作：将所述视频的输入视图转换成纹理图集或深度图集中的至少一者；以及对所述纹理图集、所述深度图集或所述图集数据中的至少一者进行编码以生成编码比特流数据。6.如权利要求1所述的装置，其中，所述散列生成器用于执行下列操作中的至少一者：生成所述消息，或者从另一设备获得所述消息。7.如权利要求1所述的装置，其中，所述散列生成器使用16字节消息摘要算法5(MD5)总和来对所述图集数据进行散列。8.一种非暂态计算机可读存储介质，包括指令，所述指令当被执行时，使得一个或多个处理器至少执行下列操作：为从视频的输入视图生成的一个或多个图集生成图集数据；对所述图集数据执行散列操作以生成散列值；将所述散列值包括在消息中；以及对所述一个或多个图集、与所述图集数据相对应的编码图集数据、和所述消息进行组合来生成视频比特流。9.如权利要求8所述的计算机可读存储介质，其中，所述指令使得所述一个或多个处理器将所述比特流数据传输到解码设备。10.如权利要求8所述的计算机可读存储介质，其中，所述图集数据是与所述输入视图的块到斑块映射图谱相对应的变量二维阵列。11.如权利要求8所述的计算机可读存储介质，其中，所述图集数据对应于图集空间中的块到相应斑块的映射。12.如权利要求8所述的计算机可读存储介质，其中，所述指令使得所述一个或多个处理器执行下列操作：将所述视频的输入视图转换成纹理图集或深度图集中的至少一者；以及对所述纹理图集、所述深度图集或所述图集数据中的至少一者进行编码以生成编码比特流数据。13.如权利要求8所述的计算机可读...

【专利技术属性】
技术研发人员：吉尔，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：