用于扩展现实视频编码的自适应量化矩阵制造技术

本公开涉及用于扩展现实视频编码的自适应量化矩阵。对扩展现实(XR)视频帧进行编码可包括：获得包括背景图像和虚拟对象的XR视频帧；从图像渲染器获得该背景图像的第一区域，该虚拟对象覆盖在该第一区域上；将该XR视频帧划分为虚拟区域和真实区域，其中该虚拟区域包括该背景图像的该第一区域和该虚拟对象，该真实区域包括该背景图像的第二区域；基于与虚拟区域相关联的初始量化参数为该虚拟区域确定对应的第一量化参数；基于与真实区域相关联的初始量化参数为该真实区域确定对应的第二量化参数；以及基于该对应的第一量化参数对该虚拟区域进行编码，并且基于该对应的第二量化参数对该真实区域进行编码。数对该真实区域进行编码。数对该真实区域进行编码。

【技术实现步骤摘要】
用于扩展现实视频编码的自适应量化矩阵


[0001]本公开整体涉及图像处理。更具体地，但并非加以限制，本公开涉及视频编码的技术和系统。

技术介绍

[0002]一些视频编码系统使用比特率控制算法来确定将多少比特分配给视频帧的特定区域，以确保给定视频编码标准的均匀图片质量并减少传输已编码视频帧所需的带宽。一些比特率控制算法使用帧级和宏块级内容统计(例如复杂度和对比度)来确定量化参数和对应的比特分配。量化参数是映射到量化步长的整数，并控制视频帧的每个区域的压缩量。例如，8
×
8的像素区域乘以量化参数并除以量化矩阵。然后将所得数值四舍五入到最近的整数。与对应于较低量化、较少压缩和较高图像质量的小量化参数相比，大量化参数对应于较高量化、较多压缩和较低图像质量。比特率控制算法可使用恒定量化参数或变化的量化参数来适应目标平均比特率、恒定比特率、恒定图像质量等。然而，许多比特率控制算法是客观的，并且无法保证分配给感兴趣区域的比特多于分配给背景的比特。一些比特率控制算法能够确定感兴趣的区域并且向感兴趣的区域比向背景分配更多的比特，但是它们通常在计算上是昂贵的并且操作是耗时的。需要一种改进的技术对视频帧进行编码。
附图说明
[0003]图1示出了扩展现实(XR)视频帧的示例图。
[0004]图2以流程图的形式示出了用于基于自适应量化矩阵对扩展现实视频帧进行编码的示例性过程。
[0005]图3示出了被划分为虚拟区域和真实区域的扩展现实视频帧的示例图。
[0006]图4以流程图的形式示出了用于基于自适应量化矩阵和来自视线跟踪用户界面的输入对扩展现实视频帧进行编码的示例性过程。
[0007]图5A至图5C以流程图的形式示出了用于基于自适应量化矩阵以及第一复杂度准则和第二复杂度准则对扩展现实视频帧进行编码的示例性过程。
[0008]图6示出了基于第一复杂度准则和第二复杂度准则被划分为区域的扩展现实视频帧的示例图。
[0009]图7A至图7C以流程图的形式示出了用于基于自适应量化矩阵、第一复杂度准则和第二复杂度准则以及经调整的区域大小对扩展现实视频帧进行编码的示例性过程。
[0010]图8示出了基于第一复杂度准则和第二复杂度准则以及经调整的区域大小而被划分为区域的扩展现实视频帧的中间区域的示例图。
[0011]图9以框图形式示出了用于对扩展现实视频流进行编码的示例性系统。
[0012]图10示出了在各种视频编码系统中使用的示例性系统，包括用于对扩展现实视频流进行编码。
具体实施方式
[0013]本公开涉及用于对扩展现实(XR)视频流进行视频编码的系统、方法和计算机可读介质。具体地，可以获得包括背景图像和至少一个虚拟对象的XR视频帧。可以从图像渲染器获得要在其上覆盖该至少一个虚拟对象的该背景图像的第一区域。该XR视频帧可以被划分为至少一个虚拟区域和至少一个真实区域。该至少一个虚拟区域包括该背景图像的该第一区域和该至少一个虚拟对象。该至少一个真实区域包括该背景图像的第二区域。对于该至少一个虚拟区域中的每一者，可基于与虚拟区域相关联的初始量化参数来确定对应的第一量化参数。对于该至少一个真实区域中的每一者，可基于与真实区域相关联的初始量化参数来确定对应的第二量化参数。可基于该对应的第一量化参数对该至少一个虚拟区域中的每一者进行编码，并且可基于该对应的第二量化参数对该至少一个真实区域中的每一者进行编码。
[0014]描述了用于与编码扩展现实视频流相关地使用此类系统的电子系统和技术的各种示例。
[0015]物理环境是指人们在没有电子系统帮助的情况下能够感测和/或交互的物理世界。物理环境诸如物理公园包括物理物品，诸如物理树木、物理建筑物和物理人。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。
[0016]相反，扩展现实(XR)环境是指人们经由电子系统感知和/或交互的完全或部分模拟的环境。在XR中，跟踪人的物理运动的一个子集或其表示，并且作为响应，以符合至少一个物理定律的方式调节在XR环境中模拟的一个或多个虚拟对象的一个或多个特征。例如，XR系统可以检测人的头部转动，并且作为响应，以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，对XR环境中虚拟对象的特征的调节可以响应于物理运动的表示(例如，声音命令)来进行。
[0017]人可以利用其感觉中的任一者来感测XR对象和/或与之交互，包括视觉、听觉、触觉、味觉和嗅觉。例如，人可以感测音频对象和/或与音频对象交互，该音频对象创建3D或空间音频环境，该3D或空间音频环境提供3D空间中点音频源的感知。又如，音频对象可以使能音频透明度，该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些XR环境中，人可以感测和/或只与音频对象交互。
[0018]虚拟现实(VR)环境是指被设计成对于一个或多个感觉完全基于计算机生成的感官输入的模拟环境。VR环境包括人可以感测和/或交互的多个虚拟对象。例如，树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟和/或通过在计算机生成的环境内人的物理移动的一个子组的模拟来感测和/或与VR环境中的虚拟对象交互。
[0019]与被设计成完全基于计算机生成的感官输入的VR环境相比，混合现实(MR)环境是指被设计成除了包括计算机生成的感官输入(例如，虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上，混合现实环境是完全物理环境作为一端和虚拟现实环境作为另一端之间的任何状况，但不包括这两端。
[0020]在一些MR环境中，计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外，用于呈现MR环境的一些电子系统可以跟踪相对于物理环境的位置和/或取向，以使虚拟对象能够与真实对象(即，来自物理环境的物理物品或其表示)交互。例如，系
统可以导致移动使得虚拟树木相对于物理地面看起来是静止的。
[0021]增强现实(AR)环境是指其中一个或多个虚拟对象叠加在物理环境或其表示之上的模拟环境。例如，用于呈现AR环境的电子系统可具有透明或半透明显示器，人可以透过该显示器直接查看物理环境。该系统可以被配置为在透明或半透明显示器上呈现虚拟对象，使得人利用该系统感知叠加在物理环境之上的虚拟对象。另选地，系统可以具有不透明显示器和一个或多个成像传感器，该成像传感器捕获物理环境的图像或视频，这些图像或视频是物理环境的表示。系统将图像或视频与虚拟对象组合，并在不透明显示器上呈现组合物。人利用系统经由物理环境的图像或视频而间接地查看物理环境，并且感知叠加在物理环境之上的虚拟对象。如本文所用，在不透明显示器上显示的物理环境的视频被称为“透传视频”，意味着系统使用一个或多个图像传感器捕获物理环境的图像，并且在不透明显示器上呈现AR环境时使用那些图像。进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于对扩展现实(XR)视频帧进行编码的方法，包括：获得XR视频帧，所述XR视频帧包括背景图像和覆盖所述背景图像的至少一部分的虚拟对象；将所述XR视频帧划分为虚拟区域和真实区域，其中所述虚拟区域包括所述虚拟对象的至少一部分，并且其中所述真实区域包括与所述虚拟区域分离的所述背景图像的区域；基于与虚拟区域相关联的初始量化参数为所述虚拟区域确定对应的第一量化参数；基于与真实区域相关联的初始量化参数为所述真实区域确定对应的第二量化参数；以及基于所述对应的第一量化参数对所述虚拟区域进行编码，并且基于所述对应的第二量化参数对所述真实区域进行编码。2.根据权利要求1所述的方法，其中为所述虚拟区域确定所述对应的第一量化参数进一步基于与虚拟区域相关联的阈值上限和与虚拟区域相关联的阈值下限。3.根据权利要求1所述的方法，其中为所述真实区域确定所述对应的第二量化参数进一步基于与真实区域相关联的阈值上限和与真实区域相关联的阈值下限。4.根据权利要求1所述的方法，其中：划分所述XR视频帧还包括将所述XR视频帧划分为中间区域；所述虚拟区域包括满足第一复杂度准则的所述虚拟对象的至少一部分；所述真实区域包括与所述虚拟区域分离的所述背景图像的所述区域的第一部分，其中所述区域的所述第一部分不满足第二复杂度准则；所述至少一个中间区域包括以下的至少一个：(i)不满足所述第一复杂度准则的所述至少一个虚拟对象的部分，以及(ii)与所述虚拟区域分离的所述背景图像的所述区域的第二部分，其中所述区域的所述第二部分满足所述第二复杂度准则；并且所述方法还包括：基于与中间区域相关联的初始量化参数为所述中间区域确定对应的第三量化参数；以及基于所述对应的第三量化参数对所述中间区域进行编码。5.根据权利要求4所述的方法，其中为所述中间区域确定所述对应的第三量化参数进一步基于与中间区域相关联的阈值上限和与中间区域相关联的阈值下限。6.根据权利要求1所述的方法，还包括经由视线跟踪用户界面获得指示聚焦区域的输入，其中划分所述XR视频帧至少部分地基于所述聚焦区域。7.一种非暂态计算机可读介质，包括计算机代码，所述计算机代码能够由至少一个处理器执行以：获得扩展现实(XR)视频帧，所述XR视频帧包括背景图像和覆盖所述背景图像的至少一部分的虚拟对象；将所述XR视频帧划分为虚拟区域和真实区域，其中所述虚拟区域包括所述虚拟对象的至少一部分，并且其中所述真实区域包括与所述虚拟区域分离的所述背景图像的区域；基于与虚拟区域相关联的初始量化参数为所述虚拟区域确定对应的第一量化参数；基于与真实区域相关联的初始量化参数为所述真实区域确定对应的第二量化参数；以及
基于所述对应的第一量化参数对所述虚拟区域进行编码，并且基于所述对应的第二量化参数对所述真实区域进行编码。8.根据权利要求7所述的非暂态计算机可读介质，其中用于为所述虚拟区域确定所述对应的第一量化参数的所述计算机可读代码进一步包括用于进一步基于与虚拟区域相关联的阈值上限和与虚拟区域相关联的阈值下限来确定所述对应的第一量化参数的计算机可读代码。9.根据权利要求7所述的非暂态计算机可读介质，其中用于为所述真实区域确定所述对应的第二量化参数的所述计算机可读代码进一步包括用于进一步基于与真实区域相关联的阈值上限和与真实区域相关联的阈值下限来确定所述对应的第二量化参数的计算机可读代码。10.根据权利要求7所述的非暂态计算机可读介质，其中与虚拟区域相关联的初始量化参数小于与真实区域相关联的初始量化参数。11.根据权利要求7所述的非暂态计算机可读介质，其中所述计算机可读介质进一步包括能够由所述至少一个处理器执行以进行以下操作的计算机可读代码：对于所述虚拟区域：基于与虚拟区域相关联的初始区域大小确定对应的第一区域大小；以及基于所述对应的第一区域大小将所述虚拟区域划分为一个或多个附加虚拟区域；对于所述真实区域：基于与真实区域相关联的初始区域大小确定对应的第二区域大小；以及基于所述对应的第二区域大小将所述真实区域划分为...

【专利技术属性】
技术研发人员：Y，
申请(专利权)人：苹果公司，
类型：发明
国别省市：