用于处理多视图视频数据的方法及设备技术

本发明专利技术涉及一种处理多视图视频数据的方法和设备。所述多视图视频数据包括来自表示多视图视频的编码数据流(STR)的多视图视频的至少一个视图的解码图像(20)的至少一个部分。根据本发明专利技术，从解码图像的至少所述一个部分获得(21)被称为合成数据的至少一项数据，并且从解码图像的至少所述一个部分和所获得的所述合成数据合成(22)未在所述编码数据流中编码的多视图视频的中间视图的至少一个图像。多视图视频的中间视图的至少一个图像。多视图视频的中间视图的至少一个图像。

【技术实现步骤摘要】
【国外来华专利技术】用于处理多视图视频数据的方法及设备


[0001]本专利技术涉及沉浸式视频，其代表由一个或多个摄像机捕获的场景，包括用于虚拟现实和自由导航的视频。更具体地，本专利技术涉及对来自这种视频的数据的处理(编码、解码、中间视图的合成)。

技术介绍

[0002]沉浸式视频允许观看者从任何视点观看场景，甚至是从尚未被摄像机捕获的视点。典型的捕获系统是一组摄像机，用位于场景外部的几个摄像机或位于场景内部的球形平台上构建的发散摄像机捕获场景。视频通常经由虚拟现实视图器(headset)(也称为头戴式设备或HMD)显示，但也可以通过附加系统在2D屏幕上显示，以便与用户互动。
[0003]场景中的自由导航需要正确管理用户的每一个移动，以避免晕动症。该移动通常被显示设备(例如，HMD)正确捕获。然而，提供正确的像素用于显示而不管用户的移动(旋转或平移)如何目前是有问题的。这需要多个捕获的视图、以及生成根据解码后的捕获视图和相关联的深度图计算的附加的虚拟(合成)视图的能力。要传输的视图数量因用例而异。然而，要传输的视图数量很大，因此相关联的数据量通常很高。因此，视图的传输是沉浸式视频应用的必要方面。因此，必须在不损害中间视图合成质量的情况下尽可能多地降低要传输的信息的比特率。事实上，中间视图的合成是沉浸式视频应用的关键步骤，因此必须降低整体传输速率，同时使视图合成更加容易。
[0004]在典型的沉浸式视频处理方案中，视图是物理捕获或由计算机生成的。在某些情况下，还会用专用传感器捕获深度。然而，该深度信息的质量通常较差，并且妨碍了中间视点的有效合成。
[0005]深度图也可以从捕获的视频的纹理图像中计算。现有技术中存在并使用了许多深度估计算法。如图1所示，纹理图像和估计的深度信息被编码并发送到用户的显示设备。图1示出了沉浸式视频处理方案，包括例如两个捕获的视图V0和V2、以及与每个视图V0和V2相关联的深度信息D0和D2。例如，深度信息D0和D2由深度估计软件(例如，深度估计参考软件或DERS)获得，视图V0和V2以及获得的深度信息D0和D2然后被编码(例如使用MV
‑
HEVC编码器)。在客户端侧，视图(V0*和V2*)和每个视图的深度(D0*和D2*)被解码，并被合成算法用来计算中间视图，例如这里的中间视图V1。例如，VSRS(视图合成参考软件)软件可以用作视图合成算法。
[0006]当在编码和传输沉浸式视频的编码数据之前计算深度图时，会遇到各种问题。特别是，与各种视图的传输相关联的速率很高。特别地，虽然深度图通常比纹理花费更少，但是它们仍然是比特流的重要部分(总数的15％到30％)。
[0007]此外，完整的深度图被生成并发送，而在客户端侧，并非所有深度图的所有部分都一定有用。事实上，视图可能有冗余信息，这使得深度图的某些部分变得不必要。此外，在某些情况下，观看者可能只要求特定的视点。在客户端和提供编码沉浸式视频的服务器之间没有反馈信道的情况下，位于服务器侧的深度估计器不知道这些特定的视点。
[0008]在服务器侧计算深度信息避免了深度估计器和合成算法之间的任何交互。例如，如果深度估计器想要通知合成算法它不能正确地找到特定区域的深度，它必须以二进制流的形式传输该信息，很可能是以二进制图的形式。
[0009]此外，编码器对深度图进行编码以便获得对于合成质量与用于深度图传输的编码成本之间的最佳折衷的配置并不明显。
[0010]最后，当纹理和深度图被编码、传输和解码时，解码器要处理的像素数量很高。这可能会减缓沉浸式视频处理方案在诸如智能手机等的终端上的部署。
[0011]因此，需要改进现有技术。

技术实现思路

[0012]本专利技术改进了现有技术。出于此目的，本专利技术涉及一种用于处理多视图视频数据的方法，所述多视图视频数据包括来自表示多视图视频的编码数据流的多视图视频的至少一个视图的重构图像的至少一个部分，该处理方法包括：
[0013]‑
从重构图像的至少所述一个部分获得称为合成数据的至少一项数据，
[0014]‑
从重构图像的至少所述一个部分以及从所获得的所述合成数据合成未在所述编码数据流中编码的多视图视频的中间视图的至少一个图像。
[0015]根据本专利技术，可以在解码器或显示设备处合成多视图视频的中间视图，而不要求传输合成这些视图所需的数据。例如，在数据流解码过程之后，中间视图可以由位于多视图视频的回放链中在解码器之后的设备合成，或者在包含在解码器本身中的模块中合成。
[0016]有利的是，合成中间视图所需的数据是在解码器侧从已经传输到解码器的解码和重构视图的至少一个部分中获得的。这种视图可以是摄像机捕获或未捕获的场景的视图。
[0017]这种数据可以在解码器处获得，或者由独立于解码器的模块通过将由解码器解码和重构的视图作为输入来获得。因此，本专利技术降低了多视图视频的编码速率。
[0018]此外，与现有技术不同，由于在合成中使用的数据不再被编码，因此不再必须为该数据找到最佳编码。例如，在用于合成的数据对应于深度图的情况下，不再必须在多视图视频的纹理的编码成本和相关联的深度图的编码成本之间找到折衷。
[0019]多视图视频的解码也被简化，因为解码器不再需要解码用于合成中间视图的数据，而根据现有技术，中间视图被编码在数据流中。此外，解码器要处理的像素速率因此降低。
[0020]根据本专利技术的特定实施例，所述合成数据对应于深度图的至少一个部分。
[0021]根据本专利技术的特定实施例，数据处理方法还包括从编码数据流中解码被称为解码数据的至少一项数据，使得修改所获得的合成数据或控制合成数据的获得成为可能。
[0022]根据本专利技术的另一特定实施例，使用神经网络获得合成数据。
[0023]根据本专利技术的另一特定实施例，编码数据流的解码数据对应于合成数据的细化数据，且用于处理多视图视频数据的方法进一步包括根据解码后的细化数据修改所述合成数据。
[0024]本专利技术的这个特定实施例通过修改合成数据，增强了在解码器侧获得的合成数据，从而提高了中间视图合成的质量，这得益于在由解码器或编码器传输到实现数据处理方法的设备的数据流中编码的细化数据。细化数据可以被编码在多视图视频的编码数据流
中，或者被编码在另一个编码数据流中。
[0025]这里，解码细化数据只能对应于读取在对应于细化数据的流中编码的数据。或者，解码细化数据还可以包括对编码数据进行熵解码以获得细化数据。
[0026]根据又一变型，解码细化数据还可以包括重构细化数据的其他解码步骤，例如，细化数据的预测、逆变换等。
[0027]根据本专利技术的另一特定实施例，通过将细化数据加到合成数据来修改合成数据。
[0028]例如，在编码器侧，对应于从多视图视频的原始(未编码)图像获得的合成数据的最佳合成数据可以用于计算该最佳合成数据和从解码器处重构的图像的一个部分获得的合成数据之间的差。细化数据则对应于这样的差。在客户端侧，通本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于处理多视图视频数据的方法，所述多视图视频数据包括来自表示多视图视频的编码数据流(STR)的、多视图视频的至少一个视图的解码图像(20)的至少一个部分，所述处理方法包括：
‑
从解码图像的至少所述一个部分获得(21)被称为合成数据的至少一项数据，
‑
从解码图像的至少所述一个部分以及从所获得的所述合成数据合成(22)未在所述编码数据流中编码的多视图视频的中间视图的至少一个图像，并且其中所述合成数据对应于深度图的至少一个部分。2.根据权利要求1所述的数据处理方法，包括从所述编码数据流中解码至少一项数据，使得修改所获得的合成数据或控制所述合成数据的获得成为可能。3.根据权利要求1或权利要求2所述的用于处理多视图视频数据的方法，其中使用神经网络获得所述合成数据。4.根据权利要求2或3所述的用于处理多视图视频数据的方法，其中从所述编码数据流解码的所述至少一项数据是所述合成数据的细化数据，并且所述方法还包括根据所述解码后的细化数据修改所述合成数据。5.根据权利要求4所述的用于处理多视图视频数据的方法，其中通过将所述细化数据加到所述合成数据，来修改所述合成数据。6.根据权利要求2或3所述的用于处理多视图视频数据的方法，其中从所述编码数据流解码的所述至少一项数据是控制参数，所述方法还包括当获得所述合成数据时应用所述控制参数。7.根据权利要求1至3中...

【专利技术属性】
技术研发人员：J琼格，P尼基丁，P加鲁斯，
申请(专利权)人：奥兰治，
类型：发明
国别省市：