沉浸式视频制造技术

网络实现的视频处理服务器(100)通过处理来自多个视频流的至少一部分的视频数据来生成沉浸式视频子流，该多个视频流携带用于完全沉浸式视频场景的视频数据。基于在网络实现的服务器(100)与用户设备(200)之间的控制信道上接收到的表示用户当前视野的信息来执行该处理。沉浸式视频子流携带与完全沉浸式视频场景的子部分相对应的编码视频数据。

【技术实现步骤摘要】
【国外来华专利技术】
当前实施例大体涉及沉浸式视频。
技术介绍
沉浸式视频，也称为360度视频或球形或全景沉浸式视频，是捕获每个方向上的视图的真实世界场景的视频记录。在回放期间，观众控制观看方向，观看方向可以经由鼠标、键盘或头戴式显示器(HMD)上的头部运动跟踪传感器(例如以虚拟现实(VR)护目镜的形式)来控制。在沉浸式视频制作的示例中，具有重叠领域的多个相机捕获所有可能的视角。视频流在合成服务器中是对准和非失真的。每个视频流被逐帧处理。每个帧(通常称为纹理或图像纹理)被映射至多边形网格上。多边形网格是图像纹理在其几何顶点以2D或3D坐标系布置的多边形上的投影。如果服务器指定球形视图，则多边形以3D坐标布置。如果全景或圆顶投影足够，则多边形以2D坐标布置。基于校准数据计算多边形网格的坐标，该校准数据指定如何矫正、旋转和平移图像纹理。在全景圆柱投影的情况下，每个图像纹理被盘绕并且变形为平坦的圆柱视图，以创建更大的高分辨率视频帧，通常称为拼接帧或图像。最后，使用拼接帧，将每件事物放回到新的视频流。该过程导致覆盖高分辨率视频柱面的拼接视频。对于圆柱视频，最终分辨率可以是例如8000×3000像素。在进一步处理和递送之后，视频可以最终在360视频播放器客户端上渲染，360视频播放器客户端在视频播放器的环境内盘绕视频，以允许用户在显示器(例如智能电话、网站或HMD)上环顾她自己。基于中央处理单元(CPU)的视频拼接是相对耗时的。例如，在现代PC上拼接一分钟的每秒48帧(fps)的视频可能需要大约4-5分钟。使用单个图形处理单元(GPU)，相同的处理可以在大约1.5分钟内完成。如果同时使用多个GPU，所需时间降至约20秒。有两种捕获沉浸式视频的主要技术。第一种技术使用单个相机，用透镜(lense)和反光镜(mirror)生成球形视频或全景视频。所得的沉浸式视频通常具有非常低的分辨率。第二种技术使用多个相机来生成需要在后期制作期间拼接在一起的单独视频流。该方法产生更高的分辨率，原因在于多个高分辨率视频流被拼接在一起。沉浸式视频是通过将由多个单独的相机或使用多个透镜或反光镜的单个相机所产生的视频流拼接起来而创建的，使得可以覆盖整个360度场景。使用现有编解码器和协议对拼接视频进行编码并将其发送给用户设备或客户端。用户设备或客户端围绕视频播放器的圆柱或球形环境盘绕视频，以允许用户环视。这种现有技术存在许多显著的缺点。例如，用户设备或客户端需要相对强大，以便能够执行与盘绕沉浸式视频以及提取并在用户设备的显示器中渲染其部分相关联的处理。在移动设备上，这消耗了大量的电池电量。此外，沉浸式视频需要适应用户设备支持的分辨率及它们使用的编解码器和协议。这可能导致低分辨率，原因在于将整个360度场景发送给用户设备或客户端。因此，在沉浸式视频领域存在改进的空间。
技术实现思路
一般目的是提供对沉浸式视频的有效处理。本文描述的实施例满足该目的和其他目的。实施例的一方面涉及用于处理沉浸式视频的方法。该方法包括：通过基于在网络实现的视频处理服务器与用户设备之间的控制信道上接收到的表示用户当前视野的信息来处理视频数据，所述网络实现的视频处理服务器生成沉浸式视频子流，所述视频数据来自携带与完全沉浸式视频场景相对应的视频数据的多个视频流的至少一部分。沉浸式视频子流携带与完全沉浸式视频场景的子部分相对应的编码视频数据。实施例的另一方面涉及用于渲染沉浸式视频的方法。该方法包括在控制信道上向网络实现的视频处理服务器发送表示用户当前视野的信息。该方法还包括在视频输送信道上接收沉浸式视频子流，所述沉浸式视频子流携带与完全沉浸式视频场景的子部分相对应的编码视频数据。该方法还包括对沉浸式视频子流进行解码，以形成与完全沉浸式视频场景的子部分相对应的解码视频数据。所述方法附加地包括输出解码视频数据以供显示。实施例的附加方案涉及一种网络实现的视频处理服务器，被配置为：通过基于在所述网络实现的视频处理服务器与用户设备之间的控制信道上接收到的表示用户当前视野的信息处理视频数据，来生成沉浸式视频子流，所述视频数据来自携带与完全沉浸式视频场景相对应的视频数据的多个视频流的至少一部分。沉浸式视频子流携带与完全沉浸式视频场景的子部分相对应的编码视频数据。实施例的相关方案定义了一种网络实现的视频处理服务器，包括流生成器，用于通过基于在所述网络实现的视频处理服务器与用户设备之间的控制信道上接收到的表示用户当前视野的信息处理视频数据，来生成沉浸式视频子流，所述视频数据来自携带与完全沉浸式视频场景相对应的视频数据的多个视频流的至少一部分。沉浸式视频子流携带与完全沉浸式视频场景的子部分相对应的编码视频数据。实施例的另一方案涉及一种用户设备，被配置为在控制信道上向网络实现的视频处理服务器发送表示用户当前视野的信息。用户设备还被配置为在视频输送信道上接收沉浸式视频子流，所述沉浸式视频子流携带与完全沉浸式视频场景的子部分相对应的编码视频数据。用户设备还被配置为对沉浸式视频子流进行解码，以形成与完全沉浸式视频场景的子部分相对应的解码视频数据。用户设备附加地被配置为输出解码视频数据以供显示。实施例的相关方案定义了一种用户设备，包括输出，用于在控制信道上向网络实现的视频处理服务器发送表示用户当前视野的信息。用户设备还包括输入，用于在视频输送信道上接收沉浸式视频子流，所述沉浸式视频子流携带与完全沉浸式视频场景的子部分相对应的编码视频数据。用户设备还包括解码器，用于对沉浸式视频子流进行解码，以形成与完全沉浸式视频场景的子部分相对应的解码视频数据。用户设备附加地包括视频输出，用于输出解码视频数据以供显示。实施例的附加方案涉及一种包括指令的计算机程序，当由所述处理器执行所述指令时，使所述处理器：通过基于在所述网络实现的视频处理服务器与用户设备之间的控制信道上接收到的表示用户当前视野的信息处理视频数据，来生成沉浸式视频子流，所述视频数据来自携带与完全沉浸式视频场景相对应的视频数据的多个视频流的至少一部分。沉浸式视频子流携带与完全沉浸式视频场景的子部分相对应的编码视频数据。实施例的另一方案涉及一种包括指令的计算机程序，当由处理器执行时，所述指令使所述处理器在控制信道上向网络实现的视频处理服务器发送表示用户当前视野的信息。还使处理器在视频输送信道上接收沉浸式视频子流，所述沉浸式视频子流携带与完全沉浸式视频场景的子部分相对应的编码视频数据。还使处理器对沉浸式视频子流进行解码，以形成与完全沉浸式视频场景的子部分相对应的解码视频数据。附加地使处理器输出解码视频数据以供显示。相关方案定义包括上述计算机程序的载体。该载体是电子信号、光信号、电磁信号、磁信号、电信号、无线电信号、微波信号或计算机可读存储介质之一。当前实施例将计算复杂的视频数据拼接从用户设备移至网络实现的视频处理服务器，在网络实现的视频处理服务器中基于用户当前视野执行处理以生成沉浸式视频子流。由此，用户设备不再需要接收携带表示整个360度视频场景的视频数据的沉浸式视频流。相反，可以直接从沉浸式视频子流获得要在用户显示器上示出的内容，或可以容易地从沉浸式视频子流提取要在用户显示器上示出的内容。附图说明通过参考以下结合附图的描述，能够最佳地理解实施例及其更多的目的和优点，在本文档来自技高网...

【技术保护点】
一种用于处理沉浸式视频的方法，所述方法包括：通过基于在网络实现的视频处理服务器(100)与用户设备(200)之间的控制信道(4)上接收到的表示用户当前视野的信息来处理视频数据，所述网络实现的视频处理服务器(100)生成(S1)沉浸式视频子流，所述视频数据来自携带与完全沉浸式视频场景相对应的视频数据的多个视频流的至少一部分，所述沉浸式视频子流携带与所述完全沉浸式视频场景的子部分相对应的编码视频数据。

【技术特征摘要】
【国外来华专利技术】1.一种用于处理沉浸式视频的方法，所述方法包括：通过基于在网络实现的视频处理服务器(100)与用户设备(200)之间的控制信道(4)上接收到的表示用户当前视野的信息来处理视频数据，所述网络实现的视频处理服务器(100)生成(S1)沉浸式视频子流，所述视频数据来自携带与完全沉浸式视频场景相对应的视频数据的多个视频流的至少一部分，所述沉浸式视频子流携带与所述完全沉浸式视频场景的子部分相对应的编码视频数据。2.根据权利要求1所述的方法，还包括：所述网络实现的视频处理服务器(100)接收(S10)携带与所述完全沉浸式视频场景相对应的视频数据的所述多个视频流。3.根据权利要求1或2所述的方法，还包括：所述网络实现的视频处理服务器(100)通过所述控制信道(4)接收(S20)所述信息；以及所述网络实现的视频处理服务器(100)通过视频输送信道(5)向所述用户设备(200)发送(S21)所述沉浸式视频子流。4.根据权利要求1至3中任一项所述的方法，其中，所述网络实现的视频处理服务器(100)生成(S1)所述沉浸式视频子流包括：所述网络实现的视频处理服务器(100)基于所述信息选择(S30)所述多个视频流的子部分；以及所述网络实现的视频处理服务器(100)通过将来自所述多个视频流的所选择的子部分的视频数据拼接在一起来生成(S31)所述沉浸式视频子流。5.根据权利要求4所述的方法，其中，所述网络实现的视频处理服务器(100)选择(S30)所述子部分包括：所述网络实现的视频处理服务器(100)基于所述信息，选择(S30)所述多个视频流中携带与在所述用户当前视野内的沉浸式视频场景相对应的视频数据的视频流。6.根据权利要求4所述的方法，其中，所述网络实现的视频处理服务器(100)选择(S30)所述子部分包括：所述网络实现的视频处理服务器(100)基于所述信息，选择(S30)所述多个视频流中携带与比所述用户当前视野宽但小于所述完全沉浸式视频场景的场景相对应的视频数据的视频流。7.根据权利要求6所述的方法，还包括：所述网络实现的视频处理服务器(100)分析(S40)所述多个视频流的视频数据，并识别所分析的视频数据中的目标内容，其中所述网络实现的视频处理服务器(100)选择(S30)所述子部分包括：所述网络实现的视频处理服务器(100)基于所述信息，选择(S41)所述多个视频流中携带与所述用户当前视野内的沉浸式视频场景相对应的视频数据的视频流；以及所述网络实现的视频处理服务器(100)选择(S42)携带与所识别的目标内容相对应的视频数据的至少一个视频流。8.根据权利要求1至3中任一项所述的方法，其中，所述网络实现的视频处理服务器(100)生成(S1)所述沉浸式视频子流包括：所述网络实现的视频处理服务器(100)将来自所述多个视频流的视频数据拼接(S50)在一起以形成所述完全沉浸式视频场景；所述网络实现的视频处理服务器(100)基于所述信息从所述多个视频流提取(S51)所拼接视频数据的子部分；以及所述网络实现的视频处理服务器(100)基于所提取的所述所拼接视频数据的所提取的子部分来生成(S52)所述沉浸式视频子流。9.根据权利要求8所述的方法，其中，所述网络实现的视频处理服务器(100)提取(S51)所述子部分包括：所述网络实现的视频处理服务器(100)基于所述信息，从所述多个视频流提取(S51)与所述用户当前视野内的沉浸式视频场景相对应的所述所拼接视频数据的子部分。10.根据权利要求1至9中任一项所述的方法，还包括：所述网络实现的视频处理服务器(100)通过设备到服务器媒体信道(6)接收(S60)传感器数据；所述网络实现的视频处理服务器(100)基于所述传感器数据生成(S61)交互媒体内容；以及所述网络实现的视频处理服务器(100)将所述交互媒体内容插入(S62)所述沉浸式视频子流。11.一种渲染沉浸式视频的方法，所述方法包括：在控制信道(4)上向网络实现的视频处理服务器(100)发送(S70)表示用户当前视野的信息；在视频输送信道(5)上接收(S71)沉浸式视频子流，所述沉浸式视频子流携带与完全沉浸式视频场景的子部分相对应的编码视频数据；对所述沉浸式视频子流进行解码(S72)，以形成与所述完全沉浸式视频场景的所述子部分相对应的解码视频数据；以及输出(S73)解码视频数据以供显示。12.根据权利要求11所述的方法，还包括：从头部跟踪传感器或眼睛跟踪传感器接收(S80)所述信息。13.根据权利要求11或12所述的方法，其中，接收(S71)所述沉浸式视频子流包括：在所述视频输送信道(5)上接收(S71)所述沉浸式视频子流，所述沉浸式视频子流携带与位于由所述信息表示的所述用户当前视野内的沉浸式视频场景相对应的编码视频数据。14.根据权利要求11或12所述的方法，其中，接收(S71)所述沉浸式视频子流包括：在所述视频输送信道(5)上接收(S71)所述沉浸式视频子流，所述沉浸式视频子流携带与比所述用户当前视野宽但小于所述完全沉浸式视频场景的沉浸式视频场景相对应的编码视频数据，所述方法还包括：基于所述信息，提取(S90)与所述用户当前视野内的沉浸式视频场景相对应的所述解码视频数据的子部分，其中输出(S73)解码视频数据包括输出(S73)所述解码视频数据的所述子部分以供显示。15.根据权利要求11至14中任一项所述的方法，还包括通过设备到服务器媒体信道(6)将传感器数据发送(S100)给所述网络实现的视频服务器(100)，其中接收(S71)所述沉浸式视频子流包括在所述视频输送信道(5)上接收(S71)携带所述编码视频数据和基于所述传感器数据生成的交互内容的所述沉浸式视频子流。16.一种网络实现的视频处理服务器(100)，被配置为：通过基于在所述网络实现的视频处理服务器(100)与用户设备(200)之间的控制信道(4)上接收到的表示用户当前视野的信息处理视频数据，来生成(S1)沉浸式视频子流，所述视频数据来自携带与完全沉浸式视频场景相对应的视频数据的多个视频流的至少一部分，所述沉浸式视频子流携带与所述完全沉浸式视频场景的子部分相对应的编码视频数据。17.根据权利要求16所述的服务器，其中，所述网络实现的视频处理服务器(100)被配置为接收携带与所述完全沉浸式视频场景相对应的视频数据的所述多个视频流。18.根据权利要求16或17所述的服务器，其中所述网络实现的视频处理服务器(100)被配置为通过所述控制信道(4)接收所述信息；以及所述网络实现的视频处理服务器(100)被配置为通过视频输送信道(5)向所述用户设备(200)发送所述沉浸式视频子流。19.根据权利要求16至18中任一项所述的服务器，其中所述网络实现的视频处理服务器(100)被配置为基于所述信息选择所述多个视频流的子部分；所述网络实现的视频处理服务器(100)被配置为通过将来自所述多个视频流的所选择的子部分的视频数据拼接在一起来生成所述沉浸式视频子流。20.根据权利要求19所述的服务器，其中，所述网络实现的视频处理服务器(100)被配置为：基于所述信息，选择所述多个视频流中携带与在所述用户当前视野内的沉浸式视频场景相对应的视频数据的视频流。21.根据权利要求19所述的服务器，其中，所述网络实现的视频处理服务器(100)被配置为：基于所述信息，选择所述多个视频流中携带与比所述用户当前视野更宽但小于所述完全沉浸式视频场景的沉浸式视频场景相对应的视频数据的视频流。22.根据权利要求21所述的服务器，其中所述网络实现的视频处理服务器(100)被配置为...

【专利技术属性】
技术研发人员：约尼·梅恩佩，
申请(专利权)人：瑞典爱立信有限公司，
类型：发明
国别省市：瑞典;SE