将复合视频流中的视频流与元数据组合制造技术

可以提供一种组合器系统，用于在压缩域中通过将相应视频流作为（多个）可独立解码的空间片段包括在复合视频流中来将不同媒体源的视频流组合在复合视频流中。该组合器系统可以生成描述复合视频流中的空间片段的组成的组成元数据和包括相应视频流的标识符的标识元数据。接收器系统可以基于组成元数据和复合视频流的解码来获得相应视频流的解码视频数据，并基于标识元数据来标识用于处理解码视频数据的进程。因此，空间片段的组成可以动态地改变，同时仍然允许接收器设备正确地处理空间片段。段。段。

【技术实现步骤摘要】
【国外来华专利技术】将复合视频流中的视频流与元数据组合


[0001]本专利技术涉及一种用于将视频流组合成复合视频流的组合器系统和计算机实施的方法。本专利技术进一步涉及一种用于接收和解码视频流的接收器设备和计算机实施的方法。本专利技术进一步涉及一种计算机可读介质，该计算机可读介质包括用于使处理器系统执行计算机实施的方法的计算机可读指令。本专利技术进一步涉及一种计算机可读介质，该计算机可读介质包括元数据以供接收器设备使用。

技术介绍

[0002]如视频内容和音频内容等媒体内容通常以数字形式传递给用户。如果媒体内容具有时间性，并且具体地与指示媒体内容如何随时间播放的时间线相关联，则这种数字形式通常被称为媒体流。
[0003]在许多应用中，可以存在多个客户端设备，每个客户端设备经由电信网络将视频传输到另一个客户端设备，该另一个客户端设备进而可以经由电信网络接收相应视频。例如，在基于视频的多用户通信中，客户端设备既可以通过将用户的实况视频记录作为视频流传输到其他客户端设备来充当发射器设备，也可以通过接收其他客户端设备的视频流来充当接收器设备。接收到的视频流然后可以由客户端设备例如同时在视频马赛克中或者作为所谓的视频化身在基于计算机图形的环境中解码和显示。此外，通常将其他视频作为这种多用户通信（例如，当用户一起观看电影时，或者当一个用户与其他用户共享视频时）的一部分来传递。另一个示例是安全应用，其中多个安全相机各自经由电信网络将相应视频传输到接收器设备，该接收器设备例如同时在视频马赛克中接收视频、对视频进行解码并且在显示器上显示视频。/>[0004]接收器设备接收多个发射器设备的视频流的视频流式传输的问题在于，接收器设备同时接收和解码多个视频流可能具有挑战性。例如，如低端智能电话等低端接收器设备可能仅具有仅允许对一个视频流进行硬件解码的一个硬件解码器。其他流可能是软件解码的，这通常在计算上（远远）更密集。在存在多于两个视频流（例如，在会议呼叫中，对于其他参与者中的每一个都存在一个视频流）的情况下，此问题可能会加剧。
[0005]这个问题可以通过以下方式来解决：将多个视频流组合成复合视频流来解决，并且具体地使用所谓的基于瓦片的视频编码技术[1]，其中，单独视频流作为一个或多个可独立解码的视频流被包括在复合视频流中。视频流因此可以在复合视频流中被表示为一个瓦片（tile）或一组瓦片。这种
‘
瓦片
’
在这里和别处也可以被称为
‘
空间片段
’
，复合视频流在这里和别处也可以被称为
‘
组合的视频流
’
，并且复合视频流中的表示视频流的（多个）瓦片可以被称为复合视频流的
‘
子流
’
。相反，如果将这种单个复合视频流传输到接收器设备，则可以极大地促进接收器设备进行视频解码，因为单个复合视频流可以由单个硬件或软件解码器实例解码。
[0006]例如，[2]描述了一种多点控制单元（MCU），其可以分解和重组视频会议应用中的视频流，以便为每个客户端创建自定义视频流，该自定义视频流仅包括将由该客户端渲染
以充分利用可用带宽的人员。它描述了在高效视频编码（HEVC）中如何修改编码器以实现符合HEVC的重组操作，以及编码器如何在比特流中的高语法级别上工作。因此，组合视频流可能不需要熵编码或解码。
[0007]不利的是，[2]向接收器设备提供复合视频流，其中视频流的组成是固定的，并且其中接收器设备除了知道单独视频流表示视频流之外，关于这些视频流其他一无所知。例如，不知道哪个视频流表示哪个特定参与者。因此，[2]可能不适合将复合视频流传递到视频流的组成动态地变化的接收器设备。可能需要这种组成的动态变化。
[0008]例如，可以考虑使用复合视频流来向接收器设备传递不同类型的视频，这可能在一个时刻包括YouTube和视频会议参与者的视频，在另一时刻包括两个视频会议参与者的视频，而在又一个时刻包括另一视频会议参与者的视频和接收器设备的用户的所谓
‘
自视图
’
。因此可能需要调整对相应视频的渲染。例如，YouTube视频可能会以全屏或大格式播放，而自视图可能会在较小的覆盖窗口中显示。另一示例是在多任务环境中，YouTube视频可以通过YouTube应用播放，而视频会议参与者的视频可以通过分开的视频会议应用播放。
[0009]参考文献[1]K.Misra等(2013).AnOverviewofTilesinHEVC[HEVC中的瓦片概述].IEEEJournalofSelectedTopicsinSignalProcessing[IEEE信号处理精选主题期刊],第7卷,第6期,第969
‑
977页.[2]Feldmann,C.,Bulla,C.,&Cellarius,B.(2013年4月).Efficientstream
‑
reassemblingforvideoconferencingapplicationsusingtilesinHEVC[使用HEVC中的瓦片对视频会议应用进行高效流重组].Proc.ofInternationalConferencesonAdvancesinMultimedia(MMEDIA)[国际多媒体（MMEDIA）进展会议的会议记录],第130
‑
135页。

技术实现思路

[0010]虽然可以静态地定义、例如在MCU与接收器设备或在接收器设备上运行的应用之间静态地定义例如哪个特定参与者的哪个特定视频流被包括在复合视频流的哪个特定部分中，例如，在左手侧或右手侧处，但这在动态地生成复合视频流时没有提供足够的灵活性。
[0011]有利的是，在考虑到子流的组成可能动态地变化（例如，一个或多个子流的分辨率和/或形状发生变化、向复合视频流中添加子流和/或从中删除子流）的同时，能够以不同的方式处理复合视频流的不同子流，例如，通过不同应用的进程。
[0012]根据本专利技术的第一方面，可以提供一种用于将多个视频流组合成复合视频流的组合器系统。该组合器系统可以包括：
‑
网络接口子系统，该网络接口子系统用于至少接收包括第一媒体源的第一视频的第一视频流和包括第二媒体源的第二视频的第二视频流；
‑
处理器子系统，该处理器子系统可以被配置成：
‑
在压缩域中，组合该第一视频流和该第二视频流以获得复合视频流，其中，该复合视频流是空间分段的复合视频流，并且其中，所述组合包括将每个相应视频流作为一个或多个可独立解码的空间片段包括在该空间分段的复合视频流中；
‑
生成组成元数据，该组成元数据描述该复合视频流中的这些空间片段的组成；
‑
生成标识元数据，该标识元数据包括该第一视频流的第一标识符和该第二视频流的第二标识符，其中，该第一标识符和该第二标识符唯一地标识该复合视频流中的这些相应视频流；
‑
经由该网络接口子系统，将本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于将多个视频流组合成复合视频流的组合器系统，该组合器系统包括：
‑
网络接口子系统，该网络接口子系统用于至少接收包括第一媒体源的第一视频的第一视频流和包括第二媒体源的第二视频的第二视频流；
‑
处理器子系统，该处理器子系统被配置成：
‑
在压缩域中，组合该第一视频流和该第二视频流以获得复合视频流，其中，该复合视频流是空间分段的复合视频流，并且其中，所述组合包括将每个相应视频流作为一个或多个可独立解码的空间片段包括在该空间分段的复合视频流中；
‑
生成组成元数据，该组成元数据描述该复合视频流中的这些空间片段的组成；
‑
生成标识元数据，该标识元数据包括该第一视频流的第一标识符和该第二视频流的第二标识符，其中，该第一标识符和该第二标识符唯一地标识该复合视频流中的这些相应视频流；
‑
经由该网络接口子系统，将该复合视频流流式传输到该接收器设备，并将该组成元数据和该标识元数据提供给该接收器设备。2.根据权利要求1所述的组合器系统，其中，该处理器子系统被配置成将该标识元数据链接到该组成元数据，以便将该第一标识符和该第二标识符链接到该复合视频流中的相应空间片段。3.根据权利要求1或2所述的组合器系统，其中，该处理器子系统被配置成将该标识元数据包括在该组成元数据和/或该复合视频流中。4.根据权利要求1至3中任一项所述的组合器系统，其中，该处理器子系统被配置成将该组成元数据和/或该标识元数据包括作为以下各项的至少一项或包括在以下各项的至少一项中：
‑
包括作为会话管理期间在信令中交换的属性；
‑
包括作为经由数据通道与该接收器设备交换的元数据；
‑
包括在元数据流中；和/或
‑
包括在该复合视频流的标头中。5.根据权利要求1至4中任一项所述的组合器系统，其中，该第一标识符和/或该第二标识符包括以下各项中的至少一项：
‑
相应视频流的源的标识符；
‑
相应视频流的目的地的标识符；
‑
相应视频流的内容的标识符；以及
‑
已生成或打算处理该相应视频流的应用的标识符。6. 根据权利要求1至5中任一项所述的组合器系统，其中，该处理器子系统被配置成经由该网络接口子系统从以下各项中的至少一项接收该第一标识符和该第二标识符中的至少一个：
‑
发射器设备，该发射器设备将该相应视频流流式传输到该组合器系统；以及
‑
该接收器设备，该接收器设备作为该接收器设备的流请求的一部分。7.根据权利要求1至6中任一项所述的组合器系统，其中，该处理器子系统被配置成基于该接收器设备对该相应视频流的流请求而经由该网络接口子系统向发射器设备请求该第一视频流和该第二视频流中的至少一个。
8. 根据权利要求7所述的组合器系统，其中，该流请求接收自以下各项中的至少一项：
‑
会话管理系统，该会话管理系统从该接收器设备接收该流请求并将该流请求转发到该组合器系统；以及
‑
该接收器设备。9.根据以上权利要求中任一项所述的组合器系统，其中，该组合器系统由电信网络的边缘节点或边缘节点系统来体现。10.一种用于接收和处理第一媒体源的第一视频和第二媒体源的第二视频的接收器设备，该接收器设备包括：
‑
网络接口，该网络接口用于接收：
‑
复合视频流，其中，该复合视频流是至少包括第一视频流和第二视频流的空间分段的复合视频流，其中，每个视频流作为一个或多个可独立解码的空间片段被包含在该复合视...

【专利技术属性】
技术研发人员：H，
申请(专利权)人：荷兰应用自然科学研究组织，
类型：发明
国别省市：