视频流传输概念制造技术

呈现了视频流传输概念。根据第一方面，视频流被形成为多层数据流，其中通过从视频内容的编码版本进行复制来形成多层数据流的一个或多个层的集合，同时通过层间预测在多层数据流的预定层的至少一部分画面中合成至少一个视频的构图。根据第二方面，层间预测被用于通过插入替代画面来替代新包含的视频的另外缺失的参考画面，或者通过运动补偿预测的参考缺失的画面的新包含的视频的部分通过层间预测被替代。根据第三方面，插入到合成视频流中以便通过时间预测从合成数据流的非输出部分进行复制来合成视频内容的构图的输出画面被插入到合成数据流中，使得输出画面按照呈现时间顺序而不是编码画面顺序布置在数据流中。

【技术实现步骤摘要】
【国外来华专利技术】视频流传输概念
本申请涉及适合于从视频内容的编码版本中组成视频流的视频流传输概念。
技术介绍
有许多将多个视频的合成形式同时传输并显示给用户的应用和用例。虽然第一种方法是发送独立编码的所有视频，以便同时使用多个解码器，并且通过一旦被解码就布置所有视频来显示合成视频，但问题在于许多目标设备仅包含单个硬件视频解码器。这种设备的示例是低成本电视机和机顶盒(STB)或电池供电的移动设备。为了从多个视频生成单个视频比特流，第二种方法是像素域视频处理(例如，诸如拼接、合并或混合的构成)，其中不同的视频比特流被转码为单个比特流以发送到目标设备。转码可以使用级联的视频解码器和编码器来实现，其需要对输入比特流进行解码，从像素域中的输入比特流合成新视频并将新视频编码为单个比特流。该方法还可以被称为包括未压缩域中的处理的传统完全转码。然而，完全转码有许多缺点。首先，视频信息的重复编码可能通过附加编码伪像引入信号质量劣化。第二和更重要的是，通过对输入和输出视频比特流的多重解码和后续编码，完全转码在计算上是复杂的。因此，完全转码方法不能很好地扩展。使用高效率视频编码(HEVC)[1]，在[2]中引入了一种技术，其允许在压缩域中实现视频合成以用于单层视频编解码器。但是，存在一些使用可扩展视频编码可能是有利的应用。在[3]中描述了一种技术，该技术允许在压缩域中进行视频拼接以获得可用于诸如多方视频会议之类的应用的可扩展编码视频。以下描述视频会议应用中出现的问题。特别地，图23表示多方视频会议的典型视频组成。组合的视频的画面(其中之一在图23中示例性地示出)被在空间上拼接在一起。在图23的场景中，讲话者被显示在输出画面的较大画面区域900中，而非讲话者被显示在输出画面的较小区域902和904中。图24示例性地示出了如何通过视频处理906基于表示区域900至904中所示的各个视频的编码数据流来获得组成视频比特流。在图24中，数据流908表示其中编码了在区域900中显示的视频(即，关于讲话者的视频)的数据流，而图24中所示的数据流910和912在其中编码了关于分别在区域902和904中显现的非讲话者的视频。为了说明视频被编码成数据流908至912的方式，图24示出了这些视频的画面，即，其属于两个连续时刻t0和t1并且分别属于两个不同的层L0和L1的画面。图24中所示的箭头表示画面之间的预测依赖性。可以看出，使用时间预测(水平误差)和层间预测(垂直误差)将视频编码成数据流908至912。以前在视频会议系统中已经使用了诸如H.264/SVC的可扩展视频编码标准，并且这些可扩展视频编码标准已被证明是非常有价值的，期望SHVC在该领域中也是如此。根据[3]中概述的技术，视频处理906可以允许通过在压缩域中拼接所有输入比特流908至912来从多个比特流908至912生成单个可扩展比特流。在图24中在914处示出了所产生的单个可扩展比特流，也是通过示出由其四个画面组成的部分，即，属于不同时刻对和层对的画面。根据[3]通过视频处理906应用的技术涉及重写诸如片头和参数集的高级语法中的字段对，使得来自不同输入流908至912的每个层中的每个画面被组合为包含来自所有流的数据的每个层的单个画面。备选地，如果并非所有输入流908和912具有相同数量的层，如图25中所示，其中输入比特流910和912被说明性地示出为单层，则输出比特流914的较低层，即在图25的情况下的层L0，没有来自后面的数据流910和912的对应数据。因此，将不会利用来自所有输入比特流908至912的数据来生成输出数据流914的这些较低层(即，图25中的L0)，而是根据需要将一些伪数据添加到该层L0的画面，如图25中的白框916所示。对于[3]中描述的方法，每当发生布局改变事件(例如，在讲话者改变期间)，结果，画面中的块的大小改变，并且出现显著的比特率峰值。更具体地说，需要发送帧内解码刷新(1DR)或I帧来改变画面布局或大小。在布局改变事件中，对于将角色从讲话者切换到非讲话者或反之亦然的比特流，IDR是必需的，这导致瞬间显著的比特率增加。这在图26中示出，图26示出了输出比特流914，这里示例性地示出了其包含四个连续时刻t0至t3的部分。如图26所示，当发生这样的布局改变事件时(在图26的情况下是时刻t2)，时间预测被禁用918，从该时间起，讲话者改变，即，非讲话者视频之一中的讲话者视频改变其在合成视频画面内的位置或区域。然而，禁用需要传输相对更多的独立于其他画面编码的帧内数据，并且增加了在这样的时间点传输的数据，这在很多使用情况(例如，实时通信)下是负担。
技术实现思路
因此，本专利技术的目的是提供一种用于视频流的视频流传输的概念，该视频流由视频内容的编码版本组成，该视频内容更高效，例如在没有比特率消耗的惩罚的情况下或在有很少的比特率消耗的惩罚的情况下，在改变组成的自由方面更高效。该目的是通过本申请的独立权利要求的主题来实现的。根据第一方面，通过如下操作更有效地呈现用于传输由视频内容的编码版本组成的视频流的视频流传输概念：将视频流形成为多层数据流，其中通过从视频内容的编码版本进行复制来形成多层数据流的一个或多个层的集合，同时通过从所述一个或多个层的集合的至少一部分进行层间预测在多层数据流的预定层的至少一部分画面中合成至少一个视频的构图。换句话说，编码到视频内容的编码版本的相应部分中的至少一个视频被传送或复用到多层数据流的一个或多个层的集合中，以形成一种视频流传输装置可以从其酌情合成构图的“存储器”，而对于构图几乎没有任何限制。通过复制(即，在压缩域或编码域中)形成多层数据流的一个或多个层的集合可以使得预定层是所述一个或多个层中的一个，即最高层，或者与所述一个或多个层分离。在任何情况下，为了合成构图而要被继承到预定层的画面中的视频区域可以利用所有可用的用于层间预测的工具，诸如上采样、滤波等等。根据第二方面，通过如下操作更有效地呈现用于传输由视频内容的编码版本组成的视频流的视频流传输概念：在多层视频流内传送通过从视频内容的编码版本的第一部分进行复制而得到的基础层以及通过从视频内容的编码版本的第二部分的一部分进行复制而得到的一个或多个增强层，其中所述第一部分中以基本质量编码了视频的集合，所述第二部分中以增强的质量编码了视频，并且所述第二部分的所述部分与视频的真子集(propersubset)有关。每当在预定时刻发生真子集的改变，使得真子集新包含在预定时刻之前未被真子集包含的视频或新包含的视频时，那么层间预测被用于通过插入替代画面来替代新包含的视频的另外缺失的参考画面，或者替代通过运动补偿预测的参考在预定时刻之前缺失的画面的新包含的视频的部分。通过这种措施，一方面通过不限制在视频的帧内编码画面上发生的预定时刻而在增强的质量下视频的当前传输的子集的改变的质量下降与另一方面具有自由选择预定时刻的时间位置的自由度的益处之间的权衡可以得到改善，因为质量下降保持为低。附加开销是相对较低的，因为基础层仅仅通过从其中编码了基本质量的视频集合的视频内容的编码版本的第一部分进行复制而得到。此外，使用开放GOP结构(尽管在这样的结构中不存在画面)，甚至可以将视频内容编码到形成构图的基础的编码版本中，其中过去的时间本文档来自技高网...

【技术保护点】
一种视频流传输装置(10)，用于从包含一个或多个视频(16)的视频内容(14)的编码版本(12)中合成视频流(20)，所述编码版本包括对于每个视频的该相应视频(16)被编码成的部分(18)；所述视频流传输装置被配置为通过以下操作将所述视频流(20)形成为多层数据流：通过从所述视频内容(14)的编码版本(12)进行复制来形成所述多层数据流的一个或多个层的集合(26)；以及使用来自所述一个或多个层的集合(26)的至少一部分的层间预测，在所述多层数据流的预定层的画面的至少一部分中合成至少一个视频(16)的构图。

【技术特征摘要】
【国外来华专利技术】2015.05.12 EP PCT/EP2015/0604801.一种视频流传输装置(10)，用于从包含一个或多个视频(16)的视频内容(14)的编码版本(12)中合成视频流(20)，所述编码版本包括对于每个视频的该相应视频(16)被编码成的部分(18)；所述视频流传输装置被配置为通过以下操作将所述视频流(20)形成为多层数据流：通过从所述视频内容(14)的编码版本(12)进行复制来形成所述多层数据流的一个或多个层的集合(26)；以及使用来自所述一个或多个层的集合(26)的至少一部分的层间预测，在所述多层数据流的预定层的画面的至少一部分中合成至少一个视频(16)的构图。2.根据权利要求1所述的视频流传输装置，其中，所述视频内容的编码版本由每个视频的一个单独的视频数据流组成。3.根据权利要求1或2所述的视频流传输装置，其中，所述至少一个视频中的至少一个视频的所述部分以分层的方式编码了相应的视频。4.根据权利要求1至3中任一项所述的视频流传输装置，其中，所述视频流传输装置被配置为仅从所述编码版本的一个部分形成所述一个或多个层的集合(26)的每个层，并且如果所述一个部分已经以分层的方式编码了相应的视频，则仅从所述一个部分的一个层形成所述一个或多个层的集合(26)的每个层。5.根据权利要求1至4中任一项所述的视频流传输装置，其中，所述视频流传输装置被配置为从所述视频内容的编码版本复制运动补偿参数和残差数据。6.根据权利要求1至5中任一项所述的视频流传输装置，其中，所述视频流传输装置被配置为向所述多层数据流提供偏移参数，所述偏移参数指示所述预定层的画面的所述部分相对于被参考部分的位置的偏移，其中通过层间预测从所述被参考部分合成所述预定层的画面的所述部分。7.根据前述权利要求中任一项所述的视频流传输装置，其中，所述一个或多个层的集合的数量超过两个，并且所述视频流传输装置被配置为使得所述预定层是所述一个或多个层的集合中的一个，并且所述预定层的画面的所述部分在空间上邻近通过从所述视频内容的编码版本进行复制而形成的所述预定层的画面的另一部分。8.根据权利要求1至6中任一项所述的视频流传输装置，其中，所述视频流传输装置被配置为使得所述预定层与所述一个或多个层的集合分离，并相对于所述一个或多个层的集合形成较高层。9.一种视频会议系统，包括根据权利要求1至9中任一项所述的视频流传输装置，其中，每个视频属于视频会议的相应参与者。10.一种视频流传输装置(100)，包括：输入(102)，用于接收视频内容(114)的编码版本(112)，所述视频内容的编码版本(112)包括以基本质量编码了视频集合(1161-116N)的第一部分(1141)以及以增强的质量编码了视频的第二部分(1142)；以及组合器(104)，被配置为以增强的质量组合对视频(116)的子集(121)的构图加以表示的视频流(120)，使得所述视频流(120)是多层视频流，其中，所述组合器被配置为通过从所述视频内容(114)的编码版本(112)的第一部分(1141)进行复制来形成所述多层视频流的一个或多个基础层(L0)，并且通过将与所述视频的子集相关的所述视频内容(114)的编码版本(112)的第二部分(1142)的一部分复制到一个或多个增强层(L1)来形成所述多层视频流的一个或多个增强层(L1)，其中所述组合器(104)支持所述子集(121)在预定时刻的改变，使得所述子集(121)通过以下操作新包含在所述预定时刻之前所述子集(121)未包括的视频(116)或者新包含的视频：通过以下操作将复制到所述一个或多个增强层(L1)中的所述编码版本的第二部分的所述部分未包括的新包含的视频的参考画面替代为替代画面，其中所述参考画面经由运动预测被复制到所述一个或多个增强层(L1)中的所述编码版本的第二部分的所述部分包括的新包含的视频的参考画面所参考：将所述替代画面插入到所述多层视频流中，将参考画面的时间预测重定向以参考所述替代画面并且基于所述基础层、经由层间预测用参考画面的近似来填充所述替代画面；或者从所述基础层，经由层间预测将所述编码版本的第二部分的所述部分所包括的以被复制到所述一个或多个增强层(L1)中的新包含的视频的部分替代为被替代部分的近似，其中所述一个或多个增强层(L1)经由时间预测来参考复制到所述一个或多个增强层(L1)中的所述编码版本的第二部分的所述部分未包括的新包含的视频的参考画面。11.根据权利要求10所述的视频流传输装置，其中，所述替代画面是被标记为在播放所述视频流(120)时不输出的非输出画面。12.根据权利要求10所述的视频流传输装置，其中，所述被参考画面是在所述预定时刻之前按照呈现顺序的最后一个，并且所述替代画面是被标记为在播放所述视频流(120)时输出的输出画面。13.根据权利要求10所述的视频流传输装置，其中，所述组合器被配置为：针对与所述预定时刻之前的呈现时刻相关并且复制到所述一个或多个增强层(L1)中的所述编码版本的第二部分的所述部分未包括的新包含的视频的每个画面，以将相应被参考画面替代为从所述基础层的相应部分通过层间预测编码的参考画面的方式，在所述多层视频流中插入替代画面，其中根据所述视频内容的编码版本，所述新包含的视频的每个画面经由时间预测被与所述预定时刻之后的呈现时刻相关的新包含的视频的任何画面所参考。14.根据权利要求10所述的视频流传输装置，其中，所述组合器(104)被配置为：在所述多层视频流中，通过使用来自所述基础层的相应部分的层间预测的编码来替代新包含的视频的每个部分，其中所述新包含的视频通过根据所述视频内容的编码版本的时间预测来参考与在所述预定时刻之前的呈现时刻相关的新包含的视频的任何画面。15.根据权利要求10至14中任一项所述的视频流传输装置，其中，所述视频内容的编码版本的第二部分由每个视频的一个视频数据流组成。16.根据权利要求10至15中任一项所述的视频流传输装置，其中，所述视频内容的编码版本的第一部分包括如下视频数据流：所述视频数据流已经以在空间上拼接在一起的方式编码了视频的画面。17.根据权利要求10至15中任一项所述的视频流传输装置，其中，所述视频内容的编码版本的第一部分由每个视频的一个视频数据流组成。18.根据权利要求10至17中任一项所述的视频流传输装置，其中，每个视频与全景视图的相应部分相关联，并且组合器被配置为使得所述子集包含与全景视图的彼此相邻的部分相关联的视频，以覆盖从所述预定时刻之前到所述预定时刻之后移位的全景视图的连续部分。19.根据权利要求18所述的视频流传输装置，其中，所述编码版本的第一部分已经以在空间上拼接在一起的方式编码了视频的画面，以导致显示所述全景视图的全景画面。20.根据权利要求18或19所述的视频流传输装置，其中，所述视频内容的编码版本的第一部分已经编码了视频(1161-116N)的时变集合，所述视频(1161-116N)的时变集合包括所述子集并且包括充分在所述预定时刻之前的新包含的视频以包含被参考画面的画面内容。21.根据权利要求10至20中任一项所述的视频流传输装置，其中，所述组合器(104)被配置为：把来自所述第一部分的运动补偿预测参数和残差数据复制到所述基础层中。22.根据权利要求10至21中任一项所述的视频流传输装置，其中，所述组合器(104)被配置为：把来自所述视频内容的编码版本的第二部分的所述部分的运动补偿预测参数和残差数据复制到所述一个或多个增强层中。23.根据权利要求10至22中任一项所述的视频流传输装置，其中，所述组合器(104)被配置为使得所述一个或多个增强层的数量为一。24.根据权利要求10至23中任一项所述的视频流传输装置，其中，在所述预定时刻之前和之后，由所述子集(121)包含至少一个视频，根据所述预定时刻之前和之后的构图改变所述至少一个视频的位置，其中所述组合器(104)被配置为：用所述替代画面或从所述至少一个视频的被替代的参考画面通过时间预测编码和填充以考虑到位置改变的另外的替代画面来替代所述至少一个视频的属于所述预定时刻之前的呈现时刻的参考画面，其中所述参考画面被所述至少一个视频的属于所述预定时刻之后的呈现时刻的参考画面所参考。25.根据权利要求19至22中任一项所述的视频流传输装置，其中，所述组合器(104)被配置为使得所述一个或多个增强层的数量大于一，并且所述组合器被配置为通过从较低增强层的集合进行复制来导出所述一个或多个增强层中的复制增强层的集合，并且通过从所述复制增强层的集合使用层间预测合成所述视频子集的构图来导出所述多层数据流的预定层。26.根据权利要求25所述的视频流传输装置，其中，所述预定层与所述复制增强层的集合分离并且高于所述复制增强层的集合，或者所述预定增强层是所述复制增强层的集合中的最高层。27.根据权利要求25或26所述的视频流传输装置，其中，所述组合器(104)被配置为导出所述复制增强层的集合，使得每个复制增强层排他地与所述视频的子集中的一个相关联，并且被配置为使得所述视频的子集的视频的数量在所述预定时刻之前和之后保持恒定。28.根据权利要求10至27中任一项所述的视频流传输装置，其中，所述组合器(104)被配置为：针对在所述预定时刻之前和之后是所述子集的成员的那些视频，在所述预定时刻之前和之后维持一方面所述视频子集的任何视频与另一方面所述复制增强层的集合之间的关联。29.根据权利要求10至28中任一项所述的视频流传输装置，其中，所述组合器(104)被配置为：经由时间预测链，根据复制到所述一个或多个增强层(L1)中的所述编码版本的第二部分的所述部分未包括的新包含的视频的任何参考画面，间歇地重复关于所述新包含的视频的时间预测画面的替代和/或代替。30.根据权利要求29所述的视频流传输装置，其中，所述组合器(104)被配置为通过以下操作间歇地重复所述替代：针对复制到所述一个或多个增强层(L1)中的所述编码版本的第二部分的所述部分所包括的新包含的视频的一个或多个参考画面，并且经由时间预测链，根据复制到所述一个或多个增强层(L1)中的所述编码版本的第二部分的所述部分未包括的新包含的视频的任何参考画面，将非输出画面插入到所述多层视频流中，将通过新包含的视频的画面的任何时间预测重定向到一个或多个被参考画面，以参考所述非输出画面，并且基于所述基础层、经由层间预测来利用所述一个或多个参考画面的近似来填充所述非输出画面。31.根据权利要求29所述的视频流传输装置，其中，所述组合器(104)被配置为通过以下操作间歇地重复所述替代：从所述基础层经由层间预测将所述编...

【专利技术属性】
技术研发人员：罗伯特·斯库宾，雅戈·桑切斯，托马斯·斯切尔，
申请(专利权)人：弗劳恩霍夫应用研究促进协会，
类型：发明
国别省市：德国,DE