视频合成制造技术

通过收集和复制而填充所合成视频数据流的一部分来执行视频合成，以及另一部分通过经由运动补偿时间预测参考所合成视频数据流的其它部分来合成地添加，所述其它部分通过收集和复制来获得。

Video synthesis

Through the collection and copy and fill a portion of the synthesized video data stream to perform video synthesis, and the other part via a motion compensated temporal prediction with reference to the synthesis of other parts of the video data stream to synthesize added, other parts of the collection and copy to get through.

【技术实现步骤摘要】
【国外来华专利技术】视频合成
本申请涉及视频合成，例如使用一个或多个输入视频数据流来合成所合成视频数据流。
技术介绍
存在多个应用和使用情况，如视频会议、视频监控、医疗应用、全景流、广告插入、画中画显示或视频叠加，其中若干个专用视频比特流被同时解码并以合成形式显示给用户。这种应用的说明性示例是具有向用户呈现的多个视频源的交通监控系统。这种应用的问题是许多设备仅包括单个硬件视频解码器或者否则在计算、功率和/或其他资源方面受到限制。这样的设备的示例是机顶盒(STB)、低成本电视机或电池供电的移动设备。为了在这种设备上启用所述应用和用例，必须预先创建合并若干专用视频比特流的单个视频比特流。为了实现这样的单个视频比特流，通常应用像素域视频处理(例如，诸如缝合、归并或混合的合成)，其中不同的视频比特流被代码转换(transcode)为单个比特流。代码转换可以使用级联视频解码器和编码器来实现，其需要对输入比特流进行解码，从像素域中的输入比特流合成新视频并将新视频编码为单个比特流。该方法还可以被称为包括在未压缩域中的处理的传统完全代码转换。然而，它有许多缺点。首先，视频信息的重复编码可能通过编码伪像引入进一步的信号质量劣化。第二和更重要的是，通过对输入和输出视频比特流的多重解码和编码，完全代码转换在计算上是复杂的，因此不能很好地按比例缩放。因此，在[1]中提出了另一种方法，其中视频缝合在压缩域中执行。[1]背后的主要思想是在编码器处设置约束，例如不允许一些运动矢量以及画面边界处的运动矢量预测，这允许可以应用于不同比特流的低复杂度比特流重写过程，以便生成包含预期要混合的所有视频的单个比特流。这种缝合方法同样在计算上比完全代码转换较不复杂，并且不引入信号质量劣化。这种系统的说明性示例在图23中示出，其用于使用云服务器基础设施的视频监控系统。如可以看出的，多个视频比特流900a-d由不同的发送器902a-d发送并且在云混合器904中缝合以产生单个视频比特流906。在所应用的缝合过程背后的技术的更详细的描述可以在[1]中找到。压缩域处理可以应用于许多应用和用例，以允许低复杂度的视频处理，节省电池寿命和/或实现成本。然而，每一个应用的特性对于压缩域视频处理造成各个问题。同样地，可以利用视频压缩标准/方案的特性和特征来使得能够实现用于新应用的低复杂度压缩域处理。例如，如果合成来自入站视频比特流900a-d中的单个视频比特流906的方式将经历诸如例如在所合成视频比特流906内的入站视频比特流的重新布置、在所合成视频比特流906画面区域内的某个输入视频比特流的空间位移等的改变，则发生通过图23的编码域缝合方案的方式没有充分解决的问题。对于所有这些情况，图23的合成方案由于时间运动补偿预测而不能正常工作，该时间运动补偿预测将入站视频比特流900a至900d的各个画面在时间上相互关联，使得在入站视频比特流的重新布置中，在不使用经由解码/未压缩域的迂回的情况下除了由不使用任何时间运动补偿预测的帧内画面表示的入站视频比特流的随机访问点以外，其导致比特率和带宽峰值的不期望的瞬时增加。因此，在没有任何额外努力的情况下，改变输出视频比特流906的合成而不离开压缩域的自由度将被限制为仅在某些时刻由不使用任何时间运动补偿预测的入站视频比特流的随机访间点发生。然而，入站视频比特流900a-900d内的这种随机访问点的高频率由于内部所预测画面中缺乏时间预测器而包含较低的压缩率。
技术实现思路
因此，本专利技术的目的是提供一种使用一个或多个输入视频数据流来合成所合成视频数据流的概念，其允许在低计算量的情况下在所合成视频数据流的合成中更大的自由度。该目的是通过未决的独主权利要求的主题来实现的。根据本申请的第一方面，使用至少一个输入视频数据流来合成所合成视频数据流，其中，使用运动补偿时间预测对所合成视频数据流和至少一个输入视频数据流进行编码，并且通过以下操作来执行视频合成：在通过收集和复制所述至少一个输入视频数据流的运动补偿辅助信息和预测残差数据来填充所继承的画面的空间部分的情况下形成所合成视频数据流的所继承画面序列，其中空间部分的空间位置在所继承的画面序列中从一个所继承的画面到下一个在时间上发生改变，以及将至少一个非输出画面插入所继承的画面序列的所继承画面之间的所合成视频数据流中，所述至少一个非输出画面经由运动补偿时间预测参考所继承画面的子集。根据该方面，通过在所继承的画面之间插入至少一个非输出画面，在计算复杂性意义上减轻空间部分的空间位置的时间变化。使用该方法，避免了离开压缩域的必要性，并且可以通过至少一个非输出画面来避免至少一个输入视频数据流的画面之间的“误参考”，通过使用非输出画面，分别在空间位置改变之前和之后“重新配准”至少一个输入视频数据流的画面是可行的。根据本申请的另一方面，一种用于从多个输入视频数据流中合成所合成视频数据流的概念包括：通过将所述多个输入视频数据流的运动补偿辅助信息和预测残差数据收集并复制到所合成视频数据流中，将多个输入视频数据流多路复用为所合成视频数据流的第一部分画面；并且用通过经由运动补偿时间预测参考所合成视频数据流的第一部分来收集的视频填充所合成视频数据流的第二部分画面，其中所述第一部分被发信号通知以不被输出，并且所述第二部分被发信号通知以被输出。根据第一方面的想法，根据本申请的第二方面的视频合成在通过收集和复制而填充的所合成视频数据流的一部分与通过经由运动补偿时间预测参考所合成视频数据流的其它部分而综合地添加的另一部分之间分离，所合成视频数据流的其它部分通过收集和复制来获得。然而，根据第二方面，第二部分形成实际收集的视频并且被发信号通知以被输出。第一部分简单地表示参考画面内容的一种库，基于该库可以通过使用运动补偿时间预测参考所合成视频数据流的第一部分的某些子部分来选择性地合成画面内容。因此，基于一个或多个输入视频数据流执行的视频合成产生所合成视频数据流，其可以由标准视频解码器解码，该标准视频解码器不需要能够重新布置入站视频数据流或者不需要能够并行地解码多个输入视频数据流。相反，视频合成假定了代码转换的任务，并且这种代码转换避免了离开关于一个或多个输入视频数据流的压缩/编码域，从而保持计算量在合理量中。附图说明本申请的有利方面是从属权利要求的主题，并且在下文中关于附图描述了本申请的优选实施例，在附图中：图1示出了根据实施例的视频合成装置的示意性框图以及至少一个输入视频数据流和所合成视频数据流的示意性表示；图2示出了所继承的画面连同入站视频数据流的画面的示意图，以便示出根据实施例的通过收集和复制输入视频数据流的画面的运动补偿辅助信息和预测残差数据来填充所继承画面的空间部分的过程；图3示出了示出插入的非输出画面以及在其空间部分内携带参考画面、非输出画面替代和所合成视频数据流的所继承画面的示意图，以便示出根据本申请的实施例的在构造/编码非输出画面的空间部分方面的可能性；图4示出了从其空间部分经由所合成视频数据流的非输出画面的迂回参考先前参考画面的空间部分的所继承画面的示意图；图5示出了使用视频合成装置并且还包括一个或多个视频编码器70的系统的示意图，该系统被示为将所合成视频数据流输出到解码器；图6示出了全景流应用；图7示出了由于位置改变而导致本文档来自技高网...

【技术保护点】
一种视频合成装置(10)，被配置为使用至少一个输入视频数据流(14)来合成所合成视频数据流(18)，所合成视频数据流(18)和所述至少一个输入视频数据流(14)使用运动补偿时间预测来编码，所述视频合成装置被配置为通过以下操作来合成所合成视频数据流(18)：通过收集和复制所述至少一个输入视频数据流(14)的运动补偿辅助信息和预测残差数据来填充继承画面(26)的空间部分，形成所合成视频数据流(18)的继承画面(26)的序列，其中所述空间部分的空间位置在所述继承画面的序列中从一个继承画面到下一个继承画面在时间上发生改变，以及将至少一个非输出画面(30)在所述继承画面的序列中的继承画面之间插入到所合成视频数据流(18)中，所述至少一个非输出画面经由运动补偿时间预测来参考继承画面的子集。

【技术特征摘要】
【国外来华专利技术】1.一种视频合成装置(10)，被配置为使用至少一个输入视频数据流(14)来合成所合成视频数据流(18)，所合成视频数据流(18)和所述至少一个输入视频数据流(14)使用运动补偿时间预测来编码，所述视频合成装置被配置为通过以下操作来合成所合成视频数据流(18)：通过收集和复制所述至少一个输入视频数据流(14)的运动补偿辅助信息和预测残差数据来填充继承画面(26)的空间部分，形成所合成视频数据流(18)的继承画面(26)的序列，其中所述空间部分的空间位置在所述继承画面的序列中从一个继承画面到下一个继承画面在时间上发生改变，以及将至少一个非输出画面(30)在所述继承画面的序列中的继承画面之间插入到所合成视频数据流(18)中，所述至少一个非输出画面经由运动补偿时间预测来参考继承画面的子集。2.根据权利要求1所述的视频合成装置，其中所述视频合成装置(10)被配置为：在所述空间部分在空间上改变的时刻插入一个或多个非输出画面(30)，使得所述一个或多个非输出画面中的每一个替代所述时刻之前的继承画面当中的如下参考画面，所述参考画面经由运动补偿时间预测通过如下运动补偿辅助信息来参考，通过收集和复制所述运动补偿辅助信息，对所述时刻之后的继承画面中的任何一个的空间部分进行填充。3.根据权利要求2所述的视频合成装置，其中，所述视频合成装置被配置为：插入所述一个或多个非输出画面(30)，使得每个非输出画面经由运动补偿时间预测在空间上与所述空间部分在所述时刻改变到的空间部分相对应的空间部分处参考由相应的非输出画面替代的参考画面的空间部分。4.根据权利要求2或3所述的视频合成装置，其中，所述视频合成装置被配置为：在所述空间部分从所述继承画面的序列中的继承画面中的第一继承画面到所述继承画面中的第二继承画面发生改变时、且紧接在所述第一继承画面之后的时刻，插入与所述继承画面中所述第一继承画面及该第一继承画面之前的继承画面当中的如下参考画面一样多的非输出画面，所述参考画面经由运动补偿时间预测通过如下运动补偿辅助信息来进行参考，通过收集和复制所述运动补偿辅助信息，对所述继承画面中所述第二继承画面及该第二继承画面之后的继承画面中的任何一个继承画面的空间部分进行填充。5.根据权利要求1至4中任一项所述的视频合成装置，其中，所述视频合成装置被配置为：将包括所述至少一个输入视频数据流在内的多个输入视频数据流多路复用到第一画面的序列中，使得所述继承画面的序列在空间上被细分为拼块，并且使得每一个拼块根据所述多个输入视频数据流中与相应拼块相关联的输入视频数据流，通过收集和复制相关联的输入视频数据流的运动补偿辅助信息和预测残差数据来形成，其中所述空间部分由与所述至少一个输入视频数据流相关联的拼块限定，并且所述空间部分的空间位置响应于拼块与所述多个输入视频数据流之间的关联中的时间改变而在继承画面的序列中从一个继承画面到下一个继承画面在时间上发生改变。6.根据权利要求5所述的视频合成装置，其中所述视频合成装置被配置为：在拼块与所述多个输入视频数据流之间的关联发生改变的时刻插入非输出画面，所述非输出画面包括如下运动补偿辅助信息，所述运动补偿辅助信息使在相应改变之前与所述多个输入视频数据流中的预定的输入视频数据流相关联的拼块的画面区域移动到在该改变之后与所述预定的输入视频数据流相关联的拼块的画面区域。7.根据权利要求1至6中任一项所述的视频合成装置，其中，所述视频合成装置被配置为：控制所述空间部分的空间位置的时间改变响应于针对改变的外部请求而在时间上改变。8.根据权利要求1至8中任一项所述的视频合成装置，被配置为：填充所述继承画面的空间部分，形成所合成视频数据流的所述继承画面的序列，使得通过收集和复制所述至少一个输入视频数据流的输入画面的序列中的恰好一个输入画面的运动补偿辅助信息和预测残差数据来填充所述继承画面中的每一个继承画面的空间部分。9.根据权利要求9所述的视频合成装置，其中，所述视频合成装置被配置为：在遇到所述输入画面的序列中顺序下一个如下输入画面时执行针对改变的外部请求，在该输入画面处，当前一组参考画面中没有一个经由时间运动补偿辅助信息预测被任何一个之后的输入画面所参考。10.根据权利要求10所述的视频合成装置，其中，所述视频合成装置被配置为：基于输入画面的画面范围时间体系层ID和由所述至少一个输入视频数据流的高级句法包括的超出画面范围时间体系层ID识别符来检测遇到输入画面的序列中的顺序下一个如下输入画面，在该输入画面处，一组参考画面中没有一个经由时间运动补偿辅助信息预测被任何一个之后的输入画面所参考，从而针对一个或多个时间体系级别ID保证相应一个或多个时间体系级别ID的输入画面不会经由时间运动补偿辅助信息预测被任何一个其它输入画面所参考。11.根据前述权利要求中任一项所述的视频合成装置，其中，所述运动补偿辅助信息和预测残差数据被熵编码，并且在没有熵解码的情况下执行收集和复制。12.根据前述权利要求中任一项所述的视频合成装置，其中，形成所合成视频数据流的所述继承画面的序列包括：收集并复制所述至少一个输入视频数据流的片，使所述片的有效载荷数据不变并修改片头中的数据。13.根据权利要求13所述的视频合成装置，其中，所述片头中的数据包括片地址和/或画面次序计数数据和/或参考画面次序计数差值和/或对一组参考画面次序计数差值的参考和/或差分编码的量化参数。14.根据权利要求1至14中任一项所述的视频合成装置，其中所述至少一个非输出画面没有预测残差数据。15.根据权利要求1至15中任一项所述的视频合成装置，其中，所述视频合成装置被配置为：插入所述至少一个非输出画面，使得所述至少一个非输出画面经由运动补偿时间预测来参考所述继承画面的子集，以使得所述至少一个输入视频数据流的输入画面的序列中的输入画面的空间部分通过平移被复制到所述至少一个非输出画面的空间部分中。16.根据权利要求16所述的视频合成装置，其中所合成视频数据流和所述至少一个输入视频数据流以块粒度方式使用运动补偿时间预测进行编码，并且其中所述视频合成装置被配置为使得所述至少一个非输出画面的空间部分由多个块合成，所述多个块的运动矢量彼此相等，并且仅针对所述多个块中的一个被编码在所合成视频数据流内，而针对所述多个块中除了该一个块之外的块使用空间预测来进行编码。17.根据权利要求17所述的视频合成装置，其中，所述视频合成装置被配置为使得使用跳过模式来对除了所述一个块之外的任何块进行编码，所述跳过模式发信号通知不存在预测残差数据并且采用来自相邻块的运动补偿辅助信息。18.根据权利要求1至18中任一项所述的视频合成装置，其中，所述视频合成装置被配置为：基于所述至少一个视频输入数据流的参数集来为所合成视频数据流构建新的参数集。19.一种视频合成装置，被配置为从多个输入视频数据流中合成所合成视频数据流，所合成视频数据流和所述多个输入视频数据流使用运动补偿时间预测来编码，所述视频合成装置被配置为通过以下操作来合成所合成视频数据流：通过将所述多个输入视频数据流的运动补偿辅助信息和预测残差数据收集和复制到所合成视频数据流的第一部分画面中，将所述多个输入视频数据流多路复用到所合成视频数据流的所述第一部分中，以及通过经由运动补偿时间预测参考所合成视频数据流的所述第一部分，用核对视频填充所合成视频数据流的第二部分画面，其中，所述第一部分被发信号通知以不被输出，并且所述第二部分被发信号通知以被输出。20.根据权利要求20所述的视频合成装置，其中，第一部分包括非输出画面和/或修剪出的所合成视频数据流的输出画面的画面区域。21.根据权利要求20或21所述的视频合成装置，其中所述视频合成装置被配置为：通过使用所述多个输入视频数据流的至少子集的时间上交错的画面来填充所合成视频数据流的画面的至少子集的空间上静止的空间部分，使用时分复用将所述多个输入视频数据流多路复用到所合成视频数据流的第一部分画面中。22.根据权利要求22所述的视频合成装置，其中所合成视频数据流的画面的所述子集形成所合成视频数据流的所述第一部分，并且所合成视频数据流的画面的所述子集中的画面是与所合成视频数据流中形成所合成视频数据流的所述第二部分的输出画面交错的非输出画面。23.根据权利要求20或21所述的视频合成装置，其中，所述视频合成装置被配置为：通过使用所述多个输入视频数据流的至少子集并行地填充拼块来使用空分复用将所述多个输入视频数据流多路复用到所合成视频数据流的第一部分中，其中所述拼块是将所合成视频数据流的画面在空间上细分得到的。24.根据权利要求24所述的视频合...

【专利技术属性】
技术研发人员：雅各·桑切斯德拉弗恩特，罗伯特·斯库宾，托马斯·斯切尔，
申请(专利权)人：弗劳恩霍夫应用研究促进协会，
类型：发明
国别省市：德国,DE