用于将用户特定内容融合到视频制作中的方法和系统技术方案

通常，提供了用于将观看者特定图形内容融合到被广播到多个观看者终端的视频内容中的方法。该方法可以包括下列步骤：接收包括表示场景的多个帧的视频内容；为视频内容的帧子集导出虚拟摄像机模型；为视频内容的帧子集的每一帧生成前景掩模；以及使用相应帧的虚拟摄像机模型，在多个观看者终端中的至少一些上接收的视频内容的帧子集的帧的至少部分中，用与相应的观看者终端相关联的观看者特定图形内容的像素替换被包含在场景中的背景表面的预定内容插入区域内的相应帧中的除了由相应的帧的前景掩模指示的像素以外的所有像素。

【技术实现步骤摘要】
【国外来华专利技术】用于将用户特定内容融合到视频制作中的方法和系统专利
本专利技术涉及视频制作的领域，且更具体地涉及将用户定制的内容融合到视频广播中。专利技术背景近年来随着专用硬件和软件的引入，体育赛事的自动视频内容制作变得越来越流行。多年来，人们建议可以以将使观看者能够观看视频广播的方式将广告融合到视频内容中，表面的一些部分展示广告内容。然而，主要由于在所融合的内容和前景对象之间的障碍干扰，许多挑战且特别是与在前景对象(例如，运动员)和背景表面之间的关系相关的那些挑战阻止令人满意的结果。专利技术概述本专利技术的一个方面提供了一种将观看者特定图形内容融合到被广播到多个观看者终端的视频内容中的方法，该方法可以包括：由视频处理服务器接收包括多个帧的视频内容，其中多个帧中的每一个表示包括背景表面和感兴趣对象的场景；由视频处理服务器为多个帧的帧子集的每个帧导出虚拟摄像机模型，该虚拟摄像机模型将相应帧的每个像素与在场景中的与其像素相关联的真实世界地理位置相关联；由视频处理服务器为帧子集的每一帧生成包括与感兴趣对象相关的像素的前景掩模；以及由多个观看者终端中的至少一些使用相应帧的虚拟摄像机模型在视频内容的帧子集的帧的至少部分中用与其观看者终端相关联的观看者特定图形内容的像素替换被包含在背景表面的至少一个预定内容插入区域内的相应帧中除了由相应帧的前景掩模指示的像素以外的所有像素。本专利技术的另一个方面提供了一种用于将观看者特定图形内容融合到被广播到多个观看者终端的视频内容中的系统，该系统可以包括：视频处理服务器，其被布置成：接收包括多个帧的视频内容，其中多个帧中的每一个表示包括背景表面和感兴趣对象的场景；为视频内容的多个帧的帧子集导出虚拟摄像机模型，该虚拟摄像机模型将相应帧的每个像素与在场景中的与其像素相关联的真实世界地理位置相关联；以及为帧子集的每一帧生成包括与感兴趣对象相关的像素的前景掩模；以及与视频处理服务器通信的多个观看者终端，其中多个观看者终端中的至少一些被布置成使用相应虚拟摄像机模型在帧子集的帧的至少部分中用与相应观看者终端相关联的观看者特定图形内容的像素替换被包含在背景表面的预定内容插入区域内的在相应帧中除了由相应的前景掩模指示为与感兴趣对象相关的像素以外的所有像素。本专利技术的这些、额外和/或其他方面和/或优点在接下来的详细描述中被阐述；可能从详细描述可推断出；和/或通过本专利技术的实践可获悉。附图简述为本专利技术的实施例的更好理解并示出其可以如何被实施，现在将纯粹作为例子参考附图，其中相似的数字始终表示相应的元件或部分。在附图中：图1A、1B和1C是根据本专利技术的一些实施例的用于将观看者特定图形内容融合到被广播到多个用户终端的视频内容中的系统的各种配置的示意图；图2A、2B和2C是根据本专利技术的一些实施例的用于将观看者特定内容融合到被广播到多个用户终端的视频内容中的系统的更详细方面的各种配置的示意图；以及图3是示出根据本专利技术的一些实施例的将观看者特定内容融合到被广播到多个观看者终端的视频内容中的方法的流程图。将认识到，为了说明的简单和清楚，在图中所示的元件不一定按比例绘制。例如，为了清楚起见，一些元件的尺寸可以相对于其他元件被放大。此外，在被认为适当的情况下，参考数字可在多个图当中重复以指示对应的或类似的元件。本专利技术的详细描述在下面的描述中，描述本专利技术的各个方面。为了解释的目的，阐述特定的配置和细节，以便提供对本专利技术的透彻理解。然而，对本领域中的技术人员将明显的是，本专利技术可以在没有本文中所呈现的特定细节的情况下被实践。此外，可以省略或简化众所周知的特征，以便不使本公开模糊。在对附图的特定参考的情况下，强调所示的细节是作为例子且仅仅是为了本专利技术的说明性讨论的目的，并为了提供被认为是本专利技术的原理和概念方面的最有用和容易理解的描述的内容起见而被呈现。在这点上，没有试图以比对本专利技术的基本理解所必需的更多的细节来显示本专利技术的结构细节，与附图一起被理解的描述使本专利技术的几种形式可以如何体现在实践中对本领域中的技术人员变得明显。在详细解释本专利技术的至少一个实施例之前，应当理解，本专利技术在它的应用中不限于在下面的描述中阐述的和在附图中示出的结构和布置的细节。本专利技术可适用于可以以各种方式被实践或实现的其他实施例以及所公开的实施方式的组合。此外应理解，本文采用的措辞和术语是为了描述的目的且不应被看作是限制性的。除非另有特别规定，如从下面的讨论明显的，应认识到，在整个说明书讨论中，利用术语例如“处理”、“计算(computing)”、“计算(calculating)”、“确定”、“增强”或诸如此类指计算机或计算系统或类似的电子计算设备的行动和/或过程，计算机或计算系统或类似的电子计算设备将被表示为在计算系统的寄存器和/或存储器内的物理量例如电子量的数据操纵和/或转换成类似地被表示为在计算系统的存储器、寄存器或其它这样的信息存储、传输或显示设备内的物理量的其它数据。任何所公开的模块或单元可以至少部分地由计算机处理器实现。本专利技术的实施例提供了一种用于将观看者特定图形内容(例如广告)融合到被广播到多个用户终端的视频内容中的系统和方法。该系统可以包括被布置成接收或生成表示在例如体育赛事(例如足球、篮球、橄榄球等)处的场景的视频内容的视频处理服务器。视频内容可以包括多个帧。视频处理服务器可以为视频内容的多个帧的帧子集导出虚拟摄像机模型的相应子集和前景掩模的相应子集。在一些实施例中，基于在体育赛事期间的特定时间段/持续时间来选择子集的帧，在体育赛事期间，观看者特定图形内容预期被融合到正被广播的视频内容中。视频处理服务器可以进一步广播视频内容，其中子集的帧伴随有包括相应的虚拟摄像机模型和相应的前景掩模的元数据。在各种实施例中，视频内容可以与观看者特定图形内容(例如广告、徽标等)一起在观看者终端处或在虚拟渲染服务器处被接收。观看者终端/虚拟渲染服务器可以被布置成通过用其用户特定图形内容的像素替换被包含在场景中的预定内容插入区域内的在子集的帧中的所有像素(除了由相应帧的前景掩模指示的像素以外)并且使用相应帧的虚拟摄像机模型来将用户特定图形内容融合到视频内容中。在各种实施例中，观看者特定图形内容可以针对每个观看者单独地或针对不同组的观看者(例如，男人、女人、孩子等)来定制。因此，在一些实施例中，每个观看者终端或观看者终端组可以接收视频内容，其中融合有观看者定制的并且可能不同的图形内容，其中融合考虑前景，以便消除碰撞和障碍。有利地，所公开的系统和方法可以使替代图形内容到直接在观看者终端或虚拟渲染服务器上(并且远离视频处理服务器)被广播的视频内容中的融合成为可能，从而在针对特定观看者/观看者组定制替代图形内容方面提供高灵活性，同时消除在视频内容的可重复的、复杂的和消耗资源的准备阶段(例如，前景掩模和虚拟摄像机模型的生成)中的需要，所述准备阶段可以在视频处理服务器上仅被执行一次。现在参考图1A、1B和1C，其是根据本专利技术的一些实施例的用于将观看者特定图形内容融本文档来自技高网...

【技术保护点】
1.一种将观看者特定图形内容融合到被广播到多个观看者终端的视频内容中的方法，所述方法包括：/n由视频处理服务器接收包括多个帧的视频内容，其中所述多个帧中的每一个表示包括背景表面和感兴趣对象的场景；/n由所述视频处理服务器为所述多个帧的帧子集的每个帧导出虚拟摄像机模型，所述虚拟摄像机模型将相应帧的每个像素与在所述场景中的与相应帧的像素相关联的真实世界地理位置相关联；/n由所述视频处理服务器为所述帧子集的每一帧生成前景掩模，所述前景掩模包括与所述感兴趣对象相关的像素；以及/n在所述视频内容的所述帧子集的帧的至少部分中，由所述多个观看者终端中的至少一些使用所述相应帧的虚拟摄像机模型用与其观看者终端相关联的观看者特定图形内容的像素替换被包含在所述背景表面的至少一个预定内容插入区域内的所述相应帧中的除了由所述相应帧的前景掩模指示的像素以外的所有像素。/n

【技术特征摘要】
【国外来华专利技术】20170627 US 62/525,2211.一种将观看者特定图形内容融合到被广播到多个观看者终端的视频内容中的方法，所述方法包括：
由视频处理服务器接收包括多个帧的视频内容，其中所述多个帧中的每一个表示包括背景表面和感兴趣对象的场景；
由所述视频处理服务器为所述多个帧的帧子集的每个帧导出虚拟摄像机模型，所述虚拟摄像机模型将相应帧的每个像素与在所述场景中的与相应帧的像素相关联的真实世界地理位置相关联；
由所述视频处理服务器为所述帧子集的每一帧生成前景掩模，所述前景掩模包括与所述感兴趣对象相关的像素；以及
在所述视频内容的所述帧子集的帧的至少部分中，由所述多个观看者终端中的至少一些使用所述相应帧的虚拟摄像机模型用与其观看者终端相关联的观看者特定图形内容的像素替换被包含在所述背景表面的至少一个预定内容插入区域内的所述相应帧中的除了由所述相应帧的前景掩模指示的像素以外的所有像素。


2.根据权利要求1所述的方法，还包括由所述视频处理服务器接收至少一个视频流，并且进一步基于其所述至少一个视频流来生成所述视频内容。


3.根据权利要求2所述的方法，还包括由所述视频处理服务器在直播事件设置中或者在体育赛事出现之后选择性地创建所述至少一个视频流的部分的组合和/或削减，以从而生成所述视频内容。


4.根据权利要求1-3中的任一项所述的方法，还包括由所述视频处理服务器基于生成相应的虚拟摄像机模型已被导出的帧的摄像机的物理参数导出虚拟摄像机模型的子集中的每一个。


5.根据权利要求4所述的方法，还包括由所述视频处理服务器使用下列项中的至少一个来确定相应摄像机的物理参数：位于所述摄像机上的传感器、计算机视觉方法和/或通过使用多个摄像机进行的所述场景的全景捕获。


6.根据权利要求1-5中的任一项所述的方法，还包括由所述视频处理服务器基于视频内容的所述多个帧中的包括与所述场景的所述背景表面相关的像素的至少一些帧来生成背景图像。


7.根据权利要求6所述的方法，还包括由所述视频处理服务器从所述视频内容的所述帧子集的每一帧减去所述背景图像，以产生前景掩模的相应子集。


8.根据权利要求1-5中的任一项所述的方法，还包括由所述视频处理服务器检测并移除在所述视频内容的所述帧子集的帧中的与所述背景表面相关的所有像素，以从而生成前景掩模图像的相应子集。


9.根据权利要求1-8中的任一项所述的方法，还包括由所述视频处理服务器接收所述内容插入区域作为输入，所述内容插入区域包括将用观看者特定内容替换的涉及在所述场景的所述背景表面上的真实世界地理位置的信息。


10.一种用于将观看者特定图形内容融合到被广播到多个...

【专利技术属性】
技术研发人员：盖尔·奥兹，
申请(专利权)人：皮克索洛特公司，
类型：发明
国别省市：以色列;IL