插入替代图像/视频的方法、装置及系统制造方法及图纸

本发明专利技术提供一种内容产生、内容后期处理、新图像捕捉及图像合成的方法、装置以及系统，由此将替代图像或视频内容可选择地实时地结合到一原始视频中。在本发明专利技术中，在产生原始视频内容时产生足够的元数据，用以描述原始视频中可结合替代图像／视频的的物体／区域，并且提供控制替代视频的捕捉和处理使替代图像／视频适于所定义的可结合替代图像／视频的原始视频区域的装置。其结果为一种机制，使得人物／替代视频／图像，例如在一个实施例中，音乐视频（如视频卡拉ＯＫ）、游戏、广播视频、ＤＶＤ视频等，可实时地与现有视频内容相结合。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及视频系统，尤指一种把替代图像/视频插入到现有视频中的 方法、装置和系统。技术背景合并两个或两个以上的视频信号以提供一单个的合成视频信号的装置 在现有技术中是公知的。 一个这样的视频合并的例子是电视上天气预报的 播报，其中前景中的天气预报员被叠加在背景中的气象地图之上。这样的现有技术装置通常采用一种色键(color-key)合并技术，其中所 需要的前景场景用有色背景(通常为蓝色或绿色)录制。所需要的背景场 景亦被录制。在其最简单的形式中，色键视频合并技术利用前景场景中每 个像素点的颜色在前景和背景的视频信号间自动进行硬切换(即二进 制切换)。色键视频合并技术利用前景场景中每个像素点的颜色在前景和背 景的视频信号间自动进行切换。特别地，如果在前景场景(假定蓝色是色 键)中检测到一蓝色像素，那么视频开关将在该像素点上把视频信号从背 景场景引导到输出场景。如果在前景场景中未检测到蓝色像素，那么视频 开关将在该像素点上把视频信号从前景场景引导到输出场景。在所有像素 点以该方式处理后，其结果是由输入的前景和背景场景结合而成的输出场學 在较复杂形式的色键视频合并技术中，切换效果可被隐藏并达到更自 然的合并。例如，前景对象的阴影可显现在背景中。由于色键合并技术方法简单，所以便宜的色键合并技术硬件已经应用 了一段时间。因此，色键插入可在录制的或直播的视频中实现。其在直播 电视中为在背景场景上面叠加体育比赛结果或记者图像，而在电影业中则 为在背景场景上(如宇宙场景)叠加前景物体(如宇宙飞船)这样的一些目 的而被广为应用。然而，色键合并技术存在两个重要的局限。第一，该技术不能用来结合那些场景中的分色(S印aration Color)(如绿或蓝)不能由该技术拥有 者控制的视频源。这经常限制了色键插入到在广播室或电影制片厂中录制 的图像序列的使用。第二，目前尚不可能通过从一个序列插入的图案跟随 另一个序列中的物体运动(前景或背景)从而使插入的图案看起来像这些 物体的一部分这样的方法来自动组合视频信号。而在过去，在数量十分有 限的电影制作中曾经用手动方法完成过背景和前景场景运动的同步，这样 的手动同步既非常昂贵又冗长乏味，并要求视频材料预先录制，而非现 场直播。
技术实现思路
本专利技术通过提供一种插入替代图像/视频的方法、设备以及系统以解决 先前技术的缺陷。在本专利技术的一个实施例中， 一种插入替代图像的方法包括存储关于第 一视频内容捕捉的元数据，该第一视频内容具有能被替代图像/视频内容所 代替的确定区域；用所存储的与第一视频内容相关的元数据捕捉替代图像/ 视频；以及按比例调整所捕捉的替代图像/视频，从而使替代图像/视频能被结合到第一视频内容预先设定的区域。在本专利技术另一可选择的实施例中， 一种插入替代图像的系统包括至少 一个捕捉图像/视频的成像设备，以及一个包含一个处理器和一个存储器的 处理和控制单元，其中该处理和控制单元适于存储关于第一视频内容捕捉 的元数据，该第一视频内容具有能被替代图像/视频内容所代替的确定区 域，对第一视频内容进行后期处理以产生新的描述第一视频内容中能被替代的区域的时戳遮罩(time-stamped matte)的元数据，用所存储的与第一 视频内容的捕捉相关的元数据来捕捉替代图像/视频，以及按比例调整所捕 捉的替代图像/视频，从而使替代图像/视频能被结合到第一视频内容预先 设定的区域。附图说明结合附图考虑以下的详细描述，本专利技术的要义能容易地理解，其中图l描述根据本专利技术的实施例的替代图像/视频插入处理(AIVIP)系 统的高层原理图；图2描述适用于图1中的AIVIP系统100的处理和控制单元的实施例 的高层原理图；图3描述图1中AIVIP系统的处理步骤的高层原理图；图4描述本专利技术AIVIP系统的高层原理图，其中第二物体相对于第二摄 影机的定位由处理和控制单元控制；图5描述本专利技术AIVIP系统的高层原理图，其中第二摄影机相对于第二 物体的定位由处理和控制单元控制；以图6描述根据本专利技术的实施例的插入替代视频方法的流程图。为利于理解，在所需之处使用一致的参考数字以指定附图中共有的相 同元件。具体实施方式本专利技术的优点是提供一种图像合成方法、设备及系统，由此替代图像 或视频内容可以有选择地实时地被插入到原始视频。虽然本专利技术主要被描 述于包含进行成像的摄影机的替代图像/视频插入处理系统的说明书中，但 熟悉相关
的技术人员可以理解的是，获悉本专利技术的要义之后，本 专利技术的概念基本上可以被应用于实施任何成像装置的系统中。进一步地， 虽然通过本专利技术于此的要义，本专利技术的一些方面将要描述关于物体图像的 合并，但应当理解的是在此所使用的术语物体应被解释为代表视频、 图像等。同样地，应当理解的是，本专利技术的要义在此是针对，至少部分地， 图像、视频等的插入，例如把计算机生成的动画插入已有的图像、视频等， 如其它计算机生成的动画。图l描述了根据本专利技术的实施例的替代图像/视频插入处理(AIVIP) 系统的高层原理图。图1的AIVIP系统100图释包括一源成像装置(图释 为第一摄影机)102、 一第二成像装置(图释为第二摄影机)104以及一处 理和控制单元110。图1进一步阐明一被成像的源物体106以及一被成像并 与第一成像物体相结合的第二物体108。源成像装置102和第二成像装置 104可包括任何能使物体成像的装置，如摄影机等。尽管图1的AIVIP系统 100图释为包括一源成像装置102以及一第二成像装置104，在本专利技术另一 可选择的实施例中， 一根据本专利技术的AIVIP系统可包括一个既对源物体也 对第二物体进行成像的单个成像装置。 图2描述了适用于图1中AIVIP系统100的处理和控制单元110的实 施例的高层原理图。图2的处理和控制单元110包括一处理器210以及一 存储控制程序、被存储的图像等的存储器220。处理器210与传统的支持电 路230如电源、时钟电路、高速缓冲存储器等以及帮助执行存储在存储器 220中的软件程序的电路一起运作。同样地，可以预期的是这里所讨论的某 些程序步骤如软件程序可以在硬件内实施，例如，与处理器210协作以执 行不同步骤的电路。处理和控制单元110亦包含在与处理和控制单元110 通讯的不同功能元件间形成接口的输入输出电路240。例如且正如图1描述 的，控制单元110通过第一路径Sl与源成像装置102通信并且通过第二路 径S2与第二成像装置104通讯。尽管图2的处理和控制装置110被描述成一台根据本专利技术可被编程以 执行不同控制功能的通用计算机，但本专利技术可以在硬件内实施，例如，专 用集成电路(ASIC)。同样地，在此所描述的程序步骤用于广义地理解为由 软件、硬件或者其组合等效地实施。根据本专利技术，在图1的AIVIP系统100中，替代的图像或视频内容可 以有选择地实时地插入到原始视频。换而言之，在本专利技术的AIVIP系统中， 例如图1的AIVIP系统100，在产生原始视频内容时产生并储存足够的元数 据，以便描述原始视频中可结合替代图像/视频的物体/区域，并提供一控 制替代视频的捕捉和处理使替代图像/视频适于所定义为可结合替代图像/ 视频的原始视频区域的装置。图3描述图1中AIVIP系统100处理本文档来自技高网...

【技术保护点】
一种插入替代图像的方法，其特征在于包括：　　　　存储与第一视频内容捕捉相关的元数据，该第一视频内容具有能被替代图像内容所代替的预先设定的区域；　　　　采用所存储的与第一视频内容相关的元数据来捕捉替代图像；以及　　　　按比例调整所捕捉的替代图像，以与第一视频内容的至少一个预先设定的区域相结合。

【技术特征摘要】
【国外来华专利技术】1、一种插入替代图像的方法，其特征在于包括存储与第一视频内容捕捉相关的元数据，该第一视频内容具有能被替代图像内容所代替的预先设定的区域；采用所存储的与第一视频内容相关的元数据来捕捉替代图像；以及按比例调整所捕捉的替代图像，以与第一视频内容的至少一个预先设定的区域相结合。2 、根据权利要求1所述的方法，其特征在于，其中所述元数据包括用于第一视频内容中每个预先设定的可被替代图像内容所代替的区 域的时戳遮罩。3 、根据权利要求1所述的方法，其特征在于，其中所述捕捉替代 图像的步骤包括在捕捉替代图像时，根据所存储的与所述第一视频内 容捕捉相关的元数据来控制被成像物体的定位。4、根据权利要求1所述的方法，其特征在于，其中所述捕捉替代 图像的步骤包括在捕捉替代图像时，根据所存储的与第一视频内容相 关的元数据来控制成像装置的定位。5 、根据权利要求1所述的方法，其特征在于，其中所述元数据包 括关于在第一视频内容成像时，第一视频内容中被成像物体的定位， 被成像物体相对于成像装置的角度和定位，成像装置的放置和角度， 环境条件，以及照明位置和强度的时戳信息。6、 一种插入替代图像的设备，其特征在于，包括一处理器及一存 储器，所述设备适于执行以下步骤存储与第一视频内容捕捉相关的元数据，该第一视频内容具有能被替代图像内容所代替的预先设定的区域；采用所存储的与第一视频内容相关的元数据来捕捉替代图像；以及按比例调整所捕捉的替代图像，以与第一视频内容的至少一个预 先设定的区域相结合。7、 根据权利要求6所述的设备，其特征在于，其中所述设备进一歩地适于控制捕捉替代图像的成像装置的定位。8、 根据权利要求6所述的设备，其特征在于，其中所述设备进...

【专利技术属性】
技术研发人员：迈克阿瑟德雷恩伯格，罗伯特尤金切宾斯基，
申请(专利权)人：汤姆逊许可公司，
类型：发明
国别省市：FR[法国]