使用任意捕获的输入对捕获图像的遮挡视图的重构制造技术

一种图像处理系统从捕获装置获得捕获输入，这些捕获装置可以具有与主要图像捕获装置不同的捕获参数和特征。通过对这些捕获装置的输出进行归一化处理，在重构场景的板块时，潜在的任意捕获装置可用于重构由主要图像捕获装置捕获的场景的部分，以替换场景中的被遮挡物体。重构可以是一个主图像、一对立体图像或一些图像N，其中N>2。其中N>2。其中N>2。

【技术实现步骤摘要】
【国外来华专利技术】使用任意捕获的输入对捕获图像的遮挡视图的重构
[0001]相关申请的交叉引用
[0002]本申请要求获得2020年2月28日提交的美国临时专利申请序列号62/983,528的利益，该申请名称为“使用任意捕获的输入对捕获图像的遮挡视图的重构”，通过引用将本申请并入于此，如同出于所有目的将其在本申请中完整地阐述。
[0003]本申请与下列申请有关，在此通过引用将下列申请纳入于此，如同出于所有目的将其在本申请中完整地阐述：
[0004]于2020年9月11日提交的美国专利申请序列号17/018,960，名称为"用于减少因从图像中移除场景元素而导致的伪像的图像处理"(WD0005US1)；
[0005]于2020年9月11日提交的美国专利申请序列号17/018,943，名称为"包括容积式场景重构的计算机生成的图像处理"(WD0008US1)；和
[0006]于2020年9月11日提交的美国专利申请序列号17/018,948，名称为"使用来自二次图像的像素替换对所捕获图像中的遮挡视图的重构"(WD0009US1)。


[0007]本公开总体上涉及数字图像操纵。本公开尤其涉及利用其他场景捕获数据提供的输入来重构主图像捕获中遮挡的部分图像的设备和技术。

技术介绍

[0008]在现代数字图像创作中(静止图像、图像帧的视频序列)，人们往往希望改变摄像机捕获的内容，以表达不同的东西。这可能是这样的情况：摄像机捕获了两个演员表演的场景，后来内容创作者决定从捕获的视频中移除其中一个演员的存在，从而形成其中被移除的演员不存在的视频序列，而视频序列显示了被移除的演员背后的东西或者出于其他原因，计算机生成的角色或物体取代了被移除的演员。
[0009]观众的期望是，从捕获的视频序列中移除的伪影不会很明显。简单地移除与被移除的角色相对应的像素会在视频中留下空白点。简单地将这些像素替换成一般的背景，就会在属于被移除角色的像素和附近的像素之间的边界留下伪影。如果有足够的时间、精力和计算能力，艺术家可以在视频的每一帧中手动"画"出被删除的角色的像素，但这可能是耗时和乏味的，以使观众感觉不到删除的人工痕迹。
[0010]更简单地对图像数据进行操纵的工具将是有用的。

技术实现思路

[0011]一种图像处理系统从捕获装置获得捕获输入，这些捕获装置可以具有与主要图像捕获装置不同的捕获参数和特征。通过对这些捕获装置的输出进行归一化处理，在重构场景的板块时，潜在的任意捕获装置可用于重构由主要图像捕获装置捕获的场景的部分，以替换场景中的被遮挡物体。重构可以是一个主图像、一对立体图像或一些图像N，其中N>2。
[0012]下面的详细描述连同附图将使人们更好地理解本专利技术的性质和优点。
附图说明
[0013]将参考附图描述根据本公开的各种实施方式，在附图中：
[0014]图1以俯视图示出了根据各种实施方式的可以捕获关于场景的图像和数据的环境；
[0015]图2以俯视图示出了根据各种实施方式的舞台，其中捕获了场景，并具有几个可能的场景板块，这些板块可以用于生成将可见的重构图像；
[0016]图3是根据各种实施方式的场景的侧视图，该场景可以包括要重构的遮蔽物；
[0017]图4是根据各种实施方式，用于根据捕获的场景图像和从场景捕获的任意输入创作重构图像的系统框图；
[0018]图5是根据各种实施方式，用于根据捕获的场景图像和从场景捕获的任意输入重构图像的过程的流程图；
[0019]图6示出了根据各种实施方式，可以用于生成静止图像和/或图像的视频序列形式的图像的示例性视觉内容生成系统；
[0020]图7是示出示例性计算机系统的框图，该计算机系统上可以实施图1和图6中示出的系统。
具体实施方式
[0021]下面的描述中将描述各种实施方式。为了解释的目的，阐述了具体的配置和细节，以提供对实施方式的全面理解。然而，对于本领域的技术人员来说，显而易见的是，可以在没有具体细节的情况下实施本实施方式。此外，众所周知的特征可以被省略或简化，以避免掩盖所描述的实施方式。
[0022]本文描述和建议的技术包括根据捕获的场景视频和与场景相关的额外输入生成修改的视频，其中修改的视频被数字地修改以替换捕获的视频(即"原始视频")中记录的场景中的全部或部分物体。应该理解的是，除非另有说明，否则参考视频序列描述的实施例可以适用于单一图像或静态图像。场景可以包括出现在场景中的各种物体和演员，该场景可能是移动的，可能是受到灯光变化和/或摄像机移动的影响。本文中，当物体被描述为包括在场景中可见或不可见的物体时，该教导也可以适用于人类和/或非人类演员。因此，在捕获场景的图像，然后处理数字捕获的视频，以从场景中移除演员并重构该演员背后的东西的过程中的步骤也可以被用于从场景中移除无生命或非演员的物体。
[0023]对视频捕获后进行修改的理由可能各不相同，本文描述的许多技术无论出于何种理由都能很好地发挥作用。一个理由是，捕获到三个演员在互动的场景，其中一个演员配备了动作捕获("mo
‑
cap")靶标(对比标记、油漆等)，而修改的视频将具有在场景中移动的计算机生成的角色，以代替mo
‑
cap演员，例如，计算机生成的角色是非人类角色。另一个理由可以是，捕获了场景的视频，在后期制作中，导演改变了情节，这种改变要求某些角色或物体不存在，尽管它存在于最初捕获的图像中。然而，再一个理由是发现了需要纠正的摄影错误，而场景不能轻易重拍。
[0024]在更普遍的情况下，一个或多个图像被重新创作，该图像可能是来自重构的板块或一组归一化的、对准的平面，根据这些板块或平面可以重构图像，并填入或移除物体。
[0025]图1以俯视图示出了根据各种实施方式的可以捕获关于场景的图像和数据的环
境。图1是舞台102的近似俯视图，该舞台上有演员104和106以及其他物体108、110和112。动作和场景可以由摄像机120捕获，摄像机可以在轨道122上移动。背景墙124可以提供由摄像机120捕获的场景的内容，绿屏126也可以在场景中存在并可见。众所周知，绿屏可以被添加到场景中，以方便将内容插入到帧中，其中该内容不存在于该场景中，而是在捕获场景后添加。摄像机120可以是主要的摄像机，有时被称为"主角"摄像机，预计将捕获到大部分的场景。在一些变化中，使用多个主角摄像机，以允许从场景的一个视图快速转到另一个视图。
[0026]在摄像机120捕获的数字视频中(或后来从场景的模拟捕获中得到的数字化视频)，对于摄像机120在轨道122上的指示位置，演员106将在视频中被演员104和物体110部分遮挡，而背景墙124被物体112部分遮挡。为了给导演提供在没有演员104或物体112的情况下捕获场景的选项，导演可以要求在没有演员104和物体112的情况下第二次拍摄整个场景，但通常这样的决定是在场景捕获完成后才做出的，演员、物体或环境可能不再可本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种利用来自捕获装置的捕获装置输入来处理来自主成像装置的图像的计算机实施的方法，该方法包括：接收与所述捕获装置相关的参考舞台参数和归一化参数；存储所述归一化参数；接收来自所述主成像装置的主输入；接收来自所述捕获装置的捕获装置输入；使用归一化参数对所述捕获装置输入进行归一化，以形成被归一化的捕获输入；对准两个或多个被归一化的捕获输入；获得重构选择；基于所述选择、所述被归一化的对准的捕获输入和所述重构选择来重构板块，以形成重构板块；和使用所述主输入和所述重构板块生成修改的视频内容。2.根据权利要求1所述的方法，其中所述主成像装置是摄像机，所述方法进一步包括替换用所述摄像机捕获的数字化视频内容中的像素，以修改所述数字化视频内容中的捕获场景，其中替换的像素的颜色值是至少部分地基于所述重构选择和所述捕获装置输入来确定的。3.根据权利要求2所述的方法，进一步包括：确定所述捕获的场景中哪些物体是板块的一部分，哪些物体要从所述捕获的场景中移除；以及使用确定的结果进行板块重构。4.根据权利要求1所述的方法，其中，所述参考舞台参数至少部分地与使用何种捕获装置以及所述捕获装置和所述主成像装置之间的差异有关。5.根据权利要求1所述的方法，其中，所述捕获装置包括以下中的一个或多个：具有不同于所述主成像装置的分辨率的第一摄像机和/或针对不同于所述主成...

【专利技术属性】
技术研发人员：K，
申请(专利权)人：联合技术旧金山公司，
类型：发明
国别省市：