多视图场景分割和传播制造技术

可以对多视图视频流应用基于深度的效果以生成修改后的多视图视频流。用户输入可以指定所述视频流的参考图像的前景区域和与所述前景区域不同深度处的背景区域之间的边界。基于所述用户输入，可以生成参考掩模以指示所述前景区域和所述背景区域。所述参考掩模可以用于生成一个或多个其它掩模，所述一个或多个其它掩模指示来自所述参考图像的不同帧和/或不同视图的一个或多个不同图像的前景区域和背景区域。所述参考掩模和其它掩模可以用于将所述效果应用于所述多视图视频流以生成所述修改后的多视图视频流。

Multi-view Scene Segmentation and Propagation

Depth-based effects can be applied to multi-view video streams to generate modified multi-view video streams. The user input may specify the boundary between the foreground area of the reference image of the video stream and the background area at different depths of the foreground area. Based on the user input, a reference mask can be generated to indicate the foreground area and the background area. The reference mask can be used to generate one or more other masks indicating the foreground and background regions of one or more different images from different frames and/or views of the reference image. The reference mask and other masks can be used to apply the effects to the multi-view video stream to generate the modified multi-view video stream.

【技术实现步骤摘要】
【国外来华专利技术】多视图场景分割和传播相关申请的交叉引用本申请要求2017年3月17日提交的“Multi-ViewSceneSegmentationandPropagation”(代理人案号LYT287)的美国技术申请序号15/462,752的优先权，其公开内容通过引用整体地并入在本文中。本申请要求2016年6月9日提交的“UsingLight-FieldImageDataforBackgroundColorSpillSuppression”(代理人案号LYT255-PROV)的美国临时申请序号62/347,734的权益，其公开内容通过引用整体地并入在本文中。本申请涉及2015年8月27日提交的“Depth-BasedApplicationofImageEffects”(代理人案号LYT203)的美国申请序号14/837,465，其公开内容通过引用整体地并入在本文中。本申请涉及2016年3月29日提交的“CapturingLight-FieldVolumeImagesandVideoDataUsingTiledLight-FieldCameras”(代理人案号LYT217)的美国技术申请序号15/084,326，其公开内容通过引用整体地并入在本文中。
本公开涉及用于处理图像数据的系统和方法，并且更具体地，涉及用于分割被捕获以用在虚拟现实或增强现实应用中的光场图像和/或体积视频中的场景的系统和方法。
技术介绍
编辑常规或光场图像以提供效果诸如改变着色、改变对比度或者插入和/或移除图像中的对象可以是有挑战性的。通常，用户必须谨慎选择对象边界以控制效果如何被应用。因此，基于深度的效果的应用可以是费时且劳动密集的努力。另一个挑战通过对视频做出基于深度的修改诸如背景替换的需要来呈现。当涉及多个帧时绘制前景元素与背景元素之间的区别的过程可迅速地变得麻烦。用于使这种分割自动化的已知方法显著地受限制。例如，边缘区域中的边缘检测和alpha估计依靠使背景颜色和前景颜色分离，这在低对比度区域中或者在前景颜色和背景颜色类似的情况下是不准确的。与光场相机或平铺相机阵列一样，挑战在具有多个视点的视频的情况下加重。如果视频流中的每个视图都需要分割，则必须相应地重复过程。结果是非常劳动密集的过程。
技术实现思路
根据各种实施例，本文中描述的技术的系统和方法处理图像数据，诸如光场图像数据，以便基于图像数据的深度特性实现各种效果。这种效果可以包括但不限于替换一个或多个对象、修改曝光水平、修改对比度水平、修改饱和度水平、修改图像的颜色集和/或改变图像数据的背景。前景场景元素的准确提取可以使得能实现更有效的合成和/或其它视觉效果，例如以允许混入新背景(和/或其它元素)，同时使颜色溢出和其它赝像最小化。具体地，可以对视频流应用基于深度的效果以生成修改后的视频流。用户输入可以指定视频流的参考图像的前景区域和与前景区域不同的深度处的背景区域之间的边界。这可以通过使用有界框等来指定边界来完成。例如，3D有界框可以用于将参考图像的前景区域指定为3D有界框内的图像的部分。在3D有界框外部的图像的部分可以是背景区域。基于用户输入，可以生成参考掩模(mask)以指示前景区域和背景区域。可以细化边界以计算精细参考掩模的精细边界。精细参考掩模可以可选地是包括前景区域与背景区域之间的未知区域的三元图(trimap)。未知区域可以包含可以属于背景区域或前景区域的像素。未知区域可以具有基于边界是否在恰好适当的位置中的置信水平可以更大或更小的自适应宽度。视需要，可以经由另外的用户输入、基于深度的算法的应用和/或基于颜色的算法的应用对未知区域做出另外的细化。可以与参考图像相结合地分析其它视图和/或帧以帮助确定未知区域的像素是属于前景区域还是背景区域。参考掩模可以用于生成指示用于视频流的与参考图像不同的一个或多个非参考图像的前景区域和背景区域的一个或多个非参考掩模。因此，参考掩模(例如，三元图)可以被应用于不同的视图和/或不同的帧以方便为该帧生成三元图。因此可以经由前向传播(在时间上向前)和/或后向传播(在时间上向后)从一个或多个关键帧传播三维图。类似地，可以将三元图传播到与已经计算三元图的图像相同的帧的不同的视图。因此，可以针对视频流的所有视图和/或帧计算三维图，而无需用户为每个帧和/或视图提供输入。三元图可以用于为每个视图和/或帧生成alpha蒙版(alphamatte)。alpha蒙版可以用于控制效果如何被应用于视频流。如果视频流是光场视频，则可以选择将alpha蒙版反投影到光场，使得可使用光场来投影应用了alpha蒙版的新视图。因此，可以生成修改后的视频流。可以为观看者显示修改后的视频流，例如，作为虚拟现实或增强现实体验的一部分。附图说明附图图示若干实施例。与说明书一起，它们用来说明实施例的原理。本领域的技术人员将认识到，附图中图示的特定实施例仅仅是示例性的，而不旨在限制范围。图1是根据一个实施例的描绘用于执行视频效果应用的管线的图。图2是根据一个实施例的描绘用于执行视频效果应用的方法的流程图。图3是根据一个实施例的描绘分割到视频流的相邻帧和/或视图的传播的图。图4是根据一个实施例的进一步描绘分割到视频流的相邻帧和/或视图的传播的图。图5是根据一个实施例的描绘用户可以指定前景对象的一个方式的屏幕截图。图6是根据一个实施例的描绘使用用户描画的笔划来指定前景和背景材料的屏幕截图。图7是根据一个实施例的描绘前景、背景和未知区域(即，未知分段)的三元图的一部分。图8是根据一个实施例的使用光流来描绘前向三元图传播的图像的集合。图9是根据另一实施例的使用光流来描绘后向三元图传播的图像的集合。图10是根据一个实施例的描绘经由前向传播和后向传播获得的三元图的组合的图像的集合。图11是使用i处的关键帧和k处的关键帧来描绘针对帧j的三元图的内插的图表。图12是根据一个实施例的描绘在|i-j|<＝|k-j|情况下的组合三元图值的表。图13是根据一个实施例的描绘在|i-j|>|k-j|情况下的组合三元图值的表。图14A至图14D是根据一个实施例的针对相邻(非参考)视图VA的顶视图、初步三元图、二元分割和最终三元图。图15是根据一个实施例的针对相邻(非参考视图)VA的顶视图。图16是根据一个实施例的描绘alpha蒙版从多个视图到光场的反投影中的步骤的屏幕截图图像的集合。具体实施方式定义出于本文中提供的描述的目的，使用以下定义：·alpha蒙版：来自alpha抠图(alphamatting)过程的输出。·alpha抠图：用于区分图像中的背景和前景像素的过程，其可以包括向这些像素指派透明度。所指派的透明度水平可被例如编码为与图像相关联的alpha通道(alphachannel)。·背景区域–指定远离相机的主题的图像的一部分。·计算设备：包含处理器的任何设备。·数据存储：存储数字数据的任何设备。·深度：对象和/或对应图像样本与相机的微透镜阵列之间位移的表示。·深度图：与光场图像相对应的二维图，指示光场图像内的多个像素样本中的每一个的深度。·显示屏幕：可在上面显示图像的任何类型的硬件。·扩展景深(EDOF)图像：已被处理成使对象沿着更大的深度范围聚焦的图像。·前景分段或“前景区域”-本文档来自技高网...

【技术保护点】
1.一种用于对视频流应用效果的方法，所述方法包括：在数据存储中，接收视频流；在输入设备中，接收指定所述视频流的参考图像的前景区域和与所述前景区域不同深度处的背景区域之间的边界的第一用户输入；在处理器中，基于所述第一用户输入生成指示所述前景区域和所述背景区域的参考掩模；在所述处理器中，使用所述参考掩模来生成第一非参考掩模，所述第一非参考掩模指示所述视频流的与所述参考图像不同的第一非参考图像的前景区域和背景区域；以及在所述处理器中，通过使用所述参考掩模来将效果应用于所述参考图像并且使用所述第一非参考掩模来将所述效果应用于所述第一非参考图像而生成修改后的视频流。

【技术特征摘要】
【国外来华专利技术】2016.06.09 US 62/347,734;2017.03.17 US 15/462,7521.一种用于对视频流应用效果的方法，所述方法包括：在数据存储中，接收视频流；在输入设备中，接收指定所述视频流的参考图像的前景区域和与所述前景区域不同深度处的背景区域之间的边界的第一用户输入；在处理器中，基于所述第一用户输入生成指示所述前景区域和所述背景区域的参考掩模；在所述处理器中，使用所述参考掩模来生成第一非参考掩模，所述第一非参考掩模指示所述视频流的与所述参考图像不同的第一非参考图像的前景区域和背景区域；以及在所述处理器中，通过使用所述参考掩模来将效果应用于所述参考图像并且使用所述第一非参考掩模来将所述效果应用于所述第一非参考图像而生成修改后的视频流。2.根据权利要求1所述的方法，还包括，在显示设备中，显示所述修改后的视频流。3.根据权利要求1所述的方法，还包括，在所述数据存储中接收所述视频流之前，在相机中捕获所述视频流。4.根据权利要求1所述的方法，其中：所述参考图像来自所述视频流的参考帧；以及所述第一非参考图像来自所述视频流的与所述参考帧不同的第一帧。5.根据权利要求4所述的方法，还包括，在所述处理器中，使用所述第一非参考掩模来生成第二非参考掩模，所述第二非参考掩模指示来自所述视频流的与所述参考帧和所述第一帧不同的第二帧的第二非参考图像的前景区域和背景区域；其中，生成所述修改后的视频流还包括使用所述第二非参考掩模来将所述效果应用于所述第二非参考图像。6.根据权利要求1所述的方法，其中，所述视频流包括多视图视频流。7.根据权利要求6所述的方法，还包括，在显示设备中，将所述修改后的视频流显示为虚拟现实或增强现实体验。8.根据权利要求6所述的方法，其中：所述参考图像来自所述视频流的参考帧的参考视图；以及所述第一非参考图像来自所述视频流的所述参考帧的与所述参考视图不同的第一视图。9.根据权利要求8所述的方法，还包括，在所述处理器中，使用所述第一非参考掩模来生成第二非参考掩模，所述第二非参考掩模指示来自所述视频流的所述参考帧的与所述参考视图和所述第一视图不同的第二视图的第二非参考图像的前景区域和背景区域；其中，生成所述修改后的视频流还包括使用所述第二非参考掩模来将所述效果应用于所述第二非参考图像。10.根据权利要求1所述的方法，还包括，在所述输入设备中，在接收所述第一用户输入之前，接收从所述视频流的多个图像当中指定所述参考图像的第二用户输入。11.根据权利要求1所述的方法，其中，生成所述参考掩模包括：使用所述边界来计算指定所述参考图像的所述前景区域和所述背景区域的初始二元分割；细化所述边界以刻划更准确地指定所述前景区域和所述背景区域的精细边界；以及使用所述精细边界来生成所述参考掩模。12.根据权利要求11所述的方法，其中，使用所述精细边界来生成所述参考掩模包括使用所述精细边界来生成进一步指示所述前景区域与所述背景区域之间的未知区域的三元图，所述未知区域包含可以属于所述前景区域或所述背景区域的像素。13.根据权利要求12所述的方法，还包括，在所述处理器中，对所述三元图应用抠图算法以获得包括用于所述前景区域、所述背景区域和所述未知区域中的所述像素的alpha值的alpha蒙版。14.根据权利要求13所述的方法，其中，所述视频流包括由一个或多个光场相机捕获的光场视频。15.根据权利要求14所述的方法，还包括将所述alpha蒙版和所述前景区域的前景图像反投影到所述光场视频。16.根据权利要求12所述的方法，其中，使用所述参考掩模来生成所述第一非参考掩模包括：指定所述第一非参考图像的第一非参考分段和第二非参考分段之间的第一非参考边界；使用所述第一非参考边界来计算指定所述第一非参考图像的所述第一非参考分段和所述第二非参考分段的初始非参考二元分割；细化所述第一非参考边界以刻划更准确地指定所述第一非参考分段和所述第二非参考分段的精细非参考边界；以及使用所述精细非参考边界来生成进一步指示所述第一非参考分段与所述第二非参考分段之间的未知非参考分段的非参考三元图，所述未知非参考分段包含可以属于所述第一非参考分段或所述第二非参考分段的非参考像素。17.根据权利要求16所述的方法，还包括，在所述处理器中，对所述非参考三元图应用抠图算法以获得非参考alpha蒙版以生成所述前景区域的非参考前景图像，所述非参考alpha蒙版包括所述未知非参考分段中的所述非参考像素的非参考alpha值。18.一种用于对视频流应用效果的非暂时性计算机可读介质，包括存储在其上的指令，所述指令在由处理器执行时，执行以下各项的步骤：使得数据存储接收视频流；使得输入设备接收指定所述视频流的参考图像的前景区域和与所述前景区域不同深度处的背景区域之间的边界的第一用户输入；基于所述第一用户输入生成指示所述前景区域和所述背景区域的参考掩模；使用所述参考掩模来生成第一非参考掩模，所述第一非参考掩模指示所述视频流的与所述参考图像不同的第一非参考图像的前景区域和背景区域；以及通过使用所述参考掩模来将效果应用于所述参考图像并且使用所述第一非参考掩模来将所述效果应用于所述第一非参考图像而生成修改后的视频流。19.根据权利要求18所述的非暂时性计算机可读介质，还包括存储在其上的指令，所述指令在由处理器执行时，使得显示设备显示所述修改后的视频流。20.根据权利要求18所述的非暂时性计算机可读介质，还包括存储在其上的指令，所述指令在由处理器执行时，使得相机在所述数据存储中接收所述视频流之前捕获所述视频流。21.根据权利要求18所述的非暂时性计算机可读介质，其中：所述参考图像来自所述视频流的参考帧；所述第一非参考图像来自所述视频流的与所述参考帧不同的第一帧；所述非暂时性计算机可读介质还包括存储在其上的指令，所述指令在由处理器执行时，使用所述第一非参考掩模来生成第二非参考掩模，所述第二非参考掩模指示来自所述视频流的与所述参考帧和所述第一帧不同的第二帧的第二非参考图像的前景区域和背景区域；以及生成所述修改后的视频流还包括使用所述第二非参考掩模来将所述效果应用于所述第二非参考图像。22.根据权利要求18所述的非暂时性计算机可读介质，其中：所述视频流包括多视图视频流；以及所述非暂时性计算机可读介质还包括存储在其上的指令，所述指令在由处理器执行时，使得显示设备将所述修改后的视频流显示为虚拟现实或增强现实体验。23.根据权利要求18所述的非暂时性计算机可读介质，其中：所述视频流包括多视图视频流；所述参考图像来自所述视频流的参考帧的参考视图；所述第一非参考图像来自所述视频流的所述参考帧的与所述参考视图不同的第一视图；所述非暂时性计算机可读介质还包括存储在其上的指令，所述指令在由处理器执行时，使用所述第一非参考掩模来生成第二非参考掩模，所述第二非参考掩模指示来自所述视频流的所述参考帧的与所述参考视图和所述第一视图不同的第二视图的第二非参考图像的前景区域...

【专利技术属性】
技术研发人员：弗朗索瓦·布莱贝尔，杜廷芳，托马斯·诺恩，谭杰，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国,US