用于生成光流的方法和系统技术方案

一种画布生成系统，基于描述场景的一组原相机视图生成场景的画布视图，例如重新创建虚拟现实场景。基于从一组原相机视图生成的一组合成视图能生成画布视图。例如，通过基于跨多个原相机视图的光流位移并且混合相关的原相机视图能生成合成视图。使用单独优化用于相机视图的每个像素的光流矢量并且将光流的变化传播至相邻的光流矢量的迭代方法能生成光流。

Effective determination of optical flow between images

A canvas generation system that generates a canvas view of a scene based on a set of original camera views describing the scene, such as re-creating a virtual reality scene. Canvas views can be generated based on a set of composite views generated from a set of original camera views. For example, a composite view can be generated by mixing related original camera views based on optical flow displacement across multiple original camera views. Optical flow can be generated by using an iterative method that separately optimizes the optical flow vectors for each pixel of the camera view and propagates the changes of the optical flow to the adjacent optical flow vectors.

【技术实现步骤摘要】
【国外来华专利技术】图像之间的光流的有效确定
技术介绍
本公开整体涉及用于虚拟现实头盔的画布视图的生成，并且更具体地，涉及来自通过相机捕获的图像的画布视图生成。画布视图代表了重新创建虚拟现实场景的全景广角视图，并且能与其他画布视图配对而给出场景的3D立体效果。关于画布视图生成的现有技术可能运行缓慢，例如，要求来自用户的手动拼接或其他输入，并且当处理诸如相机视图之间的不同亮度或色彩等源相机视图中的差异时，现有技术会遇到问题。
技术实现思路
本专利技术的实施方式能基于描述例如通过图像捕获系统中的相机捕获的场景和描述通过多个相机捕获的场景的图像或一组原相机视图生成场景的画布视图。基于合成的位置将画布视图中的每个区域与合成视图的区域相关联的第一映射和将相机视图的区域与合成视图的区域相关联的第二映射能生成画布视图。能够对生成的映射进行组合，以生成将画布视图中的每个区域与该组相机视图中的一个或多个相机视图的区域相关联的组合映射，然后，对相机视图应用组合映射，以生成画布视图。例如，基于代表共享一个或多个共同对象的场景的图像的第一相机视图和第二相机视图能生成合成视图。使用在第一相机视图与第二相机视图之间关联用于像素的光流能将第一相机视图与第二相机视图关联起来。基于光流，第一相机视图与第二相机视图能“位移”至各自接近所希望的合成视图。然后，能一起混合或均化合成视图的两个接近(即，像素色彩值)，以生成合成视图。在合成视图的生成过程中，能使用关联多个相机视图上的对应点的光流。例如，表示为一组光流矢量(各自关联两个或多个对应的像素)的光流能关联相机视图之间的像素。例如，基于单独优化相机视图中的每个用于像素的光流矢量的迭代方法能生成光流。例如，通过针对每个像素生成一组光流提议、分析每个光流提议并且基于改善光流的优化的该组光流提议中的一光流提议更新光流。在一些实现方式中，能够将光流矢量的变化传播至相邻的光流矢量。根据本专利技术的实施方式具体在涉及方法、系统、存储介质和计算机程序产品的所附权利要求中公开，其中在一个权利要求类别(例如，方法)中提到的任何特征可以在另一个权利要求类别(例如，系统)中要求保护。所附权利要求中的从属关系或引用关系仅出于形式原因而被选择。然而，还可以要求保护任何先前权利要求(特别是多个从属关系)的有意引用而产生的任何主题，使得公开并且可以要求保护权利要求及其特征的任何组合，而不管在所附权利要求中选择的从属关系如何。可被要求保护的主题不仅包括所附权利要求中给出的特征的组合，而且包括权利要求中的特征的任意其他组合，其中，权利要求中提及的每个特征可与权利要求中的任意其他特征或者其他特征的组合进行组合。此外，本文中描述或描绘的任何实施方式和特征可以在单独的权利要求中被要求保护和/或与本文中描述或描绘的任何实施方式或特征或者与所附权利要求的任何特征的任何组合中要求保护。在根据本专利技术的实施方式中，一种用于生成光流的方法，方法可以包括：接收第一相机视图和第二相机视图，每个相机视图代表通过相机捕获的图像并且与捕获相机视图所处的位置相关联；初始化将第一相机视图中的点与第二相机视图中的对应点进行匹配的光流；针对第一相机视图中的每个像素，优化用于该像素的光流，其中，优化用于像素的光流包括：针对该像素生成一组光流提议；并且分析每个光流提议并且基于所述一组光流提议中的一光流提议更新该用于像素的光流。光流可以是将相机视图中的每个像素与光流矢量相关联的矢量场，光流矢量给出像素与另一相机视图中的对应像素之间的位移。像素的一组光流提议可以包括与像素的上方相邻像素相关联的光流矢量、与像素的左侧相邻像素相关联的光流矢量、以及当前光流矢量的随机扰动。在根据本专利技术的实施方式中，方法可以包括：建立包括数据和正则项的变量优化问题。基于将变量优化问题移至更接近于解的光流提议可以更新用于像素的光流。在根据本专利技术的实施方式中，方法可以包括：对光流应用中值滤波。在根据本专利技术的实施方式中，方法可以包括：初始化并且优化针对一组相机视图中的各个其他相机视图的光流。可以从左上方像素开始并且前进至右下方像素来优化用于第一相机视图的像素的光流。在根据本专利技术的实施方式中，方法可以包括：优化用于第一相机视图的每个像素的光流，直至光流质量的测量值达到阈值分数。初始化光流可以包括：放大低分辨率光流；并且在低分辨率光流内成比例地增大光流矢量的幅值。在根据本专利技术的实施方式中，系统可以包括：输入模块，输入模块被配置为接收第一相机视图和第二相机视图，每个相机视图代表通过相机捕获的图像并且与捕获相机视图时所处的位置相关联；光流计算模块，光流计算模块被配置为：初始化将第一相机视图中的点与第二相机视图中的对应点进行匹配的光流；针对第一相机视图中的每个像素，优化用于该像素的光流，其中，优化用于像素的光流包括：针对该像素生成一组光流提议；并且分析每个光流提议并且基于一组光流提议中的一光流提议更新用于该像素的光流。光流可以是将相机视图中的每个像素与光流矢量相关联的矢量场，光流矢量给出了像素与另一相机视图中的对应像素之间的位移。像素的一组光流提议可以包括与像素的上方相邻像素相关联的光流矢量、与像素的左侧相邻像素相关联的光流矢量、以及当前光流矢量的随机扰动。光流计算模块可以被配置为建立包括数据和正则项的变量优化问题。基于将变量优化问题移至更接近于解的光流提议可以更新用于像素的光流。在根据本专利技术的实施方式中，系统可以包括：对光流应用中值滤波。光流计算模块可以被配置为初始化并且优化针对一组相机视图的各个其他相机视图的光流。从左上方像素开始并且前进至右下方像素，可以优化用于第一相机视图的像素的光流。光流计算模块可以被配置为优化用于第一相机视图中的每个像素的光流，直至光流质量的测量值达到阈值分数。初始化光流可以包括：放大低分辨率光流；并且在低分辨率光流内成比例地增加光流矢量的幅值。在根据本专利技术的实施方式中，一个或多个计算机可读非易失性存储介质可以体现被运行时可运行为执行根据本专利技术或任意上述所述实施方式的方法的软件。在根据本专利技术的实施方式中，系统可以包括：一个或多个处理器；和至少一个存储器，耦合至处理器并且包括通过处理器运行的指令，当运行指令时，处理器可运行为执行根据本专利技术或任意上述所述实施方式的方法。在根据本专利技术的实施方式中，当在数据处理系统上运行时，计算机程序产品，优选地包括计算机可读非易失性存储介质，可以运行为执行根据本专利技术或任意上述所述实施方式的方法。附图说明图1是根据本专利技术的实施方式的画布生成系统运行的系统环境的框图。图2是根据本专利技术的实施方式的画布生成系统的框图。图3是示出根据一些实施方式的示例性图像捕获系统的构造的线图。图4是示出根据一些实施方式的示例性画布生成系统中的合成相机的使用的线图。图5a是示出根据一些实施方式的基于左相机视图和右相机视图的示例性合成视图的生成的线图。图5b是示出根据一些实施方式的示例性相机视图和示例性合成视图的线图。图6是示出根据一些实施方式的从示例性相机视图生成示例性合成视图的细节实施例的线图。图7是示出根据实施方式的用于从输入的相机视图生成合成视图的过程的流程图。图8是示出根据一些实施方式的示例性相机视图之间的光流矢量的线图。图9是示出根据一些实施方式的用于计算两个相机视图之间的光流的示例性过本文档来自技高网...

【技术保护点】
1.一种用于生成光流的方法，所述方法包括：接收第一相机视图和第二相机视图，每个相机视图代表由相机捕获的图像并且与位置相关联，其中，从所述位置捕获所述相机视图；初始化将所述第一相机视图中的点与第二相机视图中的对应点进行匹配的光流；针对所述第一相机视图中的每个像素，优化用于该像素的所述光流，其中，优化用于像素的所述光流包括：生成用于该像素的一组光流提议；并且分析每个光流提议，并且基于所述一组光流提议中的光流提议更新用于该像素的所述光流。

【技术特征摘要】
【国外来华专利技术】2016.04.06 US 62/319,074;2016.04.11 US 15/096,1671.一种用于生成光流的方法，所述方法包括：接收第一相机视图和第二相机视图，每个相机视图代表由相机捕获的图像并且与位置相关联，其中，从所述位置捕获所述相机视图；初始化将所述第一相机视图中的点与第二相机视图中的对应点进行匹配的光流；针对所述第一相机视图中的每个像素，优化用于该像素的所述光流，其中，优化用于像素的所述光流包括：生成用于该像素的一组光流提议；并且分析每个光流提议，并且基于所述一组光流提议中的光流提议更新用于该像素的所述光流。2.根据权利要求1所述的方法，其中，光流是将相机视图中的每个像素与光流矢量相关联的矢量场，所述光流矢量给出所述像素与另一相机视图中的对应像素之间的位移。3.根据权利要求2所述的方法，其中，用于像素的一组光流提议包括：与所述像素的上方相邻像素相关联的光流矢量、与所述像素的左侧相邻像素相关联的光流矢量、以及当前光流矢量的随机扰动。4.根据权利要求1所述的方法，进一步包括：建立包括数据和正则项的变量优化问题。5.根据权利要求4所述的方法，其中，基于将所述变量优化问题移至更接近解的光流提议更新用于像素的所述光流。6.根据权利要求1所述的方法，进一步包括：对所述光流应用中值滤波。7.根据权利要求1所述的方法，进一步包括：初始化并且优化用于一组相机视图中的各个其他相机视图的光流。8.根据权利要求1所述的方法，其中，从左上方像素开始并且前进至右下方像素，优化用于所述第一相机视图的像素的光流。9.根据权利要求1所述的方法，进一步包括：优化用于所述第一相机视图的每个像素的光流，直至光流质量的测量值达到阈值分数。10.根据权利要求1所述的方法，其中，初始化所述光流包括：放大低分辨率光流；并且成比例地增大所述低分辨率光流内的光流矢量的幅值。11.一种系统，包括：输入模块，所述输入模块被配置为接收第一相机视图和第二相机视图，每个相机视图代表由相机捕获的图像并且与位置相关联，其中，从所述位置捕获所述相机视图；光流计算模块，所述光流计算模块被配置为：初始化将所述第一相机视图中的点与第二相机视图中的对应点进行匹配的光流；针对所述第一相机视图中的每个像素，优化用于该像素的所述光流，其中，优化用于像素的所述光流包括：生成用于该像素的一组光流提议；并且分析每个光流提议，并且基于所述一组光流提议中的光流提议更新用于该像素的所述光流。12.根据权利要求11所述的系统，其中，光流是将相机视图中的每个像素与光流矢量相关联的矢量场，所述光流矢量给出所述像素与另一相机视图中的对应像素之间的位移。13.根据权利要求12所述的系统，其中，用于像素的一组光流提议包括：与所述像素的上方相邻像素相关联的光流矢量、与所述像素的左侧相邻像素相关联的光流矢量、以及当前光流矢量的随机扰动。14.根据权利要求11所述的系统，其中，所述光流计算模块被进一步配置为：建立包括数据和正则项的变量优化问题。15.根据权利要求14所述的系统，其中，基于将所述变量优化问题移至更接近解的光流提议更新用于像素的所述光流。16.根据权利要求11所述的系统，进一步包括：对所述光流应用中值滤波。17.根据权利要求11所述的系统，其中，所述光流计算模块被进一步配置为：初始化并且优化用于一组相机视图中的各个其他相机视图的光流。18.根据权利要求11所述的系统，其中，从左上方像素开始并且前进至右下方像素，优化用于所述第一相机视图的像素的光流。19.根据权利要求11所述的系统，其中，所述光流计算模块被进一步配置为：优化用于所述第一相机视图的每个像素的光流，直至光流质量的测量值达到阈值分数。20.根据权利要求11所述的系统...

【专利技术属性】
技术研发人员：布里安·基思·卡布拉尔，福里斯特·塞缪尔·布里格斯，阿尔贝特·帕拉·波索，皮特·瓦伊达，
申请(专利权)人：脸谱公司，
类型：发明
国别省市：美国,US