光流确定系统技术方案

本公开提供了一种生成式对抗网络(GAN)系统，其包括生成器子网络，生成器子网络被配置成检验相对于物体的观察者运动的物体的图像。生成器子网络还被配置成基于被检验的图像生成一个或多个基于分布的图像。系统还包括鉴别器子网络，鉴别器子网络被配置成检验一个或多个基于分布的图像以确定一个或多个基于分布的图像是否准确地表示物体。由一个或多个基于分布的图像中所示的物体的相对运动表示物体的预测光流。

【技术实现步骤摘要】
光流确定系统
本申请涉及使用一个或多个神经网络的图像分析系统。
技术介绍
出于各种不同的目的，神经网络可用来分析图像。例如，一些神经网络可检验图像以识别图像中描绘的物体。一些图像集常代表或能够代表视频帧，这些视频帧显示图像中描绘的物体和图像的观看者之间的相对运动。光流描述了在可视场中物体相对于观察者的这种相对运动。准确、有效地计算光流可用在各种计算机视觉应用中，例如物体检测、跟踪、运动检测、机器人导航、三维(3D)重构和分割等等。但是，准确、有效地计算光流可能难以实现。这种计算相当于寻找连续帧之间的像素对应性，是一个耗时的任务。有时，不存在任何精确的像素强度对应性，或者解诀方案不唯一，这使光流的确定受挫或受到阻碍。
技术实现思路
在一个实施例中，一种生成式对抗网络(GAN)系统，其包括生成器子网络，所述生成器子网络被配置成检验相对于物体的观察者运动的所述物体的图像。所述生成器子网络还被配置成基于被检验的图像生成一个或多个基于分布的图像。所述系统还包括鉴别器子网络，所述鉴别器子网络被配置成检验所述一个或多个基于分布的图像以确定所述一个或多个基于分布的图像是否准确地表示所述物体。由所述一个或多个基于分布的图像中所示的所述物体的相对运动表示所述物体的预测光流。在一个实施例中，一种方法，包括：使用生成式对抗网络(GAN)系统的生成器子网络，检验相对于物体的观察者运动的所述物体的图像；使用所述生成器子网络基于由所述生成器子网络检验的图像生成一个或多个基于分布的图像；使用所述GAN系统的鉴别器子网络检验所述一个或多个基于分布的图像以确定所述一个或多个基于分布的图像是否准确地表示所述物体；响应于确定所述一个或多个基于分布的图像准确地表示所述物体，使用所述鉴别器子网络基于所述一个或多个基于分布的图像确定所述物体的预测光流。在一个实施例中，系统包括生成器子网络，所述生成器子网络被配置成检验运动物体的图像。所述生成器子网络还被配置成基于所述图像中像素特征的分布生成一个或多个基于分布的图像。所述系统还包括鉴别器子网络，所述鉴别器子网络被配置成检验所述一个或多个基于分布的图像以确定所述一个或多个基于分布的图像和所述运动物体的图像之间的一个或多个误差。所述一个或多个误差指示所述一个或多个基于分布的图像是否准确地表示所述运动物体。由所述一个或多个基于分布的图像中所示的所述物体的相对运动表示所述物体的预测光流。附图说明通过参考附图阅读以下非限制性实施例的描述，将更好地理解本公开的主题，以下在所述附图中：图1说明光流确定系统的一个实施例；图2说明用于确定图像中的光流的方法的一个实施例的流程图；图3说明图1所示的光流确定系统的生成器子网络创建的一批基于分布的图像；以及图4说明了使用由GAN系统确定的预测光流的控制系统的一个示例。具体实施方式本文中描述的本公开主题的一个或多个实施例提供了光流确定系统和方法，其确定帧或图像中物体的光流。物体的光流描述、代表或指示在视觉场景中物体相对于物体的观察者的相对运动。在一个示例中，光流确定系统和方法包括或使用生成式对抗网络(generativeadversarialnetwork，GAN)从两个或更多个图像确定物体的光流。GAN包括两个子网络，即生成器子网络和鉴别器子网络。这些子网络在双玩家最大最小博弈的背景中相互作用。训练期间，生成器子网络尝试基于提供至生成器子网络的训练图像学习如何产生看似真实的图像样本。鉴别器子网络尝试学习如何区别产生的图像样本和真正的(例如训练)图像样本，所述真正的图像样本是原始的不由生成器子网络产生。这些子网络最终可以收敛到一个平衡点，在这一点，生成器子网络产生的图像样本与真正的图像样本无法区别(从鉴别器子网络的观点)。使用GAN学习如何估计连续的视频帧之间的光流。使用了非监管式学习方案，在此方案中，估计光流不需要有光流的任何背景事实。背景事实可以是多通道图像，其对另一集合的视频帧的每个像素的光流编码。所述系统和方法通过仅考虑连续视频帧，学习如何估计光流。人工神经网络(例如GAN)包括人工神经元或节点，其接收输入图像并对这些图像执行操作(例如函数)，选择性地将结果传送至其它神经元。权重值与网络中的每个向量和神经元关联，这些值对输入图像与神经元的输出相关联的程度进行约束。权重值可由训练数据的迭代流通过网络确定。例如，在训练阶段中建立权重值，其中，网络通过训练或背景事实图像中的物体的典型输入数据特征，学习如何识别特定的物体类别。本文中描述的系统和方法的至少一个技术效果包括确定或预测一个或多个物体的图像中的光流，其中，使用被确定或被预测的光流生成3D点云图像集，其用来检查设备(例如涡轮发动机)的内部以确定并开始设备的修理，无需使设备退出运行。图1说明光流确定系统100的一个实施例。图2说明用于确定图像中的光流的方法200的一个实施例的流程图。方法200的流程图可以表示由图1所示的系统100执行的操作，例如由一个或多个处理器(例如一个或多个微处理器、现场可编程门阵列和/或集成电路)在软件的指导下执行的由图像确定或预测光流的功能。可选地，方法200的流程图可以表示用来创建(例如编写)此类软件的算法。系统100包括神经网络102、104，在一个实施例中，系统100代表GAN系统。神经网络102、104是由一个或多个处理器(例如微处理器、集成电路、现场可编程门阵列等等)形成的人工神经网络。神经网络102、104分成两层或更多层106，例如接收图像的输入层、输出图像或损失函数(例如下面描述的误差)的输出层以及一个或多个中间层。神经网络102、104的各层106表示人工神经元的不同组合或集合，其可以表示由处理器对图像执行的预测图像中物体的光流和/或确定预测的光流中的误差的不同函数。在一个实施例中，神经网络102表示GAN的生成器子网络，神经网络104表示GAN的鉴别器子网络。操作中，在图2所示的方法200的流程图中的202，生成器子网络102接收具有相对运动的物体112的图像108、110。相对运动包括物体112和/或物体的观察者的移动，所述观察者例如获得图像108、110的照相机或其它传感器。图像108、110可以是由照相机获得的视频的各个帧。图像108、110中描绘的物体112可能正相对照相机(是静止的)运动，照相机可能正相对于物体112(是静止的)运动，或者物体112和照相机都正在运动。例如，照相机可提供：运动中的人的视频的各帧，当照相机正移动通过物体或者在物体内部移动时静止物体(例如发动机或涡轮的内部)的视频的各帧，和/或当照相机也在运动时运行中物体的视频的各帧。尽管本文中的描述重点在生成器子网络102只获得两个图像108、110，但是可选地，生成器子网络102可获得超过两个图像。图像108是图像110的前一图像，指示物体112(在图示的实例中是鸟)正相对照相机从左到右向上运动。物体112的运动可以由沿着第一(例如水平)x轴的位移Δx和沿着着第二(例如垂直)y轴的位移Δy表示。由Δx和Δy表示的此运动可表示或指示图像108、110中物体112的光流。如本文中描述，系统100可操作以从图像108、110预测物体112的附加光流。在一个实施例中，图像108、110不是背景事实图本文档来自技高网...

【技术保护点】
1.一种生成式对抗网络(GAN)系统，包括：生成器子网络，所述生成器子网络被配置成检验相对于物体的观察者运动的所述物体的图像，所述生成器子网络还被配置成基于被检验的图像生成一个或多个基于分布的图像；以及鉴别器子网络，所述鉴别器子网络被配置成检验所述一个或多个基于分布的图像以确定所述一个或多个基于分布的图像是否准确地表示所述物体；其中，由所述一个或多个基于分布的图像中所示的所述物体的相对运动表示所述物体的预测光流。

【技术特征摘要】
2017.04.04 US 15/4787841.一种生成式对抗网络(GAN)系统，包括：生成器子网络，所述生成器子网络被配置成检验相对于物体的观察者运动的所述物体的图像，所述生成器子网络还被配置成基于被检验的图像生成一个或多个基于分布的图像；以及鉴别器子网络，所述鉴别器子网络被配置成检验所述一个或多个基于分布的图像以确定所述一个或多个基于分布的图像是否准确地表示所述物体；其中，由所述一个或多个基于分布的图像中所示的所述物体的相对运动表示所述物体的预测光流。2.根据权利要求1所述的系统，其中，所述鉴别器子网络被配置成确定一个或多个损失函数，所述一个或多个损失函数指示所述一个或多个基于分布的图像中所述物体的预测光流中的误差。3.根据权利要求2所述的系统，其中，所述生成器子网络被配置成使用所述一个或多个损失函数加以训练。4.根据权利要求3所述的系统，其中，所述生成器子网络被配置成使用所述一个或多个损失函数通过所述生成器子网络反向传播所述一个或多个损失函数而加以训练。5.根据权利要求3所述的系统，其中，所述生成器子网络被配置成生成一个或多个附加的基于分布的图像来表示所述物体的所述预测光流。6.根据权利要求1所述的系统，其中，所述生成器子网络被配置成基于由所述生成器子网络检验的图像中像素特征的一个或多个分布，...

【专利技术属性】
技术研发人员：林思南，MD卡巴，M尤尊巴斯，D迪温斯基，
申请(专利权)人：通用电气公司，
类型：发明
国别省市：美国,US