图像深度和自我运动预测神经网络的无监督学习制造技术

一种系统包括由一个或多个计算机实现的神经网络，其中神经网络包括图像深度预测神经网络和相机运动估计神经网络。神经网络被配置为接收图像序列。神经网络被配置为使用图像深度预测神经网络来处理图像序列中的每个图像，以为每个图像生成表征图像的深度的相应深度输出，并且使用相机运动估计神经网络来处理图像序列中的图像子集，以生成表征子集中的图像之间的相机的运动的相机的运动输出。已经使用无监督学习技术联合训练了图像深度预测神经网络和相机运动估计神经网络。

【技术实现步骤摘要】
【国外来华专利技术】图像深度和自我运动预测神经网络的无监督学习相关申请的交叉引用本申请要求2017年11月15日提交的序列号62/586,611的美国临时申请的优先权。在先申请的公开被视为本申请的公开的部分，并通过引用结合于本申请的公开中。
技术介绍
本说明书涉及使用神经网络处理图像。机器学习模型接收输入并基于接收到的输入生成输出，例如预测输出。一些机器学习模型是参数模型，并且基于接收到的输入和模型的参数值生成输出。一些机器学习模型是深度模型，深度模型采用多层模型来为接收到的输入生成输出。例如，深度神经网络是深度机器学习模型，其包括输出层和一个或多个隐藏层，每个隐藏层对接收到的输入应用非线性变换以生成输出。
技术实现思路
一般，本说明书中描述的主题的一个创新方面可以体现在包括由一个或多个计算机实现的神经网络的系统中。神经网络包括图像深度预测神经网络和相机运动估计神经网络。神经网络被配置为接收图像序列。神经网络被配置为使用图像深度预测神经网络来处理图像序列中的每个图像，以为每个图像生成(i)表征图像的深度的相应深度输出。神经网络被配置为使用相机本文档来自技高网...

【技术保护点】
1.一种系统，包括：/n由一个或多个计算机实现的神经网络，其中所述神经网络包括图像深度预测神经网络和相机运动估计神经网络，其中所述神经网络被配置为接收图像序列，以及/n使用所述图像深度预测神经网络处理所述图像序列中的每个图像，以为每个图像生成表征所述图像的深度的相应深度输出，以及/n使用所述相机运动估计神经网络处理所述图像序列中的图像子集，以生成表征所述子集中的图像之间的相机的运动的相机运动输出；以及/n其中已经使用无监督学习技术联合训练了所述图像深度预测神经网络和所述相机运动估计神经网络。/n

【技术特征摘要】
【国外来华专利技术】20171115 US 62/586,6111.一种系统，包括：
由一个或多个计算机实现的神经网络，其中所述神经网络包括图像深度预测神经网络和相机运动估计神经网络，其中所述神经网络被配置为接收图像序列，以及
使用所述图像深度预测神经网络处理所述图像序列中的每个图像，以为每个图像生成表征所述图像的深度的相应深度输出，以及
使用所述相机运动估计神经网络处理所述图像序列中的图像子集，以生成表征所述子集中的图像之间的相机的运动的相机运动输出；以及
其中已经使用无监督学习技术联合训练了所述图像深度预测神经网络和所述相机运动估计神经网络。


2.根据权利要求1所述的系统，其中所述图像序列是由相机捕获的视频帧。


3.根据权利要求1或2中任一项所述的系统，其中，所述深度输出包括所述图像中多个像素的每个像素的估计深度值，所述估计深度值表示在所述像素处描绘的场景距所述图像的焦平面的相应距离。


4.根据权利要求1-3中任一项所述的系统，其中，所述相机运动输出是变换矩阵，所述变换矩阵将所述相机的位置和朝向从拍摄所述子集中的第一图像时的视点变换到拍摄所述子集中的第二图像时的视点。


5.根据权利要求1-4中任一项所述的系统，其中所述图像深度预测神经网络包括卷积神经网络层。


6.根据权利要求1-5中任一项所述的系统，其中所述相机运动估计神经网络包括卷积神经网络层。


7.根据权利要求1-6中任一项所述的系统，其中所述图像子集包括所述图像序列中的两个图像。


8.根据权利要求1-6中任一项所述的系统，其中所述图像子集包括所述图像序列中的三个或更多个图像。


9.用指令编码的一个或多个计算机存储介质，当所述指令由一个或多个计算机执行时，所述指令使所述一个或多个计算机实现权利要求1-8中任一项所述的系统。


10.一种用于训练权利要求1-8中任一项所述的神经网络的方法，所述方法包括：
获得包括图像序列的训练数据；并且
对于所述图像序列中的每个特定图像：
使用所述图像深度预测神经网络处理所述特定图像，以生成表征所述特定图像的第一深度的第一深度估计；
使用深度预测神经网络处理序列中所述特定图像之后的第二图像，以生成表征所述第二图像的第二深度的第二深度估计；
使用所述相机运动估计神经网络处理所述特定图像和所述第二图像，以生成第一变换矩阵，所述第一变换矩阵将相机的位置和朝向从拍摄所述特定图像时的视点变换到拍摄所述第二图像时的视点；以及
基于所述第一深度估计、所述第二深度估计和所述第一变换矩阵，反向传播损失函数的梯度估计，以联合调整所述深度预测神经网络和所述相机运动估计神经网络的参数的当前值。


11.根据权利要求10所述的方法，其中所述损失函数包括基于3D的点云对准损失分量，所述基于3D的点云对准损失分量最小化从所述特定图像和所述第二图像生成的两个点云之间的点到点距离。


12.根据权利要求11所述的方法，其中反向传播所述损失函数的梯度估计包括：
通过重复地估计最佳拟...

【专利技术属性】
技术研发人员：A安杰洛瓦，M威克，R马朱利安，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国;US