三维运动估计制造技术

一种用于估计对象在第一二维图像与第二二维图像之间的三维流的方法，所述第一二维图像包括所述对象在第一配置中的图像，所述第二二维图像包括所述对象在第二配置中的图像，所述方法包括：将所述第一二维图像、所述第二二维图像和所述对象的估计的三维形状的二维表示输入到卷积神经网络中；使用所述卷积神经网络从所述第一二维图像、所述第二二维图像和所述对象的所述估计的三维形状的所述二维表示生成所述对象在所述第一二维图像与所述第二二维图像之间的所述三维流。二维图像之间的所述三维流。二维图像之间的所述三维流。

【技术实现步骤摘要】
【国外来华专利技术】三维运动估计


[0001]本说明书涉及用于估计二维图像之间的三维运动流的方法和系统，尤其涉及用于估计二维图像之间的对象(例如，人脸)的三维运动流的方法和系统。

技术介绍

[0002]光流估计是一个具有挑战性的计算机视觉问题，其中，估计对象在两个图像之间的二维运动/流。光流估计的三维对应(即，从二维图像估计场景点在三维空间中不同时刻的三维运动)场景流是一个更艰巨的问题，但具有许多重要的应用，包括三维人脸重建、自主驾驶、动作识别、人体运动和头部姿态估计以及视频到视频转换。
[0003]场景流结合了三维形状重建和密集流估计的挑战，并且由于深度模糊和孔径问题等因素而成为一个非常棘手的问题。现行方法通常依赖于立体图像或RGB
‑
D图像，并且为了解决这一问题，对重建表面和估计的运动场的光滑度或运动的刚度应用先验知识。

技术实现思路

[0004]根据本说明书的第一方面，描述了一种计算机实现的方法，所述方法用于估计对象在第一二维图像与第二二维图像之间的三维流，所述第一二维图像包括所述对象在第一配置中的图像，所述第二二维图像包括所述对象在第二配置中的图像。所述方法包括：将所述第一二维图像、所述第二二维图像和所述对象的估计的三维形状的二维表示输入到卷积神经网络中；使用所述卷积神经网络从所述第一二维图像、所述第二二维图像和所述对象的所述估计的三维形状的所述二维表示生成所述对象在所述第一二维图像与所述第二二维图像之间的所述三维流。
[0005]所述对象的所述估计的三维形状的所述二维表示可以包括彩色图像，其中，所述彩色图像的像素对所述对象的所述估计的三维形状中各点的三维坐标进行编码，所述各点对应于所述第一二维图像中所述对象的像素。
[0006]所述对象的所述估计的三维形状的所述二维表示包括归一化投影坐标编码。
[0007]所述对象在所述第一二维图像与所述第二二维图像之间的所述三维流可以包括彩色图像，所述彩色图像对所述第一二维图像与所述第二二维图像之间像素的三维流进行编码。
[0008]所述卷积神经网络可以包括：第一输入分支，用于通过一个或多个卷积层处理所述第一二维图像；第二输入分支，用于通过一个或多个卷积层处理所述第二二维图像；第三输入分支，用于通过一个或多个卷积层处理所述对象的所述估计的三维形状的所述二维表示；中继网，用于通过多个卷积层共同处理从所述第一输入分支、所述第二输入分支和所述第三输入分支导出的输出。所述卷积神经网络还可以包括：关联层，用于在所述中继网进行处理之前使所述第一分支的输出和所述第二分支的输出进行关联。所述中继网可以包括：编码部分，用于通过多个卷积层，从所述第一输入分支、所述第二输入分支和所述第三输入分支导出的所述输出生成粗略特征图；解码部分，用于通过多个解卷积层，从所述粗略特征
图生成所述对象在所述第一二维图像与所述第二二维图像之间的所述三维流。
[0009]所述方法还可以包括：在将所述对象的所述估计的三维形状的所述二维表示输入到所述卷积神经网络之前，使用另一神经网络从所述第一图像生成所述对象的所述估计的三维形状的所述二维表示。从所述第一图像生成所述对象的所述估计的三维形状的所述二维表示可以包括：使用所述另一神经网络从所述第一图像生成所述对象的所述估计的三维形状；对二维图像中所述估计的三维形状中各点的三维坐标进行编码，以生成所述对象的所述估计的三维形状的所述二维表示。
[0010]所述对象可以是人脸。
[0011]根据本说明书的另一方面，描述了一种计算机实现的方法，所述方法用于训练卷积神经网络以估计对象在第一二维图像与第二二维图像之间的三维流，所述第一二维图像包括所述对象在第一配置中的图像，所述第二二维图像包括所述对象在第二配置中的图像。所述方法包括：将所述第一二维图像、所述第二二维图像和所述对象的估计的三维形状的二维表示输入到卷积神经网络中；使用所述卷积神经网络从所述第一二维图像、所述第二二维图像和所述对象的所述估计的三维形状的所述二维表示生成所述对象在所述第一二维图像与所述第二二维图像之间的所述三维流；使用目标函数，将所述生成的三维流和所述第一二维图像与所述第二二维图像之间的地面真值三维流进行比较；根据所述比较，更新所述卷积神经网络的参数。
[0012]所述目标函数可以包括基于所述生成的三维流和所述第一二维图像与所述第二二维图像之间的所述地面真值三维流的差值的端点误差项。使用所述卷积神经网络生成所述对象在所述第一二维图像与所述第二二维图像之间的所述三维流可以包括生成一系列不同分辨率的三维流。所述端点误差项还可以将所述生成的一系列不同分辨率的三维流与对应的一系列不同分辨率的地面真值三维流进行比较。所述一系列不同分辨率的地面真值三维流可以通过下采样等从所述第一二维图像与所述第二二维图像之间的所述地面真值三维流导出。
[0013]所述目标函数可以包括颜色一致性误差，所述颜色一致性误差将从所述第二二维图像采样的像素值与所述第一二维图像中的像素值进行比较。可以使用所述对象在所述第一二维图像与所述第二二维图像之间的所述生成的三维流，根据所述对象的所述估计的三维形状的所述二维表示的翘曲对所述第二二维图像中的所述像素值进行采样。
[0014]所述对象的所述估计的三维形状的所述二维表示可以包括彩色图像。所述彩色图像的像素可以对所述对象的所述估计的三维形状中各点的三维坐标进行编码，所述各点对应于所述第一二维图像中所述对象的像素。
[0015]所述对象在所述第一二维图像与所述第二二维图像之间的所述三维流可以包括彩色图像，所述彩色图像对所述第一二维图像与所述第二二维图像之间像素的三维流进行编码。
[0016]所述卷积神经网络可以包括：第一输入分支，用于通过一个或多个卷积层处理所述第一二维图像；第二输入分支，用于通过一个或多个卷积层处理所述第二二维图像；第三输入分支，用于通过一个或多个卷积层处理所述对象的所述估计的三维形状的所述二维表示；中继网，用于通过多个卷积层共同处理从所述第一输入分支、所述第二输入分支和所述第三输入分支导出的输出。
[0017]所述方法还可以包括：在将所述对象的所述估计的三维形状的所述二维表示输入到所述卷积神经网络之前，使用另一神经网络从所述第一图像生成所述对象的所述估计的三维形状的所述二维表示。
[0018]所述对象可以是人脸。
[0019]根据本说明书的另一方面，描述了一种计算机实现的方法，所述方法用于估计对象在第一二维图像与第二二维图像之间的三维流，所述第一二维图像包括所述对象在第一配置中的图像，所述第二二维图像包括所述对象在第二配置中的图像；所述方法包括使用根据本文公开的训练方法中任一种训练的神经网络。
[0020]根据本说明书的另一方面，描述了一种计算机实现的方法，所述方法用于生成训练数据集，所述训练数据集用于训练模型以估计对象在第一二维图像与第二二维图像之间的三维流，所述第一二维图像包括所述对象在第一配置中的图像，所述第二二维图像包括所述对象在第二配置中的图像。所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种计算机实现的方法，其特征在于，用于估计对象在第一二维图像与第二二维图像之间的三维流，所述第一二维图像包括所述对象在第一配置中的图像，所述第二二维图像包括所述对象在第二配置中的图像；所述方法包括：将所述第一二维图像、所述第二二维图像和所述对象的估计的三维形状的二维表示输入到卷积神经网络中；使用所述卷积神经网络从所述第一二维图像、所述第二二维图像和所述对象的所述估计的三维形状的所述二维表示生成所述对象在所述第一二维图像与所述第二二维图像之间的所述三维流。2.根据权利要求1所述的方法，其特征在于，所述对象的所述估计的三维形状的所述二维表示包括彩色图像，其中，所述彩色图像的像素对所述对象的所述估计的三维形状中各点的三维坐标进行编码，所述各点对应于所述第一二维图像中所述对象的像素。3.根据权利要求1或2中任一项所述的方法，其特征在于，所述对象的所述估计的三维形状的所述二维表示包括归一化投影坐标编码。4.根据上述权利要求中任一项所述的方法，其特征在于，所述对象在所述第一二维图像与所述第二二维图像之间的所述三维流包括彩色图像，所述彩色图像对所述第一二维图像与所述第二二维图像之间像素的三维流进行编码。5.根据上述权利要求中任一项所述的方法，其特征在于，所述卷积神经网络包括：第一输入分支，用于通过一个或多个卷积层处理所述第一二维图像；第二输入分支，用于通过一个或多个卷积层处理所述第二二维图像；第三输入分支，用于通过一个或多个卷积层处理所述对象的所述估计的三维形状的所述二维表示；中继网，用于通过多个卷积层共同处理从所述第一输入分支、所述第二输入分支和所述第三输入分支导出的输出。6.根据权利要求5所述的方法，其特征在于，所述卷积神经网络还包括：关联层，用于在所述中继网进行处理之前使所述第一分支的输出和所述第二分支的输出进行关联。7.根据权利要求5或6所述的方法，其特征在于，所述中继网包括：编码部分，用于通过多个卷积层，从所述第一输入分支、所述第二输入分支和所述第三输入分支导出的所述输出生成粗略特征图；解码部分，用于通过多个解卷积层，从所述粗略特征图生成所述对象在所述第一二维图像与所述第二二维图像之间的所述三维流。8.根据上述权利要求中任一项所述的方法，其特征在于，还包括：在将所述对象的所述估计的三维形状的所述二维表示输入到所述卷积神经网络之前，使用另一神经网络从所述第一图像生成所述对象的所述估计的三维形状的所述二维表示。9.根据权利要求8所述的方法，其特征在于，从所述第一图像生成所述对象的所述估计的三维形状的所述二维表示包括：使用所述另一神经网络从所述第一图像生成所述对象的所述估计的三维形状；对二维图像中所述估计的三维形状中各点的三维坐标进行编码，以生成所述对象的所述估计的三维形状的所述二维表示。10.根据上述权利要求中任一项所述的方法，其特征在于，所述对象是人脸。
11.一种计算机实现的方法，其特征在于，用于训练卷积神经网络以估计对象在第一二维图像与第二二维图像之间的三维流，所述第一二维图像包括所述对象在第一配置中的图像，所述第二二维图像包括所述对象在第二配置中的图像；所述方法包括：将所述第一二维图像、所述第二二维图像和所述对象的估计的三维形状的二维表示输入到卷积神经网络中；使用所述卷积神经网络从所述第一二维图像、所述第二二维图像和所述对象的所述估计的三维形状的所述二维表示生成所述对象在所述第一二维图像与所述第二二维图像之间的所述三维流；使用目标函数，将所述生成的三维流和所述第一二维图像与所述第二二维图像之间的地面真值三维流进行比较；根据所述比较，更新所述卷积神经网络的参数。12.根据权利要求11所述的方法，其特征在于，所述目标函数包括基于所述生成的三维流和所述第一二维图像与所述第二二维图像之间的所述地面真值三维流的差值的端点误差项。13.根据权利要求12所述的方法，其特征在于，使用所述卷积神经网络生成所述对象在所述第一二维图像与所述第二二维图像之间的所述三维流包括生成一系列不同分辨率的三维流...

【专利技术属性】
技术研发人员：拉米，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：