用于生成双目深度估计模型的方法和装置制造方法及图纸

本公开的实施例公开了用于生成双目深度估计模型的方法和装置。获取训练样本集合；获取预设的初始双目深度估计模型；利用机器学习方法，执行如下训练步骤：将训练样本集合中的训练样本包括的第一图像和第二图像以第一顺序输入初始双目深度估计模型，将与输入的第一图像对应的第一样本深度图作为初始双目深度估计模型的期望输出，以及将第一图像和第二图像以第二顺序输入初始双目深度估计模型，将与输入的第二图像对应的第二样本深度图作为初始双目深度估计模型的期望输出，对初始双目深度估计模型进行训练，得到双目深度估计模型。该实施方式丰富了模型的生成方式，有助于使用双目深度估计模型提高生成深度图像的准确性。

A Method and Device for Generating Binocular Depth Estimation Model

【技术实现步骤摘要】
用于生成双目深度估计模型的方法和装置
本公开的实施例涉及计算机
，具体涉及用于生成双目深度估计模型的方法和装置。
技术介绍
双目立体视觉(BinocularStereoVision)是机器视觉的一种重要形式，它是基于深度原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。通常，使用双目相机拍摄同一场景的左、右两幅视点图像，运用立体匹配算法获得深度图。而深度图的应用范围非常广泛，由于其能够记录场景中物体距离摄像机的距离，可以用以测量、三维重建、以及虚拟视点的合成等。现有的立体匹配算法可以使用经过训练的人工神经网络来实现。该网络可以对双目相机拍摄的左右图像进行处理，得到深度图。
技术实现思路
本公开的实施例提出了用于生成双目深度估计模型的方法和装置，以及用于生成深度图的方法和装置。第一方面，本公开的实施例提供了一种用于生成双目深度估计模型的方法，该方法包括：获取训练样本集合，其中，训练样本包括通过双目相机拍摄的第一图像和第二图像，还包括预先生成的、与第一图像对应的第一样本深度图和与第二图像对应的第二样本深度图；获取预设的初始双目深度估计模型；利用机器学习方法，执行如下训练步骤：将训练样本集合中的训练样本包括的第一图像和第二图像以第一顺序输入初始双目深度估计模型，将与输入的第一图像对应的第一样本深度图作为初始双目深度估计模型的期望输出，以及将第一图像和第二图像以第二顺序输入初始双目深度估计模型，将与输入的第二图像对应的第二样本深度图作为初始双目深度估计模型的期望输出，对初始双目深度估计模型进行训练，得到双目深度估计模型。在一些实施例中，初始双目深度估计模型包括生成网络和修正网络，生成网络用于利用输入的第一图像和第二图像生成初始深度图，修正网络用于对初始深度图进行修正，得到修正后深度图。在一些实施例中，修正网络为用于导向滤波的卷积神经网络。在一些实施例中，训练步骤包括：将训练样本集合中的训练样本包括的第一图像和第二图像以第一顺序输入生成网络，将生成网络输出的初始深度图和对应的第一图像进行拼接处理，将拼接处理后得到的拼接后图像输入修正网络，将与输入的第一图像对应的第一样本深度图作为修正网络的期望输出，对初始双目深度估计模型进行训练；以及将训练样本集合中的训练样本包括的第一图像和第二图像以第二顺序输入生成网络，将生成网络输出的初始深度图和对应的第二图像进行拼接处理，将拼接处理后得到的拼接后图像输入修正网络，将与输入的第二图像对应的第二样本深度图作为修正网络的期望输出，对初始双目深度估计模型进行训练；将训练后的初始双目深度估计模型确定为双目深度估计模型。在一些实施例中，将生成网络输出的初始深度图和对应的第一图像进行拼接处理，将拼接处理后得到的拼接后图像输入修正网络，包括：响应于确定生成网络输出的初始深度图与对应的第一图像的尺寸不同，调整生成网络输出的初始深度图的尺寸至与第一图像的尺寸相同；将调整尺寸后的初始深度图和对应的第一图像进行拼接为拼接后图像，将所得到的拼接后图像输入修正网络。在一些实施例中，将生成网络输出的初始深度图和对应的第二图像进行拼接处理，将拼接处理后得到的拼接后图像输入修正网络，包括：响应于确定生成网络输出的初始深度图与对应的第二图像的尺寸不同，调整生成网络输出的初始深度图的尺寸至与第二图像的尺寸相同；将调整尺寸后的初始深度图和对应的第二图像进行拼接为拼接后图像，将所得到的拼接后图像输入修正网络。第二方面，本公开的实施例提供了一种用于生成深度图的方法，该方法包括：获取双目相机拍摄的第一图像和第二图像；将第一图像和第二图像以第一顺序输入预先训练的双目深度估计模型，得到第一图像所对应的深度图及输出，其中，双目深度估计模型是根据第一方面中任一实施例描述的方法生成的。在一些实施例中，该方法还包括：将第一图像和第二图像以第二顺序输入双目深度估计模型，得到第二图像所对应的深度图及输出。第三方面，本公开的实施例提供了一种用于生成双目深度估计模型的装置，该装置包括：样本获取单元，被配置成获取训练样本集合，其中，训练样本包括通过双目相机拍摄的第一图像和第二图像，还包括预先生成的、与第一图像对应的第一样本深度图和与第二图像对应的第二样本深度图；模型获取单元，被配置成获取预设的初始双目深度估计模型；训练单元，被配置成利用机器学习方法，执行如下训练步骤：将训练样本集合中的训练样本包括的第一图像和第二图像以第一顺序输入初始双目深度估计模型，将与输入的第一图像对应的第一样本深度图作为初始双目深度估计模型的期望输出，以及将第一图像和第二图像以第二顺序输入初始双目深度估计模型，将与输入的第二图像对应的第二样本深度图作为初始双目深度估计模型的期望输出，对初始双目深度估计模型进行训练，得到双目深度估计模型。在一些实施例中，初始双目深度估计模型包括生成网络和修正网络，生成网络用于利用输入的第一图像和第二图像生成初始深度图，修正网络用于对初始深度图进行修正，得到修正后深度图。在一些实施例中，修正网络为用于导向滤波的卷积神经网络。在一些实施例中，训练单元包括：第一训练模块，被配置成将训练样本集合中的训练样本包括的第一图像和第二图像以第一顺序输入生成网络，将生成网络输出的初始深度图和对应的第一图像进行拼接处理，将拼接处理后得到的拼接后图像输入修正网络，将与输入的第一图像对应的第一样本深度图作为修正网络的期望输出，对初始双目深度估计模型进行训练；以及第二训练模块，被配置成将训练样本集合中的训练样本包括的第一图像和第二图像以第二顺序输入生成网络，将生成网络输出的初始深度图和对应的第二图像进行拼接处理，将拼接处理后得到的拼接后图像输入修正网络，将与输入的第二图像对应的第二样本深度图作为修正网络的期望输出，对初始双目深度估计模型进行训练；确定模块，被配置成将训练后的初始双目深度估计模型确定为双目深度估计模型。在一些实施例中，第一训练模块包括：第一调整子模块，被配置成响应于确定生成网络输出的初始深度图与对应的第一图像的尺寸不同，调整生成网络输出的初始深度图的尺寸至与第一图像的尺寸相同；第一拼接子模块，被配置成将调整尺寸后的初始深度图和对应的第一图像进行拼接为拼接后图像，将所得到的拼接后图像输入修正网络。在一些实施例中，第二训练模块包括：第二调整子模块，被配置成响应于确定生成网络输出的初始深度图与对应的第二图像的尺寸不同，调整生成网络输出的初始深度图的尺寸至与第二图像的尺寸相同；第二拼接子模块，被配置成将调整尺寸后的初始深度图和对应的第二图像进行拼接为拼接后图像，将所得到的拼接后图像输入修正网络。第四方面，本公开的实施例提供了一种用于生成深度图的装置，该装置包括：图像获取单元，被配置成获取双目相机拍摄的第一图像和第二图像；第一生成单元，被配置成将第一图像和第二图像以第一顺序输入预先训练的双目深度估计模型，得到第一图像所对应的深度图及输出，其中，双目深度估计模型是根据第一方面中任一实施例描述的方法生成的。在一些实施例中，该装置还包括：第二生成单元，被配置成将第一图像和第二图像以第二顺序输入双目深度估计模型，得到第二图像所对应的深度图及输出。第五方面，本公开的实施例提供了一种电子本文档来自技高网...

【技术保护点】
1.一种用于生成双目深度估计模型的方法，包括：获取训练样本集合，其中，训练样本包括通过双目相机拍摄的第一图像和第二图像，还包括预先生成的、与第一图像对应的第一样本深度图和与第二图像对应的第二样本深度图；获取预设的初始双目深度估计模型；利用机器学习方法，执行如下训练步骤：将所述训练样本集合中的训练样本包括的第一图像和第二图像以第一顺序输入初始双目深度估计模型，将与输入的第一图像对应的第一样本深度图作为初始双目深度估计模型的期望输出，以及将第一图像和第二图像以第二顺序输入初始双目深度估计模型，将与输入的第二图像对应的第二样本深度图作为初始双目深度估计模型的期望输出，对初始双目深度估计模型进行训练，得到双目深度估计模型。

【技术特征摘要】
1.一种用于生成双目深度估计模型的方法，包括：获取训练样本集合，其中，训练样本包括通过双目相机拍摄的第一图像和第二图像，还包括预先生成的、与第一图像对应的第一样本深度图和与第二图像对应的第二样本深度图；获取预设的初始双目深度估计模型；利用机器学习方法，执行如下训练步骤：将所述训练样本集合中的训练样本包括的第一图像和第二图像以第一顺序输入初始双目深度估计模型，将与输入的第一图像对应的第一样本深度图作为初始双目深度估计模型的期望输出，以及将第一图像和第二图像以第二顺序输入初始双目深度估计模型，将与输入的第二图像对应的第二样本深度图作为初始双目深度估计模型的期望输出，对初始双目深度估计模型进行训练，得到双目深度估计模型。2.根据权利要求1所述的方法，其中，初始双目深度估计模型包括生成网络和修正网络，生成网络用于利用输入的第一图像和第二图像生成初始深度图，修正网络用于对初始深度图进行修正，得到修正后深度图。3.根据权利要求2所述的方法，其中，所述修正网络为用于导向滤波的卷积神经网络。4.根据权利要求3所述的方法，其中，所述训练步骤包括：将所述训练样本集合中的训练样本包括的第一图像和第二图像以第一顺序输入生成网络，将生成网络输出的初始深度图和对应的第一图像进行拼接处理，将拼接处理后得到的拼接后图像输入修正网络，将与输入的第一图像对应的第一样本深度图作为修正网络的期望输出，对初始双目深度估计模型进行训练；以及将所述训练样本集合中的训练样本包括的第一图像和第二图像以第二顺序输入生成网络，将生成网络输出的初始深度图和对应的第二图像进行拼接处理，将拼接处理后得到的拼接后图像输入修正网络，将与输入的第二图像对应的第二样本深度图作为修正网络的期望输出，对初始双目深度估计模型进行训练；将训练后的初始双目深度估计模型确定为双目深度估计模型。5.根据权利要求4所述的方法，其中，所述将生成网络输出的初始深度图和对应的第一图像进行拼接处理，将拼接处理后得到的拼接后图像输入修正网络，包括：响应于确定生成网络输出的初始深度图与对应的第一图像的尺寸不同，调整生成网络输出的初始深度图的尺寸至与第一图像的尺寸相同；将调整尺寸后的初始深度图和对应的第一图像进行拼接为拼接后图像，将所得到的拼接后图像输入修正网络。6.根据权利要求4所述的方法，其中，所述将生成网络输出的初始深度图和对应的第二图像进行拼接处理，将拼接处理后得到的拼接后图像输入修正网络，包括：响应于确定生成网络输出的初始深度图与对应的第二图像的尺寸不同，调整生成网络输出的初始深度图的尺寸至与第二图像的尺寸相同；将调整尺寸后的初始深度图和对应的第二图像进行拼接为拼接后图像，将所得到的拼接后图像输入修正网络。7.一种用于生成深度图的方法，包括：获取双目相机拍摄的第一图像和第二图像；将所述第一图像和所述第二图像以第一顺序输入预先训练的双目深度估计模型，得到所述第一图像所对应的深度图及输出，其中，所述双目深度估计模型是根据权利要求1-6之一所述的方法生成的。8.根据权利要求7所述的方法，其中，所述方法还包括：将所述第一图像和所述第二图像以第二顺序输入所述双目深度估计模型，得到所述第二图像所对应的深度图及输出。9.一种用于生成双目深度估计模型的装置，包括：样本获取单元，被配置成获取训练样本集合，其中，训练样本包括通过双目相机拍摄的第一图像和第二图像，还包括预先生成的、与第一图像对应的第一样本深度图和与第二图像对应的第二样本深...

【专利技术属性】
技术研发人员：王诗吟，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：北京,11