模型训练方法和装置、预测方法和装置制造方法及图纸

本申请公开了模型训练方法和装置、预测方法和装置，涉及人工智能、深度学习、图像处理、自动驾驶领域。具体方案为：将样本图像中第一样本图像输入深度信息预测模型，得到第一样本图像的深度信息；基于样本图像中第二样本图像以及第一样本图像，得到图像间姿态信息；至少根据图像间姿态信息和深度信息，得到第一样本图像对应的投影图像；确定计算第二样本图像与投影图像的相似度的函数，得到损失函数，利用损失函数训练深度信息预测模型。

【技术实现步骤摘要】
模型训练方法和装置、预测方法和装置
本申请涉及计算机
，尤其涉及人工智能、深度学习、图像处理、自动驾驶领域。
技术介绍
现有基于监督的深度信息估计的方案，以彩色图像作为输入，通过机器学习，如卷积神经网络等方式，估计彩色图像的深度信息。该方案在训练过程中，通过激光雷达或其它深度传感器采集真实的深度信息来作为监督信号，但高精度且密集的深度信息往往难以获得，导致训练受限。
技术实现思路
本申请提供了一种模型训练方法和装置、预测方法和装置。第一方面，本申请提供了一种模型训练方法，包括：将样本图像中第一样本图像输入深度信息预测模型，得到第一样本图像的深度信息；基于样本图像中第二样本图像以及第一样本图像，得到图像间姿态信息；至少根据图像间姿态信息和深度信息，得到第一样本图像对应的投影图像；确定计算第二样本图像与投影图像的相似度的函数，得到损失函数，利用损失函数训练深度信息预测模型。第二方面，本申请提供了一种预测方法，包括：获取待预测图像；将待预测图像输入深度信息预测模型，得到深度信息预测模型输出的待预测图像的深度信息；其中，深度信息预测模型采用本申请所提供的模型训练方法训练所得。第三方面，本申请提供了一种模型训练装置，包括：将样本图像中第一样本图像输入深度信息预测模型，得到第一样本图像的深度信息；基于样本图像中第二样本图像以及第一样本图像，得到图像间姿态信息；至少根据图像间姿态信息和深度信息，得到第一样本图像对应的投影图像；确定计算第二样本图像与投影图像的相似度的函数，得到损失函数，利用损失函数训练深度信息预测模型。第四方面，本申请提供了一种预测装置，包括：待预测图像获取模块，用于获取待预测图像；预测模块，用于将待预测图像输入深度信息预测模型，得到深度信息预测模型输出的待预测图像的深度信息；其中，深度信息预测模型采用本申请所提供的模型训练装置训练所得。根据本申请的技术解决了现有通过激光雷达或其它深度传感器采集真实的深度信息来作为监督信号，导致深度信息预测模型训练受限的问题。应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。附图说明附图用于更好地理解本方案，不构成对本申请的限定。其中：图1是根据本申请实施例提供的模型训练方法的流程图一；图2是根据本申请实施例提供的模型训练方法的流程图二；图3是根据本申请实施例提供的模型训练方法的流程图三；图4是根据本申请实施例提供的模型训练方法的流程图四；图5是根据本申请实施例提供的模型训练方法的流程图五；图6是根据本申请实施例提供的深度信息预测模型的示例图；图7是根据本申请实施例提供的模型训练方法的流程图六；图8是根据本申请实施例提供的预测方法的流程图；图9是根据本申请实施例提供的模型训练装置的结构图；图10是根据本申请实施例提供的预测装置的结构图；图11是用来实现本申请实施例的模型训练方法或预测方法的电子设备的框图。具体实施方式以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。本申请实施例提供一种模型训练方法，可应用于自动驾驶系统中，如自动驾驶汽车和无人驾驶挖掘机，还可应用于增强现实(AugmentedReality，AR)和虚拟现实技术(VirtualReality，VR)。参见图1，该方法包括：S101、将样本图像中第一样本图像输入深度信息预测模型，得到第一样本图像的深度信息；S102、基于样本图像中第二样本图像以及第一样本图像，得到图像间姿态信息；S103、至少根据图像间姿态信息和深度信息，得到第一样本图像对应的投影图像；S104、确定计算第二样本图像与投影图像的相似度的函数，得到损失函数，利用损失函数训练深度信息预测模型。可见，本申请以图像为输入，可以以自监督的方式有效估计图像对应的深度信息，不需要通过激光雷达或其它深度传感器采集的高精度深度信息的支持，限制较少。在一示例中，本申请以彩色图像作为输入进行自监督的深度信息估计，整个方法可分为两部分，包括：图像间姿态信息估计以及图像深度信息估计。例如给定两帧图像It和It+1，通过获得的图像间姿态信息Pt以及图像It对应的深度信息Dt，可以将图像It投影至It+1的视角下产生虚拟的图像It’，如果图像间姿态信息Pt及深度信息Dt估计足够准确，则图像It’与图像It+1会足够接近，因此确定计算图像It’与图像It+1的相似度的函数，得到损失函数loss(It+1,It’)，利用损失函数训练深度信息预测模型。可选地，步骤S101中，样本图像可以为视频帧，例如，第一样本图像和第二样本图像为相隔预设帧的两帧视频帧。或者，第一样本图像和第二样本图像为连续两帧视频图像(如It,和It+1)。除此之外，也可以采用其它方式选取第一样本图像和第二样本图像，使得第一样本图像和第二样本图像的内容相似即可。例如，样本图像包括两个拍摄设备(如双目相机)拍摄同一方位得到的多帧图像，第一样本图像和第二样本图像为两个拍摄设备在同一时刻拍摄的图像。可选地，样本图像为彩色图像。在一种实施方式中，参见图2，步骤S101中，得到第一样本图像的深度信息，包括：S201、对第一样本图像进行尺寸处理，得到与第一样本图像的尺寸不同的第一图像；可选地，存在多个第一图像，每个第一图像的尺寸不同。可选地，对第一样本图像进行的尺寸处理可以为对第一样本图像进行降采样操作。例如，对于一幅图像尺寸为M×N，对其进行s倍的降采样操作后，可以得到(M/s)×(N/s)尺寸的图像。S202、对第一图像进行特征提取，得到图像特征；S203、根据图像特征，确定第一样本图像的深度信息。可选地，当包含多个第一图像时，对于每个第一图像均进行特征提取最后结合多个第一图像的图像特征，确定第一样本图像的深度信息。这样处理的好处是，对第一样本图像进行尺寸处理，以获取不同尺寸的第一图像，有利于获取不同尺寸下的图像的特征信息，从而可以提取更全面的信息，既有全局的整体信息，又有局部的详细信息。在一种实施方式中，参加图3，步骤S101得到第一样本图像的深度信息，包括：S301、利用深度信息预测模型的卷积层对第一样本图像进行特征提取，得到卷积特征；可选地，深度信息预测模型中包括一特征提取网络，特征提取网络包括多层卷积层，不同层的卷积层提取的特征大小不同。利用特征提取网络直本文档来自技高网...

【技术保护点】
1.一种模型训练方法，包括：/n将样本图像中第一样本图像输入深度信息预测模型，得到所述第一样本图像的深度信息；/n基于所述样本图像中第二样本图像以及所述第一样本图像，得到图像间姿态信息；/n至少根据所述图像间姿态信息和所述深度信息，得到所述第一样本图像对应的投影图像；/n确定计算所述第二样本图像与所述投影图像的相似度的函数，得到损失函数，利用所述损失函数训练所述深度信息预测模型。/n

【技术特征摘要】
1.一种模型训练方法，包括：
将样本图像中第一样本图像输入深度信息预测模型，得到所述第一样本图像的深度信息；
基于所述样本图像中第二样本图像以及所述第一样本图像，得到图像间姿态信息；
至少根据所述图像间姿态信息和所述深度信息，得到所述第一样本图像对应的投影图像；
确定计算所述第二样本图像与所述投影图像的相似度的函数，得到损失函数，利用所述损失函数训练所述深度信息预测模型。


2.根据权利要求1所述的方法，其中，所述得到所述第一样本图像的深度信息，包括：
对第一样本图像进行尺寸处理，得到与第一样本图像的尺寸不同的第一图像；
对所述第一图像进行特征提取，得到图像特征；
根据所述图像特征，确定所述第一样本图像的深度信息。


3.根据权利要求1或2所述的方法，其中，所述得到所述第一样本图像的深度信息，包括：
利用所述深度信息预测模型中的卷积层对第一样本图像进行特征提取，得到卷积特征；
根据所述卷积特征，确定所述第一样本图像的深度信息。


4.根据权利要求1所述的方法，其中，所述得到所述第一样本图像的深度信息，包括：
获取所述第一样本图像的图像特征和卷积特征，所述图像特征是对第一图像进行特征提取后得到的，所述第一图像为与所述第一样本图像的尺寸不同的图像，所述卷积特征是利用所述深度信息预测模型中卷积层对所述第一样本图像进行特征提取后得到的；
根据所述图像特征和所述卷积特征，确定所述第一样本图像的深度信息。


5.根据权利要求1或4所述的方法，其中，所述基于所述样本图像中第二样本图像以及所述第一样本图像，得到图像间姿态信息，包括：
对所述第二样本图像和所述第一样本图像进行特征提取；
对提取得到的所述第二样本图像和所述第一样本图像的特征进行回归处理，得到图像间姿态信息。


6.根据权利要求1或4所述的方法，其中，
所述至少根据所述图像间姿态信息和所述深度信息，得到所述第一样本图像对应的投影图像，包括：
获取所述第一样本图像对应的第一采集参数以及所述第二样本图像对应的第二采集参数；
根据所述第一样本图像的深度信息和所述第一采集参数，确定所述第一样本图像的第一点云数据；
根据所述图像间姿态信息，将所述第一点云数据转换为第二点云数据；
根据所述第二采集参数对所述第二点云数据进行投影，得到所述投影图像。


7.一种预测方法，包括：
获取待预测图像；
将所述待预测图像输入深度信息预测模型，得到所述深度信息预测模型输出的所述待预测图像的深度信息；
其中，所述深度信息预测模型采用权利要求1-6任一项所述的模型训练方法训练所得。


8.一种模型训练装置，包括：
深度信息获得模块，用于将样本图像中第一样本图像输入深度信息预测模型，得到所述第一样本图像的深度信息；
图像间姿态信息获得模块，用于基于所述样本图像中第二样本图像以及所述第一样本图像，得到图像间姿态信息；
投影图像获得模块，用于至少根据所述图像间姿态信息和所述深度信息，得到所述第一样本图像对应的投影图像；
损失函数获得模...

【专利技术属性】
技术研发人员：宋希彬，周定富，方进，张良俊，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11