一种单目深度估计方法、装置、终端和存储介质制造方法及图纸

本发明专利技术实施例公开了一种单目深度估计方法、装置、终端和存储介质。该方法包括：获取待深度估计的单目图像；将单目图像作为目标生成对抗网络中的目标深度生成模型的输入，并根据目标深度生成模型的输出确定单目图像对应的目标深度图，其中，目标深度生成模型根据目标生成对抗网络中的深度判别模型训练得到。本发明专利技术实施例的技术方案，可以解决现有的单目深度估计网络预测的深度图在深度分界边缘处趋向于平滑和模糊的问题，从而提高深度图的预测精度。

【技术实现步骤摘要】
一种单目深度估计方法、装置、终端和存储介质
本专利技术实施例涉及计算机视觉技术，尤其涉及一种单目深度估计方法、装置、终端和存储介质。
技术介绍
在计算机视觉研究领域中，越来越多的人们研究单目深度估计方法，即通过一张利用普通相机(如RGB相机)获取的彩色图像预测出图像中各位置与相机之间的距离，即深度信息。随着深度学习技术的不断进步，越来越多的人们使用基于卷积神经网络的方法来进行单目深度估计。通过单目深度估计网络，根据一张单目图像便可以直接得到对应的深度图像，无需使用体积较大的传感器等设备，扩大了应用范围。现有的单目深度估计网络往往是利用常规的误差函数进行训练得到，比如均方误差函数、绝对值误差函数、Huber误差函数等。然而，基于现有的误差函数训练得到的深度估计网络，在进行单目深度估计时往往会遇到图像模糊的问题，也就是输出的深度图在深度变化较大的分界区域上趋向于平滑和模糊，如图1所示。图1中利用现有单目深度估计网络输出的深度图中的边缘(黑白相交的区域)过于模糊和平滑，使其与实际深度图的偏差较大，从而导致现有的深度估计网络预侧的深度图的精度较低。
技术实现思路
本专利技术实施例提供了一种单目深度估计方法、装置、终端和存储介质，以解决现有的单目深度估计网络预测的深度图在深度分界边缘处趋向于平滑和模糊的问题，提高了深度图的预测精度。第一方面，本专利技术实施例提供了一种单目深度估计方法，包括：获取待深度估计的单目图像；将所述单目图像作为目标生成对抗网络中的目标深度生成模型的输入，并根据所述目标深度生成模型的输出确定所述单目图像对应的目标深度图，其中，所述目标深度生成模型根据所述目标生成对抗网络中的深度判别模型训练得到。第二方面，本专利技术实施例还提供了一种单目深度估计装置，包括：单目图像获取模块，用于获取待深度估计的单目图像；目标深度图确定模块，用于将所述单目图像作为目标生成对抗网络中的目标深度生成模型的输入，并根据所述目标深度生成模型的输出确定所述单目图像对应的目标深度图，其中，所述目标深度生成模型根据所述目标生成对抗网络中的深度判别模型训练得到。第三方面，本专利技术实施例还提供了一种终端，所述终端包括：一个或多个处理器；存储器，用于存储一个或多个程序；输入装置，用于采集单目图像；输出装置，用于显示目标深度图；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本专利技术任意实施例所述的单目深度估计方法。第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本专利技术任意实施例所述的单目深度估计方法。本实施例的技术方案，通过对生成对抗网络中的深度生成模型和深度判别模型进行轮流训练，获得目标深度生成模型，将待深度估计的单目图像作为目标深度生成模型的输入，并根据目标深度生成模型的输出确定单目图像对应的目标深度图。通过生成对抗网络训练得到的目标深度生成模型，可以有效的解决现有的单目深度估计网络预测的深度图中存在的边缘模糊的问题，从而利用目标深度生成模型确定的目标深度图的边缘分界更加清晰锐化，提高了深度图的预测精度。附图说明图1是利用现有的单目深度估计网络输出的与单目图像对应的深度图以及与单目图像对应的实际深度图的示例；图2是本专利技术实施例一提供的一种单目深度估计方法的流程图；图3是本专利技术实施例一提供的一种生成对抗网络的结构示意图；图4是本专利技术实施例一提供的利用目标深度生成模型输出的与单目图像对应的目标深度图以及与单目图像对应的实际深度图的示例；图5是本专利技术实施例一提供的一种第一深度生成模型的结构示意图；图6是本专利技术实施例一提供的一种第一深度判别模型的结构示意图；图7是本专利技术实施例二提供的一种单目深度估计装置的结构示意图；图8是本专利技术实施例三提供的一种终端的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。实施例一图2为本专利技术实施例一提供的一种单目深度估计方法的流程图，本实施例可适用于获取单目图像对应的高精度深度图的情况，尤其是可以用于智能手机、无人机、机器人、自动驾驶技术或增强现实技术中对单目图像进行深度估计的场景。该方法可以由单目深度估计装置来执行，该装置可以由软件和/或硬件的方式来实现，集成于需要进行估计深度的终端中，比如无人机、机器人、智能手机等。该方法具体包括以下步骤：S110、获取待深度估计的单目图像。其中，单目图像可以是指利用一台普通相机拍摄的一张图像。示例性的，单目图像可以是利用RGB(RedGreenBlue)相机拍摄的一张RGB彩色图像。S120、将单目图像作为目标生成对抗网络中的目标深度生成模型的输入，并根据目标深度生成模型的输出确定单目图像对应的目标深度图，其中，目标深度生成模型根据目标生成对抗网络中的深度判别模型训练得到。其中，生成对抗网络(GenerativeAdversarialNetworks，GAN)包括两个子神经网络，分别为深度生成模型和深度判别模型，其中，深度生成模型用于根据模型输入(如单目图像)输出对应的生成深度图；深度判别模型为一个分类网络，用于区分深度生成模型输出的生成深度图与实际深度图之间的真假。图3给出了一种生成对抗网络的结构示意图。如图3所示，深度生成模型的输入为单目图像，其输出为该单目图像对应的生成深度图；将该单目图像与深度生成模型输出的生成深度图作为一个生成图像对，并将该生成图像对作为深度判别模型的输入，输出该生成图像对对应的生成判别值，即该单目图像对应的生成判别值。本实施例中的目标生成对抗网络是指已训练完成的生成对抗网络。目标生成对抗网络包括目标深度生成模型和目标深度判别模型，其中，目标深度生成模型是指基于生成对抗网络训练得到的深度生成模型，用于根据输入的单目图像输出该单目图像对应的稠密的目标深度图，从而实现对单目图像的深度估计。具体的，通过训练生成对抗网络，深度生成模型和深度判别模型进行轮流训练以及相互竞争，以使深度生成模型可以生成尽可能迷惑深度判别模型的深度图，而深度判别模型可以不断提高自身判别能力来区分生成的深度图与实际深度图。通过该训练过程，深度生成模型可以生成更加逼真的接近实际深度图的深度图，减小与实际深度图的偏差，有效解决现有单目深度估计网络中存在的边缘模糊的问题，从而基于生成对抗网络训练得到的目标深度生成模型可以生成边缘锐化、精度更高的目标深度图。如图4所示，利用目标深度生成模型输出的与单目图像对应的目标深度图在深度分界边缘处(黑白相交的区域)更加锐化，使得生成的目标深度图更加接近实际深度图，明显提高了深度图的预测精度。需要注意的是，生成对抗网络中的深度判别模型只参与目标深度生成模型的训练过程，并不会参与目标深度生成模型的测试使用过程，从而利用生成对抗网络进行的单目深度估计在提高深度图精度的基础上也无需增加目标深度生成模型的运行时间。可选的，S120中目标深度生成模型根据目标生成对抗网络中的深度判别模型训练得到，包括：获取多个图像样本以及各图像样本对应的实际深度图；创建第一生成对抗网络，其中第一生成对抗网络包括第一深度生成本文档来自技高网...

【技术保护点】
1.一种单目深度估计方法，其特征在于，包括：获取待深度估计的单目图像；将所述单目图像作为目标生成对抗网络中的目标深度生成模型的输入，并根据所述目标深度生成模型的输出确定所述单目图像对应的目标深度图，其中，所述目标深度生成模型根据所述目标生成对抗网络中的深度判别模型训练得到。

【技术特征摘要】
1.一种单目深度估计方法，其特征在于，包括：获取待深度估计的单目图像；将所述单目图像作为目标生成对抗网络中的目标深度生成模型的输入，并根据所述目标深度生成模型的输出确定所述单目图像对应的目标深度图，其中，所述目标深度生成模型根据所述目标生成对抗网络中的深度判别模型训练得到。2.根据权利要求1所述的方法，其特征在于，所述目标深度生成模型根据所述目标生成对抗网络中的深度判别模型训练得到，包括：获取多个图像样本以及各所述图像样本对应的实际深度图；创建第一生成对抗网络，其中所述第一生成对抗网络包括第一深度生成模型和第一深度判别模型；基于所述第一深度生成模型对应的生成误差函数和所述第一深度判别模型对应的判别误差函数，根据各所述图像样本以及对应的各所述实际深度图，对所述第一深度生成模型和所述第一深度判别模型进行轮流训练；当所述生成误差函数收敛时，所述第一深度生成模型训练完成，并将训练完成的第一深度生成模型确定为所述目标深度生成模型。3.根据权利要求2所述的方法，其特征在于，基于所述第一深度生成模型对应的生成误差函数和所述第一深度判别模型对应的判别误差函数，根据各所述图像样本以及对应的各所述实际深度图，对所述第一深度生成模型和所述第一深度判别模型进行轮流训练，包括：于每次训练所述第一深度生成模型时，固定所述第一深度判别模型中的判别参数，根据第一预设数量的图像样本、与所述图像样本对应的实际深度图、以及所述第一深度生成模型对应的生成误差函数训练所述第一深度生成模型；于每次训练所述第一深度判别模型时，将第二预设数量的各图像样本作为所述第一深度生成模型的输入，根据所述第一深度生成模型的输出确定各所述图像样本对应的生成深度图，并根据所述第二预设数量的各图像样本对应的生成深度图、与所述图像样本对应的实际深度图、以及所述第一深度判别模型对应的判别误差函数训练所述第一深度判别模型。4.根据权利要求3所述的方法，其特征在于，根据第一预设数量的图像样本、与所述图像样本对应的实际深度图、以及所述第一深度生成模型对应的生成误差函数训练所述第一深度生成模型，包括：根据所述第一深度判别模型、第一预设数量的图像样本、与所述图像样本对应的实际深度图，确定各所述图像样本对应的生成深度图、生成判别值以及实际判别值；根据各所述图像样本对应的实际深度图、生成深度图、生成判别值、实际判别值、所述第一深度生成模型对应的生成误差函数，计算各样本生成误差；根据所述各样本生成误差和所述第一预设数量确定平均生成误差，并根据所述平均生成误差通过预设最优化算法更新所述第一深度生成模型。5.根据权利要求4所述的方法，其特征在于，根据所述第一深度判别模型、第一预设数量的图像样本、与所述图像样本对应的实际深度图，确定各所述图像样本对应的生成深度图、生成判别值以及实际判别值，包括：将第一预设数量的图像样本中的各图像样本逐个确定为目标图像样本；将所述目标图像样本作为所述第一深度生成模型的输入，根据所述第一深度生成模型的输出确定所述目标图像样本对应的生成深度图；将所述目标图像样本与所述目标图像样本对应的生成深度图确定为生成图像对，将所述目标图像样本与所述目标图像样本对应的实际深度图确定为实际图像对；将所述生成图像对作为所述第一深度判别模型的输入，根据所述第一深度判别模型的输出确定所述目标图像样本对应的生成判别值；将所述实际图像对作为所述第一深度判别模型的输入，根据所述第一深度判别模型的输出确定所述目标图像样本对应的实际判别值。6.根据权利要求3所述的方法，其特征在于，根据所述第二预设数量的各图像样本对应的生成深度图、与所述图像样本对应的实际深度图、以及所述第一深...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：亮风台上海信息科技有限公司，
类型：发明
国别省市：上海,31