深度预测模型的训练方法及装置、介质和电子设备制造方法及图纸

本公开提供一种深度预测模型的训练方法、深度预测模型的训练装置、计算机可读介质和电子设备，涉及图像处理技术领域。该方法包括：将图像序列输入待训练模型，得到图像序列对应的深度预测图像集合；在深度预测图像集合中获取当前图像对应的第一深度预测图像和当前图像在图像序列中的前一图像对应的第二深度预测图像；基于第一深度预测图像和第二深度预测图像计算当前图像对应的目标损失函数；基于目标损失函数对待训练模型进行权重更新，以获取深度预测模型。本公开可以优化深度预测模型预测结果的连续性和一致性，使得深度预测模型对图像序列中静止物体的深度预测结果保持一致，同时使得对图像序列中运动物体的预测结果过渡平滑。平滑。平滑。

【技术实现步骤摘要】
深度预测模型的训练方法及装置、介质和电子设备


[0001]本公开涉及图像处理
，具体涉及一种深度预测模型的训练方法、深度预测模型的训练装置、计算机可读介质和电子设备。

技术介绍

[0002]在相关技术中，构建对图像进行深度预测的深度学习模型通常有两种方法：一是基于双目图像对卷积神经网络进行训练，二是基于单目图像进行网络训练。其中，第一种需要通过相对位置固定的两个视角相机同时对场景进行图像采集得到双目图像，在对网络训练和基于网络进行预测时，均需要输入成对的两帧图像；第二种方法只需要一个视角的相机对场景进行图像采集，在对网络训练和基于网络进行预测时，只需输入单张图像即可。
[0003]针对单目深度预测模型，通常可以采用两种方法对模型进行优化：一是通过纯监督的方法，即单帧标注的方式对单目深度预测模型进行优化；二是基于双目图像之间，图像特征的空间一致性做约束对单目深度预测模型进行优化。
[0004]然而，基于上述优化方式得到的单目深度预测模型，在背景复杂或者光照不均匀等视频的深度预测中，很容易出现帧与帧之间预测结果不连续的问题，进而可能使得预测结果在视频中会出现闪动和跳变等现象。

技术实现思路

[0005]本公开的目的在于提供一种深度预测模型的训练方法、深度预测模型的训练装置、计算机可读介质和电子设备，进而至少在一定程度上提高单目深度预测结果的连续性和一致性，使得模型对序列中静止物体的深度预测结果保持不变，同时保证对运动物体的深度预测结果过渡平滑。
[0006]根据本公开的第一方面，提供一种深度预测模型的训练方法，包括：将图像序列输入待训练模型，得到图像序列对应的深度预测图像集合；图像序列包括至少两张相同视角获取的目标场景对应的图像；在深度预测图像集合中获取当前图像对应的第一深度预测图像和当前图像在图像序列中的前一图像对应的第二深度预测图像；基于第一深度预测图像和第二深度预测图像计算当前图像对应的目标损失函数；基于目标损失函数对待训练模型进行权重更新，以获取深度预测模型。
[0007]根据本公开的第二方面，提供一种深度预测模型的训练装置，包括：序列处理模块，用于将图像序列输入待训练模型，得到图像序列对应的深度预测图像集合；图像序列包括至少两张相同视角获取的目标场景对应的图像；图像获取模块，用于在深度预测图像集合中获取当前图像对应的第一深度预测图像和当前图像在图像序列中的前一图像对应的第二深度预测图像；损失计算模块，用于基于第一深度预测图像和第二深度预测图像计算当前图像对应的目标损失函数；权重更新模块，用于基于目标损失函数对待训练模型进行权重更新，以获取深度预测模型。
[0008]根据本公开的第三方面，提供一种计算机可读介质，其上存储有计算机程序，计算
机程序被处理器执行时实现上述的方法。
[0009]根据本公开的第四方面，提供一种电子设备，其特征在于，包括：处理器；以及存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述的方法。
[0010]本公开的一种实施例所提供的深度预测模型的训练方法，通过将图像序列输入待训练模型得到图像序列对应的深度预测图像集合，然后针对当前图像，在深度预测图像集合中获取当前图像对应的第一深度预测图像和当前图像在图像序列中的迁移图像对应的第二深度预测图像，并基于第一深度预测图像和第二深度预测图像计算当前图像对应的目标损失函数，然后基于目标损失函数对待训练模型进行权重更新，以获取深度预测模型。本公开通过输入图像序列至待训练模型得到图像序列对应的深度预测图像结合，然后利用图像序列中每张图像中的特征和结构的一致性，可以优化深度预测模型预测结果的连续性和一致性，使得深度预测模型对图像序列中静止物体的深度预测结果保持一致，同时使得对图像序列中运动物体的预测结果过渡平滑。
[0011]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
[0012]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
[0013]图1示出了可以应用本公开实施例的一种示例性系统架构的示意图；
[0014]图2示出了可以应用本公开实施例的一种电子设备的示意图；
[0015]图3示意性示出本公开示例性实施例中一种深度预测模型的训练方法的流程图；
[0016]图4示意性示出本公开示例性实施例中一种计算目标损失函数的方法的流程图；
[0017]图5示意性示出本公开示例性实施例中一种待训练模型的结构示意图；
[0018]图6示意性示出本公开示例性实施例中另一种深度预测模型的训练方法的流程图；
[0019]图7示出了图像序列中一张包含人像的人像场景对应的图像；
[0020]图8示出了基于本公开的深度预测模型的训练方法得到的深度预测模型对图7所示的图像进行处理后得到的深度预测图像；
[0021]图9示出了基于传统训练方法得到的深度预测模型对图7所示的图像进行处理后得到的深度预测图像；
[0022]图10示意性示出本公开示例性实施例中一种深度预测模型的训练装置的组成示意图。
具体实施方式
[0023]现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加
全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
[0024]此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
[0025]图1示出了可以应用本公开实施例的一种深度预测模型的训练方法及装置的示例性应用环境的系统架构的示意图。
[0026]如图1所示，系统架构100可以包括终端设备101、102、103中的一个或多个，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。终端设备101、102、103可以是各种具有图像处理功能的电子设备，包括但不限于台式计算机、便携式计算机、智能手机和平板电脑等等。应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度预测模型的训练方法，其特征在于，包括：将图像序列输入待训练模型，得到所述图像序列对应的深度预测图像集合；所述图像序列包括至少两张相同视角获取的目标场景对应的图像；在所述深度预测图像集合中获取当前图像对应的第一深度预测图像和所述当前图像在所述图像序列中的前一图像对应的第二深度预测图像；基于所述第一深度预测图像和所述第二深度预测图像计算所述当前图像对应的目标损失函数；基于所述目标损失函数对所述待训练模型进行权重更新，以获取深度预测模型。2.根据权利要求1所述的方法，其特征在于，所述基于所述第一深度预测图像和所述第二深度预测图像计算所述当前图像对应的目标损失函数，包括：基于所述第一深度预测图像计算所述当前图像对应的绝对损失函数；基于所述第一深度预测图像和所述第二深度预测图像计算所述当前图像对应的相对损失函数；基于所述绝对损失函数和所述相对损失函数计算所述当前图像对应的目标损失函数。3.根据权利要求2所述的方法，其特征在于，所述绝对损失函数包括深度损失函数；所述基于所述第一深度预测图像计算所述当前图像对应的绝对损失函数，包括：针对每一像素，计算所述第一深度预测图像的深度值与所述当前图像对应的深度标注图像的深度值之间的对数差；基于所述对数差计算所述当前图像对应的深度损失函数。4.根据权利要求3所述的方法，其特征在于，所述绝对损失函数还包括平滑损失函数；所述基于所述第一深度预测图像计算所述当前图像对应的绝对损失函数，还包括：计算每一像素在所述第一深度预测图像上的横向偏导数和纵向偏导数；基于所述每一像素对应的所述横向偏导数和所述纵向偏导数计算所述当前图像对应的平滑损失函数。5.根据权利要求2所述的方法，其特征在于，所述基于所述第一深度预测图像和所述第二深度预测图像计算所述当前图像对...

【专利技术属性】
技术研发人员：戴夏强，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：