基于终身学习的单目深度估计方法及相关设备技术

本申请实施例公开了一种基于终身学习的单目深度估计方法及相关设备。目标单目深度估计模型为一个多分支感知框架，由一个领域共享的编码器和特定领域的解码器组成，可预测输入图像的深度图及其不确定性图，以排除在训练过程中由深度传感器拍摄的深度图中离群值引起的性能下降。为进一步克服灾难性遗忘，采用了正则化约束，利用知识蒸馏损失和重放损失项来克服显著的领域差距。特定领域的解码器将用新领域的数据进行学习；在旧领域训练的其他解码器将用深度一致性和不确定性一致性以及重放损失进行正则化约束，正则化项相互补充以提高终身学习的稳定性和可塑性，从而实现更加精准的图像单目深度估计。的图像单目深度估计。的图像单目深度估计。

【技术实现步骤摘要】
基于终身学习的单目深度估计方法及相关设备


[0001]本申请实施例涉及图像处理领域，具体涉及一种基于终身学习的单目深度估计方法及相关设备。

技术介绍

[0002]近年来，单目深度估计取得了显著性的成果。其最终目的在于取代深度传感器，从而提供一种较为便宜的场景深度感知方式。单目深度估计通过其技术的不断进步，可提供一种安全、可靠的深度估计算法，从而在某些领域替代深度传感器。因此，具有重要的产业价值和经济效益。
[0003]然而，目前的算法实现方式只能在目标环境中，通过大量数据驱动的训练，学习深度卷积神经网络(CNN)，从而估计场景的绝对深度。然而，由于对分布外数据的泛化能力差，基于学习的方法经常被批评和质疑。最近的趋势是通过尽可能地覆盖可能的领域(domain)来解决通用性差的问题。然而，现实世界中不可能穷尽所有可能的数据模式。当有一些新的数据模式或目标领域时，预先训练好的模型必须从头开始重新训练，从而造成时间和成本的巨大浪费。
[0004]另一方面，由于图像识别和单目深度估计之间有很大的区别，如何在单目深度估计上进行终身学习在很大本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于终身学习的单目深度估计方法，其特征在于，所述方法应用于计算机设备，所述方法包括：获取预先训练完成的目标单目深度估计模型，所述目标单目深度估计模型包括多域共享编码器、与所述多域共享编码器连接的多个特定领域的解码器；获取目标域的目标图像，将所述目标图像输入至所述目标单目深度估计模型，以使得所述目标单目深度估计模型执行以下操作：使用所述多域共享编码器对所述目标图像进行特征提取得到图像特征；使用所述多个特定领域的解码器中所述目标域对应的解码器，对所述图像特征进行计算得到所述目标域的深度估计图；输出所述目标域的深度估计图。2.根据权利要求1所述的方法，其特征在于，所述目标单目深度估计模型的训练步骤包括：获取多组训练样本，每组所述训练样本包括一个领域的图像样本以及所述图像样本对应的真实领域深度图；获取初始单目深度估计模型，所述初始单目深度估计模型包括多域共享编码器、与所述多域共享编码器连接的多个特定领域解码器，所述多域共享编码器包括多个残差卷积模块以及与所述多个残差卷积模块连接的多尺度特征融合模块；将所述多组训练样本输入至所述初始单目深度估计模型，以使得所述初始单目深度估计模型执行以下操作：使用所述多个残差卷积模块对所述图像样本进行特征提取，得到所述图像样本的多个不同尺度的中间特征；使用所述多尺度特征融合模块对所述多个不同尺度的中间特征进行特征融合，得到融合特征；使用所述多个特定领域解码器对所述融合特征进行计算得到所述图像样本对应的预测领域深度图；根据所述真实领域深度图和所述预测领域深度图构建基于不确定性的深度损失函数，根据所述基于不确定性的深度损失函数的损失值调整所述初始单目深度估计模型的模型参数，直至所述基于不确定性的深度损失函数满足收敛条件时停止模型训练，得到所述目标单目深度估计模型。3.根据权利要求2所述的方法，其特征在于，所述目标单目深度估计模型为旧域的单目深度估计模型；所述得到所述目标单目深度估计模型之后，所述方法还包括：获取新域的图像样本，将所述新域的图像样本输入至所述目标单目深度估计模型，以使得所述目标单目深度估计模型使用所述多个残差卷积模块对所述新域的图像样本进行特征提取，得到所述新域的图像样本的多个不同尺度的中间特征，以及使用所述多尺度特征融合模块对所述多个不同尺度的中间特征进行特征融合，得到融合特征，使用在旧域上的所述多个特定领域解码器对所述融合特征进行计算得到所述新域的图像样本对应的第一预测深度图以及第一预测不确定性图；获取所述新域对应的单目深度估计模型，将所述新域的图像样本输入至所述新域的单
目深度估计模型，以使得所述新域的单目深度估计模型使用多个残差卷积模块对所述新域的图像样本进行特征提取，得到所述新域的图像样本的多个不同尺度的中间特征，以及使用多尺度特征融合模块对所述多个不同尺度的中间特征进行特征融合，得到融合特征，使用在旧域上的多个特定领域解码器对所述融合特征进行计算得到所述新域的图像样本对应的第二预测深度图以及第二预测不确定性图；根据所述第一预测深度图以及所述第一预测不确定性图、所述第二预测深度图以及所述第二预测不确定性图，构建一致性损失函数，根据所述一致性损失函数的损失值调整所述新域的单目深度估计模型，直至所述一致性损失函数的损失值减小到预设数值范围时停止模型训练，得到所述新域的目标单目深度估计模型。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：获取训练样本，所述训练样本包括所述旧域的图像样本；将所述旧域的图像样本输入至所述目标单目深度估计模型，以使得所述目标单目深度估计模型使用所述多个残差卷积模块对所述旧域的图像样本进行特征提取，得到所述旧域的图像样本的多个不同尺度的中间特征，以及使用所述多尺度特征融合模块对所述多个不同尺度的中间特征进行特征融合，得到融合特征，使用所述多个特定领域解码器对所述融合特征进行计算得到所述旧域的图像样本对应的第三预测深度图以及第三预测不确定性图；根据所述第三预测深度图以及所述第三预测不确定性图，构建损失函数，根据所述损失函数的损失值调整所述目标单目深度估计模型，直至所述损失函数的损失值减小到预设数值范围时停止模型训练。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：获取每个域的图像样本，将每个域的图像样本输入...

【专利技术属性】
技术研发人员：胡君杰，范晨悠，林天麟，
申请(专利权)人：深圳市人工智能与机器人研究院，
类型：发明
国别省市：