图像分析方法及相关模型的训练方法、装置、设备和介质制造方法及图纸

本申请公开了一种图像分析方法及相关模型的训练方法、装置、设备和介质，其中，图像分析方法包括：获取图像序列、光流数据和图像序列中各个图像的参考数据；其中，各个图像包括具有共视关系的第一图像和第二图像，光流数据包括第一图像与第二图像之间的静态光流和整体光流，静态光流由摄像器件运动引起，整体光流由摄像器件运动和拍摄对象运动共同引起，且参考数据包括位姿和深度；基于图像序列和光流数据，预测得到分析结果；其中，分析结果包括静态光流的光流校准数据；基于静态光流和光流校准数据，对位姿和深度进行优化，得到更新的位姿和更新的深度。上述方案，能够在动态场景下，提升位姿和深度的精度。提升位姿和深度的精度。提升位姿和深度的精度。

【技术实现步骤摘要】
图像分析方法及相关模型的训练方法、装置、设备和介质


[0001]本申请涉及计算机视觉
，特别是涉及一种图像分析方法及相关模型的训练方法、装置、设备和介质。

技术介绍

[0002]同时定位和建图(Simultaneous Localization and Mapping，SLAM)是计算机视觉和机器人领域中最基本的任务之一，其应用范围包括但不限于：AR(Augmented Reality，增强现实)、VR(Virtual Reality，虚拟现实)、自动驾驶等。
[0003]在此其中，单目稠密SLAM由于单目视频采集的简单性而备受关注，但与RGB
‑
D稠密SLAM相比，则是一项困难的任务。经研究发现，构建稳健、可靠的SLAM系统仍然具有挑战性，尤其是在动态场景中，目前SLAM系统仍然存在较大问题，而无法获取到精确的位姿和深度。有鉴于此，如何提升位姿和深度的精度成为亟待解决的问题。

技术实现思路

[0004]本申请提供一种图像分析方法及相关模型的训练方法、装置、设备和介质。
>[0005]本申请本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像分析方法，其特征在于，包括：获取图像序列、光流数据和所述图像序列中各个图像的参考数据；其中，所述各个图像包括具有共视关系的第一图像和第二图像，所述光流数据包括所述第一图像与所述第二图像之间的静态光流和整体光流，所述静态光流由摄像器件运动引起，所述整体光流由摄像器件运动和拍摄对象运动共同引起，且所述参考数据包括位姿和深度；基于所述图像序列和所述光流数据，预测得到分析结果；其中，所述分析结果包括所述静态光流的光流校准数据；基于所述静态光流和所述光流校准数据，对所述位姿和所述深度进行优化，得到更新的位姿和更新的深度。2.根据权利要求1所述的方法，其特征在于，所述基于所述图像序列和所述光流数据，预测得到分析结果，包括：基于所述第一图像和所述第二图像的图像特征，得到所述第一图像与所述第二图像之间的特征相关数据，并基于所述静态光流将所述第一图像中像素点进行投影，得到所述第一图像中像素点在所述第二图像中的第一投影位置；基于所述第一投影位置在所述特征相关数据中搜索，得到目标相关数据；基于所述目标相关数据、所述静态光流和所述整体光流，得到所述分析结果。3.根据权利要求2所述的方法，其特征在于，所述基于所述目标相关数据、所述静态光流和所述整体光流，得到所述分析结果，包括：基于所述目标相关数据进行编码，得到第一编码特征，并基于所述静态光流和所述整体光流进行编码，得到第二编码特征；基于所述第一编码特征和所述第二编码特征，预测得到所述分析结果。4.根据权利要求1至3任一项所述的方法，其特征在于，所述参考数据还包括动态掩膜，所述动态掩膜用于指示所述图像中的运动对象，所述分析结果还包括置信度图和所述动态掩膜的掩膜校准数据，所述置信度图包括所述图像中各像素点的置信度；所述基于所述静态光流和所述光流校准数据，对所述位姿和所述深度进行优化，得到更新的位姿和更新的深度，包括：基于所述动态掩膜、所述掩膜校准数据和所述置信度图进行融合，得到重要度图，并基于所述光流校准数据对第一投影位置进行校准，得到校准位置；其中，所述重要度图包括所述图像中各像素点的重要度，所述第一投影位置为所述第一图像中像素点基于所述静态光流投影在所述第二图像的像素位置；基于所述校准位置和所述重要度图，优化得到所述更新的位姿和所述更新的深度。5.根据权利要求4所述的方法，其特征在于，所述光流校准数据包括所述第一图像中像素点的校准光流，所述基于所述光流校准数据对第一投影位置进行校准，得到校准位置，包括：将所述第一图像中像素点的校准光流加上所述像素点在所述第二图像中的第一投影位置，得到所述像素点的校准位置。6.根据权利要求4所述的方法，其特征在于，所述基于所述动态掩膜、所述掩膜校准数据和所述置信度图进行融合，得到重要度图，包括：基于所述掩膜校准数据对所述动态掩膜进行校准，得到校准掩膜；其中，所述校准掩膜
包括所述图像中像素点与运动对象的相关度，且所述相关度与所述图像中像素点属于运动对象的可能性正相关；基于所述置信度图和所述校准掩膜进行融合，得到所述重要度图。7.根据权利要求1至6任一项所述的方法，其特征在于，所述分析结果还包括动态光流，所述动态光流由拍摄对象运动引起；在所述基于所述静态光流和所述光流校准数据，对所述位姿和所述深度进行优化，得到更新的位姿和更新的深度之后，所述方法还包括：基于所述更新的位姿和所述更新的深度，获取更新的静态光流，并基于所述动态光流和所述更新的静态光流，得到更新的整体光流；基于所述更新的静态光流和所述更新的整体光流，得到更新的光流数据，并基于所述更新的位姿和更新的深度，得到更新的参考数据；重新执行所述基于所述图像序列和所述光流数据，预测得到分析结果的步骤以及后续步骤。8.根据权利要求7所述的方法，其特征在于，所述基于所述更新的位姿和所述更新的深度，获取更新的静态光流，包括：基于所述更新的位姿、所述更新的深度和所述第一图像中像素点的像素位置进行投影，得到所述第一图像中像素点投影在所述第二图像的第二投影位置；基于所述第一图像中像素点投影在所述第二图像的第二投影位置和所述第一图像中像素点在所述第二图像中的对应位置之间的差异，得到所述更新的静态光流；其中，所述对应位置为在假设摄像器件未运动的情况下，所述第一图像中像素点所属的空间点投影在所述第二图像的像素位置。9.根据权利要求7所述的方法，其特征在于，所述基于所述动态光流和所述更新的静态光流，得到更新的整体光流，包括：将所述动态光流和所述更新的静态光流相加，得到所述更新的整体光流。10.一种图像分析模型的训练方法，其特征在于，包括：获取样本图像序列、样本光流数据和所述样本图像序列中各个样本图像的样本参考数据；其中，所述各个样本图像包括具有共视关系的第一样本图像和第二样本图像，所述样本光流数据包括所述第一样本图像与所述第二样本图像之间的样本静态光流和样本整体光流，所述样本静态光流由摄像器件运动引起，所述样本整体光流由摄像器件运动和拍摄对象运动共同引起，且所述样本参考数据包括样本位姿和样本深度；基于所述图像分析模型对所述样本图像序列和所述样本光流数据进行分析预测，得到样本分析结果；其中，所述样本分析结果包括所述样本静态光流的样本光流校准数据；基于所述样本静态光流和所述样本光流校准数据，对所述样本位姿和所述样本深度进行优化，得到更新的样本位姿和更新的样本深度；基于所述更新的样本位姿和所述更新的样本深度进行损失度量，得到所述图像分析模型的预测损失；基于所述预测损失，调整所述图像分析模型的网络参数。11.根据权利要求10所述的方法，其特征在于，所述样本参考数据还包括样本动态掩膜，所述样本动态掩膜用于指示所述样本图像中的运动对象，所述样本分析结果还包括样本动态光流和所述样本动态掩膜的样本掩膜校准数据，且所述样本动态光流由拍摄对象运
动引起，所述预测损失包括掩膜预测损失；在所述基于所述样本静态光流和所述样本光流校准数据，对所述样本位姿和所述样本深度进行优化，得到更新的样本位姿和更新的样本深度之后，...

【专利技术属性】
技术研发人员：章国锋，鲍虎军，叶伟才，余星源，
申请(专利权)人：浙江商汤科技开发有限公司，
类型：发明
国别省市：