基于单目深度估计大模型和激光雷达的毫米波雷达绝对深度估计方法技术

本发明专利技术公开了一种基于单目深度估计大模型和激光雷达的毫米波雷达绝对深度估计方法。该方法利用当前已有的单目深度估计大模型中含有的推理能力，将其注入到毫米波雷达深度估计模型中，但由于单目深度估计产生的相对深度缺乏尺度信息，提出利用相对稠密的激光雷达对相对深度进行映射，通过估计全局线性映射参数，将相对深度恢复为绝对深度，并监督毫米波雷达深度估计模型的训练，通过引入稠密监督和稀疏监督，同时实现了深度精准度和深度一致性的提升。本发明专利技术通过将单目深度估计大模型通过一种监督训练框架利用激光雷达信息将其中的世界知识高效的引入到毫米波雷达深度估计模型中，在相同的监督数据的前提下大大提升了深度结果的精准度和一致性。

【技术实现步骤摘要】

本专利技术涉及毫米波雷达深度补全的监督框架优化，通过独特的框架设计将单目深度估计大模型的优秀性能迁移到毫米波雷达绝对深度估计任务中，大大提升输出结果的准确性和一致性。

技术介绍

1、随着智能驾驶技术的飞速发展，对周围环境的感知，尤其是深度信息获取的需求是十分强烈的。精准的深度信息对目标检测，物体分割等关键技术具有决定性的作用。而当前的深度估计技术拥有很多不同的框架，包含单目深度估计、双目深度估计、光流深度估计、激光雷达深度补全、毫米波雷达深度补全。其中单目深度估计由于其自身的病态性导致其无法获得准确的绝对深度，只能得到合理的相对深度；双目深度估计由于遮挡问题的存在导致无法得到较好的深度图像；光流估计要求光照信息充足，获取高帧率的连续图像才能有较好的效果；激光雷达深度可以获取合理且精准的深度图像，但成本偏高，受天气的影响较大；毫米波雷达深度补全是当前较为流行的研究主题，毫米波雷达自身的高穿透性和低成本使其在应用层面具有较高的价值，但其深度信息的极度稀疏性和低信噪比导致毫米波雷达的深度补全存在较大难度。

2、针对毫米波雷达深度补全算法，a.d.si本文档来自技高网...

【技术保护点】

1.一种基于单目深度估计大模型和激光雷达的毫米波雷达绝对深度估计方法，其特征在于，依赖于一种毫米波雷达绝对深度估计模型实现，所述毫米波雷达绝对深度估计模型的输入为可见光图像和稀疏的毫米波雷达图，输出为稠密的绝对深度图；所述毫米波雷达绝对深度估计模型的训练过程为：首先，利用单目深度估计大模型得到稠密的相对深度图，通过稀疏的激光雷达图估计相对深度到绝对深度的全局线性映射参数，从而实现相对到绝对的深度转化，得到稠密的绝对深度图；然后利用稠密的绝对深度图和稀疏的激光雷达图来监督毫米波雷达深度估计模型的训练，从而得到所述毫米波雷达深度估计模型。

2.根据权利要求1所述基于单目深度估计大...

【技术特征摘要】

1.一种基于单目深度估计大模型和激光雷达的毫米波雷达绝对深度估计方法，其特征在于，依赖于一种毫米波雷达绝对深度估计模型实现，所述毫米波雷达绝对深度估计模型的输入为可见光图像和稀疏的毫米波雷达图，输出为稠密的绝对深度图；所述毫米波雷达绝对深度估计模型的训练过程为：首先，利用单目深度估计大模型得到稠密的相对深度图，通过稀疏的激光雷达图估计相对深度到绝对深度的全局线性映射参数，从而实现相对到绝对的深度转化，得到稠密的绝对深度图；然后利用稠密的绝对深度图和稀疏的激光雷达图来监督毫米波雷达深度估计模型的训练，从而得到所述毫米波雷达深度估计模型。

2.根据权利要求1所述基于单目深度估计大模型和激光雷达的毫米波雷达绝对深度估计方法，其特征在于，所述通过稀疏的激光雷达图估计相对深度到绝对深度的全局线性映射参数，从而实现相对到绝对的深度转化，得到稠密的绝对深度图，具体方法为：根据所述稠密的相对深度图得到各激光雷达点的相对深度信息，选取激光雷达点所在位置对应的相对深度信息和绝对深度信息，构成一组相对-绝对深度信息对；对所有相对-绝对深度信息对进行迭代式线性回归估计，得到全局线性映射参数，实现相对-绝对深度转换；具体基于以下公式实现...

【专利技术属性】
技术研发人员：沈会良，周子力，张富怡，余柱，王芳，白傑，
申请(专利权)人：浙江大学，
类型：发明
国别省市：