【技术实现步骤摘要】
本专利技术涉及单目深度估计领域,具体的说是一种基于clip模型和生成式模型的街道深度图生成方法,利用多模态模型clip以及生成式扩散模型diffusion来对街道深度进行估计,从单幅街道图像中获取场景深度信息的方法,可用于智能汽车和机器人定位等应用领域。
技术介绍
1、深度估计是场景感知中重要的一环,其结果可应用无人驾驶、机器人定位、三维立体重建等方向。传统的深度估计方法采用激光三维雷达获取深度信息,激光三维雷达通过测量激光的激光折返时间精确获取深度信息,但该类方法设备成本高昂,与此同时获得的深度图数据量极大并存在较大冗余,难以在较大范围内得到广泛应用。相较之下,基于图像深度估计方法没有过高的硬件要求,能够直接通过图像得到深度信息,具有更加广泛的应用范围和使用人群。
2、基于图像的深度估计方法根据需求可分为多目深度估计与单目深度估计。在多目深度估计方法中,通过观测得到同一场景的多张图像,对图像进行匹配,利用匹配信息估计出场景深度信息。其中,经典的方法包括从运动中恢复的结构(structure from motion,sfm)
...【技术保护点】
1.基于CLIP模型和生成式模型的街道深度图生成方法,其特征在于,包括如下步骤:
2.根据权利要求1所述的基于CLIP模型和生成式模型的街道深度图生成方法,其特征在于,第一步图像编码和文本编码生成包括以下子步骤:
3.根据权利要求1所述的基于CLIP模型和生成式模型的街道深度图生成方法,其特征在于,第二步图像与文本相似度计算包括以下子步骤:
4.根据权利要求1所述的基于CLIP模型和生成式模型的街道深度图生成方法,其特征在于,第三步距离编码转换包括以下步骤:
5.根据权利要求1所述的基于CLIP模型和生成式模型的街道深度
...【技术特征摘要】
1.基于clip模型和生成式模型的街道深度图生成方法,其特征在于,包括如下步骤:
2.根据权利要求1所述的基于clip模型和生成式模型的街道深度图生成方法,其特征在于,第一步图像编码和文本编码生成包括以下子步骤:
3.根据权利要求1所述的基于clip模型和生成式模型的街道深度图生成方法,其特征在于,第二步图像与文本相似度计算包括以下子步骤:
4.根据权利要求1所述的基于clip模型和生成式模型的街道深度图生成方法,其特征在于,第三步距离...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。