当前位置: 首页 > 专利查询>山东大学专利>正文

基于运动物体位姿估计的自监督深度估计方法及系统技术方案

技术编号:40973458 阅读:17 留言:0更新日期:2024-04-18 21:22
本发明专利技术提出了基于运动物体位姿估计的自监督深度估计方法及系统,包括:通过源帧,重建目标帧提供监督信号,构建自监督单目深度估计网络;使用彩色图像、预训练好的深度图作为自监督深度估计网络的输入,使用预训练好的深度估计网络和相机姿态预测网络处理单目视频,得到每帧所对应的初始深度图及相机位姿;利用已经得到的相机位姿将源帧的彩色图像利用坐标映射映射到目标帧;对深度图进行映射,将其从源帧映射到目标帧;将源帧映射好的彩色图像及深度图像与目标帧的彩色图像和深度图像拼接在一起,送至掩膜学习网络学习运动掩膜;将学习到的运动掩膜点乘拼接特征,送给网络学习得到运动物体的位姿,使用深度映射网络对目标帧的深度图进行增强。

【技术实现步骤摘要】

本专利技术属于图像处理,尤其涉及基于运动物体位姿估计的自监督深度估计方法及系统


技术介绍

1、本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息,不必然构成在先技术。

2、近年来,随着人工智能的兴起,自动驾驶技术受到的关注日益增多。而在自动驾驶的过程中,深度估计是非常重要的一个环节,有了精确的深度才能更好的描述汽车所在的位置及物体的深度进而进行一系列的自动驾驶操作。其中,在自动驾驶的过程中,汽车会在车上搭载摄像头,摄像头中的物体距离相机的距离即为物体的深度;根据物体的深度可以推算汽车的相对位置;深度一般使用神经网络得到。

3、目前自动驾驶中的深度估计主要为基于彩色相机的场景采集和雷达探头的深度采集方式。在基于彩色相机的深度估计方面,多为基于视点域差距即视差的深度估计方法,然而该类方法需要较为密集的相机设定,在广域场景要求下,对硬件及运算要求较高,不能满足自动驾驶下低代价、低功耗等方面的需求。另一方面,雷达探头不能采集密集的场景深度图,且相对造价较贵,难以独立生成高质量的完整场景深度图。

4、为寻求高效的场景深度估计本文档来自技高网...

【技术保护点】

1.基于运动物体位姿估计的自监督深度估计方法,其特征是,包括:

2.如权利要求1所述的基于运动物体位姿估计的自监督深度估计方法,其特征是,所述深度估计网络用于估计目标帧的深度图,所述姿态预测网络用于预测相机姿态。

3.如权利要求1所述的基于运动物体位姿估计的自监督深度估计方法,其特征是,所述姿态预测网络用于将视频目标帧和源帧拼接输入到残差网络中提取相机姿态特征,然后通过三层卷积层估计出相机变换姿态。

4.如权利要求1所述的基于运动物体位姿估计的自监督深度估计方法,其特征是,所述深度估计网络采用编码器-解码器结构,将视频目标帧输入到以残差网络为核心的深度...

【技术特征摘要】

1.基于运动物体位姿估计的自监督深度估计方法,其特征是,包括:

2.如权利要求1所述的基于运动物体位姿估计的自监督深度估计方法,其特征是,所述深度估计网络用于估计目标帧的深度图,所述姿态预测网络用于预测相机姿态。

3.如权利要求1所述的基于运动物体位姿估计的自监督深度估计方法,其特征是,所述姿态预测网络用于将视频目标帧和源帧拼接输入到残差网络中提取相机姿态特征,然后通过三层卷积层估计出相机变换姿态。

4.如权利要求1所述的基于运动物体位姿估计的自监督深度估计方法,其特征是,所述深度估计网络采用编码器-解码器结构,将视频目标帧输入到以残差网络为核心的深度编码器中获得多尺度的深度特征,然后利用深度解码器解码融合的深度特征,具体为:逐级解码获得多尺度的深度图,通过线性插值到与输入图像相同尺寸的深度图,在输入图像尺寸上完成目标帧的重建。

5.如权利要求1所述的基于运动物体位姿估计的自监督深度估计方法,其特征是,将视频目标帧输入到以残差网络为核心的深度编码器中时,方式为:逐级送到深度编码器中,完成空域深度信息的多尺度特征融合。

6.如权利要求1所述的基于运动物...

【专利技术属性】
技术研发人员:李帅徐宏伟高艳博张敬林元辉蔡珣
申请(专利权)人:山东大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1