【技术实现步骤摘要】
一种基于视觉惯性系统和置信度指导的无监督深度补全方法和系统
[0001]本专利技术涉及机器人计算机视觉
，尤其涉及一种基于视觉惯性系统和置信度指导的无监督深度补全方法。
技术介绍
[0002]空间感知是机器人的一项必备的学习，它可以帮助机器人感知和理解环境中的各种信息。视觉惯性系统通过同时定位与建图的方法，提供给机器人精确的自定位信息和稀疏的环境地图。但是，这种环境地图深度的稀疏性无法满足机器人执行如路径规划和避障等复杂的任务需求。因此，需要将这种稀疏的深度转换成稠密深度。
[0003]尽管有一些同时定位与建图方法可以获取环境中的稠密深度，但这些方法受到了各方面的限制。在过去的几年中，深度补全方法在机器人的领域中变得流行起来。它可以使用卷积神经网络的方法，通过稀疏的深度图和彩色图补全为稠密深度图。
[0004]深度补全方法主要分为两种，一种是依赖于深度真值进行训练的有监督补全方法，另一种是基于运动结构原理(SFM)的无监督补全方法。
[0005]有监督深度补全方法主要是在训练中最小化每一张图像真...
【技术保护点】
【技术特征摘要】
1.一种基于视觉惯性系统和置信度指导的无监督深度补全方法，其特征在于，所述方法包括：采用视觉惯性SLAM系统获取RGB图像、稀疏深度地图和相机姿态；建立非指导稠密深度补全网络；根据所述非指导稠密深度补全网络处理所述稀疏深度地图，获取置信度和非指导稠密深度；根据指导深度补全网络处理所述置信度和非指导稠密深度，获取指导稠密深度地图；采用运动残差网络处理所述指导的稠密深度地图、RGB图像和相机运动位姿，获取平移残差矩阵；根据Losses损失函数训练所述指导深度补全网络，获取指导深度补全网络训练模型；根据Losses损失函数训练所述运动残差网络，获取运动残差网络训练模型。2.根据权利要求1所述的一种基于视觉惯性系统和置信度指导的无监督深度补全方法，其特征在于，所述根据所述非指导稠密深度补全网络处理所述稀疏深度地图，获取置信度和非指导稠密深度，包括：采用归一化卷积层将所述稀疏深度地图的深度和置信度分离；通过置信度自适应处理获取置信度和非指导稠密深度。3.根据权利要求1所述的一种基于视觉惯性系统和置信度指导的无监督深度补全方法，其特征在于，所述根据所述置信度和非指导稠密深度估计稠密深度的指导深度补全网络，包括：所述置信度和非指导稠密深度经过3*3的2d卷积+激活函数、3*3的2d卷积+Leaky激活函数和2d卷积处理，获取稠密深度的指导深度补全网络。4.根据权利要求1所述的一种基于视觉惯性系统和置信度指导的无监督深度补全方法，其特征在于，所述运动残差网络具体为：步长为2的卷积堆栈，共有5个卷积堆栈，所述最后一个卷积堆栈为平均池，所述平均池有1024个通道，空间分辨率1*1；所述运动残差网络还包括3个通道的2个1*1卷积层。5.根据权利要求1所述的一种基于视觉惯性系统和置信度指导的无监督深度补全方法，其特征在于，所述根据Losses损失函数训练所述指导深度补全网络，获取指导深度补全网络训练模型，具体为：根据所述平移残差矩阵获取动态区域和静态区域，所述动态区域为当前时刻动态对象区域，所述静态区域为前时刻静态结构区域；对静态区域的像素点进行光度一致性损失计算：其中，为静态区域像素点的光度一致性损失，N为静态区域像素点总数，I(P
t
)为像素坐标P
t
的像素值，为重建像素坐标P
t+1
的像素值，P
t
为t时刻的某一静态区域像素点坐标，为t+1时刻的某一静态区域像素点坐标；对动态区域的像素点进行光度一致性损失计算：
其中，为动态区域像素点的光度一致性损失，为像素坐标的像素值，I(P
tobj
)为像素坐标的像素值，为t+1时刻的某一动态区域目标像素点坐标，P
tobj
为t时刻的某一动态区域目标像素点坐标；对所有的像素点进行视差平滑损失计算：其中，L
...
【专利技术属性】
技术研发人员：霍炬，张瀚轩，刘琪，刘雪澄，薛牧遥，周建宝，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。