单目位姿估计方法及装置制造方法及图纸

本发明专利技术提出一种单目位姿估计方法及装置，涉及深度学习技术领域。包括：将当前帧图像输入到深度估计网络，以得到深度图像；将所述当前帧图像和对应的相邻帧图像输入到位姿估计网络，以得到相对位姿变换；基于八叉树构建隐式编码体素地图，并根据相对位姿变换和深度图像，以及隐式编码体素地图，生成重构深度图像；基于预先构建的第一几何损失函数和光度损失函数，基于当前帧图像和所述重构深度图像，对所述相对位姿变换进行位姿优化，并对所述隐式编码体素地图进行优化。由此，可以利用八叉树对已有的基于深度学习的隐式编码体素地图表示的方法进行改进，减少隐式编码体素地图的内存空间占用，并实现单目方法，免去对RGBD相机的依赖。的依赖。的依赖。

【技术实现步骤摘要】
单目位姿估计方法及装置


[0001]本专利技术涉及深度学习
，尤其涉及一种单目位姿估计方法及装置。

技术介绍

[0002]位姿估计与地图重建是目前机器人与计算机视觉领域的研究热点之一，是实现无人机器人自主定位与导航的前提。由于视觉相机可靠性高、价格低廉的优势，基于视觉的位姿估计方法一直是计算机视觉与机器人领域的一个研究热点，其中，单目位姿估计是其他视觉位姿估计方法的基础。目前的位姿估计与地图重建方法可分为传统方法后和基于学习的方法。传统方法根据图像中的几何关系与光度关系，通过几何及优化的方法估计位姿。随着深度学习的在计算机视觉领域发展，有许多基于深度学习的位姿估计与三维表示方法。
[0003]基于深度学习的隐式编码体素表示的地图表示方法为SLAM中的地图构建提供了一种新的思路。但目前隐式编码体素地图表示需要占据大量内存空间，难以在大规模场景中应用，且这种方法多使用RGBD相机，而RGBD相机应用范围相对受限。

技术实现思路

[0004]本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。
[0005]本专利技术第一方面实施例提出了一种单目位姿估计方法，包括：将当前帧图像输入到预先构建的深度估计网络，以得到深度图像；将所述当前帧图像和对应的相邻帧图像输入到预先构建的位姿估计网络，以得到相对位姿变换；基于八叉树构建隐式编码体素地图，并根据所述相对位姿变换和深度图像，以及所述隐式编码体素地图，生成重构深度图像；基于预先构建的第一几何损失函数和光度损失函数，基于所述当前帧图像和所述重构深度图像，对所述相对位姿变换进行位姿优化，并对所述隐式编码体素地图进行优化。
[0006]本专利技术第二方面实施例提出了一种单目位姿估计装置，包括：第一获取模块，用于将当前帧图像输入到预先构建的深度估计网络，以得到深度图像；第二获取模块，用于将所述当前帧图像和对应的相邻帧图像输入到预先构建的位姿估计网络，以得到相对位姿变换；生成模块，用于基于八叉树构建隐式编码体素地图，并根据所述相对位姿变换和深度图像，以及所述隐式编码体素地图，生成重构深度图像；优化模块，用于基于预先构建的第一几何损失函数和光度损失函数，基于所述当前帧图像和所述重构深度图像，对所述相对位姿变换进行位姿优化，并对所述隐式编码体素地图进行优化。
[0007]本专利技术第三方面实施例提出了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如本专利技术第一
方面实施例提出的单目位姿估计方法。
[0008]本专利技术第四方面实施例提出了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，实现如本专利技术第一方面实施例提出的单目位姿估计方法。
[0009]本专利技术提供的单目位姿估计方法及装置，存在如下有益效果：本专利技术实施例中，首先将当前帧图像输入到预先构建的深度估计网络，以得到深度图像，将所述当前帧图像和对应的相邻帧图像输入到预先构建的位姿估计网络，以得到相对位姿变换，然后基于八叉树构建隐式编码体素地图，并根据相对位姿变换和深度图像，以及隐式编码体素地图，生成重构深度图像，最后基于预先构建的第一几何损失函数和光度损失函数，基于当前帧图像和重构深度图像，对相对位姿变换进行位姿优化，并对隐式编码体素地图进行优化。由此，在已有的隐式编码体素地图表示的基础之上，针对已有方法的体素地图内存占用较大，难以应用到更大规模场景的问题，设计了八叉树隐式编码体素地图表示方法，并引入位姿估计网络与深度估计网络，构造了自监督的单目位姿估计方法，降低已有方法体素地图的内存占用，使得隐式编码体素地图表示更能适用于更大规模的地图，并实现了对位姿估计与深度估计的在线优化，设计了八叉树隐式编码体素地图表示，降低了隐式编码体素地图的内存占用，提高了隐式编码体素地图表示对更大规模场景的适用性，实现了基于八叉树隐式编码体素地图表示的单目自监督的位姿估计方法以及对单目位姿估计与深度估计的在线优化，提高了单目位姿估计与单目深度估计针对未知场景的性能与泛化能力。
[0010]本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0011]本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为本专利技术一实施例所提供的一种单目位姿估计方法的流程示意图；图2为本专利技术一实施例所提供的一种单目位姿估计方法的框架结构示意图；图3为本专利技术另一实施例所提供的一种单目位姿估计方法的流程示意图；图4为本专利技术另一实施例所提供的单目位姿估计装置的结构示意图；图5示出了适于用来实现本专利技术实施方式的示例性电子设备的框图。
具体实施方式
[0012]下面详细描述本专利技术的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。
[0013]下面参考附图描述本专利技术实施例的单目位姿估计方法、装置、电子设备和存储介质。
[0014]图1为本专利技术实施例所提供的一种单目位姿估计方法的流程示意图。
[0015]本专利技术实施例以该单目位姿估计方法被配置于单目位姿估计装置中来举例说明，该单目位姿估计装置可以应用于任一电子设备中，比如手机、电脑、计算机，以使该电子设
备可以执行单目位姿估计方法，或者也可以是服务器，在此不做限定。
[0016]如图1所示，该单目位姿估计方法可以包括以下步骤：步骤101，将当前帧图像输入到预先构建的深度估计网络，以得到深度图像。
[0017]其中，深度估计网络用于估计当前帧图像的深度图像。
[0018]作为一种可能实现的方式，在对深度估计网络进行构建时，可以使用U
‑
Net的自动编码器（AutoEncoder）结构，包含跳远连接，并从瓶颈（BottleNeck）处额外引入一个深度置信度子网络，用于估计深度图像中每个像素深度的置信度，用于训练深度网络的损失函数同SfMLearner类似，包含置信度加权的光度误差损失函数以及深度平滑损失函数。
[0019]其中，训练深度网络的损失函数通常包括置信度加权的光度误差损失函数和深度平滑损失，类似于SfMLearner方法。
[0020]其中，光度误差损失函数衡量由深度估计引起的图像重新投误差，其中置信度加权用于提供对估计深度的置信度信息的加权影响。深度平滑损失函数则鼓励深度图像在空间上具有平滑性，以减少估计深度的噪声和不连续性。
[0021]步骤102，将当前帧图像和对应的相邻帧图像输入到预先构建的位姿估计网络，以得到相对位姿变换。
[0022]其中，位姿估计网络可以用于估计输入相邻两帧图像之间的相对位姿变换。
[0023]具体的，可以对其中一帧图像进行重采样，得到另一帧图像的重构图像：其中，表示相机的内参数，表示由深度估本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种单目位姿估计方法，其特征在于，包括：将当前帧图像输入到预先构建的深度估计网络，以得到深度图像；将所述当前帧图像和对应的相邻帧图像输入到预先构建的位姿估计网络，以得到相对位姿变换；基于八叉树构建隐式编码体素地图，并根据所述相对位姿变换和深度图像，以及所述隐式编码体素地图，生成重构深度图像；基于预先构建的第一几何损失函数和光度损失函数，基于所述当前帧图像和所述重构深度图像，对所述相对位姿变换进行位姿优化，并对所述隐式编码体素地图进行优化。2.根据权利要求1所述的方法，其特征在于，所述根据所述相对位姿变换和深度图像，以及所述隐式编码体素地图，生成重构深度图像，包括：在相机光心到所述当前帧图像中各个像素点深度之间的直线上进行采样，以得到每个像素点对应的多个采样点；基于八叉树构建隐式编码体素地图，确定每个采样点对应的隐式编码；利用几何解码器网络，将所述每个采样点对应的隐式编码转化为占据率；根据所述每个采样点的占据率，计算所述每个采样点对应的权重；根据各个所述采样点对应的深度和权重，计算每个所述像素点在所述重构深度图像中的深度。3.根据权利要求2所述的方法，其特征在于，在所述基于八叉树构建隐式编码体素地图，确定每个采样点对应的隐式编码之后，还包括：通过三线性插值确定所述每个像素点对应的隐式编码；基于颜色解码器网络，根据所述每个像素点对应的隐式编码，计算每个像素点对应的颜色值，以获取重构后的彩色图像。4.根据权利要求1所述的方法，其特征在于，在所述基于预先构建的第一几何损失函数和光度损失函数，基于所述当前帧图像和所述重构深度图像，对所述相对位姿变换进行位姿优化，并对所述隐式编码体素地图进行优化之前，还包括：对所述当前帧图像进行采样，以得到多个采样像素点；根据所述当前帧图像和所述重构深度图像，获取每个所述采样像素点的占据率、重构深度以及各个所述重构深度的方差，以及每个所述采样像素点在所述当前帧图像中的深度信息和颜色值；获取与所述当前帧图像对应的重构后的彩色图像；根据所述重构后的彩色图像，确定每个所述采样像素点对应的重构颜色值。5.根据权利要求4所述的方法，其特征在于，所述对所述隐式编码体素地图进行优化，包括：获取与所述当前帧图像关联的关键帧和共视帧；确定所述当前帧图像，以及所述关键帧和共视帧对应的各个所述采样像...

【专利技术属性】
技术研发人员：修海鑫，程健，李和平，李昊，孙大智，王广福，闫鹏鹏，
申请(专利权)人：天地科技股份有限公司北京技术研究分公司，
类型：发明
国别省市：