一种适用于无人机平台的多视图深度估计方法及装置制造方法及图纸

本发明专利技术涉及一种适用于无人机平台的多视图深度估计方法及装置，其方法包括：获取无人机采集到的一幅参考图像及其多幅邻域图像，并将根据其构建图像对；根据每组图像对和单应变换，得到多个二维代价体C；将每个二维代价体C进行解码和边缘特征提取，得到其对应的特征图和概率图P；将每个所述概率图P与所述特征图逐点相乘，得到多个亲和力矩阵F；将每个F和每个C进行多次迭代传播，得到最终的边缘信息引导的代价体及其对应的边缘优化的深度图；优化所述和深度图后并解码，得到最终的深度图估计。本发明专利技术通过对边缘信息进行编码、在网络中融合和传播，有效地将空间感知信息融入端到端的深度估计网络中，从而适用于无人机平台下的多个领域。人机平台下的多个领域。人机平台下的多个领域。

【技术实现步骤摘要】
一种适用于无人机平台的多视图深度估计方法及装置


[0001]本专利技术属于计算机视觉
，具体涉及一种适用于无人机平台的多视图深度估计方法及装置。

技术介绍

[0002]无人机以其体型轻巧、飞行稳定、成本低廉等诸多特性，已见于图像摄影、地形勘探、灾难救援等多个应用领域。随着近年来人工智能技术的迅速发展，基于无人机平台的大数据分析方案有了更广泛的应用市场。具体在计算机视觉领域，利用图像处理技术对无人机采集的影像加以分析，从而能增强其对飞行环境的三维空间感知能力，达到目标场景三维重建、飞行控制与避障等目的。而图像深度作为一种典型的立体几何量度，可以直接有效地反映出当前场景中的三维结构，因此我们的工作关注适用于无人机平台的多视图深度估计任务。
[0003]与传统的几何深度估计方法相比，基于学习的方法在精度和效率上都显示出巨大的优势，而估计的困难在于无纹理区域、尖锐结构和非朗伯曲面。当然，为了缓解这个问题，在构建深度网络时会考虑场景的几何结构。最近的一些工作采用几何线索，例如法线、平面或者超级像素，来揭示不同场景中物体的结构关系，这优于早期仅将深度估计视为整体误差优化问题的方法。为了保留局部和全局结构特征，另外一些创新方法还提出了新的框架以共同预测深度和法线。这些方法在平面区域上取得了显著的改进，但在学习过程中仍然没有足够的边缘感知特征。边缘信息是一种信息丰富的几何先验知识，已在其他立体视觉任务和进一步的实际任务中被证明具有重要意义，但在多视图深度估计领域仍处于探索阶段。

技术实现思路

[0004]为提高深度学习网络估计无人机平台获取图像深度的过程中的边缘感知和精度的问题，在本专利技术的第一方面提供了一种适用于无人机平台的多视图深度估计方法，包括：获取无人机采集到的一幅参考图像及其多幅邻域图像；给定输入源
‑
参考图像对，在整个场景深度范围内均匀采样个假设深度值，其中：输入源I
S
为无人机采集到的一幅参考图像，I
r
为多幅邻域图像的一幅；基于参考图像，多幅邻域图像及其单应变换后的图像，得到多个初始二维代价体C；将所述多个二维代价体C进行解码，得到多个初始深度图D
init
；对每个初始深度图D
init
进行边缘检测和特征提取，得到其对应的边缘感知的特征图；根据每个初始深度图D
init
及其对应的初始二维代价体C，生成逐像素的概率图P；将每个所述概率图P与所述边缘感知的特征图逐点相乘，得到多个亲和力矩阵F；将所述多个亲和力矩阵F与多个初始二维代价体C进行多次迭代传播，得到最终的边缘信息引导的代价体及其对应的边缘优化的深度图；对多个边缘信息引导的代价体取平均，并将其与对应的边
缘优化深度图相加得到复合图像，通过训练完成的卷积神经网络将所述复合图像还原为最终的深度图估计。
[0005]在本专利技术的一些实施例中，所述基于参考图像，多幅邻域图像及其单应变换后的图像，得到多个初始二维代价体C包括：在每个假设深度下，基于平面扫描方法，使用可微单应变换将输入员投影到参考相机坐标系下，得到变换后的源图像；计算的绝对差构造一致性体，利用二维卷积神经网络对所述一致性体进行初步的正则化，得到多个初始二维代价体C。进一步的，所述将所述多个二维代价体C进行解码，得到多个初始深度图D
init
包括：将每个正则化后的初始二维代价体输入到卷积神经网络中；经过卷积神经网络的Softmax处理后，每个二维代价体转换为具有2通道特征的初始深度图D
init
。在本专利技术的一些实施例中，所述根据每个初始深度图D
init
及其对应的初始二维代价体C，生成逐像素的概率图P包括：对每个初始深度图进行边缘检测，并将得到的边缘值与邻域图像加权取和，输入到一个二维卷积神经网络，得到边缘感知的特征图；同时，对每个初始深度图D
init
对应的初始二维代价体C，执行Softmax操作得到深度概率体；由初始深度图作为中的索引，生成一张逐像素的概率图。
[0006]在本专利技术的一些实施例中，所述将所述多个亲和力矩阵F与多个初始二维代价体C进行多次迭代传播，得到最终的边缘信息引导的代价体及其对应的边缘优化的深度图包括：在每次迭代传播中，沿着假设深度的维度，将每个初始二维代价体C划分为个匹配代价图的集合；将每个亲和力矩阵视作一个逐像素的权值矩阵，对每一个匹配代价图进行局部的加权求和，得到一次迭代传播后的匹配代价图；经过第t次传播后，在第n个深度假设下的匹配代价图；在深度假设维度将个迭代传播后的匹配代价图连接，获得由边缘信息引导的代价体；利用卷积神经网络对应用Softmax操作，得到经过边缘优化的深度图。
[0007]在上述的实施例中，还包括：采用深度损失函数和混合法相损失对每个初始深度图D
init
、每个边缘优化的深
度图和最终的深度图估计进行监督，其中Q表示深度图上的所有有效点，是它们的总数；是像素q处的估计深度值，是q处的深度真值。
[0008]本专利技术的第二方面，提供了一种适用于无人机平台的多视图深度估计装置，包括：获取模块，用于获取无人机采集到的一幅参考图像及其多幅邻域图像；给定输入源
‑
参考图像对，在整个场景深度范围内均匀采样个假设深度值，其中：输入源I
S
为无人机采集到的一幅参考图像，I
r
为多幅邻域图像的一幅；解码模块，用于基于参考图像，多幅邻域图像及其单应变换后的图像，得到多个初始二维代价体C；将所述多个二维代价体C进行解码，得到多个初始深度图D
init
；提取模块，用于对每个初始深度图D
init
进行边缘检测和特征提取，得到其对应的边缘感知的特征图；根据每个初始深度图D
init
及其对应的初始二维代价体C，生成逐像素的概率图P；将每个所述概率图P与所述边缘感知的特征图逐点相乘，得到多个亲和力矩阵F；传播模块，用于将所述多个亲和力矩阵F与多个初始二维代价体C进行多次迭代传播，得到最终的边缘信息引导的代价体及其对应的边缘优化的深度图；还原模块，用于对多个边缘信息引导的代价体取平均，并将其与对应的边缘优化深度图相加得到复合图像，通过训练完成的卷积神经网络将所述复合图像还原为最终的深度图估计。
[0009]本专利技术的第三方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本专利技术在第一方面提供适用于无人机平台的多视图深度估计方法。
[0010]本专利技术的第四方面，提供了一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现本专利技术在第一方面提供的适用于无人机平台的多视图深度估计方法。
[0011]本专利技术的有益效果是：本专利技术基于深度学习的无人机航拍影像深度估计网络框架上，以利用无人机采集的一幅参考图像和多幅邻域图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种适用于无人机平台的多视图深度估计方法，其特征在于，包括：获取无人机采集到的一幅参考图像及其多幅邻域图像；给定输入源
‑
参考图像对，在整个场景深度范围内均匀采样个假设深度值，其中：输入源I
S
为无人机采集到的一幅参考图像，I
r
为多幅邻域图像的一幅；基于参考图像，多幅邻域图像及其单应变换后的图像，得到多个初始二维代价体C；将所述多个二维代价体C进行解码，得到多个初始深度图D
init
；对每个初始深度图D
init
进行边缘检测和特征提取，得到其对应的边缘感知的特征图；根据每个初始深度图D
init
及其对应的初始二维代价体C，生成逐像素的概率图P；将每个所述概率图P与所述边缘感知的特征图逐点相乘，得到多个亲和力矩阵F；将所述多个亲和力矩阵F与多个初始二维代价体C进行多次迭代传播，得到最终的边缘信息引导的代价体及其对应的边缘优化的深度图；对多个边缘信息引导的代价体取平均，并将其与对应的边缘优化深度图D
edgs
相加得到复合图像，通过训练完成的卷积神经网络将所述复合图像还原为最终的深度图估计D
refine
。2.根据权利要求1所述的适用于无人机平台的多视图深度估计方法，其特征在于，所述基于参考图像，多幅邻域图像及其单应变换后的图像，得到多个初始二维代价体C包括：在每个假设深度下，基于平面扫描方法，使用可微单应变换将输入员投影到参考相机坐标系下，得到变换后的源图像；计算的绝对差构造一致性体，利用二维卷积神经网络对所述一致性体进行初步的正则化，得到多个初始二维代价体C。3.根据权利要求2所述的适用于无人机平台的多视图深度估计方法，其特征在于，所述将所述多个二维代价体C进行解码，得到多个初始深度图D
init
包括：将每个正则化后的初始二维代价体输入到卷积神经网络中；经过卷积神经网络的Softmax处理后，每个二维代价体转换为具有2通道特征的初始深度图D
init
。4.根据权利要求1所述的适用于无人机平台的多视图深度估计方法，其特征在于，所述根据每个初始深度图D
init
及其对应的初始二维代价体C，生成逐像素的概率图P包括：对每个初始深度图D
init
进行边缘检测，并将得到的边缘值与邻域图像加权取和，输入到一个二维卷积神经网络，得到边缘感知的特征图；同时，对每个初始深度图D
init
对应的初始二维代价体C，执行Softmax操作得到深度概率体P
v
；由初始深度图D
init
作为P
v
中的索引，生成一张逐像素的概率图。5.根据权利要求1所述的适用于无人机平台的多视图深度估计方法，其特征在于，所述将所述多个亲和力矩阵F与多个初始二维代价体C进行多次迭代传播，得到最终的边缘信息引导的代价体及其对应的边缘优化的深度图D
edgs
包括：在每次迭代传播中，沿着假设深度的维度，将每...

【专利技术属性】
技术研发人员：陶文兵，徐思源，刘李漫，
申请(专利权)人：武汉图科智能科技有限公司，
类型：发明
国别省市：