三维重建的方法、装置以及无人机制造方法及图纸

本申请实施例提供了一种三维重建的方法、装置以及无人机，该方法可应用于无人机领域，该方法包括：获取目标场景的第一图像和第二图像；将第一图像和第二图像输入到第一神经网络中，得到匹配代价检测结果，将匹配代价检测结果输入到第二神经网络中，得到视差预测结果；将匹配代价检测结果输入到第三神经网络中，得到不确定性预测结果；根据视差预测结果和不确定性预测结果，确定目标场景的三维模型或地图。通过上述方法，能够提高立体匹配算法预测的精准度和可靠性，从而更好地完成无人机场景下的三维重建。下的三维重建。下的三维重建。

【技术实现步骤摘要】
三维重建的方法、装置以及无人机


[0001]本申请实施例涉及无人机
，并且，更具体地，涉及一种三维重建的方法、装置以及无人机。

技术介绍

[0002]无人机场景下的三维重建是指利用无人机搭载的传感器和计算设备，通过采集大量的图像或激光扫描数据，并利用计算机视觉和计算机图形学的技术，将这些数据转化为高精度的三维模型或地图的过程。
[0003]在进行三维重建时，需要使用立体匹配算法，该立体匹配算法可以基于多个图像之间的视差信息，从而推断出场景中物体的三维位置。虽然，立体匹配算法在得到视差信息时取得了较为优异的性能，但是，立体匹配算法输出的视差预测结果仍然存在物体边缘不清晰、大物体内部纹理不清晰以及小物体识别不精确等问题，因此，如何提高立体匹配算法预测的精准度和可靠性是亟需解决的问题。

技术实现思路

[0004]本申请实施例提供一种三维重建的方法、装置以及无人机，能够提高立体匹配算法预测的精准度和可靠性，从而更好地完成无人机场景下的三维重建。
[0005]第一方面，提供了一种三维重建方法，该方法包括：获取目标场景的第一图像和第二图像；将所述第一图像和所述第二图像输入到第一神经网络中，得到匹配代价检测结果，所述匹配代价检测结果用于指示所述第一图像和所述第二图像中像素对的相似度；将所述匹配代价检测结果输入到第二神经网络中，得到视差预测结果；将所述匹配代价检测结果输入到第三神经网络中，得到不确定性预测结果，所述不确定性预测结果用于指示根据所述像素对进行视差预测的可信程度；根据所述视差预测结果和所述不确定性预测结果，确定所述目标场景的三维模型或地图。
[0006]可选地，第一图像和第二图像可以是通过部署在无人机上的一个相机获取的，也可以是通过部署在无人机上的多个相机获取的。
[0007]可选地，可以使用卷积神经网络对相机拍摄的图像进行特征提取，得到第一图像和第二图像对应的特征向量。
[0008]可选地，第二神经网络中的输入可以是匹配代价检测结果中的代价体积(cost
‑
volume)，其用于表示特征图之间像素级别的相似度从而找到对应关系。
[0009]本申请实施例中，通过将匹配代价检测结果输入到第二神经网络和第三神经网络中，得到视差预测结果和不确定性预测结果，再根据视差预测结果和不确定性预测结果，确定目标场景的三维模型或地图。这样，在三维模型或地图构建的过程中，既考虑到视差预测结果的准确性，又考虑到了视差预测结果的合理性，从而提高了立体匹配算法预测的精准度和可靠性，能够更好地完成无人机场景下的三维重建。
[0010]结合第一方面，在第一方面的某些实现方式中，所述第三神经网络是通过样本数
据和数据标签得到的，所述样本数据包括：样本匹配代价检测结果；所述数据标签为样本不确定性预测结果。
[0011]本申请实施例中，可以通过样本匹配代价检测结果和样本不确定性预测结果训练第三神经网络，以便于后续根据第三神经网络得到不确定性预测结果，从而提高了立体匹配算法预测的精准度和可靠性。
[0012]结合第一方面，在第一方面的某些实现方式中，所述第三神经网络训练时对应的损失函数是根据绝对误差损失函数、视差误差分布损失函数和不确定性分布损失函数确定的，所述视差误差分布损失函数和不确定性分布损失函数可以通过累计所述第一图像和所述第二图像中每个像素点对应的权重得到。
[0013]本申请实施例中，在第三神经网络进行训练时通过引入视差误差分布损失函数和不确定性分布损失函数，这样，上述损失函数能够引导第三神经网络在进行预测时不仅考虑预测的准确性，还要对预测的不确定性进行合理的估计，从而提高了第三神经网络的鲁棒性、可靠性和泛化能力。
[0014]结合第一方面，在第一方面的某些实现方式中，所述第三神经网络训练时对应的损失函数具体通过如下公式确定：
[0015][0016]其中，N为所述第一图像和/或所述第二图像中的像素点总数，σ
i
为所述不确定性预测结果，d
i
为第i个像素的视差值，为第i个像素的视差真实值，i≤N，H
∈
(j)为所述视差误差分布损失函数，H
σ
(j)为不确定性分布损失函数，m为预设的能够反映区间长度的常数。
[0017]本申请实施例中，通过引入视差误差分布损失函数和不确定性分布损失函数，使得第三神经网络在训练过程中能够兼顾预测的准确性和不确定性，这样，由于第三神经网络的训练过程得到了改进，使得其在实际应用中输出的预测结果能够用于无人机场景下的三维重建，从而提高了立体匹配算法预测的精准度和可靠性。
[0018]结合第一方面，在第一方面的某些实现方式中，所述视差误差分布损失函数具体可以通过如下公式确定：
[0019][0020]其中，视差误差∈
(i)
在第j个像素对应的权重w
j
(∈
(i)
)可以通过如下公式确定：
[0021][0022]其中，μ
∈
为视差误差的均值，b
∈
为视差误差的方差，λ1和λ2为常数，α
j
为预设的能够反映区间长度的常数。
[0023]结合第一方面，在第一方面的某些实现方式中，所述不确定性分布损失函数具体可以通过如下公式确定：
[0024][0025]其中，不确定性预测结果σ
(i)
在第j个像素对应的权重w
j
(σ
(i)
)可以通过如下公式确定：
[0026][0027]其中，μ
∈
为视差误差的均值，b
∈
为视差误差的方差，λ1和λ2为常数，α
j
为预设的能够反映区间长度的常数。
[0028]第二方面，提供了一种三维重建装置，该装置包括：获取单元，用于获取目标场景的第一图像和第二图像；处理单元，用于：将所述第一图像和所述第二图像输入到第一神经网络中，得到匹配代价检测结果，所述匹配代价检测结果用于指示所述第一图像和所述第二图像中像素对的相似度；将所述匹配代价检测结果输入到第二神经网络中，得到视差预测结果；将所述匹配代价检测结果输入到第三神经网络中，得到不确定性预测结果，所述不确定性预测结果用于指示根据所述像素对进行视差预测的可信程度；根据所述视差预测结果和所述不确定性预测结果，确定所述目标场景的三维模型或地图。
[0029]结合第二方面，在第二方面的某些实现方式中，所述第三神经网络是通过样本数据和数据标签得到的，所述样本数据包括：样本匹配代价检测结果；所述数据标签为样本不确定性预测结果。
[0030]结合第二方面，在第二方面的某些实现方式中，所述第三神经网络训练时对应的损失函数是根据绝对误差损失函数、视差误差分布损失函数和不确定性分布损失函数确定的，所述视差误差分布损失函数和不确定性分布损失函数可以通过累计所述第一图像和所述第二图像中每个像素点对应的权重得到本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维重建方法，其特征在于，所述方法包括：获取目标场景的第一图像和第二图像；将所述第一图像和所述第二图像输入到第一神经网络中，得到匹配代价检测结果，所述匹配代价检测结果用于指示所述第一图像和所述第二图像中像素对的相似度；将所述匹配代价检测结果输入到第二神经网络中，得到视差预测结果；将所述匹配代价检测结果输入到第三神经网络中，得到不确定性预测结果，所述不确定性预测结果用于指示根据所述像素对进行视差预测的可信程度；根据所述视差预测结果和所述不确定性预测结果，确定所述目标场景的三维模型或地图。2.如权利要求1所述的方法，其特征在于，所述第三神经网络是通过样本数据和数据标签得到的，所述样本数据包括：样本匹配代价检测结果；所述数据标签为样本不确定性预测结果。3.如权利要求1或2所述的方法，其特征在于，所述第三神经网络训练时对应的损失函数是根据绝对误差损失函数、视差误差分布损失函数和不确定性分布损失函数确定的，所述视差误差分布损失函数和不确定性分布损失函数可以通过累计所述第一图像和所述第二图像中每个像素点对应的权重得到。4.如权利要求3所述的方法，其特征在于，所述第三神经网络训练时对应的损失函数具体通过如下公式确定：其中，N为所述第一图像和/或所述第二图像中的像素点总数，σ
i
为不确定性预测结果，d
i
为第i个像素的视差值，为第i个像素的视差真实值，i≤N，H
∈
(j)为所述视差误差分布损失函数，H
σ
(j)为所述不确定性分布损失函数，m为预设的能够反映区间长度的常数。5.如权利要求4所述的方法，其特...

【专利技术属性】
技术研发人员：常志中，陈启东，
申请(专利权)人：黑龙江惠达科技股份有限公司，
类型：发明
国别省市：