检测方法、装置以及无人机制造方法及图纸

本申请实施例提供了一种检测方法、装置以及无人机，该方法可应用于无人机领域，该方法包括：获取目标场景的第一图像和第二图像；对第一图像和第二图像进行匹配代价检测，得到匹配代价检测结果；将匹配代价检测结果输入到第一神经网络中，得到视差预测结果；将匹配代价检测结果输入到第二神经网络中，得到不确定性预测结果；将视差预测结果和不确定预测结果输入到第三神经网络中，得到检测结果，该检测结果用于指示第一图像和/或第二图像的视差预测结果是否失效。通过上述方法，能够检测出整张图像的视差预测结果是否发生了失效，从而更好地完成无人机场景下的三维重建，以及更好地进行环境感知中的视觉避障。行环境感知中的视觉避障。行环境感知中的视觉避障。

【技术实现步骤摘要】
检测方法、装置以及无人机


[0001]本申请实施例涉及无人机
，并且，更具体地，涉及一种检测方法、装置以及无人机。

技术介绍

[0002]无人机场景下的三维重建是指利用无人机搭载的传感器和计算设备，通过采集大量的图像或激光扫描数据，并利用计算机视觉和计算机图形学的技术，将这些数据转化为高精度的三维模型或地图的过程。
[0003]在进行三维重建时，需要使用立体匹配算法，该立体匹配算法可以基于多个图像之间的视差信息，从而推断出场景中物体的三维位置。虽然，立体匹配算法在得到视差信息时取得了较为优异的性能，但是，考虑到算法的真实场景和训练场景存在迁移问题，以及图片成像质量可能会受到外界的影响，立体匹配算法仍然存在预测错误的现象。因为无法判断立体匹配算法是否出现了预测错误，而可能导致发生灾难性的后果，因此，如何判断出该视差预测结果是否失效是亟需解决的问题。

技术实现思路

[0004]本申请实施例提供了一种检测方法、装置以及无人机，能够检测出整张图像的视差预测结果是否失效，从而更好地完成无人机场景下的三维重建，以及更好地进行环境感知中的视觉避障。
[0005]第一方面，提供了一种检测方法，该方法包括：获取目标场景的第一图像和第二图像；对所述第一图像和所述第二图像进行匹配代价检测，得到匹配代价检测结果，所述匹配代价检测结果用于指示所述第一图像和所述第二图像中像素对的相似度；将所述匹配代价检测结果输入到第一神经网络中，得到视差预测结果；将所述匹配代价检测结果输入到第二神经网络中，得到不确定性预测结果，所述不确定性预测结果用于指示根据所述像素对进行视差预测的可信程度；将所述视差预测结果和所述不确定预测结果输入到第三神经网络中，得到检测结果，所述检测结果用于指示所述第一图像和/或所述第二图像的视差预测结果是否失效。
[0006]可选地，第一图像和第二图像可以是通过部署在无人机上的一个相机获取的，也可以是通过部署在无人机上的多个相机获取的。
[0007]可选地，当第一图像和第二图像由双目相机获取的情况下，第一图像可以是左目相机获取的图像，第二图像可以是右目相机获取的图像，或者，第二图像可以是左目相机获取的图像，第一图像可以是右目相机获取的图像。
[0008]可选地，第一神经网络中的输入可以是匹配代价检测结果中的代价体积(cost
‑
volume)，其用于表示特征图之间像素级别的相似度从而找到对应关系。
[0009]可选地，第三神经网络可以是融合网络。
[0010]可选地，检测结果用于指示第一图像和/或第二图像的视差预测结果是否失效，可
以理解为该检测结果用于判断第一图像和/或第二图像的视差预测结果是否因为环境因素而导致失效。
[0011]本申请实施例中，通过将匹配代价检测结果输入到第一神经网络和第二神经网络中，得到视差预测结果和不确定性预测结果，再将视差预测结果和不确定性预测结果输入到第三神经网络中，得到用于指示整张图像(第一图像和/或第二图像)的视差预测结果是否失效的检测结果。这样，能够检测出整张图像的视差预测结果是否发生了失效，从而避免了灾难性后果的发生。
[0012]结合第一方面，在第一方面的某些实现方式中，所述检测结果用于指示所述第一图像和/或第二图像的视差预测结果不失效，所述方法还包括：根据所述第一图像和/或所述第二图像的视差预测结果，确定所述目标场景的三维模型或地图。
[0013]本申请实施例中，在检测结果用于指示第一图像和/或第二图像的视差预测结果不失效的情况下，可以根据该视差预测结果和不确定性预测结果，确定目标场景的三维模型。这样，在三维模型或地图构建的过程中，既考虑到视差预测结果的准确性，又考虑到了视差预测结果的合理性，能够更好地完成无人机场景下的三维重建。
[0014]结合第一方面，在第一方面的某些实现方式中，所述第三神经网络是通过样本数据和数据标签得到的，所述样本数据包括：样本视差预测结果、视差真实值和样本不确定性预测结果，所述样本标签包括样本检测结果。
[0015]可选地，样本不确定性预测结果可以理解为样本中每个像素对应视差预测的不确定性的预测结果。
[0016]可选地，在进行第三神经网络训练的过程中，训练标签中可以不包括噪声标签，这样可以训练出预测更精准的第三神经网络。
[0017]可选地，第三神经网络的训练过程可以是：通过计算样本视差预测结果和视差真实值之间的方差，在该方差大于或等于预设阈值时，输出第一图像和/或第二图像的视差预测结果不失效的检测结果，在该方差小于预设阈值时，输出第一图像和/或第二图像的视差检测结果失效的检测结果。
[0018]本申请实施例中，可以通过样本视差预测结果、视差真实值和样本不确定性预测结果训练第三神经网络，以便于基于第三神经网络判断出第一图像和/或第二图像的视差预测结果是否失效，从而能够更有效率地完成无人机场景下的三维重建。
[0019]结合第一方面，在第一方面的某些实现方式中，所述对所述第一图像和所述第二图像进行匹配代价检测，得到匹配代价检测结果，包括：将所述第一图像和所述第二图像输入到卷积神经网络中，得到所述匹配代价检测结果。
[0020]本申请实施例中，可以通过卷积神经网络对第一图像和第二图像进行匹配代价检测，可以避免人工设计特征或相似度度量准则，这使得匹配代价检测更加灵活和准确，从而更好地完成无人机场景下的三维重建。
[0021]结合第一方面，在第一方面的某些实现方式中，所述第二神经网络训练时对应的损失函数是根据绝对误差损失函数、视差误差分布损失函数和不确定性分布损失函数确定的，所述视差误差分布损失函数和不确定性分布损失函数可以通过累计所述第一图像和所述第二图像中每个像素点对应的权重得到。
[0022]本申请实施例中，在第二神经网络进行训练时通过引入视差误差分布损失函数和
不确定性分布损失函数，这样，上述损失函数能够引导第二神经网络在进行预测时不仅考虑预测的准确性，还要对预测的不确定性进行合理的估计，从而提高了第二神经网络的鲁棒性、可靠性和泛化能力。
[0023]结合第一方面，在第一方面的某些实现方式中，所述第二神经网络训练时对应的损失函数具体通过如下公式确定：
[0024][0025]其中，N为所述第一图像和/或所述第二图像中的像素点总数，σ
i
为所述不确定性预测结果，d
i
为第i个像素的视差值，为第i个像素的视差真实值，i≤N，H
∈
(j)为所述视差误差分布损失函数，H
σ
(j)为所述不确定性分布损失函数，m为预设的能够反映区间长度的常数。
[0026]本申请实施例中，通过引入视差误差分布损失函数和不确定性分布损失函数，使得第二神经网络在训练过程中能够兼顾预测的准确性和不确定性，这样，由于第二神经网络的训练过程得到了改进，使得其在实际应用中输出的预测结果能够用于无人机场景下的三维重建，从而提高了最终预测结本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种检测方法，其特征在于，所述方法包括：获取目标场景的第一图像和第二图像；对所述第一图像和所述第二图像进行匹配代价检测，得到匹配代价检测结果，所述匹配代价检测结果用于指示所述第一图像和所述第二图像中像素对的相似度；将所述匹配代价检测结果输入到第一神经网络中，得到视差预测结果；将所述匹配代价检测结果输入到第二神经网络中，得到不确定性预测结果，所述不确定性预测结果用于指示根据所述像素对进行视差预测的可信程度；将所述视差预测结果和所述不确定预测结果输入到第三神经网络中，得到检测结果，所述检测结果用于指示所述第一图像和/或所述第二图像的视差预测结果是否失效。2.如权利要求1所述的方法，其特征在于，所述检测结果用于指示所述第一图像和/或第二图像的视差预测结果不失效，所述方法还包括：根据所述第一图像和/或所述第二图像的视差预测结果，确定所述目标场景的三维模型或地图。3.如权利要求1或2所述的方法，其特征在于，所述第三神经网络是通过样本数据和数据标签得到的，所述样本数据包括：样本视差预测结果、视差真实值和样本不确定性预测结果，所述样本标签包括样本检测结果。4.如权利要求1或2所述的方法，其特征在于，所述对所述第一图像和所述第二图像进行匹配代价检测，得到匹配代价检测结果，包括：将所述第一图像和所述第二图像输入到卷积神经网络中，得到所述匹配代价检测结果。5.如权利要求1或2所述的方法，其特征在于，所述第二神经网络训练时对应的损失函数是根据绝对误差损失函数、视差误差分布损失函数和不确定性分布损失函数确定的，所述视差误差分布损失函数和不确定性分布损失函数可以通过累计所述第一图像和所述第二图像中每个像素点对应的权重得到。6.如权利要求5所述的方法，其特征在于，所述第二神经网络训练时对应的损失函数具体通过如下公式确定：其中，N为所述第一图像和/或所述第二图像中的像素点总数，σ
i
为所述不确定性预测结果，d
i
为...

【专利技术属性】
技术研发人员：常志中，张鹏，
申请(专利权)人：黑龙江惠达科技股份有限公司，
类型：发明
国别省市：