【技术实现步骤摘要】
本专利技术涉及图像深度估计的，尤其是涉及种基于不确定性的多传感器融合的深度估计方法。
技术介绍
1、多传感器深度估计是一个利用多个传感器的互补特性进行深度估计的任务，在无人驾驶，障碍物检测等众多领域已得到广泛应用。随着传感器技术的发展，如何充分结合多传感器的信息，已经成为现有技术的突破难点。因此，有效融合双目相机和激光雷达这两种传感器已经成为深度估计任务中一个备受关注的问题。
2、目前的多传感器融合的深度估计方法没有考虑到激光雷达提供的深度值在某些区域极度稀疏的情况，且其融合方式过于简单，或是采用将稀疏深度和图像直接拼接之后用于立体匹配的方法，上述深度估计的方法的融合效果较差，深度估计的准确性不足。
技术实现思路
1、本专利技术的目的就是为了提高深度估计的准确性而提供的一种基于不确定性的多传感器融合的深度估计方法。
2、本专利技术的目的可以通过以下技术方案来实现：
3、一种基于不确定性的多传感器融合的深度估计方法，方法包括：
4、s1、获取稀疏深度图和双目彩色图像，构建神经网络模型，所述神经网络模型包括立体匹配分支、深度补全分支和融合模块，将两个多尺度特征一起输入立体匹配分支，对图像分别提取特征，得到深度多尺度特征和双目多尺度特征；
5、s2、将两个多尺度特征依次输入立体匹配分支的多尺度代价体，多尺度代价体输出的特征进行特征聚合，特征聚合得到的特征输入立体匹配分支的可信回归模块，得到多组正态逆伽马分布的参数γi,vi,αi
6、将稀疏深度图输入深度补全分支，进行深度补全和不确定性估计，得到深度补全分支的深度值正态逆伽马分布参数γl,vl,αl,βl；
7、在融合模块中，基于立体匹配分支的深度值正态逆伽马分布参数和深度补全分支的深度值正态逆伽马分布参数进行模态间证据融合，得到预测的深度图的正态逆伽马分布参数γf,vf,αf,βf；
8、s3、基于预测的深度图的正态逆伽马分布参数计算损失函数；
9、s5、基于损失函数优化神经网络模型的参数，进行迭代训练，得到训练好的深度估计模型；
10、s6、将实际的稀疏深度图和双目彩色图像输入深度估计模型，得到实际的估计深度和对应的不确定性。
11、进一步地，特征聚合得到的特征输入可信回归模块，得到多组正态逆伽马分布的参数γi,vi,αi,βi的具体步骤为：
12、特征聚合得到的特征输入可信回归模块中，经过三维卷积，得到不确定性特征o，将不确定性特征拆分为分别对应正态逆伽马分布参数中四个参数的特征oγ,ov,oα,oβ，对特征oiγ进行激活，得到特征概率p，特征概率p进行视差回归得到正态逆伽马分布的参数γi，基于特征ov,oα,oβ和特征概率p进行不确定性回归，再经过激活，得到正态逆伽马分布的参数vi,αi,βi。
13、进一步地，特征聚合得到的特征输入可信回归模块后，得到3组正态逆伽马分布的参数γi,vi,αi,βi(i＝1，2，3)，模态内证据融合的过程为：
14、
15、其中，nig表示正态逆伽马分布。
16、进一步地，将稀疏深度图输入深度补全分支，进行深度补全和不确定性估计，得到深度补全分支的深度值正态逆伽马分布参数γl,vl,αl,βl的具体步骤为：
17、将稀疏深度图输入深度补全分支，基于penet网络进行深度补全，得到补全的深度图，补全的深度图基于卷积块进行不确定性估计，得到深度补全分支的深度值正态逆伽马分布参数γl,vl,αl,βl。
18、进一步地，模态间证据融合的具体流程为：
19、
20、其中，nig表示正态逆伽马分布。
21、进一步地，预测的深度图的正态逆伽马分布参数γf,vf,αf,βf为：
22、
23、
24、vf＝vs+vl
25、
26、进一步地，s3的损失函数为：
27、
28、其中，为深度估计损失函数，为立体匹配分支不确定性损失，为深度补全分支不确定性损失，为预测不确定性损失。
29、进一步地，深度估计损失函数为：
30、
31、其中，为深度补全分支深度损失，为立体匹配分支深度损失，为预测深度损失，为视差图损失。
32、进一步地，视差图损失为：
33、
34、其中，wj为视差图的第jth预测的权重，为和dgt分别是第jth预测视差值和真实视差值，表示l1损失。
35、进一步地，不确定性损失为：
36、
37、其中，
38、
39、
40、其中，λ为平衡参数，dgt表示真实深度。
41、与现有技术相比，本专利技术具有以下有益效果：
42、本专利技术设置模态内证据融合和模态间证据融合，充分利用了多模态信息，基于证据分布参数，可以对立体匹配分支和深度补全分支的深度图进行融合，同时可输出预测的深度值的可信度，不确定性越高代表可信度越低，对于不确定性高的预测，可以减小对模型的信任，提高深度估计的准确性。
本文档来自技高网...【技术保护点】
1.一种基于不确定性的多传感器融合的深度估计方法，其特征在于，方法包括：
2.根据权利要求1所述的一种基于不确定性的多传感器融合的深度估计方法，其特征在于，特征聚合得到的特征输入可信回归模块，得到多组正态逆伽马分布的参数γi,vi,αi,βi的具体步骤为：
3.根据权利要求2所述的一种基于不确定性的多传感器融合的深度估计方法，其特征在于，特征聚合得到的特征输入可信回归模块后，得到3组正态逆伽马分布的参数γi,vi,αi,βi(i＝1，2，3)，模态内证据融合的过程为：
4.根据权利要求1所述的一种基于不确定性的多传感器融合的深度估计方法，其特征在于，将稀疏深度图输入深度补全分支，进行深度补全和不确定性估计，得到深度补全分支的深度值正态逆伽马分布参数γl,vl,αl,βl的具体步骤为：
5.根据权利要求1所述的一种基于不确定性的多传感器融合的深度估计方法，其特征在于，模态间证据融合的具体流程为：
6.根据权利要求5所述的一种基于不确定性的多传感器融合的深度估计方法，其特征在于，预测的深度图的正态逆伽马分布参数γf,vf,α
7.根据权利要求1所述的一种基于不确定性的多传感器融合的深度估计方法，其特征在于，S3的损失函数为：
8.根据权利要求7所述的一种基于不确定性的多传感器融合的深度估计方法，其特征在于，深度估计损失函数为：
9.根据权利要求8所述的一种基于不确定性的多传感器融合的深度估计方法，其特征在于，视差图损失为：
10.根据权利要求7所述的一种基于不确定性的多传感器融合的深度估计方法，其特征在于，不确定性损失为：
...【技术特征摘要】
1.一种基于不确定性的多传感器融合的深度估计方法，其特征在于，方法包括：
2.根据权利要求1所述的一种基于不确定性的多传感器融合的深度估计方法，其特征在于，特征聚合得到的特征输入可信回归模块，得到多组正态逆伽马分布的参数γi,vi,αi,βi的具体步骤为：
3.根据权利要求2所述的一种基于不确定性的多传感器融合的深度估计方法，其特征在于，特征聚合得到的特征输入可信回归模块后，得到3组正态逆伽马分布的参数γi,vi,αi,βi(i＝1，2，3)，模态内证据融合的过程为：
4.根据权利要求1所述的一种基于不确定性的多传感器融合的深度估计方法，其特征在于，将稀疏深度图输入深度补全分支，进行深度补全和不确定性估计，得到深度补全分支的深度值正态逆伽马分布参数γl,vl,αl,βl的具体步骤为：<...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。