【技术实现步骤摘要】
本专利技术涉及智能交通的，特别涉及一种基于正交平面的智能交通单目深度估计方法。
技术介绍
1、近年来，单目深度估计取得了重大进展，研究人员开发了新的算法和模型，在各种基准上取得了优异的性能。然而，大多数现有最先进方法依赖于监督学习，需要部署昂贵的传感器并产生大量的人工标注成本，数据集的收集是一个复杂而又艰难的挑战。作为替代方案，研究人员采用了光度一致性和自监督学习方法，将深度估计作为立体图像，单目视频或者是两者结合之间的重建来消除ground truth的需要。但是该方法投射到同一二维图像上的三维场景的数量是无限的，深度图估计是一个不适定问题。
2、传统的自监督单目深度估计方法使用连续帧作为输入来逐像素回归密集的深度图，通常情况下，这些方法涉及将参考视图图像翘曲到目标视图，然后利用重投影损失来约束回归模型，以学习相邻帧之间的几何一致性。虽然这些方法在解决数据要求方面表现出潜力，但经典的回归网络受到平滑偏差的影响，特别是目标边界截断处的深度值伪影。此外，移动的前景和背景物体之间不一致的像素差异为准确匹配被遮挡的背景边界像素带来了挑战。因此，这些边缘像素与前景像素翘起相同的距离，以便源视图和目标视图的前景像素尽可能地对齐，实现最小的光度损失，但这些不正确的匹配像素进一步加剧了预测的失真。
3、常用的深度特征提取结构为编码器-解码器。在这个架构中，编码器使用骨干网络，如resnet、vgg、hrnet和packnet等。解码器根据这些特征重建深度图，利用unet或gcn。参考视图和目标视图之间的重射一致性可作为
4、深度估计中的另一个挑战是目标边界截断处的深度不连续性，这会导致深度值伪影。虽然一些方法将语义分割或是边缘真实值作为先验信息，将边缘信息作为输入，加入分支约束或者是后处理，解决了目标边界模糊问题，但是这些方法同样需要精确的标签，不符合无监督深度估计方法，同时预测和真实边界之间的深度值全部归为最近邻背景深度，这显然是不合理的。为了解决这个问题，引入离散化多平面深度区间，将深度回归转化为像素分类问题，这种方法已被证明可以获得更高的性能。但是，值得注意的是，深度离散会导致视觉质量下降，并且具有明显的深度不连续。
技术实现思路
1、针对现有技术中存在的不足之处，本专利技术的目的是提供一种基于正交平面的智能交通单目深度估计方法，解决了目标及其边界深度时存在过度平滑和边缘伪影的问题，以实现有效地提取单目图像的深度信息。为了实现根据本专利技术的上述目的和其他优点，提供了一种基于正交平面的智能交通单目深度估计方法，包括以下步骤：
2、s1、获取分辨率为h×w的rgb图像和其下帧相同分辨率的图像数据集；
3、s2、通过在编码器中构建全局和局部特征提取模块，获取四个分辨率的编码特征；
4、s3、将编码器输出特征送入非移动窗口transformer中，用于像素深度的生成，得到三个不同分辨率的解码特征；
5、s4、通过将解码器深度概率表示送入bins分类网络中，通过轻量级transformer组合输出间隔bins组，将bins间隔组和深度表示进行哈达玛乘积，得到分类深度值；
6、s5、将解码器输出的成像平面深度概率和多平面bins输出的光轴多平面深度概率通过混合高斯估计确定最终的深度值。
7、优选的，步骤s2中采用卷积网络提取彩色图像生成h/2×w/2小的特征，之后每层全局和局部特征提取都采用卷积和transformer并行交互，且以2倍尺度分辨率递减，将提取的特征送入金字塔解析模块提取多尺度特征。
8、优选的，步骤s3中通过跨层和跨尺度连接实现空间分辨率输出视差作为场景深度表示，并通过非移位swin-transformer块进行像素级深度预测，利用编码器输出的特征图计算窗口中每个patch的query和key向量，query和key向量是相同的，再计算两者之间的点积以获取相似性得分，并且在解码器中进行信道转换，同时去除移动窗口深度预测，减少了目标边缘深度截断的伪影。
9、优选的，步骤s4中通过简单的后处理transformer模块预测深度间隔中心bins：
10、
11、其中dmin和dmin分别表示最小、最大深度，bi表示第i个间隔距离。
12、优选的，步骤s4中通过平面离散化方法来估计连续深度，解码器将体积平面转换为像素级概率图，生成n个嵌入作为图像特征图，与n个bins queries交互，输出深度嵌入，并将嵌入送入一个线性感知器和softmax得到归一化深度。
13、优选的，将输入图像的像素(u,v)参数化为高斯分布,精确定位bins的采样选择，训练深度搜索空间为[μu,v-βσu,v,μu,v+βσu,v]，第k个深度假设值为du,v,k：
14、du,v,k＝μu,v+bkσu,v (5)，
15、其中μu,v和σu,v分别表示像素点(u,v)的深度均值和方差，bk表示概率函数。
16、优选的，步骤s5中成像平面回归深度和光轴多平面分类深度两种高斯模型分别从两个方向对目标深度做出了概率预测，其均值和方差分别为μ1,μ2,σ1,σ2；其混合高斯分布的概率密度函数为：
17、
18、其中μdepth作为最大概率深度估计，xi和μi分别第i个深度估计的深度均值和方差，表示混合高斯方差。
19、本专利技术与现有技术相比，其有益效果是：1)本专利技术针对交通场景或者无监督信号的单目深度估计的场景，如街区、野外作业场景等，采用单目相机采集前后帧图像，无需雷达采集的真值监督训练，为智能驾驶系统提供实时且稳定的深度定位；
20、2)采用像素级注意力深度估计系统，可以有效提高目标边缘的深度估计精度，解决了卷积网络估计深度时的混叠，有效缓解了深度伪影；
21、3)利用成像平面和光轴多平面正交特性，交叉深度用于高斯混合分布，实现回归网络和分类网络的统一，保证深度预测的准确型和鲁棒性。
本文档来自技高网...【技术保护点】
1.一种基于正交平面的智能交通单目深度估计方法，其特征在于，包括以下步骤：
2.如权利要求1所述的一种基于正交平面的智能交通单目深度估计方法，其特征在于，步骤S2中采用卷积网络提取彩色图像生成H/2×W/2小的特征，之后每层全局和局部特征提取都采用卷积和Transformer并行交互，且以2倍尺度分辨率递减，将提取的特征送入金字塔解析模块提取多尺度特征。
3.如权利要求1所述的一种基于正交平面的智能交通单目深度估计方法，其特征在于，步骤S3中通过跨层和跨尺度连接实现空间分辨率输出视差作为场景深度表示，并通过非移位Swin-Transformer块进行像素级深度预测，利用编码器输出的特征图计算窗口中每个patch的query和key向量，query和key向量是相同的，再计算两者之间的点积以获取相似性得分，并且在解码器中进行信道转换，同时去除移动窗口深度预测，减少了目标边缘深度截断的伪影。
4.如权利要求1所述的一种基于正交平面的智能交通单目深度估计方法，其特征在于，步骤S4中通过简单的后处理transformer模块预测深度间隔中心bins：<...
【技术特征摘要】
1.一种基于正交平面的智能交通单目深度估计方法，其特征在于，包括以下步骤：
2.如权利要求1所述的一种基于正交平面的智能交通单目深度估计方法，其特征在于，步骤s2中采用卷积网络提取彩色图像生成h/2×w/2小的特征，之后每层全局和局部特征提取都采用卷积和transformer并行交互，且以2倍尺度分辨率递减，将提取的特征送入金字塔解析模块提取多尺度特征。
3.如权利要求1所述的一种基于正交平面的智能交通单目深度估计方法，其特征在于，步骤s3中通过跨层和跨尺度连接实现空间分辨率输出视差作为场景深度表示，并通过非移位swin-transformer块进行像素级深度预测，利用编码器输出的特征图计算窗口中每个patch的query和key向量，query和key向量是相同的，再计算两者之间的点积以获取相似性得分，并且在解码器中进行信道转换，同时去除移动窗口深度预测，减少了目标边缘深度截断的伪影。
4.如权利要求1所述的一种基于正交平面的智能交通单目深度估计方法，其特征在于，...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。