【技术实现步骤摘要】
基于视觉图像与毫米波雷达特征矩阵融合的深度估计方法
[0001]本专利技术涉及计算机视觉
，特别涉及一种基于视觉图像与毫米波雷达特征矩阵融合的深度估计方法。
技术介绍
[0002]深度估计是计算机视觉领域的关键任务之一，是三维环境感知的重要方法。它已被广泛应用于各种场景，如自动驾驶、机器人技术、智能空间、智能交通、增强现实等。目前主要有主动和被动的方法来获取场景的深度信息。
[0003]主动式方法利用光学发射器，如结构光、激光、微波来估计深度。这些传感器具有更好的分辨率和低光性能。但它们的应用受制于发射器的功率和特性，难以使用各种应用场合。被动式方法采用无源相机传感器和特殊算法来估计深度它们的成本相对较低，理论上具有无限的测距能力，但容易受到弱光条件、复杂算法或小基线距离的影响。
[0004]由于低成本的计算能力和高分辨率相机的出现，一些人致力于提高被动式传感器的性能，其中单目深度估计引起了广泛的关注。单目深度估计尝试使用单个摄像头采集到的信息估计对应场景障碍物的远近，一些先进的学习算法被用来解决深度图...
【技术保护点】
【技术特征摘要】
1.一种基于视觉图像与毫米波雷达特征矩阵融合的深度估计方法，其特征在于，所述基于视觉图像与毫米波雷达特征矩阵融合的深度估计方法包括：获取待测场景的毫米波雷达原始数据和视觉图像；对所述毫米波雷达原始数据进行处理，得到雷达特征矩阵；基于所述雷达特征矩阵和视觉图像，利用预设的网络模型得到估计的深度图。2.如权利要求1所述的基于视觉图像与毫米波雷达特征矩阵融合的深度估计方法，其特征在于，对所述毫米波雷达原始数据进行处理，得到雷达特征矩阵，包括：采用加窗的4维快速傅立叶变换对所述毫米波雷达原始数据进行信号变换，变换结果为四维特征矩阵；其中，所述四维特征矩阵的四个维度分别代表：距离、水平角、高程角以及多普勒速度；对多普勒速度维度求均值得到维度为距离、水平角、高程角，特征值为与障碍物返回电磁波能量值正相关的第一三维特征矩阵；对多普勒速度维度下低径向速度的能量通过加权求和的方式进行滤除，得到维度相同，特征值为与有相对速度的障碍物返回电磁波能量值正相关的第二三维特征矩阵；将所述第一三维特征矩阵和所述第二三维特征矩阵沿新的维度拼接，得到四维的雷达特征矩阵。3.如权利要求1所述的基于视觉图像与毫米波雷达特征矩阵融合的深度估计方法，其特征在于，所述利用预设的网络模型得到估计的深度图，包括；利用第一编码器对所述雷达特征矩阵进行特征提取；利用第二编码器对所述视觉图像进行特征提取；在将雷达特征矩阵和视觉图像送入各自的编码器提取到精细特征后，利用InfoNCE损失最大化两种模态部分特征之间的互信息，即对部分特征进行信息对齐；将信息对齐后的特征通过层次窗口注意力模块进行融合，然后与其余的特征在通道维度上拼接，得到拼接后的特征；使用全卷积的解码器对拼接后...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。