一种双目立体匹配的聚合方法技术

一种双目立体匹配的聚合方法，涉及立体匹配领域。该方法包括：对左视图和右视图进行特征提取以生成金字塔代价卷，利用金字塔代价卷对应确定第一尺度特征图、第二尺度特征图和第三尺度特征图；对第一尺度特征图和第二尺度特征图分别进行重排切片后，进行尺度间聚合得到第一尺度特征图的视差特征图；对第二尺度特征图和第三尺度特征图分别进行重排切片后，进行尺度间聚合得到第二尺度特征图的视差特征图；对第一尺度特征图的视差特征图和第二尺度特征图的视差特征图进行尺度内聚合以生成各尺度特征图对应的视差预测图；对第三尺度特征图进行尺度内聚合以生成对应的视差预测图；根据各尺度特征图对应的视差预测图生成视差图。各尺度特征图对应的视差预测图生成视差图。各尺度特征图对应的视差预测图生成视差图。

【技术实现步骤摘要】
一种双目立体匹配的聚合方法


[0001]本专利技术涉及立体匹配领域，具体涉及一种双目立体匹配的聚合算法。

技术介绍

[0002]双目视觉是通过计算左右视图的视差来恢复三维场景中的深度信息。神经网络的引入使得双目视觉的估计取得更高的准确度。然而，当前双目视觉立体匹配技术存在诸多限制因素，一方面源于精度和速度的难以平衡，通常高精度立体匹配算法采用复杂网络结构，存在大量冗余计算，导致无法满足智能驾驶实时落地需求，而实时立体匹配算法往往受限于弱纹理、遮挡等病态区域的影响，存在算法精度的缺陷。另一方面受限于真实智能驾驶数据集的规模和RGB相机易受光照影响的缺点，立体匹配算法难以处理复杂极端场景，如何应对域偏移现象并提升算法的泛化能力亟待解决。

技术实现思路

[0003]本专利技术主要解决的技术问题是提供一种能更为精准确定病态区域的双目立体匹配的聚合方法。
[0004]根据第一方面，一种实施例中提供一种双目立体匹配的聚合方法，包括：对左视图和右视图进行特征提取以生成金字塔代价卷；所述金字塔代价卷包括第一分辨率代价卷、第二分辨率代价卷本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种双目立体匹配的聚合方法，其特征在于，包括：对左视图和右视图进行特征提取以生成金字塔代价卷；所述金字塔代价卷包括第一分辨率代价卷、第二分辨率代价卷和第三分辨率代价卷；其中，所述第一分辨率代价卷的分辨率大于第二分辨率代价卷的分辨率大于第三分辨率代价卷的分辨率；根据所述第一分辨率代价卷确定第一尺度特征图，根据所述第二分辨率代价卷确定第二尺度特征图，根据所述第三分辨率代价卷确定第三尺度特征图；对所述第一尺度特征图和第二尺度特征图分别进行重排切片后，进行尺度间聚合以得到第一尺度特征图对应的视差特征图；对所述第二尺度特征图和第三尺度特征图分别进行重排切片后，进行尺度间聚合以得到第二尺度特征图对应的视差特征图；对所述第一尺度特征图对应的视差特征图进行尺度内聚合以生成第一尺度特征图对应的视差预测图；对所述第二尺度特征图对应的视差特征图进行尺度内聚合以生成第二尺度特征图对应的视差预测图；对所述第三尺度特征图进行尺度内聚合以生成第三尺度特征图对应的视差预测图；根据所述第一尺度特征图对应的视差预测图、第二尺度特征图对应的视差预测图和第三尺度特征图对应的视差预测图生成视差图。2.如权利要求1所述的双目立体匹配的聚合方法，其特征在于，所述第一尺度特征图包括1/4尺度特征图，所述第二尺度特征图包括1/8尺度特征图，所述第三尺度特征图包括1/16尺度特征图。3.如权利要求2所述的双目立体匹配的聚合方法，其特征在于，所述对所述第一尺度特征图和第二尺度特征图分别进行重排切片后，进行尺度间聚合以得到第一尺度特征图对应的视差特征图，包括：对所述1/4尺度特征图进行重排切片，以获得1/4切片特征图；对所述1/8尺度特征图进行重排切片，以获得1/8切片特征图；利用跨尺度注意力机制对所述1/4切片特征图和1/8切片特征图进行聚合，以得到1/4跨尺度聚合特征图；对所述1/4跨尺度聚合特征图进行重排切片，以获得1/4跨尺度聚合切片特征图；利用自注意力机制对所述1/4跨尺度聚合切片特征图进行聚合，以得到1/4尺度特征图对应的视差特征图。4.如权利要求2所述的双目立体匹配的聚合方法，其特征在于，所述对所述第二尺度特征图和第三尺度特征图分别进行重排切片后，进行尺度间聚合以得到第二尺度特征图对应的视差特征图，包括：对所述1/8尺度特征图进行重排切片，以获得1/8切片特征图；对所述1/16尺度特征图进行重排切片，以获得1/16切片特征图；利用跨尺度注意力机制对所述1/8切片特征图和1/16切片特征图进行聚合，以得到1/8跨尺度聚合特征图；对所述1/8跨尺度聚合特征图进行重排切片，以获得1/8跨尺度...

【专利技术属性】
技术研发人员：戴齐飞，曾鹏程，钱刃，杨文帮，赵勇，李福池，
申请(专利权)人：东莞市爱培科技术有限公司，
类型：发明
国别省市：