用于基于代价-体注意力的视差估计的系统和方法技术方案

提供了用于基于代价

【技术实现步骤摘要】
用于基于代价
‑
体注意力的视差估计的系统和方法


[0001]本公开总体上涉及由两个相机拍摄的场景中的元素的现实世界视差的估计，并且更具体地，涉及用于基于代价
‑
体注意力(cost
‑
volume attention)的鲁棒性视差估计的深度学习系统和方法。

技术介绍

[0002]深度学习现在正在各种计算机视觉任务中引领许多性能突破。深度学习的最先进的性能来自于过度参数化的深度神经网络，当在非常大的数据集上训练时，该深度神经网络能够为目标任务自动提取数据的有用的表征(特征)。
[0003]也存在对所拍摄的场景中的元素的现实世界深度的估计的兴趣，该估计具有许多应用(诸如，分离所拍摄的场景内的前景(近)对象与背景(远)对象的能力)。准确的视差估计允许将场景中的感兴趣的前景对象与背景分离。此外，准确的前景
‑
背景分离允许处理所拍摄的图像以模拟诸如虚化(Bokeh)效果的效果。虚化是背景的柔和的焦外模糊，当在具有快速镜头和宽光圈的昂贵相机中使用正确的设置并且将相机移动得更靠近主本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于生成视差的方法，包括：从由第一相机拍摄的一侧图像提取第一特征图；从由第二相机拍摄的其他侧图像提取第二特征图；基于第一特征图和第二特征图的比较来计算匹配代价以生成代价体；从生成的代价体生成注意力
‑
感知代价体；以及聚合注意力
‑
感知代价体以生成输出视差。2.根据权利要求1所述的方法，其中，生成注意力
‑
感知代价体的步骤包括：为生成的代价体中的不同视差水平分配不同的权重。3.根据权利要求1所述的方法，其中，生成注意力
‑
感知代价体的步骤包括：将生成的代价体的4维特征图划分成D个3维特征图，3维特征图中的每一个具有大小C
×
H
×
W，其中，D表示视差水平，C表示通道的数量，H表示高度，并且W表示宽度；将视差注意力施加到3维特征图中的每一个以获得注意力
‑
感知特征图；以及将注意力
‑
感知特征图级联为注意力
‑
感知代价体的4维特征图。4.根据权利要求3所述的方法，其中，利用C
×
C注意力矩阵以将视差注意力施加到3维特征图中的每一个。5.根据权利要求1所述的方法，其中，生成注意力
‑
感知代价体的步骤包括：为生成的代价体中的不同通道分配不同的权重。6.根据权利要求1所述的方法，其中，生成注意力
‑
感知代价体的步骤包括：将生成的代价体的4维特征图划分成C个3维特征图，3维特征图中的每一个具有大小D
×
H
×
W，其中，C表示通道的数量，D表示视差水平，H表示高度，并且W表示宽度；将通道注意力施加到3维特征图中的每一个以获得注意力
‑
感知特征图；以及将注意力
‑
感知特征图级联为注意力
‑
感知代价体的4维特征图。7.根据权利要求6所述的方法，其中，利用D
×
D注意力矩阵以将通道注意力施加到3维特征图中的每一个。8.根据权利要求1所述的方法，其中，生成注意力
‑
感知代价体的步骤包括：将具有大小C
×
D
×
H
×
W的生成的代价体的4维特征图重构为具有大小(WHC)
×
D的2维特征图，其中，C表示通道的数量，D表示视差水平，H表示高度，并且W表示宽度；将通道注意力施加到2维特征图以获得注意力
‑
感知特征图；以及将注意力
‑
感知特征图重构为注意力
‑
感知代价体的4维特征图。9.根据权利要求8所述的方法，其中，利用D
×
D注意力矩阵将通道注意力施加到2维特征图。10.根据权利要求1所述的方法，其中，生成注意力
‑
感知代价体的步骤包括：将具有大小C
×
D
×
H
×
W的生成的代价体的4维特征图重构为具有大小(DWH)
×
C的2维特征图，其中，C表示通道的数量，D表示视差水平，H表示高度...

【专利技术属性】
技术研发人员：任昊宇，李正元，穆斯塔法，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：