【技术实现步骤摘要】
引入注意力图谱的双目视差估计方法
本专利技术属于图像处理和计算机视觉领域，涉及一种引入注意力图谱的双目视差估计方法，具体涉及一种利用深度学习数据学习能力获取全局信息，生成注意力图谱，引导双目视差估计的方法。
技术介绍
双目深度估计是通过两张标定好的左右视图，根据每个像素在不同视图之间的相对位置得到对应的视差值，根据相机成像模型，将视差恢复成图像的深度信息。现有的双目深度估计的方法主要分为传统方法和深度学习的方法。传统方法分为局部算法和全局算法，局部算法利用窗口内邻域像素的相似度进行匹配。全局方法构造一个能量函数，包括像素点本身的匹配代价和不同像素点间的约束关系，通过最小化能量函数来得到最终的视差图。传统方法运行时间过长，精度不高，特别是在无纹理和遮挡区域误匹配误差较高。深度学习方法是通过神经网络端到端的学习出左右视图的视差图，基本框架主要包括特征提取、构建代价卷、视差聚合、优化视差。将左右视图输入网络中，通过特征提取网络得到左右特征图，然后在不同视差下进行匹配，得到低分辨率的代价卷，聚合优化部分分为两种方法：...
【技术保护点】
1.引入注意力图谱的双目视差估计方法，其特征在于，包括步骤如下：/n第一步，利用网络对左、右目图像提取特征；/n获取双目相机的双目图像并通过左右视图值获取可见光图像对，进行标准化处理；为可见光图像对进行特征提取，得到基于两幅图像的特征图；将经过归一化处理的左右视图分别进行多层卷积操作，其输出为映射到高维空间的多个通道特征表示；在所述卷积过程中左右视图共享权重；/n第二步，利用双目匹配方法获得代价图；/n第三步，利用分类原则，进行单目视差估计，获取具有全局信息的视差分割注意力图谱；/n3.1使用卷积神经网络提取初始特征图；/n将第一步经过归一化处理的左视图进行一次卷积操作，其...
【技术特征摘要】
1.引入注意力图谱的双目视差估计方法，其特征在于，包括步骤如下：
第一步，利用网络对左、右目图像提取特征；
获取双目相机的双目图像并通过左右视图值获取可见光图像对，进行标准化处理；为可见光图像对进行特征提取，得到基于两幅图像的特征图；将经过归一化处理的左右视图分别进行多层卷积操作，其输出为映射到高维空间的多个通道特征表示；在所述卷积过程中左右视图共享权重；
第二步，利用双目匹配方法获得代价图；
第三步，利用分类原则，进行单目视差估计，获取具有全局信息的视差分割注意力图谱；
3.1使用卷积神经网络提取初始特征图；
将第一步经过归一化处理的左视图进行一次卷积操作，其输出为多个通道的特征图；
3.2对该特征图连续进行不同程度的特征提取阶段，不同程度包括不同的残差块个数设置和不同空洞大小卷积，所以提取的特征所囊括的视野大小和特征抽象程度均不同，输出每个阶段得到的不同视野的特征图；
3.3将不同视野的特征图进行融合，并使用分类损失函数得到连续离散深度值的分类；
3.3.1将不同阶段的输出特征图分别经过不同大小空洞卷积的通道压缩，每个特征图输出D+1维度的特征；
3.3.2将四张D+1维的特征图对应位置直接相加得到融合后的视差分割注意力图谱，在该图中每个维度的对应像素位置的值所指示的是该位置视差取整后属于该离散视差值的可能性；
3.3.3在训练过程中，使用标签作为监督，以优化融合后的视差分割注意力图谱得分图，用置信标签与视差标签的距离对分成该类的概率进行加权；修改了交叉熵损失函数，将原本离散的0和1改为增益矩阵H如下所示，其中α为常数：q为预测出的值，p为当前所属分类对应的标签值：H(p，q)＝exp[-α(p-q)2]
运用这个损失函数来使本模块的效果得到优化，该损失函数如下：
其中N表示像素对个数，B表示视差可能个数，H即上文叙述的增益矩阵H，Di*表示对应像素位置对应视察的真实视差标签，D表示对应位置下当前视差，P(D|zi)表示对应像素位置zi在D视差下概率；
3.4将视差分割注意力图谱得分图复制一份对称的合并到原得分图第一维的地方；将原本的得分图除了视差为0地方，左右两个方向对称地扩张到原本的2倍大；使其和左右双目代价图模块生成的相关性计算层尺度相同；
第四步，利用具有全局信息的分割注意力图谱对代价图进行优化，并将处理后的代价图送入到视差回归网络中进行视差估计。
2.根据权利要求1所述的引入注...
【专利技术属性】
技术研发人员：仲维，张宏，李豪杰，王智慧，刘日升，樊鑫，罗钟铉，李胜全，
申请(专利权)人：大连理工大学，鹏城实验室，
类型：发明
国别省市：辽宁;21
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。