双目图像处理方法技术

本申请公开了双目图像处理方法

【技术实现步骤摘要】
双目图像处理方法、装置、电子设备及存储介质


[0001]本专利技术涉及计算机
，特别涉及一种双目图像处理方法
、
装置
、
电子设备及存储介质
。

技术介绍

[0002]双目立体匹配是计算机视觉领域中最基础的问题之一，其中，双目立体匹配的任务是基于同一场景的双目图像构建该场景对应的视差图像，广泛应用于机器人视觉
、
自动驾驶等双目视觉任务中
。
[0003]相关技术中，基于深度学习的双目立体匹配过程需要遍历每个视差层级，对右目特征进行偏移来抽取对应的特征，并参与相关性计算或者串联到一起，从而需要对内存进行密集访问以及大量的使用
3D
卷积操作，导致相关技术无法部署在
NPU
（
Neural network Processing Unit
，神经网络处理单元）芯片上，限制了相关技术在拥有实时推理需求的嵌入式部署场景下的应用
。

技术实现思路

[0004]为了解决现有技术的问题，本专利技术实施例提供了一种双目图像处理方法
、
装置
、
电子设备及存储介质
。
所述技术方案如下：一方面，提供了一种双目图像处理方法，所述方法包括：获取待处理双目图像；所述待处理双目图像包括左目图像和右目图像；对所述左目图像和所述右目图像分别进行特征提取，得到左目特征图和右目特征图；对所述左目特征图和所述右目特征图进行拼接处理，得到第一特征图；基于预设视差层级数对所述第一特征图进行分组卷积处理，得到三维匹配代价特征；所述三维匹配代价特征表征所述待处理双目图像的像素点在每个视差层级的匹配代价；基于二维卷积网络对所述三维匹配代价特征进行代价聚合处理，得到目标匹配代价特征；基于所述目标匹配代价特征，预测所述待处理双目图像对应的视差图
。
[0005]另一方面，提供了一种双目图像处理装置，所述装置包括：图像获取模块，用于获取待处理双目图像；所述待处理双目图像包括左目图像和右目图像；特征提取模块，用于对所述左目图像和所述右目图像分别进行特征提取，得到左目特征图和右目特征图；特征拼接模块，用于对所述左目特征图和所述右目特征图进行拼接处理，得到第一特征图；三维匹配代价确定模块，用于基于预设视差层级数对所述第一特征图进行分组卷
积处理，得到三维匹配代价特征；所述三维匹配代价特征表征所述待处理双目图像的像素点在每个视差层级的匹配代价；代价聚合模块，用于基于二维卷积网络对所述三维匹配代价特征进行代价聚合处理，得到目标匹配代价特征；视差图预测模块，用于基于所述目标匹配代价特征，预测所述待处理双目图像对应的视差图
。
[0006]在一个示例性的实施方式中，所述三维匹配代价确定模块，包括：第一卷积处理模块，用于基于与所述第一特征图的各通道分别对应的第一卷积核对相应通道的特征图进行卷积处理，得到多个通道卷积特征图；第二卷积处理模块，用于基于第一数量的第二卷积核分别对所述多个通道卷积特征图进行空间维度的卷积处理，得到所述第一数量的第一卷积特征图；所述第一数量为所述预设视差层级数的两倍；特征堆叠模块，用于对所述第一数量的第一卷积特征图进行堆叠处理，得到第二特征图；第三卷积处理模块，用于基于第二数量的第三卷积核分别对所述第二特征图进行卷积处理，得到所述第二数量的第二卷积特征图；所述第二数量为所述预设视差层级数；其中，所述第二数量的第二卷积特征图构成所述三维匹配代价特征
。
[0007]在一个示例性的实施方式中，所述第三卷积处理模块，包括：第四卷积模块，用于将所述第二特征图作为当前特征图，对所述当前特征图依次进行深度卷积和逐点卷积，得到第三特征图；更新模块，用于将所述当前特征图更新为所述第三特征图，执行所述对所述当前特征图依次进行深度卷积和逐点卷积的步骤，直至更新次数达到预设次数停止所述更新；第五卷积模块，用于基于所述第二数量的第三卷积核分别对所述更新停止时的第三特征图进行卷积处理，得到所述第二数量的第二卷积特征图
。
[0008]在一个示例性的实施方式中，所述第五卷积模块，具体用于：将所述更新停止时的第三特征图的多个通道，划分为所述第二数量的通道特征图组；基于所述第二数量的第三卷积核分别对所述第二数量的通道特征图组进行卷积处理，基于所述卷积处理的结果得到所述第二数量的第二卷积特征图
。
[0009]在一个示例性的实施方式中，所述特征提取模块，包括：第一特征提取子模块，用于对所述左目图像进行特征提取，得到第一尺度的左目特征图；第而特征提取子模块，用于对所述右目图像进行特征提取，得到所述第一尺度的右目特征图；下采样模块，用于对所述第一尺度的左目特征图进行下采样处理，得到至少一个尺度的下采样左目特征图；相应的，所述特征拼接模块，具体用于：对所述第一尺度的左目特征图和所述第一尺度的右目特征图进行拼接处理，得到第一特征图
。
[0010]在一个示例性的实施方式中，所述代价聚合模块，具体用于：将所述第一尺度的左目特征图
、
每个所述尺度的下采样左目特征图和所述三维匹配代价特征分别作为输入特征
输入至二维沙漏网络，由所述二维沙漏网络对每个所述输入特征进行卷积处理，得到每个所述输入特征对应的卷积结果；对各所述输入特征对应的卷积结果进行融合，得到目标匹配代价特征
。
[0011]在一个示例性的实施方式中，所述装置还包括训练模块，所述训练模块包括：样本图像获取模块，用于获取样本双目图像以及所述样本双目图像对应的标准视差图；所述样本双目图像包括样本左目图像和样本右目图像；样本特征提取模块，用于基于所述双目图像处理模型的特征提取网络对所述样本左目图像和所述样本右目图像分别进行特征提取，得到样本左目特征图和样本右目特征图；样本特征拼接模块，用于对所述样本左目特征图和样本右目特征图进行拼接处理，得到第一样本特征图；样本三维匹配代价确定模块，用于将所述第一样本特征图输入所述双目图像处理模型的分组卷积网络，由所述分组卷积网络基于预设视差层级数对所述第一样本特征图进行分组卷积处理，得到样本三维匹配代价特征；所述样本三维匹配代价特征表征所述样本双目图像的像素点在每个视差层级的匹配代价；样本代价聚合模块，用于基于所述双目图像处理模型的二维卷积网络对所述样本三维匹配代价特征进行代价聚合处理，得到样本目标匹配代价特征；训练子模块，用于基于所述样本目标匹配代价特征，预测所述样本双目图像对应的样本视差图，并基于所述样本视差图与所述标准视差图之间的差异调整所述双目图像处理模型的模型参数直至达到预设训练结束条件
。
[0012]在一个示例性的实施方式中，所述分组卷积网络包括第一分组卷积网络和第二分组卷积网络；所述第一分组卷积网络包括第一卷积网络和第二卷积网络，所述第一卷积网络中第一卷积核的数量与所述第一样本特征图的通道数相一致，所述第二卷积网络中第二卷积核的数量是所述预设视差层级数的两倍，所述第二分组卷积网络中第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种双目图像处理方法，其特征在于，所述方法包括：获取待处理双目图像；所述待处理双目图像包括左目图像和右目图像；对所述左目图像和所述右目图像分别进行特征提取，得到左目特征图和右目特征图；对所述左目特征图和所述右目特征图进行拼接处理，得到第一特征图；基于预设视差层级数对所述第一特征图进行分组卷积处理，得到三维匹配代价特征；所述三维匹配代价特征表征所述待处理双目图像的像素点在每个视差层级的匹配代价；基于二维卷积网络对所述三维匹配代价特征进行代价聚合处理，得到目标匹配代价特征；基于所述目标匹配代价特征，预测所述待处理双目图像对应的视差图
。2.
根据权利要求1所述的方法，其特征在于，所述基于预设视差层级数对所述第一特征图进行分组卷积处理，得到三维匹配代价特征，包括：基于与所述第一特征图的各通道分别对应的第一卷积核对相应通道的特征图进行卷积处理，得到多个通道卷积特征图；基于第一数量的第二卷积核分别对所述多个通道卷积特征图进行空间维度的卷积处理，得到所述第一数量的第一卷积特征图；所述第一数量为所述预设视差层级数的两倍；对所述第一数量的第一卷积特征图进行堆叠处理，得到第二特征图；基于第二数量的第三卷积核分别对所述第二特征图进行卷积处理，得到所述第二数量的第二卷积特征图；所述第二数量为所述预设视差层级数；其中，所述第二数量的第二卷积特征图构成所述三维匹配代价特征
。3.
根据权利要求2所述的方法，其特征在于，所述基于第二数量的第三卷积核分别对所述第二特征图进行卷积处理，得到所述第二数量的第二卷积特征图包括：将所述第二特征图作为当前特征图，对所述当前特征图依次进行深度卷积和逐点卷积，得到第三特征图；将所述当前特征图更新为所述第三特征图，执行所述对所述当前特征图依次进行深度卷积和逐点卷积的步骤，直至更新次数达到预设次数停止所述更新；基于所述第二数量的第三卷积核分别对所述更新停止时的第三特征图进行卷积处理，得到所述第二数量的第二卷积特征图
。4.
根据权利要求3所述的方法，其特征在于，所述基于所述第二数量的第三卷积核分别对所述更新停止时的第三特征图进行卷积处理，得到所述第二数量的第二卷积特征图，包括：将所述更新停止时的第三特征图的多个通道，划分为所述第二数量的通道特征图组；基于所述第二数量的第三卷积核分别对所述第二数量的通道特征图组进行卷积处理，基于所述卷积处理的结果得到所述第二数量的第二卷积特征图
。5.
根据权利要求1所述的方法，其特征在于，所述对所述左目图像和所述右目图像分别进行特征提取，得到左目特征图和右目特征图，包括：对所述左目图像进行特征提取，得到第一尺度的左目特征图；对所述右目图像进行特征提取，得到所述第一尺度的右目特征图；对所述第一尺度的左目特征图进行下采样处理，得到至少一个尺度的下采样左目特征图；
所述对所述左目特征图和所述右目特征图进行拼接处理，得到第一特征图包括：对所述第一尺度的左目特征图和所述第一尺度的右目特征图进行拼接处理，得到第一特征图
。6.
根据权利要求5所述的方法，其特征在于，所述基于二维卷积网络对所述三维匹配代价特征进行代价聚合处理，得到目标匹配代价特征包括：将所述第一尺度的左目特征图
、
每个所述尺度的下采样左目特征图和所述三维匹配代价特征分别作为输入特征输入至二维沙漏网络，由所述二维沙漏网络对每个所述输入特征进行卷积处理，得到每个所述输入特征对应的卷积结果；对各所述输入特征对应的卷积结果进行融合，得到目标匹配代价特征
。7.
根据权利要求
1~6
中任一项所述的方法，其特征在于，所述方法基于双目图像处理模型实现，所述双目图像处理模型的训练包括：获取样本双目图像以及所述样本双目图像对应的标准视差图；所述样本双目图像包括样本左目图像和样本右目图像；基于所述双目图像处理模型的特征提取网络对所述样本左目图像和所述样本右目图像分别进行特征提取，得到样本左目特征图和样本右目特征图；对所述样本左目特征图和样本右目特征图进行拼接处理，得到第一样本特征图；将所述第一样本特征图输入所述双目图像处理模型的分组卷积网络，由所述分组卷积网络基于预设视差层级数对所述第一样本特征图进行分组卷积处理，得到样本三维匹配代价特征；所述样本三维匹配代价特征表征所述样本双目图像的像素点在每个视差层级的匹配代价；基于所述双目图像处理模型的二维卷积网...

【专利技术属性】
技术研发人员：林愉欢，汪铖杰，刘永，李嘉麟，陈颖，聂强，付威福，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：