【技术实现步骤摘要】
本专利技术涉及计算机视觉领域，尤其涉及一种基于卷积神经网络的双目立体匹配方法。
技术介绍
1、双目立体视觉技术作为计算机视觉领域的一个热点问题，得到了广泛的研究，并且在三位重建，自动驾驶，工业测量等领域占据了重要的地位。其中，立体匹配方法作为双目立体匹配技术的核心，最重要的任务是根据左右图像的特征进行匹配的到相应的视差值，以此来计算场景中物体的深度。
2、近年来，随着卷积神经网络的发展，基于卷积神经网络的立体匹配方法相比于传统的方法，在速度和精度上都得到了不错的效果。但由于采集的图片存在病态区域，且计算量和参数量庞大，这对双目立体匹配的准确性和高效性存在一定的挑战。
3、现有的双目立体匹配技术主要存在以下两个问题：
4、1、摄像机采集的图片收到场景和光照的影响，存在一些病态区域，如遮挡区域、弱纹理区域和反光区域等，会对匹配效果产生一定的影响。
5、2、双目立体视觉的应用经常是在一些算力和内存条件有限的嵌入式设备上，然而当前的效果较好的双目立体匹配方法往往很大的参数量，需要强大的计算力和内存容量，这会对高效实时的匹配产生一定的影响。
6、故，针对现有技术的缺陷，实有必要提出一种技术方案以解决现有技术存在的技术问题。
技术实现思路
1、有鉴于此，确有必要提供一种基于卷积神经网络的双目立体匹配方法，将双目立体数据集中海量的数据进行训练，确定图像中每个位置所对应的视差值，使用深度可分离卷积来降低双目立体匹配的参数量并提高计算的速度
2、为了解决现有技术存在的技术问题，本专利技术的技术方案如下：
3、一种基于卷积神经网络的双目立体匹配方法，包括如下步骤：
4、步骤s1：使用双目立体数据集训练双目立体匹配模型；
5、步骤s2：使用经过训练的双目立体匹配模型对实时拍摄得到的同一场景下的左右视角图片进行匹配得到视差图，并根据双目摄像机的参数计算对应的深度图；
6、其中，所述步骤s1进一步包括：
7、步骤s11：获取大规模的双目立体数据集，并进行数据预处理；
8、步骤s12：通过权值共享的特征提取模块分别提取初始左、右图像的特征，得到左特征图fleft和右特征图fright；
9、步骤s13：将左特征图fleft和右特征图fright进行小跨度的分组和注意力权值计算生成注意力权值aw；
10、步骤s14：将左特征图fleft和右特征图fright进行大跨度的分组得到代价体c；
11、步骤s15：将c在每个通道上与注意力权值aw相乘得到代价体v1；
12、步骤s16：将代价体v1进行聚合得到代价体v2；
13、步骤s17：将代价体v2进行上采样，并通过视差回归模块得到视差预测值；
14、步骤s18：构建损失函数，设置训练参数，当模型训练过程中损失值收敛时，保存模型参数；
15、所述步骤s12进一步包括：
16、s121：使用多个卷积模块和残差模块对原始输入图像进行卷积，同时进行下采样得到高为1/2h，宽为1/2w的特征图f1，其中h、w分别表示原始输入图的高和宽，其中卷积模块依次包括二维卷积函数、批归一化函数、relu激活函数，其中的残差模块依次包括二维卷积函数、批归一化函数、relu激活函数、二维卷积函数、批归一化函数；
17、s122：使用多个二维深度可分离卷积模块对特征图f1进行卷积，同时进行下采样，依次得到高为1/4h，宽为1/4w的特征图f2，f3，f4，其中的深度可分离卷积模块包括二维深度卷积、二维逐点卷积、残差连接、se模块，其中深度卷积、逐点卷积用于减少模型参数和提高计算速度，其中se模块基于注意力机制，用于提高模型的特征提取能力；
18、s123：将特征图f2，f3，f4按照通道维度进行连接得到左特征图fleft或右特征图fright；
19、所述步骤s13进一步包括：
20、s131：将左特征图fleft和右特征图fright按照通道进行较小跨度的分组，并按照不同组别进行连接得到代价体g1；
21、s132：将代价体g1按照分组进行多个不同尺度的膨胀卷积得到代价体g2；
22、s133：在第一个维度上将代价体g2进行压缩得到注意力权值aw，其中注意力权值aw可以提高代价聚合的能力，进而提高最终匹配的准确度；
23、所述步骤s14进一步包括：
24、s141：将左特征图fleft和右特征图fright按照通道进行较大跨度的分组，并按照不同组别进行连接得到代价体g3；
25、s142：将代价体g3进行卷积得到代价体g；
26、所述步骤s16进一步包括：
27、s161：使用多个三维卷积模块对代价体v1进行卷积得到v11，其中的三维卷积模块依次由三维卷积函数、批归一化函数、relu激活函数组成；
28、s162：使用多个三维深度可分离卷积模块对代价体v11进行下采样得到高为1/8h，宽为1/8w的代价体v12；
29、s163：使用多个三维深度可分离卷积模块对代价体v12进行下采样得到高为1/16h，宽为1/16w的代价体v13；
30、s164：使用一个三维深度可分离卷积模块对代价体v13进行上采样得到高为1/8h，宽为1/8w的代价体v14，并与代价体v12进行连接得到代价体v15；
31、s165：使用一个三维深度可分离卷积模块对代价体v15进行上采样得到高为1/4h，宽为1/4w的代价体v16，并与代价体v11进行连接得到代价体v2；
32、其中，三维深度可分离卷积模块包括三维深度卷积、三维逐点卷积、残差连接；
33、所述步骤s17进一步包括：
34、s171：使用三维卷积函数对代价体v2进行插值和上采样得到三维代价体v3，其中三个维度分别为高、宽、视差；
35、s172：对于三维代价体中每个高和宽，检测所有视差对应的代价值，去除其中并非最高的代价值却大幅高于周围代价值的数值的干扰代价值，用于提高匹配的准确度；
36、s173：对代价值使用softmax函数进行映射，公式如下：
37、
38、其中，volumeh,w,d表示映射后代价体中坐标为(h,w,d)的点的值，vh,w,d代表映射前代价体中坐标为(h,w,d)的点的值，dmax代表最大的视差值，h代表高度，w代表宽度，d代表视差值；
39、s174：在视差维度上使用回归函数将代价体回归到视差值，公式如下：
40、
<本文档来自技高网...【技术保护点】
1.一种基于卷积神经网络的双目立体匹配方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于卷积神经网络的双目立体匹配方法，其特征在于，步骤S12还包括：
3.根据权利要求2所述的基于卷积神经网络的双目立体匹配方法，其特征在于，步骤S13包括：
4.根据权利要求3所述的基于卷积神经网络的双目立体匹配方法，其特征在于，步骤S14包括：
5.根据权利要求4所述的基于卷积神经网络的双目立体匹配方法，其特征在于，步骤S16包括：
6.根据权利要求5所述的基于卷积神经网络的双目立体匹配方法，其特征在于，步骤S17包括：
7.根据权利要求1所述的基于卷积神经网络的双目立体匹配方法，其特征在于，步骤S2包括：
【技术特征摘要】
1.一种基于卷积神经网络的双目立体匹配方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于卷积神经网络的双目立体匹配方法，其特征在于，步骤s12还包括：
3.根据权利要求2所述的基于卷积神经网络的双目立体匹配方法，其特征在于，步骤s13包括：
4.根据权利要求3所述的基于卷积神经网络的双目立体匹...
【专利技术属性】
技术研发人员：赵建勇，沈佳斌，陈佰平，孙丹枫，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。