一种图像立体匹配方法组成比例

本申请属于图像处理技术领域，特别是涉及一种图像立体匹配方法。现有基于深度学习的立体匹配方法泛化能力比较差，主要原因是立体匹配领域中的数据本身存在一定缺陷，如反光过强，遮挡等，另一方面图像中也会存在缺乏纹理的区域，这使得一些添加邻域约束的方法容易过拟合。同时立体匹配领域优质数据集比较缺乏，难以通过简单的训练就得到具有泛化能力的网络。本申请提供了一种图像立体匹配方法，包括：构建训练图像库；训练图像增强；对所有图像提取点(线)特征；训练特征点提取网络；提取双目图像一元特征；迭代模块获取粗精度视差图；一元特征聚合；视差回归；视差细化。解决立体深度匹配算法中过拟合的问题。

【技术实现步骤摘要】
一种图像立体匹配方法
本申请属于图像处理
，特别是涉及一种图像立体匹配方法。
技术介绍
立体匹配可以应用在自动驾驶、三维重建等场景中。立体匹配任务中，遮挡和反光问题以及纹理缺乏会对匹配结果产生较大的影响(如图1，户外道路场景中汽车玻璃存在反光)。在理想情况下，经过校正后的双目图像在竖直方向保持一致，仅存在水平方向上的视差。然而在实际情况中，相机的矫正不是完美的，两个相机的参数也并非是完全一致的，另一方面从不同视角看到的场景也不是完全一致的，场景内容和光照情况都会有所不同，这会导致双目相机拍到的图像存在一些不同，给鲁棒立体匹配带来一些挑战。现有使用深度网络进行立体匹配的方案一般是对图像中的每个像素点或者像素区域提取特征，与另一张图像中同一水平方向的所有像素点或像素区域计算相似度，端到端的生成视差估计结果。亦有一些方法结合传统的立体匹配思想对像素点或像素区域的匹配施加邻域约束，典型的做法有添加边缘约束，邻域约束等。现有基于深度学习的立体匹配方法泛化能力比较差，主要原因是立体匹配领域中的数据本身存在一定缺陷，如反光过强，遮挡等，本文档来自技高网...

【技术保护点】
1.一种图像立体匹配方法，其特征在于：所述方法包括如下步骤：/n步骤1：构建训练图像库；/n步骤2：对每张训练图像进行增强；/n步骤3：在单张图上训练点或者线特征提取网络；/n步骤4：特征点或者线提取网络进行训练；/n步骤5：对图像进行一元特征提取，构建四维匹配代价；/n步骤6：迭代网络模块获取粗精度视差图；/n步骤7：可变形卷积模块对一元特征进行聚合；/n步骤8：视差回归；/n步骤9：视差细化。/n

【技术特征摘要】
1.一种图像立体匹配方法，其特征在于：所述方法包括如下步骤：
步骤1：构建训练图像库；
步骤2：对每张训练图像进行增强；
步骤3：在单张图上训练点或者线特征提取网络；
步骤4：特征点或者线提取网络进行训练；
步骤5：对图像进行一元特征提取，构建四维匹配代价；
步骤6：迭代网络模块获取粗精度视差图；
步骤7：可变形卷积模块对一元特征进行聚合；
步骤8：视差回归；
步骤9：视差细化。


2.如权利要求1所述的图像立体匹配方法，其特征在于：所述步骤1中图像库双目数据和单目数据；其中双目图像包含左图和右图，所述双目数据从数据集获取，所述数据集包括Sceneflow合成数据集，Kitti自动驾驶数据集，Middlebury数据集，Eth3d数据集等双目数据集；所述单目数据从数据集获取，所述单目数据集包括Imagenet图像数据集，Coco图像数据集。


3.如权利要求1所述的图像立体匹配方法，其特征在于：所述步骤2中所述增强包括施加随机的亮度变化，遮挡或者竖直方向的随机偏移。


4.如权利要求1所述的图像立体匹配方法，其特征在于所述步骤3中所述的提取点特征采用传统的特征检测算子，所述提取线特征，将线特征检测得到的区域一并归入到特征点的范围，提取的特征点用于后续训练特征点提取网络。


5.如权利要求1所述的图像立体匹配方法，其特征在于：所述步骤4中的特征点提取模块包括一系列的2D卷积层和池化层，其训练所使用的...

【专利技术属性】
技术研发人员：周杰，李永强，郭振华，
申请(专利权)人：清华大学深圳国际研究生院，
类型：发明
国别省市：广东;44