一种基于可变形卷积网络的图像立体匹配方法以及系统技术方案

本发明专利技术提供了基于可变形卷积网络的图像立体匹配方法以及系统，解决现有技术中立体匹配模型训练成本高企、识别鲁棒性不足的技术问题。方法包括：形成两侧视图的视图特征；根据视图特征的差异形成特征差值；利用特征差值通过特征推断网络确定一侧视图特征与另一侧视图特征的初始采样偏移数据；利用一侧视图特征和初始采样偏移数据通过可变形卷积网络形成另一侧的视图预测特征；根据视图预测特征与另一侧视图特征的差异调整特征推断网络的损失函数，训练特征推断网络优化输出的采样偏移数据；根据优化阈值将采样偏移数据形成两侧视图像素间的视差值。可以有效应对常见的单向遮挡、光线变化等问题，增强算法鲁棒性。减少数据成本，有效利用计算资源。

【技术实现步骤摘要】
一种基于可变形卷积网络的图像立体匹配方法以及系统
本专利技术涉及图像识别
，具体涉及一种基于可变形卷积网络的图像立体匹配方法以及系统。
技术介绍
现有技术中，立体匹配是双目深度估计过程中进行左视图与右视图的像素匹配以生成视差图的关键步骤。现有的立体匹配方法中，一类采用图像块匹配、全局匹配、半全局匹配等传统立体匹配算法构造绝对值之和、互信息等匹配代价函数，对整个像素块进行对比，采用搜索、动态规划等方法进行最小代价计算，需要内存大，运行时间长，且容易由于影像噪声、遮挡、弱纹理或重复纹理等原因产生错误匹配。另一类基于深度学习卷积网络使用cost-volume模块逐像素搜索最小匹配代价的方法，对常出现的单向遮挡、光线变化问题鲁棒性不足，同时该方法需要大量标有真值的训练图像(如雷达图)进行端到端的训练。现有技术都存在运行速度慢，占用内存大的技术缺陷。
技术实现思路
鉴于上述问题，本专利技术实施例提供一种基于可变形卷积网络的图像立体匹配方法以及系统，解决现有技术中立体匹配模型训练成本高企、模型识别鲁棒性不足的技术问题。本专本文档来自技高网...

【技术保护点】
1.一种基于可变形卷积网络的图像立体匹配方法，其特征在于，包括：/n形成两侧视图的视图特征；/n根据所述视图特征的差异形成特征差值；/n利用所述特征差值通过特征推断网络确定一侧视图特征与另一侧视图特征的初始采样偏移数据；/n利用所述一侧视图特征和所述初始采样偏移数据通过可变形卷积网络形成另一侧的视图预测特征；/n根据所述视图预测特征与所述另一侧视图特征的差异调整所述特征推断网络的损失函数，训练所述特征推断网络优化输出的采样偏移数据；/n根据优化阈值将所述采样偏移数据形成所述两侧视图像素间的视差值。/n

【技术特征摘要】
1.一种基于可变形卷积网络的图像立体匹配方法，其特征在于，包括：
形成两侧视图的视图特征；
根据所述视图特征的差异形成特征差值；
利用所述特征差值通过特征推断网络确定一侧视图特征与另一侧视图特征的初始采样偏移数据；
利用所述一侧视图特征和所述初始采样偏移数据通过可变形卷积网络形成另一侧的视图预测特征；
根据所述视图预测特征与所述另一侧视图特征的差异调整所述特征推断网络的损失函数，训练所述特征推断网络优化输出的采样偏移数据；
根据优化阈值将所述采样偏移数据形成所述两侧视图像素间的视差值。


2.如权利要求1所述的基于可变形卷积网络的图像立体匹配方法，其特征在于，所述视图特征的过程包括：
获取两侧采集通道中对应的两侧视图；
对两侧视图进行特征提取形成一侧视图特征图和另一侧视图特征图。


3.如权利要求2所述的基于可变形卷积网络的图像立体匹配方法，其特征在于，所述形成特征差值的过程包括：
将一侧视图特征图和另一侧视图特征图进行减法操作形成特征差值图。


4.如权利要求3所述的基于可变形卷积网络的图像立体匹配方法，其特征在于，所述形成初始采样偏移数据的过程包括：
通过残差卷积模块形成特征推断网络；
将特征差值图输入特征推断网络输出特征差值图每个像素的偏移量，所有偏移量形成初始采样偏移数据。


5.如权利要求4所述的基于可变形卷积网络的图像立体匹配方法，其特征在于，所述形成视图预测特征的过程包括：
将初始采样偏移数据和一侧视图特征图分别输入可变形卷积网络；
可变形卷积网络根据初始采样偏移数据采样一侧视图特征图，输出另一侧视图的视图预测特征图。


6.如权利要求5所述的基于可变形卷积网络的图像立体匹配方法，其特征在于，所述训练过程包括：
比较另一侧视图的视图预测特征图和视图特征图，形成量化误差；
根据量化误差设置采样偏移数据置信度的损失函数形成特征推断网络的...

【专利技术属性】
技术研发人员：林浩亮，周振，俞益洲，李一鸣，乔昕，
申请(专利权)人：北京深睿博联科技有限责任公司，杭州深睿博联科技有限公司，
类型：发明
国别省市：北京;11