视差图的获取方法、装置、系统及存储介质制造方法及图纸

技术编号:26174572 阅读:38 留言:0更新日期:2020-10-31 14:03
本发明专利技术提供一种视差图的获取方法、装置、系统及存储介质,该方法,包括:接收图像采集设备获取的左图像和右图像;通过第一卷积通道和第二卷积通道分别对左图像和右图像进行N次卷积处理,得到对应的左特征图和右特征图;对左特征图和右特征图进行融合处理,得到融合特征图;通过第三卷积通道对融合特征图进行M次的卷积处理,得到目标融合特征图;通过反卷积通道对目标融合特征图进行P次反卷积处理,得到左图像和右图像的视差图。从而实现了将双目视差的结构信息显示地加入到网络结构中,获得更平滑、更精细的视差图的目的,提升了视差图的获取速度,提高了视差图的获取质量,为后续高精度地图制作、辅助驾驶提供数据支撑。

【技术实现步骤摘要】
视差图的获取方法、装置、系统及存储介质
本专利技术涉及高精度地图
,尤其涉及一种视差图的获取方法、装置、系统及存储介质。
技术介绍
随着高精度地图技术、辅助驾驶技术的发展,双目系统在这些领域得到了越来越广泛的应用。比如在自动驾驶或辅助驾驶领域,车辆在公路上高速行驶时,对前方障碍物的感知将十分重要,双目系统作为车辆的眼睛,在感知前方场景的深度方面担任重要角色。在高精地图的更新过程中,通过激光雷达采集三维点云的进行地图更新的代价高昂,而作为廉价的双目系统在这方面就体现出其成本优势。而双目系统的摄像机拍摄的图像皆是二维的,怎么从二维图像获得三维信息十分必要。目前,双目系统利用传统块匹配算法进行构建能量函数,优化能量函数来获得视差图。传统算法中其核心部分为使用优秀的匹配策略进行匹配,怎样衡量左图像中点与右图像中点的相似性至关重要。但是,由于双目系统拍摄的左右图像存在形变、光照、遮挡、反光等情况,物体结构的重复等使得传统匹配算法捉襟见肘。同时,传统算法存在很多视差空洞,计算速度慢,视差图不平滑,坏块多等缺点。专利
技术实现思路
本专本文档来自技高网
...

【技术保护点】
1.一种视差图的获取方法,其特征在于,包括:/n接收图像采集设备获取的左图像和右图像;/n通过第一卷积通道和第二卷积通道分别对所述左图像和所述右图像进行N次卷积处理,得到对应的左特征图和右特征图;所述第一卷积通道和所述第二卷积通道分别包含有N个卷积层;N为大于0的自然数;/n对所述左特征图和所述右特征图进行融合处理,得到融合特征图;/n通过第三卷积通道对所述融合特征图进行M次的卷积处理,得到目标融合特征图;所述第三卷积通道包含有M个卷积层,M为大于0的自然数;/n通过反卷积通道对所述目标融合特征图进行P次反卷积处理,得到所述左图像和所述右图像的视差图;所述反卷积通道包括P个反卷积层;其中,P与...

【技术特征摘要】
1.一种视差图的获取方法,其特征在于,包括:
接收图像采集设备获取的左图像和右图像;
通过第一卷积通道和第二卷积通道分别对所述左图像和所述右图像进行N次卷积处理,得到对应的左特征图和右特征图;所述第一卷积通道和所述第二卷积通道分别包含有N个卷积层;N为大于0的自然数;
对所述左特征图和所述右特征图进行融合处理,得到融合特征图;
通过第三卷积通道对所述融合特征图进行M次的卷积处理,得到目标融合特征图;所述第三卷积通道包含有M个卷积层,M为大于0的自然数;
通过反卷积通道对所述目标融合特征图进行P次反卷积处理,得到所述左图像和所述右图像的视差图;所述反卷积通道包括P个反卷积层;其中,P与N、M相关。


2.根据权利要求1所述的方法,其特征在于,对所述左特征图和所述右特征图进行融合处理,得到融合特征图,包括:
将所述右特征图像在极线方向上向右进行逐渐平移,并与所述左特征图像进行卷积处理,得到融合特征图;或者将所述左特征图像在极线方向上向左进行逐渐平移,并与所述右特征图像进行卷积处理,得到融合特征图。


3.根据权利要求1所述的方法,其特征在于,通过反卷积通道对所述目标融合特征图进行P次反卷积处理,得到所述左图像和所述右图像的视差图,包括:
在每一次反卷积处理时,在所述反卷积通道对应的反卷积层中加入与所述反卷积层的分辨率相同的第一卷积通道的卷积层特征、第二卷积通道的卷积层特征,和/或第三通道的卷积层特征;
通过所述反卷积通道的P个反卷积层对所述目标融合特征图进行P次反卷积处理,得到所述左图像和所述右图像的视差图;其中,P=N+M。


4.根据权利要求1-3中任一项所述的方法,其特征在于,还包括:
对预设的训练集中的样本图像进行过滤,滤除视差超过预设阈值的样本图像,得到候选图像;所述候选图像中预先标注有左图像和右图像的视差标签;
选取反卷积通道的最后N层反卷积层,构建N个子损失函数,N为大于1的自然数;所述子损失函数是根据反卷积层生成的视差图与所述候选图像的视差标签中真实视差之间的误差确定的;
设置所述N个子损失函数的权重值;
基于所述N个子损失函数的权重值以及所述N个子损失函数,构建损失函数;
将损失函数作为约束条件,通过所述候选图像迭代训练所述第一卷积通道、第二卷积通道、第三卷积通道、反卷积通道。


5.一种视差图的获取装置,其特征在于,包括:
接收模块,用于接收图像采集设备获取的左图像和右图像;
第一卷积模块,用于通过第一卷积通道和第二卷积通道分别对所述左图像和所述右图像进行N次卷积处理,得到对应的左特征图...

【专利技术属性】
技术研发人员:赵帅领
申请(专利权)人:北京四维图新科技股份有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1