双目立体匹配方法、装置、电子设备及存储介质制造方法及图纸

技术编号:38576746 阅读:23 留言:0更新日期:2023-08-26 23:24
本发明专利技术公开了一种双目立体匹配方法、装置、电子设备及存储介质,应用于计算机视觉技术领域。其中,双目立体匹配方法包括:根据第一图像和第二图像获取第一特征图和第二特征图,第一特征图对应第一图像,第二特征图对应第二图像。通过OCR特征整合模块提取第一特征图和第二特征图中各像素点对应的OCR特征,OCR特征用于指示像素的对象分类信息。根据第一特征图和第二特征图计算第一特征图和第二特征图对应的空间匹配代价。通过视差计算模块根据OCR特征和空间匹配代价计算第一特征图和第二特征图之间的视差结果。通过该种方法进行双目立体匹配时,通过OCR特征减小空间匹配代价的误差对视差结果造成的影响,从而提高视差结果的精准度。精准度。精准度。

【技术实现步骤摘要】
双目立体匹配方法、装置、电子设备及存储介质


[0001]本申请涉及计算机视觉
,具体涉及双目立体匹配方法、装置、电子设备及存储介质。

技术介绍

[0002]双目立体匹配作为三维场景重建的关键技术,主要是针对由双目相机在同一时刻下对目标场景同步拍摄的两张图像,通过立体匹配得到两张图像之间的视差结果,从而根据视差结果获得图像中各点云的位置,进而得到场景中各物体对应的深度信息。
[0003]现存的双目立体匹配方法,主要是针对两张图像中对应像素的匹配关系进行的匹配代价计算。根据视差计算方式的区别,主要可以分为:基于相互关系(correlation)进行匹配代价计算,基于拼接方式(concatentaion)进行匹配代价计算,以及基于群体相关性(group

wise correlation)进行匹配代价计算。
[0004]但上述现有技术,都是直接根据两张图片中各像素点的颜色、亮度等像素信息进行像素匹配,然后对匹配的像素进行视差计算得到视差结果的过程。对于物体边界、大型物体、弱纹理等图片区域,像素之间匹配难度大,使本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种双目立体匹配方法,其特征在于,所述方法包括:根据第一图像和第二图像获取第一特征图和第二特征图;所述第一特征图对应所述第一图像,所述第二特征图对应所述第二图像;所述第一图像和所述第二图像为双目相机对目标场景同步拍摄的图像;通过OCR特征整合模块提取第一特征图和第二特征图中各像素点对应的OCR特征;所述OCR特征用于指示像素的对象分类信息;根据所述第一特征图和所述第二特征图计算所述第一特征图和所述第二特征图对应的空间匹配代价;所述空间匹配代价用于描述所述第一特征图和所述第二特征图上对应像素点之间的位置偏差;通过视差计算模块根据所述OCR特征和所述空间匹配代价计算所述第一特征图和所述第二特征图之间的视差结果。2.根据权利要求1所述的方法,其特征在于,所述方法还包括:根据所述第一特征图和所述第二特征图之间的视差结果,计算所述第一特征图和所述第二特征图上各像素点对应的深度信息;根据所述各像素点对应的深度信息建立所述目标场景对应的立体模型。3.根据权利要求1

2任一项所述的方法,其特征在于,所述根据第一图像和第二图像获取第一特征图和第二特征图包括:分别提取第一图像和第二图像的像素特征;基于所述第一图像的像素特征确定所述第一特征图并基于所述第二图像的像素特征确定所述第二特征图。4.根据权利要求3所述的方法,其特征在于,在所述通过OCR特征整合模块提取第一特征图和第二特征图中各像素点对应的OCR特征之前,所述方法还包括:分别提取所述第一图像和所述第二图像的语义特征;所述通过OCR特征整合模块提取第一特征图和第二特征图中各像素点对应的OCR特征包括:通过OCR特征整合模块根据所述第一图像/第二图像对应的语义特征和所述第一特征图/第二特征图,确定所述第一特征图/第二特征图中各像素点对应的分类信息;根据所述第一特征图/第二特征图中各像素点对应的分类信息,确定所述第一特征图/第二特征图的各像素点对应的OCR特征。5.根据权利要求3所述的方法,其特征在于,在所述通过OCR特征整合模块提取第一特征图和第二特征图中各像素点对应的OCR特征之后,所述方法还包括:根据所述第一特征图和所述第二特征图中各像素点对应的OCR特征,计算所述第一特征图和所述第二特征图对应的OCR匹配代价;所述根据所述OCR特征和所述空间匹配代价计算所述第一特征图和所述第二特征图之间的视差结果包括:融合所述OCR匹配代价和所述空间匹配代价,得到融合匹配代价;根据所述融合匹配代价计算所述第一特征图和所述第二特征图之间的视差结果。6.根据权利要求5所述的方法,其特征在于,所述根据所述融合匹配代价计算所述第一特征图和所述第二特征图之间的视差结果包括:
对所述融合匹配代价进行视差回归处理,得到所述第一特征图和所述第二特征图之间的视差结果。7.根据权利要求1所述的方法,其特征在于,所述根据所述第一特征图和所述第二特征图计算所述第一特征图和所述第二特征图对应的空间匹配代价包括:...

【专利技术属性】
技术研发人员:金诚陈赢峰李林橙范长杰胡志鹏
申请(专利权)人:网易杭州网络有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1