双目立体匹配FPGA加速器架构、方法及装置制造方法及图纸

本发明专利技术公开了一种双目立体匹配FPGA加速器架构、方法及装置，属于双目立体视觉领域，包括行缓存模块、初始代价计算模块、Sobel边缘检测模块、代价聚合模块、右视图代价矩阵构建模块、唯一性检测模块、左右一致性检测模块、空洞填充模块以及亚像素插值模块。本发明专利技术解决了双目立体匹配存在的精度低、效率差、资源利用率低的问题，提升精度的同时可以保证实时性及运算资源的高效性。算资源的高效性。算资源的高效性。

【技术实现步骤摘要】
双目立体匹配FPGA加速器架构、方法及装置


[0001]本专利技术涉及双目立体视觉领域，更为具体的，涉及一种双目立体匹配FPGA加速器架构、方法及装置。

技术介绍

[0002]在人类认知世界的过程中，75％以上的信息是通过人的双眼获得的，通过大脑对双眼获取的信息进行处理和响应。双目立体视觉模仿人类视觉系统，通过两个摄像头同时获取同一场景的两幅图像，并通过对两幅图像的比对和匹配，计算出场景中各个物体的距离和深度信息，从而实现对三维场景的感知和理解。立体匹配广泛应用于三维重建、医学影像、智能驾驶等领域，通过对不同视角下的图像进行匹配，寻找同名点的偏差，完成二维图像到三维深度的重建。由于光照、噪声、遮挡、弱纹理及实时性要求等原因，匹配的精度易受影响。匹配结果直接作用于深度恢复，使得立体匹配成为立体视觉系统中的最关键问题。
[0003]在实际的匹配系统中，仍然存在着许多问题。目前的难点和重点包括低纹理区域匹配难度大，遮挡问题，噪声与复杂度问题，光照和颜色变化等问题。这些问题主要是由光学图像在纹理、光照、噪声和遮挡的不确定性和复杂性造成。需要在立本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种双目立体匹配FPGA加速器架构，其特征在于，包括：行缓存模块、初始代价计算模块、Sobel边缘检测模块、代价聚合模块、右视图代价矩阵构建模块、唯一性检测模块、左右一致性检测模块、空洞填充模块以及亚像素插值模块；将行缓存数据送入初始代价计算模块以及Sobel边缘检测模块，在初始代价计算模块完成初始匹配代价的计算，Sobel边缘检测模块完成灰度边缘信息计算；初始匹配代价以及灰度边缘信息进入各路径的代价聚合模块，各路径的代价聚合模块结果求和得到最终的匹配代价；通过唯一性检测模块获得左图整型视差，利用右视图代价矩阵构建模块构建右图的匹配代价矩阵获得右图的整型视差；将获得的视差数据送入左右一致性检测模块和空洞填充模块进行处理，利用亚像素插值模块进行亚像素插值后得到最终视差。2.根据权利要求1所述的双目立体匹配FPGA加速器架构，其特征在于，还包括级联FIFO模块，在数据输入后，通过级联FIFO实现行缓存，实现一个7x7的窗口的构建；所述级联FIFO模块具体包括如下运行过程：每帧开始，第一行像素根据行有效信号写入FIFO 0；第二行像素写入FIFO0的同时，将FIFO 0中的数据读出写入FIFO 1；第三行像素写入FIFO 0的同时，将FIFO 0中的数据读出写入FIFO 1，FIFO 1的数据写入FIFO 2；重复此过程，等到第七行从端口输入时，即得到7行同时输出的像素。3.根据权利要求1所述的双目立体匹配FPGA加速器架构，其特征在于，所述初始代价计算模块包括Census变换模块、汉明Hamming距离计算模块；将行缓存数据送入Census变换模块，利用Census变换模块将Census变换结果数据送入汉明Hamming距离计算模块，加权完成匹配代价的计算。4.根据权利要求1所述的双目立体匹配FPGA加速器架构，其特征在于，所述初始代价计算模块包括SAD计算模块；对SAD计算模块右图的输入进行延迟处理，再分别输入给不同的SAD计算模块，再将汉明距离和SAD计算值进...

【专利技术属性】
技术研发人员：宋锐，水云鹏，李娇娇，王天续，张雅雯，崔骞，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：