一种基于FPGA的视觉融合方法技术

本发明专利技术公开了一种基于FPGA的视觉融合方法，包括如下步骤：建立一个以FPGA为运算处理核心的视觉系统，立体相机的左右视图通过SERDES接口输入；系统包括6块1024K×8比特容量的外部SRAM，其中每2个SRAM组成一组乒乓缓存，实现左右视图以及视差图无缝传输和流水处理。本发明专利技术能够满足高速运算和高速传输图像的要求，具备多种通用接口和富余的硬件资源，可以进一步扩展加强。同时Census立体融合是一种非参数化的融合方法，对亮度不均、增益等情况更为鲁棒，提高了系统的精度。与传统的通用处理器相比，本发明专利技术充分利用并行计算及合理的流水线设计，把算法直接映射到结构上，大大提高了系统的运算速度，满足高分辨率、高精度和高速的要求。

【技术实现步骤摘要】
一种基于FPGA的视觉融合方法
本专利技术涉及一种视觉融合方法，具体是一种基于FPGA的视觉融合方法。
技术介绍
立体视觉系统的主要任务是获取场景三维信息，在移动机器人、目标跟踪、三维重建等领域得到了广泛应用。在立体视觉系统中，立体融合是关键核心。一般来说，室外无人车以及月球车等移动机器人所处的场景通常缺乏规则的点、线等特征，并且由于场景的不确定性和光照等因素的影响，特征提取往往不稳定，且只能得到稀疏的视差图，必须经过插值才能得到致密的视差图进而重建场景。因此，实时立体视觉系统中更倾向于采用区域匹配算法。另外，应用于无人车导航系统的立体视觉还需要满足实时性、鲁棒性等要求。实时性即要求算法运算速度快，能在车辆移动过程中及时获取场景信息，以便车辆做出行进、避障等决策。区域匹配算法通常运算量较大，以N×N大小的灰度图像，相关窗口尺寸为w×w，视差搜索范围D为例，直接计算的复杂度为O(N2w2D)。通过一定的优化技巧虽然可以减小冗余计算，复杂度可降至O(N2D)，但对于通用处理器而言，仍旧无法满足实时性要求，因此需要采用硬件加速技术或设计专用硬件电路。鲁棒性要求主要源于无人车的行驶环境复杂，路面、光照等条件均有较大的不确定性，立体视觉算法在各种条件下都要保持有效。对于立体融合实时性的研究，已有大量学者提出了解决方案，其中最著名的NASA火星车使用RAD6000计算机，最高频率为25MHz，完成一次256×256图对的匹配需30s。与指令系统相比，FPGA硬件系统虽然没有通用处理器编程方便，但可以充分利用并行性计算体系结构及合理的流水线设计，把算法直接映射到结构上，大大提高系统的运算速度与精度。
技术实现思路
本专利技术的目的在于提供一种基于FPGA的视觉融合方法，以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供如下技术方案：一种基于FPGA的视觉融合方法，包括如下步骤：建立一个以FPGA为运算处理核心的视觉系统，立体相机的左右视图通过SERDES接口输入；系统包括6块1024K×8比特容量的外部SRAM，其中每2个SRAM组成一组乒乓缓存，实现左右视图以及视差图无缝传输和流水处理；Nand-FlashROM芯片用于存放系统离线标定得到的校正参数，上电初始化过程中将校正参数从FlashROM中拷贝到SDRAM中以提高参数输入的速率，实时完成图像校正；系统以太网作为上行视差输出和下行校正参数输入的接口，实现千兆/百兆数据传输与长距离传输；系统预留2路并口IO，通过FIFO与外设连接，用于检测结果、输出中间数据或扩展功能使用；获取黑白背景图像并预存，提取背景图像的灰度特征数据，建立背景图像灰度特征矩阵；采集实时图像，并提取所采集到的实时图像的灰度特征，建立实时图像灰度特征矩阵；将所提取的实时图像的灰度特征与预存的背景图像灰度特征数据进行对比，计算所提取的实时图像的灰度特征与背景图像灰度特征的相似度。作为本专利技术进一步的方案：还包括构建一个窗口大小为9×9的寄存器组，每个寄存器组存储相应窗口位置的像素灰度值，通过比较窗口内除了中心外所有寄存器的灰度值与中心寄存器的灰度值，得到对应中心点像素的Census变换后的80比特编码流。作为本专利技术进一步的方案：寄存器组缓存输出不同视差的匹配代价，以立体相机中左图为基准的匹配采用串行比较结构，以立体相机中右图为基准的匹配采用并行比较结构，实现相关匹配和左右一致性校验，有效降低误匹配率。作为本专利技术再进一步的方案：所述的图像校正、Census变换以及Census变换后的80比特编码流为：它们所涉及到的数据在进行下一步运算时均存储于数据缓存模块，对于宽度为N个像素的图像和高度为w的窗口，数据缓存模块采用至少N×(w+1)个数据空间的简单双口RAM，具有一个读数据端口和一个写数据端口，并设读地址指针和写地址指针，数据缓冲模块按列读出，按行写入，通过控制读写地址确保读无读写冲突，当w行内所有窗口操作都完成并且新的一行也写入后，抛弃最早的一行数据。与现有技术相比，本专利技术的有益效果是：本专利技术能够满足高速运算和高速传输图像的要求，具备多种通用接口和富余的硬件资源，可以进一步扩展加强。同时Census立体融合是一种非参数化的融合方法，对亮度不均、增益等情况更为鲁棒，提高了系统的精度。与传统的通用处理器相比，本专利技术充分利用并行计算及合理的流水线设计，把算法直接映射到结构上，大大提高了系统的运算速度，满足高分辨率、高精度和高速的要求。具体实施方式下面对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术实施例中，一种基于FPGA的视觉融合方法，包括如下步骤：建立一个以FPGA为运算处理核心的视觉系统，立体相机的左右视图通过SERDES接口输入；系统包括6块1024K×8比特容量的外部SRAM，其中每2个SRAM组成一组乒乓缓存，实现左右视图以及视差图无缝传输和流水处理；Nand-FlashROM芯片用于存放系统离线标定得到的校正参数，上电初始化过程中将校正参数从FlashROM中拷贝到SDRAM中以提高参数输入的速率，实时完成图像校正；系统以太网作为上行视差输出和下行校正参数输入的接口，实现千兆/百兆数据传输与长距离传输；系统预留2路并口IO，通过FIFO与外设连接，用于检测结果、输出中间数据或扩展功能使用；获取黑白背景图像并预存，提取背景图像的灰度特征数据，建立背景图像灰度特征矩阵；采集实时图像，并提取所采集到的实时图像的灰度特征，建立实时图像灰度特征矩阵；将所提取的实时图像的灰度特征与预存的背景图像灰度特征数据进行对比，计算所提取的实时图像的灰度特征与背景图像灰度特征的相似度。还包括构建一个窗口大小为9×9的寄存器组，每个寄存器组存储相应窗口位置的像素灰度值，通过比较窗口内除了中心外所有寄存器的灰度值与中心寄存器的灰度值，得到对应中心点像素的Census变换后的80比特编码流。寄存器组缓存输出不同视差的匹配代价，以立体相机中左图为基准的匹配采用串行比较结构，以立体相机中右图为基准的匹配采用并行比较结构，实现相关匹配和左右一致性校验，有效降低误匹配率。作为本专利技术再进一步的方案：所述的图像校正、Census变换以及Census变换后的80比特编码流为：它们所涉及到的数据在进行下一步运算时均存储于数据缓存模块，对于宽度为N个像素的图像和高度为w的窗口，数据缓存模块采用至少N×(w+1)个数据空间的简单双口RAM，具有一个读数据端口和一个写数据端口，并设读地址指针和写地址指针，数据缓冲模块按列读出，按行写入，通过控制读写地址确保读无读写冲突，当w行内所有窗口操作都完成并且新的一行也写入后，抛弃最早的一行数据。对于本领域技术人员而言，显然本专利技术不限于上述示范性实施例的细节，而且在不背离本专利技术的精神或基本特征的情况下，能够以其他的具体形式实现本专利技术。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本专利技术的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括本文档来自技高网...

【技术保护点】
1.一种基于FPGA的视觉融合方法，其特征在于，包括如下步骤：建立一个以FPGA为运算处理核心的视觉系统，立体相机的左右视图通过SERDES接口输入；系统包括6块1024K×8比特容量的外部SRAM，其中每2个SRAM组成一组乒乓缓存，实现左右视图以及视差图无缝传输和流水处理；Nand‑Flash ROM芯片用于存放系统离线标定得到的校正参数，上电初始化过程中将校正参数从Flash ROM中拷贝到SDRAM中以提高参数输入的速率，实时完成图像校正；系统以太网作为上行视差输出和下行校正参数输入的接口，实现千兆/百兆数据传输与长距离传输；系统预留2路并口IO，通过FIFO与外设连接，用于检测结果、输出中间数据或扩展功能使用；获取黑白背景图像并预存，提取背景图像的灰度特征数据，建立背景图像灰度特征矩阵；采集实时图像，并提取所采集到的实时图像的灰度特征，建立实时图像灰度特征矩阵；将所提取的实时图像的灰度特征与预存的背景图像灰度特征数据进行对比，计算所提取的实时图像的灰度特征与背景图像灰度特征的相似度。

【技术特征摘要】
1.一种基于FPGA的视觉融合方法，其特征在于，包括如下步骤：建立一个以FPGA为运算处理核心的视觉系统，立体相机的左右视图通过SERDES接口输入；系统包括6块1024K×8比特容量的外部SRAM，其中每2个SRAM组成一组乒乓缓存，实现左右视图以及视差图无缝传输和流水处理；Nand-FlashROM芯片用于存放系统离线标定得到的校正参数，上电初始化过程中将校正参数从FlashROM中拷贝到SDRAM中以提高参数输入的速率，实时完成图像校正；系统以太网作为上行视差输出和下行校正参数输入的接口，实现千兆/百兆数据传输与长距离传输；系统预留2路并口IO，通过FIFO与外设连接，用于检测结果、输出中间数据或扩展功能使用；获取黑白背景图像并预存，提取背景图像的灰度特征数据，建立背景图像灰度特征矩阵；采集实时图像，并提取所采集到的实时图像的灰度特征，建立实时图像灰度特征矩阵；将所提取的实时图像的灰度特征与预存的背景图像灰度特征数据进行对比，计算所提取的实时图像的灰度特征与背景图像灰度特征的相似度。2.根据权利要求1所述的基于FPGA的视觉融合方法，...

【专利技术属性】
技术研发人员：李述，肖瑶，
申请(专利权)人：哈尔滨理工大学，
类型：发明
国别省市：黑龙江,23