双目立体视觉系统技术方案

本实用新型专利技术属于3D传感测量技术领域，提供了一种双目立体视觉系统，包括：左图像采集单元、右图像采集单元、同步信号生成单元、FPGA处理器、数据输出接口；左图采集单元包括第一镜头和第一图像传感器；右图采集单元包括第二镜头和第二图像传感器；同步信号生成单元用于产生同步触发信号，并将同步触发信号发送给左图像采集单元和右图像采集单元；FPGA处理器用于获取左图像采集单元和右图像采集单元输出的像素点，进行畸变与立体矫正处理、立体匹配，输出真实物理深度。本实用新型专利技术提供的双目立体视觉系统，选用了FPGA平台实现，集成度高、处理速度快，满足了实时性的要求，将双目立体视觉技术带到可商用的级别。

Binocular stereo vision system

The utility model belongs to the technical field of 3D sensor, provides a binocular stereo vision system, including: the left and right image acquisition unit, image acquisition unit synchronization signal generation unit, FPGA processor, data output interface; the acquisition unit includes a first lens and the image sensor; the acquisition unit comprises second lens and second image sensor; synchronization signal generation unit generates a synchronous trigger signal, and the synchronization trigger signal is sent to the left and right image acquisition unit, image acquisition unit; FPGA processor is used to obtain the image acquisition unit and the right image acquisition unit output, distortion and correction of stereo processing, stereo matching, output true physical depth. The binocular stereo vision system provided by the utility model adopts the FPGA platform to realize the integration, the processing speed is fast, the real-time requirement is met, and the binocular stereo vision technology is brought to the commercial level.

【技术实现步骤摘要】
双目立体视觉系统
本技术涉及3D传感测量
，具体涉及一种双目立体视觉系统。
技术介绍
双目立体视觉是计算机视觉的一个重要分支，即由不同位置的两台或者一台摄像机(CCD/CMOS)经过移动或旋转拍摄同一幅场景，通过计算空间点在两幅图像中的视差，获得该点的三维坐标值。测量方式目前主要分为主动3D测量和被动3D测量。目前主动3D测量主要原理为通过光学系统打出有结构编码的光，通过成像通过解码获取三维结构，另外一种TOF主要通过测量发送的光束与返回光束之间的相位差进行距离测量。主动式的3D测量主要应用场景为室内的体感交互或是室内机器人。在室外因为阳光导致环境光中含有大量红外光，导致无法产生有效的测量。因此被动式的双目立体系统是比较合适的选择，并且也可以扩展到室内使用。关于双目立体视觉的研究已经很多年了，学术界提出了很多种算法，也取得了不错的结果，但目前存在的最大的问题是：还没有很好的平台能承载算法的实时性运算需求，通常能取得比较好效果的算法运算量更加大。目前的双目立体视觉系统的常见方案分为两种：其一为双目+高性能PC方式；其二为双目+高性能GPU方式。采用上述方案的主要原因在于被动式双目立体视觉涉及到的算法复杂度很高，因此需要很强劲的运算单元。选用以上的运算系统有以下几个缺点：成本高，难以小型化，运算单元的动态负载使得实时性有限，很难保证一致的实时性。
技术实现思路
针对现有技术中的缺陷，本技术提供的双目立体视觉系统，选用了FPGA平台实现，集成度高、处理速度快，满足了实时性的要求，将双目立体视觉技术带到可商用的级别。本技术提供的一种双目立体视觉系统，包括：左图像采集单元、右图像采集单元、同步信号生成单元、FPGA处理器、数据输出接口；所述左图像采集单元、所述右图像采集单元与所述同步信号生成单元连接，所述所述左图像采集单元、所述右图像采集单元与所述FPGA处理器连接，所述数据输出接口分别与所述FPGA处理器的输入端连接，所述FPGA处理器的输出端与所述数据输出接口连接；所述左图采集单元包括第一镜头和第一图像传感器；所述右图采集单元包括第二镜头和第二图像传感器；所述同步信号生成单元用于产生同步触发信号，并将所述同步触发信号发送给左图像采集单元和右图像采集单元；所述FPGA处理器用于获取所述左图像采集单元和所述右图像采集单元输出的像素点，进行畸变与立体矫正处理、立体匹配，输出真实物理深度。本技术提供的双目立体视觉系统，使用FPGA作为实际运算处理单元，集成了图像传输、矫正、输出接口，使得双目立体视觉系统可以做到高度集成，使得小型化成为可能，使用定制的电路进行运算，一方面通过并行加速和流水线方式保证了系统的最小延时，获得较高的实时性，另一方面因为运算资源的独占性，使得实时性得到保障。优选地，还包括补光单元，所述补光单元用于发射补光。优选地，所述补光单元的光源为红外光源或可见光光源。优选地，还包括光亮度传感器，所述光亮度传感器与所述补光单元连接，所述光亮度传感器用于检测周围的光亮度，根据检测结果控制补光单元进行补光。优选地，还包括纹理增强单元，所述纹理增强单元用于发射结构光。优选地，所述纹理增强单元的光源为红外光源或可见光光源。优选地，所述第一镜头和所述第一图像传感器之间、所述第二镜头和所述第二图像传感器之间装有IR滤镜。附图说明图1为本实施例所提供的双目立体视觉系统的结构框图；图2为本实施例所提供的双目立体视觉系统中的同步信号生成单元；图3为本实施例所提供的双目立体视觉系统中的数据采集模块；图4为本实施例所提供的双目立体视觉系统中的畸变与立体矫正处理模块；图5为实时坐标映射计算模块的FPGA电路设计；图6为本实施例所提供的双目立体视觉系统中的立体匹配模块；图7为本实施例所提供的双目立体视觉系统中的深度计算模块；图8为本实施例所提供的双目立体视觉系统中的输出结构模块。具体实施方式下面将结合附图对本技术技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本技术的技术方案，因此只是作为示例，而不能以此来限制本技术的保护范围。需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本技术所属领域技术人员所理解的通常意义。如图1所示，本实施例提供的一种双目立体视觉系统，包括：左图像采集单元1、右图像采集单元2、同步信号生成单元3、FPGA处理器4、数据输出接口5；左图像采集单元1、右图像采集单元2与同步信号生成单元3连接，左图像采集单元1、右图像采集单元2与FPGA处理器4连接，数据输出接口5分别与FPGA处理器4的输入端连接，FPGA处理器4的输出端与数据输出接口5连接；左图采集单元包括第一镜头和第一图像传感器；右图采集单元包括第二镜头和第二图像传感器；其中，第一图像传感器和第二图像传感器可以选用CMOS或CCD；同步信号生成单元3用于产生同步触发信号，并将同步触发信号发送给左图像采集单元1和右图像采集单元2；FPGA处理器4用于获取左图像采集单元1和右图像采集单元2输出的像素点，进行畸变与立体矫正处理、立体匹配，输出真实物理深度。其中，同步信号生成单元3通过时钟晶振结合FPGA内部的PLL实现时钟倍频，并采用FPGA内部的计数器生成高精度的脉冲触发信号提供给左图像采集单元1和右图像采集单元2，其具体实现方式如图2所示，通过一个计数器实现同步触发信号的生成，使用一个高频基数时钟作为输入，到使能信号有效时，开始计数，达到计数上限时产生同步触发信号。左图像采集单元1和右图像采集单元2采集图像的帧率相同，比如时钟频率为F(单位：Mhz)，要想达到帧率为m(单位：帧每秒)时，需要的计数上限T为T＝F/m。FPGA处理器4中主要包括以下几个部分处理单元包括：数据采集模块、畸变与立体矫正模块、立体匹配模块、深度计算模块和输出接口模块。数据采集模块用于获取左图像采集单元1和右图像采集单元2输出的像素点，分别顺序输入第一双端口RAM和第二双端口RAM。在FPGA中的具体实现如图3所示，第一CMOS和第二CMOS各自拥有自己的像素时钟，以不同的时钟分别向各自的FIFO中输入数据，然后在同一个时钟下逐个像素依次输出至第一双端口RAM和第二双端口RAM，以达到同步CMOS1和CMOS2采集输出的像素点。本实施例采用的数据采集方法与传统的软件端采集framebuffer机制不同，本实施例采用基于FIFO和双端口RAM缓存技术实现流水线处理，不做过多的图像缓存(传统的方式需保存一帧或多帧图像后再进行后续处理)，及时将接收到的像素点输出进行下一步处理。由于双目成像系统在成像过程中会有畸变，且左图像采集单元1和右图像采集单元2很难做到光轴平行，输出的左、右图像很难实现平面对齐，因此在立体匹配之前需要进行畸变与立体矫正处理，以保证图像无畸变且满足极线约束。本实施例的畸变与立体矫正模块同时对第一双端口RAM和第二双端口RAM中的像素点进行畸变与立体矫正处理，并将结果分别输入第三双端口RAM和第四双端口RAM，供后续模块处理，提高了处理效率。畸变与立体矫正模块设计如图4所示，图像缓存写逻辑模块不断将前端接收的像素点写入双端口RAM，当图像坐标递增模块接收到开始信号，开始触发实时坐标映射计算本文档来自技高网...

【技术保护点】
一种双目立体视觉系统，其特征在于，包括：左图像采集单元、右图像采集单元、同步信号生成单元、FPGA处理器、数据输出接口；所述左图像采集单元、所述右图像采集单元与所述同步信号生成单元连接，所述左图像采集单元、所述右图像采集单元与所述FPGA处理器连接，所述数据输出接口分别与所述FPGA处理器的输入端连接，所述FPGA处理器的输出端与所述数据输出接口连接；所述左图采集单元包括第一镜头和第一图像传感器；所述右图采集单元包括第二镜头和第二图像传感器；所述同步信号生成单元用于产生同步触发信号，并将所述同步触发信号发送给左图像采集单元和右图像采集单元；所述FPGA处理器用于获取所述左图像采集单元和所述右图像采集单元输出的像素点，进行畸变与立体矫正处理、立体匹配，输出真实物理深度。

【技术特征摘要】
1.一种双目立体视觉系统，其特征在于，包括：左图像采集单元、右图像采集单元、同步信号生成单元、FPGA处理器、数据输出接口；所述左图像采集单元、所述右图像采集单元与所述同步信号生成单元连接，所述左图像采集单元、所述右图像采集单元与所述FPGA处理器连接，所述数据输出接口分别与所述FPGA处理器的输入端连接，所述FPGA处理器的输出端与所述数据输出接口连接；所述左图采集单元包括第一镜头和第一图像传感器；所述右图采集单元包括第二镜头和第二图像传感器；所述同步信号生成单元用于产生同步触发信号，并将所述同步触发信号发送给左图像采集单元和右图像采集单元；所述FPGA处理器用于获取所述左图像采集单元和所述右图像采集单元输出的像素点，进行畸变与立体矫正处理、立体匹配，输出真实...

【专利技术属性】
技术研发人员：窦仁银，叶平，李嘉俊，
申请(专利权)人：人加智能机器人技术北京有限公司，
类型：新型
国别省市：北京,11