一种机器人微小型高速双目立体视觉系统技术方案

本发明专利技术属于机器人数字图像领域，并具体公开了一种机器人微小型高速双目立体视觉系统。该系统包括图像采集装置以及高速图像处理装置，其中每个图像采集装置分别用于采集图像数据；高速图像处理装置以FPGA为主芯片，其中图像采集控制单元用于向图像采集装置发送触发控制指令，图像接收单元用于接收图像采集装置发送的图像数据，图像处理单元用于对图像数据进行处理，图像输出单元用于将处理后的图像数据进行输出。本发明专利技术以FPGA为主芯片，大大减小了硬件设备的尺寸要求和功耗，具有嵌入式、小体积、低功耗的特点，并且计算能力强，算法输出帧率高，有效解决了传统视觉系统鲁棒性较差、计算速度较慢、体积和功能较大的问题。

【技术实现步骤摘要】
一种机器人微小型高速双目立体视觉系统
本专利技术属于机器人数字图像领域，更具体地，涉及一种机器人微小型高速双目立体视觉系统。
技术介绍
随着信息技术的飞速发展以及各种机器人设备在当今社会生产生活中扮演愈加重要的角色，关于机器人的研究变得越来越重要。而机器视觉是机器人发展方向的重要组成部分。双目视觉技术同时又是机器视觉的一种重要形式，其原理是基于视差利用成像设备从不同的方向和角度获取被测物体的两幅图像，通过计算对应像素点之间的位置偏差，利用映射或者三维重建技术还原物体三维几何信息的方法。立体匹配是双目立体视觉中最重要的一个环节，立体匹配主要是通过两个成像设备在不同方向角度获取两组图像，通过找到两组图像中对应的特征，找出其中的对应关系，最终将同一物理空间中的点在不同图像中的映像对应起来，根据三角测量原理，获得视差信息，获得视差信息之后，通过投影模型，可以进一步获取到被测物体的深度信息以及三维信息。双目立体视觉系统具有成本低，适应型好的特点，不需要像TOF和结构光那样需要额外的发射器和接收器，而且能适应室内和室外环境的图像采集应用，但是双目立体视觉也有其缺点。因为立体匹配是基于两幅图像的对应特征关系去获取视差信息，所以具有如下局限性：1)对环境光照敏感，当环境光照角度与强度发生变化时，甚至在光线较强或者光线较弱时会导致立体匹配算法效果急剧下降；2)算法计算较为复杂，需要逐像素进行匹配计算，且受限于基线、测量范围、拍摄环境等因素影响，计算量较大，计算用时较长。
技术实现思路
针对现有技术的以上缺陷或改进需求，本专利技术提供了一种机器人微小型高速双目立体视觉系统，其中高速图像处理装置以FPGA为主芯片，大大减小了硬件设备的尺寸要求和功耗，具有嵌入式、小体积、低功耗的特点，并且计算能力强，算法输出帧率高，有效解决了传统视觉系统鲁棒性较差、计算速度较慢、体积和功能较大的问题。为实现上述目的，本专利技术提出了一种机器人微小型高速双目立体视觉系统，该系统包括两个结构相同并且相互独立的图像采集装置以及高速图像处理装置，其中：每个所述图像采集装置分别用于采集图像数据并将其输送到所述高速图像处理装置；所述高速图像处理装置以FPGA为主芯片，包括图像采集控制单元、图像接收单元、图像处理单元以及图像输出单元，所述图像采集控制单元用于向所述图像采集装置发送触发控制指令，所述图像接收单元用于接收所述图像采集装置发送的图像数据，所述图像处理单元用于对所述图像数据进行处理，所述图像输出单元用于将处理后的图像数据进行输出。作为进一步优选的，所述图像处理单元具有高斯滤波、自适应白平衡、GAMMA校正、自适应增益和噪声去除的功能。作为进一步优选的，每个所述图像采集装置分别包括CMOS图像传感器、IMU姿态传感器以及变焦单元，其中所述CMOS图像传感器用于进行光电转换，所述IMU姿态传感器用于测量三轴姿态，所述变焦单元用于控制电动变焦镜头；工作时，所述CMOS图像传感器的硬件触发信号与IMU姿态传感器的同步信号由所述高速图像处理装置同步输入，从而确保图像曝光与三轴姿态数据同步。作为进一步优选的，所述高速图像处理装置中的FPGA主芯片具有ARM+FPGA的异构特性，同时辅有DDR4、Flash功能芯片，通过FPC连接器经由FPC柔性排线向所述图像采集装置发送触发控制指令。作为进一步优选的，所述图像接收单元包括2个高速LVDS接口，所述图像采集控制单元包括2个SPI总线和2个硬件触发信号线，所述图像输出单元包括USB3.0控制器和USB3.0接口。作为进一步优选的，所述高速图像处理装置基于FPGA平台，利用立体匹配算法进行计算。作为进一步优选的，所述高速图像处理装置基于FPGA平台，对两个图像数据实行一致的控制处理，包括曝光时间控制、模拟和数字增益控制以及自动白平衡参数控制，从而提高所述立体匹配算法的计算精度。总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，主要具备以下的技术优点：1.本专利技术针对传统双目立体视觉系统中两个相机分离孤立，无法做到在每一帧图像中快门时间和相机增益都保持一致的问题，相应设计了由高速图像处理装置同时控制的两个图像采集装置，使得本专利技术在硬件上通过FPGA硬件触发，进而同时控制两个相机，保证其在快门时间上每帧图像都保持一致，并且保证两个相机在增益上每帧图像都保持一直，并且两个相机在光圈上保持一致不做调整，以此改善双目立体视觉系统对环境光照敏度较差的问题，同时，本专利技术的高速图像处理装置以FPGA为主芯片，大大减小了硬件设备的尺寸要求和功耗，具有嵌入式、小体积、低功耗的特点，并且计算能力强，算法输出帧率高，有效解决了传统视觉系统鲁棒性较差、计算速度较慢、体积和功能较大的问题；2.此外，本专利技术提供的图像处理单元具有高斯滤波、自适应白平衡、GAMMA校正、自适应增益和噪声去除的功能，能够实现高信噪比数字图像输出，为后续图像标定、校准与立体匹配提供了清晰可靠的原始图像信息；3.同时，本专利技术通过对图像采集装置和高速图像处理装置的结构进行优化，微小型低功耗的设计满足机器人移动作业的需求，100fps高帧率的信息输出满足了机器人快速运动的信息反馈，同时高鲁棒性的深度图计算保证了机器人在复杂环境下的作业需求。附图说明图1是按照本专利技术优选实施例构建的机器人微小型高速双目立体视觉系统的示意图；图2是按照本专利技术优选实施例构建的机器人微小型高速双目立体视觉系统的硬件设计结构框架图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。此外，下面所描述的本专利技术各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。如图1所示，本专利技术提供了一种机器人微小型高速双目立体视觉系统，该系统包括两个结构相同并且相互独立的图像采集装置以及高速图像处理装置，其中：图像采集装置包括第一图像采集模块和第二图像采集模块，分别用于采集图像数据并将其输送到高速图像处理装置，每个图像采集装置分别包括CMOS图像传感器、IMU姿态传感器以及变焦单元(stm32微控制器)，CMOS图像传感器用于进行光电转换，采集外部图像信息，具有全局快门与外部控制触发的特点以及高分辨率高帧率的性能；IMU姿态传感器用于测量三轴姿态，从而输出系统的姿态与三轴速度变化数据，为机器人位姿的矫正与空间定位提供可靠的数据依据；变焦单元用于控制电动变焦镜头；工作时，CMOS图像传感器的硬件触发信号与IMU姿态传感器的同步信号由高速图像处理装置同步输入，从而确保图像曝光与三轴姿态数据同步；高速图像处理装置以FPGA为主芯片，包括图像采集控制单元、图像接收单元、图像处理单元以及图像输出单元，图像采集控制单元用于向图像采集装置发送触发控制指令，图像接收单元用于接收图像采集装置发送的图像数据，图像处理单元用于本文档来自技高网...

【技术保护点】
1.一种机器人微小型高速双目立体视觉系统，其特征在于，该系统包括两个结构相同并且相互独立的图像采集装置以及高速图像处理装置，其中：/n每个所述图像采集装置分别用于采集图像数据并将其输送到所述高速图像处理装置；/n所述高速图像处理装置以FPGA为主芯片，包括图像采集控制单元、图像接收单元、图像处理单元以及图像输出单元，所述图像采集控制单元用于向所述图像采集装置发送触发控制指令，所述图像接收单元用于接收所述图像采集装置发送的图像数据，所述图像处理单元用于对所述图像数据进行处理，所述图像输出单元用于将处理后的图像数据进行输出。/n

【技术特征摘要】
1.一种机器人微小型高速双目立体视觉系统，其特征在于，该系统包括两个结构相同并且相互独立的图像采集装置以及高速图像处理装置，其中：
每个所述图像采集装置分别用于采集图像数据并将其输送到所述高速图像处理装置；
所述高速图像处理装置以FPGA为主芯片，包括图像采集控制单元、图像接收单元、图像处理单元以及图像输出单元，所述图像采集控制单元用于向所述图像采集装置发送触发控制指令，所述图像接收单元用于接收所述图像采集装置发送的图像数据，所述图像处理单元用于对所述图像数据进行处理，所述图像输出单元用于将处理后的图像数据进行输出。


2.如权利要求1所述的机器人微小型高速双目立体视觉系统，其特征在于，所述图像处理单元具有高斯滤波、自适应白平衡、GAMMA校正、自适应增益和噪声去除的功能。


3.如权利要求1所述的机器人微小型高速双目立体视觉系统，其特征在于，每个所述图像采集装置分别包括CMOS图像传感器、IMU姿态传感器以及变焦单元，其中所述CMOS图像传感器用于进行光电转换，所述IMU姿态传感器用于测量三轴姿态，所述变焦单元用于控制电动变焦镜头；工作时，所述CMOS图像传感器的硬件触发信号与IMU姿...

【专利技术属性】
技术研发人员：杨华，尹周平，黎琼奔，李琪，曹云康，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北;42