基于ZYNQ的实时环境深度感知装置及方法制造方法及图纸

本发明专利技术公开了一种基于ZYNQ的实时环境深度感知装置及方法，该装置采用ZYNQ系列系统级芯片作为主控芯片，外设包括两个图像传感器及惯性测量单元。利用主控芯片上的FPGA及ARM资源，本发明专利技术设计低功耗实时双目立体匹配和同步惯性测量单元采集的方法，该方法通过Mipi协议解析原始图像传感器数据并存入外挂存储模块，之后进行重映射实现畸变校正，在FPGA端以视频流作为输入输出实现基于SGBM的双目立体匹配算法，并对匹配结果进行滤波，同时输出与深度信息同步的惯性测量单元数据。本发明专利技术体积小，重量轻，适合搭载在小型移动机器人上，且最终可以低时延、低功耗输出附带惯性测量数据的环境深度信息。

【技术实现步骤摘要】

本专利技术涉及双目立体匹配及飞行器避障领域，特别涉及一种基于zynq实现的实时环境深度感知装置及方法。

技术介绍

1、相机是许多应用的理想传感器，它可以高帧率的提供大量环境信息。特别是无人机领域，相比于其他传感器(如激光雷达)，图像传感器质量轻、功耗低、图像信息丰富，是作为感知系统的理想选择。但图像传感器同样有它的弊端，图像信息处理量大，一般的嵌入式设备缺乏足够的处理能力，无法实时进行双目立体匹配感知环境深度。当然现在的小型移动cpu如nuc主机，性能不断提高，且其串行计算能力较强，但并发处理能力较弱，作为无人机负载存在功耗大、质量大的弊端，对它们而言以高帧率和低延迟实时执行密集的计算机视觉任务依旧是不小的挑战。现行的飞行器载嵌入式设备，如果要执行复杂的计算机视觉算法，通常采用地面站处理方式，仰赖于稳定、高速的数字通讯网络，同时限制了作业距离。为了让无人机完成预定的任务，对获得的图像信息进行处理是至关重要的环节，可以进行实时、高频的视觉信息处理是无人机进行复杂作业的必要条件。

2、让无人机自主感知并实时处理视觉信息，需要高性能、并行计算能力强、本文档来自技高网...

【技术保护点】

1.一种基于ZYNQ的实时环境深度感知装置，其特征在于，所述实时环境深度感知装置包括硬件设备载板(1)和多种硬件设备，硬件设备载板(1)由电路板构成，用于集成多种硬件设备；

2.根据权利要求1中所述的基于ZYNQ的实时环境深度感知装置，其特征在于，所述图像传感器(5)通过Mipi协议与主控芯片(2)的FPGA端(3)进行数据传输，图像传感器(5)通过IIC协议与主控芯片(2)的ARM端(4)进行寄存器配置，图像传感器(5)接收来自主控芯片(2)的ARM端(4)的触发信号和复位信号，惯性测量单元(6)与主控芯片(2)的ARM端(4)通过SPI协议进行数据通讯，显示器(7)与主控...

【技术特征摘要】

1.一种基于zynq的实时环境深度感知装置，其特征在于，所述实时环境深度感知装置包括硬件设备载板(1)和多种硬件设备，硬件设备载板(1)由电路板构成，用于集成多种硬件设备；

2.根据权利要求1中所述的基于zynq的实时环境深度感知装置，其特征在于，所述图像传感器(5)通过mipi协议与主控芯片(2)的fpga端(3)进行数据传输，图像传感器(5)通过iic协议与主控芯片(2)的arm端(4)进行寄存器配置，图像传感器(5)接收来自主控芯片(2)的arm端(4)的触发信号和复位信号，惯性测量单元(6)与主控芯片(2)的arm端(4)通过spi协议进行数据通讯，显示器(7)与主控芯片(2)的arm端(4)进行数据通讯。

3.根据权利要求1中所述的基于zynq的实时环境深度感知装置，其特征在于，所述mipi解析模块(8)是xilinx的mipi csi-2rx subsystem ip解决方案，mipi是一种行业标准接口，解析是将电信号转换为图像数据，解析后的图像数据存入vdma0和vdma1。

4.根据权利要求1中所述的基于zynq的实时环境深度感知装置，其特征在于，所述畸变校正模块(9)通过主控芯片(2)的fpga端(3)读取存放在vdma2、vdma3的重映射像素地址，并按照重映射像素地址去读存放在vdma0和vdma1里的原始图像数据完成重映射实现图像去畸变。

5.根据权利要求1中所述的基于zynq的实时环境深度感知装置，其特征在于，所述sgbm模块(10)通过主控芯片(2)的fpg...

【专利技术属性】
技术研发人员：裴海龙，潘文豪，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：