【技术实现步骤摘要】
本专利技术涉及双目立体匹配及飞行器避障领域，特别涉及一种基于zynq实现的实时环境深度感知装置及方法。
技术介绍
1、相机是许多应用的理想传感器，它可以高帧率的提供大量环境信息。特别是无人机领域，相比于其他传感器(如激光雷达)，图像传感器质量轻、功耗低、图像信息丰富，是作为感知系统的理想选择。但图像传感器同样有它的弊端，图像信息处理量大，一般的嵌入式设备缺乏足够的处理能力，无法实时进行双目立体匹配感知环境深度。当然现在的小型移动cpu如nuc主机，性能不断提高，且其串行计算能力较强，但并发处理能力较弱，作为无人机负载存在功耗大、质量大的弊端，对它们而言以高帧率和低延迟实时执行密集的计算机视觉任务依旧是不小的挑战。现行的飞行器载嵌入式设备，如果要执行复杂的计算机视觉算法，通常采用地面站处理方式，仰赖于稳定、高速的数字通讯网络，同时限制了作业距离。为了让无人机完成预定的任务，对获得的图像信息进行处理是至关重要的环节，可以进行实时、高频的视觉信息处理是无人机进行复杂作业的必要条件。
2、让无人机自主感知并实时处理视觉信息，需要高性能、并行计算能力强、小质量的硬件系统。xilinx公司推出zynq系列的系统级芯片以arm架构为主导，同时系统级芯片内部也集成了fpga资源，而fpga的特点在于其并发处理能力强，且可严格保证程序执行的实时性。将视觉信息接口集成于zynq的fpga端，利用fpga的并发处理能力和实时性对环境进行实时的图像数据采集和视觉算法处理，而在arm端实现多传感器数据的整合、储存功能，还可以通过外挂存储模块的
技术实现思路
1、本专利技术的目的在于克服现有的x86或arm架构的系统级芯片在进行复杂视觉任务的并行计算能力不足和延迟限制的问题，提供一种实时环境深度感知装置及方法。该装置的主控芯片2采用了zynq系列系统级芯片，相当于在图像传感器5、惯性测量单元6与arm端4之间插入fpga端3作为附加层，利用主控芯片2上fpga端3强大的并行和实时处理能力对双目立体匹配算法进行加速，达到实时性能。为了使双目立体匹配算法在fpga端3更好的实现并行计算，本专利技术对sgbm算法的唯一性检查步骤进行了修改。该装置利用主控芯片2上arm端4集成现有的多种硬件资源，实现将采集到的数据进行融合，可进一步处理后指导飞行器的移动。该装置以每秒30帧的速度计算720×1280分辨率的密集视差图像，总延时小于5ms，总功耗为4.38瓦，加上散热装置总重量约110克，重量轻、体积小、功耗低，适用于任何移动机器人。
2、本专利技术的目的通过下述硬件平台方案实现：
3、一种基于zynq的实时环境深度感知装置，所述装置包括硬件设备载板1和多种硬件设备，其中，硬件设备载板1由电路板构成，用于集成多种硬件设备；
4、所述硬件设备均与硬件设备载板1相连，包括：主控芯片2，分为fpga端3与arm端4；
5、图像传感器5，用于采集外部环境图像数据；
6、惯性测量单元6，用于采集数据同步采集装置运动过程中角速度和加速度数据；
7、显示器7，用于实时显示经处理后获得的环境深度视频；
8、mipi解析模块8，用于按照mipi协议对图像传感器5的数据进行解析；
9、畸变校正模块9，用于接收像素的重映射地址并从外挂存储模块读出相应的像素值；
10、sgbm模块10，用于对来自畸变校正模块9的数据进行立体匹配；
11、中值滤波模块11，用于对来自sgbm模块10的数据进行滤波后写入外挂存储模块；
12、基于多传感器数据同步采集装置的多传感器数据同步采集方法的过程如下：
13、s1、主控芯片2启动，在arm端4从外挂存储模块里按首地址划分五个区域作为vdma0～vdma4，对vdma0～vdma4进行初始化，并写相应的配置寄存器设定各自的工作模式，将通过外部标定得到的像素重映射地址写入vdma2、vdma3并供畸变校正模块9使用，vdma0、vdma1用于储存经mipi解析模块8解析后的左右目灰度图像，vdma4用于储存经中值滤波模块11滤波后的结果图像，设置并启用关于vdma0的中断；
14、s2、图像传感器5启动，接收来自主控芯片2的复位信号，并通过iic协议与主控芯片2的进行通讯将内部寄存器进行配置，进入等待触发模式；
15、s3、惯性测量单元6启动，通过spi协议与主控芯片2通讯，进行初始化后配置相应的寄存器进入指定工作模式，等待主控芯片2的采样触发脉冲，该采样触发脉冲同时作为图像传感器5的触发脉冲；
16、s4、显示器7启动并与硬件设备载板1相连，将vdma4内的图像数据实时输送到显示器7进行显示；
17、s5、主控芯片2发出触发脉冲，触发惯性测量单元6采集2ms内的数据并存于主控芯片2的arm端4，惯性测量单元6完成数据采集后主控芯片2将采集的数据进行滤波处理得到贴近真实值的测量数据，同样的触发脉冲还触发图像传感器5采集一帧数据，经过fpga端3的mipi解析模块8解析得到图像数据存入vdma0和vdma1，当vdma0内存入的数据达到指定行数阈值时，触发中断；
18、s6、fpga端3的畸变校正模块9接收到来自vdma0的中断信号后，将vdma2、vdma3的重映射像素地址读出，并按照该地址将vdma0、vdma1的图像数据读出，完成像素重映射，实现图像畸变校正；
19、s7、fpga端3的sgbm模块10从左右目的畸变校正模块9输出第一个数据后开始工作，sgbm模块10将输入的数据进行立体匹配得到视差结果并输出；
20、s8、fpga端3的中值滤波模块11将sgbm模块10的结果进行滤波，滤波结果输入到vdma4，通过显示器7进行显示。
21、进一步地，整个工程所用资源：lut(查找表)为40912、lutram(分布式ram)为1236、ff(触发器)为59121、bram(block ram)为44、uram(ultraram)为5，任何满足上述资源的zynq板卡均可以实现本装置所用的环境深度感知方法。
22、进一步地，mipi解析模块8是是xilinx的mipi csi-2rx subsystemip解决方案，mipi是一种行业标准接口，解析是将电信号转换为图像数据，解析后的图像数据存入vdma0和vdma1。
23、进一步地，关于像素的重映射地址，即vdma2、vdma3存放的内容来源。用matlab工具箱对双目相机进行标定后可以获得相应的内外参矩阵以及右目相机相对于左目相机的旋转平移向量，由相应的内外参矩阵以及右目相机相对于左目相机的旋转平移向量可以得到像素的重映射地址，并在程序开始后把它放入vdma2和vdma3。
24本文档来自技高网...
【技术保护点】
1.一种基于ZYNQ的实时环境深度感知装置，其特征在于，所述实时环境深度感知装置包括硬件设备载板(1)和多种硬件设备，硬件设备载板(1)由电路板构成，用于集成多种硬件设备；
2.根据权利要求1中所述的基于ZYNQ的实时环境深度感知装置，其特征在于，所述图像传感器(5)通过Mipi协议与主控芯片(2)的FPGA端(3)进行数据传输，图像传感器(5)通过IIC协议与主控芯片(2)的ARM端(4)进行寄存器配置，图像传感器(5)接收来自主控芯片(2)的ARM端(4)的触发信号和复位信号，惯性测量单元(6)与主控芯片(2)的ARM端(4)通过SPI协议进行数据通讯，显示器(7)与主控芯片(2)的ARM端(4)进行数据通讯。
3.根据权利要求1中所述的基于ZYNQ的实时环境深度感知装置，其特征在于，所述Mipi解析模块(8)是Xilinx的MIPI CSI-2RX Subsystem IP解决方案，Mipi是一种行业标准接口，解析是将电信号转换为图像数据，解析后的图像数据存入VDMA0和VDMA1。
4.根据权利要求1中所述的基于ZYNQ的实时环境深度感
5.根据权利要求1中所述的基于ZYNQ的实时环境深度感知装置，其特征在于，所述SGBM模块(10)通过主控芯片(2)的FPGA端(3)以流水线和并行化的处理方式将完成畸变校正的左右目图像进行立体匹配，生成环境的深度图像；工作过程如下：首先对来自畸变校正模块(9)的图像数据进行特征提取操作得到特征值，接着对特征值进行计算得到代价值，接着对各像素点的代价进行聚合计算，将聚合后的最小代价的视差作为最优视差，最后对最优视差进行改进版唯一性检查。
6.根据权利要求1中所述的基于ZYNQ的实时环境深度感知装置，其特征在于，所述流水线处理方式表示FPGA端(3)对图像某一行中某一个像素进行处理后，立即处理同一行的下一个像素点，所述并行化处理方式表示FPGA端(3)同时对左右目图像的各个像素点同时进行处理。
7.根据权利要求5中所述的基于ZYNQ的实时环境深度感知装置，其特征在于，所述改进版唯一性检查表示对最优视差的值和位置进行约束，要求聚合后的最小代价不大于次小代价的四分之三，要求聚合后的最小代价和次小代价的位置相差三个像素点以上。
8.根据权利要求1中所述的基于ZYNQ的实时环境深度感知装置，其特征在于，所述中值滤波模块(11)通过主控芯片(2)的FPGA端(3)对SGBM模块(10)生成的环境深度图进行中值滤波，最后将输入到VDMA4中。
9.根据权利要求1中所述的基于ZYNQ的实时环境深度感知装置，其特征在于，通过主控芯片(2)的ARM端(4)发出触发脉冲，图像传感器(5)接收到该触发脉冲时采集一帧图像并输出，并且ARM端(4)发出触发脉冲后通过SPI通讯读取惯性测量单元数据，实现图像数据和惯性测量单元数据的同步。
...【技术特征摘要】
1.一种基于zynq的实时环境深度感知装置，其特征在于，所述实时环境深度感知装置包括硬件设备载板(1)和多种硬件设备，硬件设备载板(1)由电路板构成，用于集成多种硬件设备；
2.根据权利要求1中所述的基于zynq的实时环境深度感知装置，其特征在于，所述图像传感器(5)通过mipi协议与主控芯片(2)的fpga端(3)进行数据传输，图像传感器(5)通过iic协议与主控芯片(2)的arm端(4)进行寄存器配置，图像传感器(5)接收来自主控芯片(2)的arm端(4)的触发信号和复位信号，惯性测量单元(6)与主控芯片(2)的arm端(4)通过spi协议进行数据通讯，显示器(7)与主控芯片(2)的arm端(4)进行数据通讯。
3.根据权利要求1中所述的基于zynq的实时环境深度感知装置，其特征在于，所述mipi解析模块(8)是xilinx的mipi csi-2rx subsystem ip解决方案，mipi是一种行业标准接口，解析是将电信号转换为图像数据，解析后的图像数据存入vdma0和vdma1。
4.根据权利要求1中所述的基于zynq的实时环境深度感知装置，其特征在于，所述畸变校正模块(9)通过主控芯片(2)的fpga端(3)读取存放在vdma2、vdma3的重映射像素地址，并按照重映射像素地址去读存放在vdma0和vdma1里的原始图像数据完成重映射实现图像去畸变。
5.根据权利要求1中所述的基于zynq的实时环境深度感知装置，其特征在于，所述sgbm模块(10)通过主控芯片(2)的fpg...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。