一种双目感知系统技术方案

本实用新型专利技术公开了一种双目感知系统，包括双目摄像头模块和Zynq UltraScale+MPSoC，双目摄像头模块包括两个摄像头芯片，摄像头芯片工作在外触发模式；Zynq UltraScale+MPSoC具有PL部分和PS部分，PL部分包括MIPI CSI模块、自定义IP模块和连接自定义IP模块的VDMA模块，摄像头芯片通过MIPI CSI模块连接自定义IP模块；PS部分包括DDR4模块和Linux内核及文件系统生成模块，VDMA模块连接DDR4模块；Linux内核及文件系统生成模块连接DDR4模块。本实用新型专利技术可应用于对算力和功耗有要求的嵌入式系统，在进行双目感知时可以有效实现硬件加速。

【技术实现步骤摘要】
一种双目感知系统
本技术涉及立体视觉和嵌入式系统设计
，特别涉及一种双目感知系统。
技术介绍
立体视觉是计算机视觉领域的一个重要课题，它的目的在于通过双目感知重构场景的三维几何信息。立体视觉广泛应用于机器人技术之中，通常对硬件有特定的选择，比如，当立体视觉应用于移动场景例如无人机及无人驾驶中，由于场景快速移动，卷帘相机拍摄图像会有模糊，选择全局曝光摄像头很有必要。立体匹配是立体视觉中的关键一环，相机硬件同步触发可以很大程度上减少误匹配。在嵌入式系统中，还要特别考虑硬件的重量和功耗，尽量选择小封装的芯片型号。另外，由于立体视觉的相关算法复杂，计算量大，对硬件处理速度也有一定的要求，如何提高硬件的处理速度也一直是立体视觉的研究课题。目前，在PC端上用CPU作为处理器的立体视觉研究有些并不适用于嵌入式系统，主流的技术方案是选择GPU或者FPGA平台来实现。国内外研究机构已经对立体视觉一些常用算法在FPGA上的实现展开了广泛的研究，其中不乏使用Xilinx公司的Zynq系列SoC作为主芯片，它可降低传统技术上FPGA和移动CPU的信息交互代价，并且更加轻便和小封装，非常适用于现在的嵌入式处理平台。
技术实现思路
本技术的目的在于克服现有技术的缺点与不足，提供一种双目感知系统，该系统可应用于对算力和功耗有要求的嵌入式系统，在进行双目感知时可以有效实现硬件加速，适用于实时性要求高的场景。本技术的目的通过下述技术方案实现：一种双目感知系统，包括：双目摄像头模块和ZynqUltraScale+MPSoC，其中，双目摄像头模块包括两个摄像头芯片，摄像头芯片工作在外触发模式；ZynqUltraScale+MPSoC具有PL部分和PS部分，PL部分包括MIPICSI模块、自定义IP模块和连接自定义IP模块的VDMA模块，摄像头芯片通过MIPICSI模块连接自定义IP模块，并将其采集到的实时双目图像发送给自定义IP模块，自定义IP模块输出实时视差图；PS部分包括DDR4模块和Linux内核及文件系统生成模块，VDMA模块连接DDR4模块，并将实时视差图发送给DDR4模块；Linux内核及文件系统生成模块连接DDR4模块，并且生成用于管理DDR4模块中图像缓存的Linux内核和文件系统。优选的，自定义IP模块包括图像校正模块和立体匹配模块，MIPICSI模块连接图像校正模块，并将实时双目图像发送给图像校正模块，立体匹配模块连接图像校正模块并且输出实时视差图；VDMA模块包括第一VDMA模块和第二VDMA模块，图像校正模块的输出端连接第一VDMA模块，立体匹配模块的输出端连接第二VDMA模块。更进一步的，双目摄像头模块通过Matlab标定工具箱得到摄像头参数，摄像头参数包括相机内参矩阵和畸变系数；双目摄像头模块通过VivadoHLS工具生成图像校正模块的图像校正IP和立体匹配模块的立体匹配IP。更进一步的，VivadoHLS工具具有hls_video.h和hls_opencv.h文件，其中，hls_video.h文件内具有用于转换视频流格式的AXIvideo2Mat函数和Mat2AXIvideo函数，hls_opencv.h文件内具有用于显示视频流的IplImage2AXIvideo函数和AXIvideo2IplImage函数。优选的，MIPICSI模块为Xilinx-MIPICSI-2RxSubsystem模块，并且Xilinx-MIPICSI-2RxSubsystem模块具有MIPICSI接口；双目摄像头模块采用MIPI作为输出接口，MIPI输出接口连接对应的MIPICSI接口；每个摄像头芯片具有外触发引脚，并且两个摄像头芯片的外触发引脚连接至PL部分的同一个引脚。优选的，VDMA模块为Xilinx-VDMAIP模块；Linux内核及文件系统生成模块为Xilinx-Petalinux模块。优选的，双目摄像头模块的选型要求为：采用全局曝光方式、采用小封装和具有外触发模式。优选的，摄像头芯片为AR0144CMOS芯片。优选的，ZynqUltraScale+MPSoC还包括HDMI显示模块，HDMI显示模块连接PL模块的自定义IP模块。本技术相对于现有技术具有如下的优点及效果：(1)本技术双目感知系统，包括双目摄像头模块和ZynqUltraScale+MPSoC，其中，双目摄像头模块包括两个摄像头芯片，摄像头芯片工作在外触发模式；ZynqUltraScale+MPSoC具有PL部分和PS部分，PL部分包括MIPICSI模块、自定义IP模块和连接自定义IP模块的VDMA模块，摄像头芯片通过MIPICSI模块连接自定义IP模块，并将其采集到的实时双目图像发送给自定义IP模块，自定义IP模块输出实时视差图；PS部分包括DDR4模块和Linux内核及文件系统生成模块，VDMA模块连接DDR4模块，并将实时视差图发送给DDR4模块；Linux内核及文件系统生成模块连接DDR4模块，并且生成用于管理DDR4模块中图像缓存的Linux内核和文件系统。本技术系统基于ZynqUltraScale+MPSoC，硬件平台相对于CPU其并行计算能力更强，相对于GPU其能耗更低，因此非常适用于对算力和功耗有要求的嵌入式系统；利用自定义IP模块调用自定义IP来对双目图像的相机校正和双目立体匹配，使得在进行双目感应时能有效实现硬件加速，因此本技术方法适用于实时性要求高的场景。(2)本技术双目感知系统运用VivadoHLS高层次综合，将复杂算法封装成IP核，利用PL资源进行硬件加速，提高了嵌入式系统的实时性。(3)本技术系统将双目摄像头和PL进行同步触发，该硬件同步方案相对于传统软件同步方案，同步效果更好，更能有效降低误匹配，提高立体匹配精度。(4)本技术系统使用摄像头芯片的MIPI接口作为输出接口，相较于传统的DVP接口，其连接引脚更少，传输速率更快。附图说明图1是本技术双目感知系统的结构框图。图2是图1系统中自定义IP模块和VDMA模块的结构框图。具体实施方式下面结合实施例及附图对本技术作进一步详细的描述，但本技术的实施方式不限于此。实施例本实施例公开了一种双目感知系统，如图1所示，包括：双目摄像头模块和ZynqUltraScale+MPSoC。其中，双目摄像头模块包括两个摄像头芯片Camera0、Camera1，摄像头芯片工作在外触发模式，双目摄像头模块采用MIPI作为输出接口。在本实施例中，双目摄像头模块采用全局曝光方式、采用小封装和具有外触发模式。采用全局曝光方式主要是考虑到双目立体视觉应用在移动场景的情况，避免拍摄出来的图像模糊；采用小封装是为了减小硬件的重量和功耗；具有外触发模式是为了便于人为控制双目摄像头的工作状态。每个摄像头芯片具有外触发引脚T本文档来自技高网...

【技术保护点】
1.一种双目感知系统，其特征在于，包括：双目摄像头模块和Zynq UltraScale+MPSoC，其中，/n双目摄像头模块包括两个摄像头芯片，摄像头芯片工作在外触发模式；/nZynq UltraScale+MPSoC具有PL部分和PS部分，PL部分包括MIPI CSI模块、自定义IP模块和连接自定义IP模块的VDMA模块，摄像头芯片通过MIPI CSI模块连接自定义IP模块，并将其采集到的实时双目图像发送给自定义IP模块，自定义IP模块输出实时视差图；/nPS部分包括DDR4模块和Linux内核及文件系统生成模块，VDMA模块连接DDR4模块，并将实时视差图发送给DDR4模块；Linux内核及文件系统生成模块连接DDR4模块，并且生成用于管理DDR4模块中图像缓存的Linux内核和文件系统。/n

【技术特征摘要】
1.一种双目感知系统，其特征在于，包括：双目摄像头模块和ZynqUltraScale+MPSoC，其中，
双目摄像头模块包括两个摄像头芯片，摄像头芯片工作在外触发模式；
ZynqUltraScale+MPSoC具有PL部分和PS部分，PL部分包括MIPICSI模块、自定义IP模块和连接自定义IP模块的VDMA模块，摄像头芯片通过MIPICSI模块连接自定义IP模块，并将其采集到的实时双目图像发送给自定义IP模块，自定义IP模块输出实时视差图；
PS部分包括DDR4模块和Linux内核及文件系统生成模块，VDMA模块连接DDR4模块，并将实时视差图发送给DDR4模块；Linux内核及文件系统生成模块连接DDR4模块，并且生成用于管理DDR4模块中图像缓存的Linux内核和文件系统。


2.根据权利要求1所述的双目感知系统，其特征在于，自定义IP模块包括图像校正模块和立体匹配模块，MIPICSI模块连接图像校正模块，并将实时双目图像发送给图像校正模块，立体匹配模块连接图像校正模块并且输出实时视差图；
VDMA模块包括第一VDMA模块和第二VDMA模块，图像校正模块的输出端连接第一VDMA模块，立体匹配模块的输出端连接第二VDMA模块。


3.根据权利要求2所述的双目感知系统，其特征在于，双目摄像头模块通过Matlab标定工具箱得到...

【专利技术属性】
技术研发人员：裴海龙，杨鑫，
申请(专利权)人：华南理工大学，
类型：新型
国别省市：广东;44