一种用于CMV4000相机的图像采集与处理系统技术方案

本发明专利技术公开了一种用于CMV4000相机的图像采集与处理系统，包括：相机配置模块、PL端图像处理模块、PS端图像处理模块和存储模块。相机配置模块对CMV4000相机的寄存器进行配置，使得相机进行拍摄工作。PL端图像处理模块接收图像数据进行图像处理，进而送入存储模块。PS端图像处理模块用于运行Linux系统，以控制相机配置模块和PL端图像处理模块。集成了FPGA逻辑资源，相机图像数据转接和RGB图像插值的功能，完成了TPG桥梁、Gamma校正、颜色空间转换、图像写入DDR等，FPGA可以并行执行算法，提高了图像处理的速度。本发明专利技术Zynq PS端不介入图像处理时，能实现高分辨率图像地采集和传输速度可达30fps，满足高分辨率和实时性要求，当PS端Linux系统运行图像锐化程序时，仍保持一定的实时性。实时性。实时性。

An image acquisition and processing system for cmv4000 camera

【技术实现步骤摘要】
一种用于CMV4000相机的图像采集与处理系统


[0001]本专利技术属于图像处理领域，尤其涉及一种用于CMV4000相机的图像采集与处理系统。

技术介绍

[0002]在航空航天、工业控制、智慧城市、抢险救灾等领域，图像采集与图像处理技术都有广泛的应用，在这些领域中，对图像的清晰度和图像处理的速度要求较高。图像采集系统往往需要在狭小空间和恶劣环境中工作，装置的体积受到限制，因此通常采用嵌入式方案，受限于嵌入式系统的性能，如何在采集高分辨率图像与实时性图像处理之间取得平衡是目前实际应用中面临的难题。
[0003]CMV4000是CMOSIS公司的一款高速CMOS图像传感器，输出图像为RGB Bayer格式，图像最高分辨率可达2048
×
2048，最高帧率可达180fps，用户可以通过标准SPI接口对传感器寄存器进行配置，控制相机的分辨率、输出方式、曝光模式和时间等参数。
[0004]Zynq UltraScale+MPSoC系列芯片是Xilinx公司推出的第二代Zynq平台，与上一代相比，芯片的PS(Processing System)端集成了64位四核ARM Cortex
‑
A53处理器,可以运行ARM Linux系统，芯片的PL(Programmable Logic)端拥有丰富的兼具高灵活度与高性能的FPGA逻辑资源，还包含H.264视频编解码模块VCU(Video Codec Unit)硬核与100Gb以太网控制器，PS端与PL端通过内部高速总线(AXI)连接，这种Zynq架构既保留了传统CPU的通用性，又具有FPGA的灵活性和高性能的优点。在实际应用中，仅需要单个Zynq芯片结合少量外部器件，即可完成CMV4000相机图像数据的图像采集、软硬件协同图像处理、视频压缩和转发等工作。

技术实现思路

[0005]本专利技术的技术目的是提供一种用于CMV4000相机的图像采集与处理系统，以解决如何高分辨率采集，以及如何实时完成图像处理和视频压缩转发问题。
[0006]为解决上述问题，本专利技术的技术方案为：
[0007]一种用于CMV4000相机的图像采集与处理系统，包括：相机配置模块、PL端图像处理模块、PS端图像处理模块和存储模块；
[0008]相机配置模块分别与PS端图像处理模块和CMV4000相机信号连接，受控于PS端图像处理模块接收配置信号对CMV4000相机的寄存器进行配置，使得CMV4000相机进行拍摄工作；
[0009]PL端图像处理模块分别与CMV4000相机、存储模块和PS端图像处理模块信号连接，受控于PS端图像处理模块从CMV4000相机接收图像数据进行图像处理，进而送入存储模块；
[0010]PS端图像处理模块用于运行Linux系统，以控制相机配置模块和PL端图像处理模块。
[0011]具体地，相机配置模块设有SPI接口、控制接口；
[0012]相机配置模块SPI接口与PS端图像处理模块信号连接，用于接收相机配置信号，相机配置模块SPI接口与CMV4000相机的SPI接口信号连接，用于对相机的寄存器进行配置；
[0013]相机配置模块控制接口与PS端图像处理模块信号连接，用于接收PS端控制命令，对SPI接口进行配置。
[0014]具体地，PL端图像处理模块包括LVDS图像信号转接模块、RGB图像插值模块、TPG桥梁模块、Gamma校正模块、颜色空间转换模块和图像写入模块；
[0015]LVDS图像信号转接模块与CMV4000相机信号连接，用于并行接收CMV4000相机输出的8通道LVDS信号并在RAM中存储为RGB Bayer格式数据图像；
[0016]RGB图像插值模块与LVDS图像信号转接模块信号连接，用于读取RGB Bayer格式图像数据，通过插值转化为RGB格式数据图像，将RGB格式数据发送至下一模块；
[0017]TPG桥梁模块与RGB图像插值模块信号连接，用于接收RGB格式数据图像，为PS端图像处理模块提供图像数据源；
[0018]Gamma校正模块与TPG桥梁模块信号连接，用于接收RGB格式数据图像进行Gamma校正；
[0019]颜色空间转换模块与Gamma校正模块信号连接，用于接收Gamma校正后的RGB格式数据图像并转化为YCrBr颜色空间的NV12格式数据图像，或接收后不进行任何操作；
[0020]图像写入模块用于接收RGB格式数据图像或NV12格式数据图像写入存储模块存储。
[0021]进一步优选地，PS端图像处理模块还与存储模块信号连接，用于获取保存于存储模块的图像数据基于OpenCV视觉库进行图像处理，得到结果图像并写回存储模块中。
[0022]进一步优选地，还包括视频压缩模块，
[0023]视频压缩模块与存储模块信号连接，用于接收NV12格式数据图像，进行H.264压缩，得到压缩码流并写回至存储模块。
[0024]进一步优选地，还包括网口转发模块，网口转发模块与PS端图像处理模块信号连接，用于经PS端图像处理模块从存储模块获取压缩码流并转发至外部上位机。
[0025]本专利技术由于采用以上技术方案，使其与现有技术相比具有以下的优点和积极效果：
[0026]1)Zynq芯片集成了FPGA逻辑资源，定制图像处理IP核hdCamTop完成CMV4000相机LVDS图像数据转接和RGB图像插值的功能，其他IP核完成了TPG桥梁、Gamma校正、颜色空间转换、图像写入DDR的功能，FPGA可以并行执行算法，提高了图像处理的速度。
[0027]2)Zynq芯片集成了ARM Cortex
‑
A53处理器，可运行ARM Linux系统，相比于裸机，Linux可以更加便利地驱动Zynq PL端硬件，系统的OpenCV视觉库降低了实现更复杂的图像处理算法的技术门槛。
[0028]3)本专利技术Zynq PS端不介入图像处理时，能实现2048
×
1080分辨率图像地采集和传输速度可达30fps，满足高分辨率和实时性要求，当PS端Linux系统运行图像锐化程序时，速度可以维持15fps，保持一定的实时性。
附图说明
[0029]通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通
技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。
[0030]图1为本专利技术的一种用于CMV4000相机的图像采集与处理系统的功能模块与图像数据传输示意图；
[0031]图2为本专利技术的一种用于CMV4000相机的图像采集与处理系统的总体框架示意图；
[0032]图3为本专利技术的Linux配置CMV4000相机寄存器程序流程图。
具体实施方式
[0033]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对照附图说明本专利技术的具体实施方式。显而易见地，下面描述中的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于CMV4000相机的图像采集与处理系统，其特征在于，包括：相机配置模块、PL端图像处理模块、PS端图像处理模块和存储模块；所述相机配置模块分别与所述PS端图像处理模块和CMV4000相机信号连接，受控于所述PS端图像处理模块接收配置信号对所述CMV4000相机的寄存器进行配置，使得所述CMV4000相机进行拍摄工作；所述PL端图像处理模块分别与所述CMV4000相机、所述存储模块和所述PS端图像处理模块信号连接，受控于所述PS端图像处理模块从所述CMV4000相机接收图像数据进行图像处理，进而送入所述存储模块进行储存；所述PS端图像处理模块用于运行Linux系统，以控制所述相机配置模块和所述PL端图像处理模块。2.根据权利要求1所述的用于CMV4000相机的图像采集与处理系统，其特征在于，所述相机配置模块设有SPI接口、控制接口；所述相机配置模块的所述SPI接口与所述PS端图像处理模块信号连接，用于接收所述配置信号；所述相机配置模块的所述SPI接口与所述CMV4000相机的SPI接口信号连接，用于对所述CMV4000相机的寄存器进行配置；所述相机配置模块的所述控制接口与所述PS端图像处理模块信号连接，用于接收所述PS端图像处理模块的控制命令，对所述SPI接口进行配置。3.根据权利要求1所述的用于CMV4000相机的图像采集与处理系统，其特征在于，所述PL端图像处理模块包括LVDS图像信号转接模块、RGB图像插值模块、TPG桥梁模块、Gamma校正模块、颜色空间转换模块和图像写入模块；所述LVDS图像信号转接模块与所述CMV4000相机信号连接，用于接收所述CMV4000相机输出的8通道LVDS信号并转化为RGB Ba...

【专利技术属性】
技术研发人员：仇男豪，袁杰，刘柯健，赵宝彬，冯书谊，
申请(专利权)人：上海航天电子通讯设备研究所，
类型：发明
国别省市：