一种基于ZYNQ的图像实时显示系统技术方案

本发明专利技术属于图像处理及计算机视觉领域，具体涉及一种基于ZYNQ的图像实时显示系统，包括：CMOS摄像头、SPI总线控制模块、block design系统和显示器，所述的block design系统外接CMOS摄像头和显示器；将CMOS摄像头获取的原始图像输入进block design系统进行图像处理，处理后发送给显示器完成图像显示；本发明专利技术通过PS端结合FPGA并行处理的优势采用流水线结构，提高数据处理和传输的效率；通过流水线结构中的灰度世界算法模块，解决颜色偏差的问题；根据AXI时序自主设计了PS端和PL端的数据交互模块，进一步提高数据传输的速率和稳定性。性。性。

【技术实现步骤摘要】
一种基于ZYNQ的图像实时显示系统


[0001]本专利技术属于图像处理及计算机视觉领域，具体涉及一种基于ZYNQ的图像实时显示系统。

技术介绍

[0002]ZYNQ
‑
7000是Xilinx推出的可编程片上系统开发平台，它的本质特征，是组合了一个高性能双核ARM Cortex
‑
A9处理器和一个传统的可编程逻辑门阵列(Field Programmable Gate Array,FPGA)逻辑部件。其中，双核ARM处理器是处理系统(Processing Pystem，PS)的核心，FPGA逻辑单元和DSP资源是可编程逻辑(Programmable Logic，PL)的核心。该开发平台上PS和PL的交互通过AXI(Advanced eXtensible Interface)总线完成互联，实现数据的高速交互。可编程片上系统开发平台不仅具有ASIC在能耗、性能和兼容性方面的优势，而且具有FPGA硬件可编程性的优点。目前，可编程片上系统开发平台在嵌入式图像处理中应用广泛，能满足实时性的需求。
[0003]随着图像质量的不断提高，图像采集、处理、传输和实时显示所操作的数据量成倍增加，导致图像传输速度缓慢，且在图像实时显示常伴随着图像撕裂、颜色偏差的问题。如果使用单一的ARM处理器来解决，其串行处理架构降低了图像的处理速度，如果使用DSP+FPGA的方式，则增加了开发难度和成本。
[0004]终上所述，现有技术问题是：随着图像质量的不断提高，图像采集、处理、传输和实时显示所操作的数据量成倍增加，导致图像传输速度缓慢，且在图像实时显示常伴随着图像撕裂、颜色偏差的问题。

技术实现思路

[0005]为了解决上述技术问题，本专利技术提供一种基于ZYNQ的图像实时显示系统，包括：CMOS摄像头、SPI总线控制模块、block design系统和显示器，所述block design系统外接CMOS摄像头和显示器；所述SPI总线控制模块连接CMOS摄像头；
[0006]所述block design系统包括6个IP模块：图像解析和转换模块、灰度处理模块、数据写入内存模块、数据读出内存模块、VGA控制模块、HDMI发送模块；
[0007]所述SPI总线控制模块通过SPI总线对CMOS摄像头初始化和CMOS摄像头内置寄存器配置，得到CMOS摄像头采集的原始图像帧率为30hz，大小为1920x1080，格式为bayer格式；
[0008]所述图像解析和转换模块提取CMOS摄像头采集的原始图像的每一帧并解析出图像的场同步信号和行同步信号，通过场同步信号和行同步信号使用插值的方法把图像转换为RGB888格式；
[0009]所述灰度处理模块通过对每一帧图像的三原色进行白平衡处理，得到处理后的图像；
[0010]所述数据写入内存模块通过AXI4总线向DDR3 SDRAM内存中写入处理后的图像数
据，并通过异步FIFO临时缓存图像；
[0011]所述数据读出内存模块通过AXI4总线读出DDR3 SDRAM内存临时缓存的图像；
[0012]所述VGA控制模块通过VGA时序对数据读出内存模块读出的图像进行扫描和同步，然后把同步后的数据发送给HDMI发送模块；
[0013]所述HDMI发送模块对经过VGA控制模块同步后的数据进行编码、直流平衡和串并转换处理，将处理后的图像发送给显示器完成图像显示。
[0014]优选的，图像解析和转换模块包括：状态机和行列计数器，且图像解析和转换模块分为图像解析和图像转换两个部分，图像解析部分通过状态机解析CMOS摄像头中传感器采集的原始图像有效显示的像数，得到行同步信号、场同步信号以及三原色，通过行列计数器对每个像素精准计数，精准控制每个像素；图像转换部分把解析后的图像bayer格式转换为用于显示器显示的RGB888图像格式。
[0015]进一步的，CMOS摄像头采集到的bayer格式的原始图像在1920x1080大小的有效显示区域外预留8圈边缘像素，有效显示区域外的8圈边缘像素用于对采集到的原始图像进行图像增强处理，采用3x3插值的方法在有效显示区域外的边缘像素扩展一圈边缘像素，得到将bayer格式的原始图像转换为用于显示器显示的RGB888格式的图像。
[0016]优选的，灰度世界算法模块对转换后的图像做进一步的处理，具体为：通过行同步信号和场同步信号对扩展区域进行像素检测，设置三个累加器并清零，每个累加器对应一个原色通道，当扩展区域的图像数据能用于图像有效显示时，三个累加器分别对图像的一帧图像的三原色的一个通道数值进行累加，累加数据除以1920x1080得到每个通道的平均值，进行新一帧图像的白平衡处理，并对三个通道进行合并，重复上述操作直到图像的每一帧都完成白平衡处理。
[0017]优选的，数据写入内存模块和数据读出内存模块基于ZYNQ的高性能接口HP构建，HP口遵循AXI协议，通过添加一个FIFO缓存数据写入内存模块写入出的数据，数据读出内存模块读取FIFO缓存的数据，当FIFO中缓存的图像数据不足一行时，启动AXI总线读取DDR3中的数据填充FIFO。
[0018]优选的，数据写入内存模块和数据读出内存模块所访问的内存空间划分为大小相同的区域A和区域B，且区域A和区域B是连续的，在数据的源端引入一个标志信号，当标志信号为高电平时，读取区域A中的图像数据，同时向区域B写入读取的图像数据，当标志信号为低电平时，读取区域B中的图像数据，同时向区域A写入读取的图像数据。
[0019]优选的，VGA控制模块对读出的图像数据进行扫描和同步，更改图像数据参数为1920x1080@60hz，输出图像数据至HDMI发送模块。
[0020]优选的，HDMI发送模块接收到VGA控制模块的输出的图像数据，分别对数据进行8b转10b编码、直流平衡和并串转换，输出至具有HDMI接口的显示器。
[0021]优选的，设置FIFO写端口的时钟和AXI总线的同步时钟一致，读端口的时钟和VGA控制模块的驱动时钟148.5mhz保持一致，保证该FIFO的填充效率大于VGA控制模块读取的效率，使得图像能够实时显示。
[0022]本专利技术的有益效果：
[0023]1).采用软硬件协同的设计方法，PS端完成摄像头的初始化和寄存器配置，PL端结合FPGA并行处理的优势采用流水线结构，提高数据处理和传输的效率；
[0024]2).通过图像格式转化在流水线结构的图像解析和转化模块中完成，避免在摄像头内部完成转化时导致采集帧率变慢；
[0025]3).采用流水线结构中的灰度世界算法模块，为颜色偏差的问题提供了解决方案；
[0026]4).通过ZYNQ系统中的高性能接口高速访问PS端内存DDR3 SDRAM，并根据AXI时序自主设计了PS端和PL端的数据交互模块，进一步提高数据传输的速率和稳定性。
附图说明
[0027]图1为本专利技术图像实时显示系统的整体框架图；...

【技术保护点】

【技术特征摘要】
1.一种基于ZYNQ的图像实时显示系统，其特征在于，包括：CMOS摄像头、SPI总线控制模块、block design系统和显示器，所述block design系统外接CMOS摄像头和显示器；所述SPI总线控制模块连接CMOS摄像头；所述block design系统包括6个IP模块：图像解析和转换模块、灰度处理模块、数据写入内存模块、数据读出内存模块、VGA控制模块、HDMI发送模块；所述SPI总线控制模块通过SPI总线对CMOS摄像头初始化和CMOS摄像头内置寄存器配置，得到CMOS摄像头采集的原始图像帧率为30hz，大小为1920x1080，格式为bayer格式；所述图像解析和转换模块提取CMOS摄像头采集的原始图像的每一帧并解析出图像的场同步信号和行同步信号，通过场同步信号和行同步信号使用插值的方法把图像转换为RGB888格式；所述灰度处理模块通过对每一帧图像的三原色进行白平衡处理，得到处理后的图像；所述数据写入内存模块通过AXI4总线向DDR3 SDRAM内存中写入处理后的图像数据，并通过异步FIFO临时缓存图像；所述数据读出内存模块通过AXI4总线读出DDR3 SDRAM内存临时缓存的图像；所述VGA控制模块通过VGA时序对数据读出内存模块读出的图像进行扫描和同步，然后把同步后的数据发送给HDMI发送模块；所述HDMI发送模块对经过VGA控制模块同步后的数据进行编码、直流平衡和串并转换处理，将处理后的图像发送给显示器完成图像显示。2.根据权利要求1所述的一种基于ZYNQ的图像实时显示系统，其特征在于，图像解析和转换模块包括：状态机和行列计数器，且图像解析和转换模块分为图像解析和图像转换两个部分，图像解析部分通过状态机解析CMOS摄像头中传感器采集的原始图像有效显示的像数，得到行同步信号和场同步信号，通过行列计数器对每个像素精准计数，精准控制每个像素；图像转换部分把解析后的图像bayer格式转换为用于显示器显示的RGB888图像格式。3.根据权利要求2所述的一种基于ZYNQ的图像实时显示系统，其特征在于，CMOS摄像头采集到的bayer格式的原始图像在1920x1080大小的有效显示区域外预留8圈边缘像素，有效显示区域外的8圈边缘像素用于对采集到的原始图像进行图像增强处理，采用3x3插值的方法在有效显示区域外的边缘像素扩展一圈边...

【专利技术属性】
技术研发人员：陈磊，葛大勇，彭析竹，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：