一种基于FPGA的数字图像采集方法和装置制造方法及图纸

本发明专利技术提供一种基于FPGA的图像处理方法，属于图像处理领域，所述的图像处理方法包括图像采集步骤、FPGA主控设计步骤、图像存储步骤、图像输出步骤，图像采集步骤用以对图像信号的捕捉，以产生原始RGB数据，FPGA主控设计步骤对原产RGB图像处理运算并且控制各个外设模块工作状态，以产生新的RGB数据，图像存储步骤对产生的RGB数据进行存储，为显示模块填充FIFO，图像输出步骤，以RGB数据为基准转换成TMDS信号进行输出；整体系统利用ZYNQ的流水线处理和AXI4协议，降低整体系统延迟、设计复杂度和成本。本。本。

【技术实现步骤摘要】
一种基于FPGA的数字图像采集方法和装置


[0001]本专利技术属于数字图像处理领域，涉及到一种实时硬件采集系统，特别涉及基于FPGA的硬件图像采集处理方法。

技术介绍

[0002]随着计算机硬件的快速发展，数字图像早已进入日常生活中。不管是消费电子，智能家居，还是工业医疗等各个领域，都已经离不开数字图像处理。
[0003]人们对实时图像质量的要求越来越高。而高清实时性图像的质量越好，所需要的数据量也越大，处理难度也就越大。现有数字图像采集系统基本能实现目标显像，但也存在图像数据存取速度低、系统耗费资源大、体积较大、系统内部逻辑或控制算法复杂度高、设计系统外部接口通用性较低等情况。如使用DSP作为主控模块则成本较高，DSP硬件设计一旦确定后不能修改、灵活性不足、不容易进行维护等缺点。为了实现图像处理多任务和实时性，嵌入式图像采集处理器逐渐由单核转变为由ARM核、DSP核以及加速辅助处理器集成的多核。根据不同的图像采集处理任务，指派擅长该任务的核心去处理。在实现多任务并行处理时，这个异构集成的处理器先将每一帧图像存储到内存后再读取图像进行处理，因此，系统会存在滞后一帧图像的状况，从而不满足实时性处理的要求。如何降低处理时的延迟是本领域的重要技术课题之一。
[0004]FPGA与前面两种处理器相比有较大的优势，FPGA可以实现所有的数字电路以及可以根据客户需求来定制自己所需的数字处理模块。同时FPGA具有视频像素多级流水、并行处理特性，图像数据采集和处理可以同步进行，不需要先采集一帧再处理，图像处理滞后的延时更短。因此，FPGA能够精确灵活控制图像处理时长，满足图像采集的处理时间要求确定性高的应用场景。

技术实现思路

[0005]本专利技术提供一种基于FPGA的数字图像采集方法和装置，以降低图像在采集处理过程中的延迟。
[0006]在根据本公开的实施例中，所述FPGA的数字图像采集方法和装置包括图像采集装置、FPGA主控装置、图像存储装置、图像输出装置。图像采集装置采用CMOS OV5640图像传感器，采用通信总线类似IIC，具有SCCB接口的相机模组，将电信息所承载的图像信息准确地呈现出来。FPGA主控装置采用Xilinx Zynq
‑
7000系列芯片为核心，实现相机输入数据格式的转换，DDR读写控制以及HDMI显示等模块逻辑设计。图像存储模块采用Hynix公司DDR3SDRAM型号的H5TQ4G63AFR
‑
PBC芯片对采集到的图像数据进行存储。图像输出装置采用RGB数据转成TMDS数据再应用差分方式通过HDMI发送端输出，完成图像采集和显示系统的搭建。
[0007]在根据本公开的实施例中，所述的FPGA的数字图像采集方法包括：图像采集模块、FPGA主控模块、图像处理模块、图像输出模块。图像采集模块将采集到的图像信息转化成
1280
×
720 30fps的图像信号，通过SCCB总线传入Zynq
‑
7000芯片的PS端。FPGA主控模块，它主要是用来进行图像数据的存储与发送、数据处理，对于较复杂的计算过程采用流水线设计方法来提升运算速度。图像处理模块将从图像传感器读出的图像数据进行白平衡、色彩矫正、伽马矫正等处理将视频数据送入DDR3存储器中。图像输出模块将输出缓冲区的数据通过并行编码转换成HDMI可输出的数据送入显示端。
[0008]基于上述，本公开诸实施例所述的图像数据采集、处理、显示等功能通过FPGA的流水线操作，使得降低图像处理的延迟时间。因为数据FPGA内部并行处理，所以数字图像处理的过程中实时性有明显提升。
附图说明
[0009]图1是依照本公开的一实施例的系统整体框架示意图；
[0010]图2是依照本公开的一实施例的系统数字图像处理流程示意图；
[0011]图3是依照本公开的一实施例的图像数据通过DMA写入DDR3示意图；
[0012]图4是依照本公开的一实施例的图像数据通过DMA从DDR3读出到HDMI驱动示意图；
[0013]图5是依照本公开的一实施例的图像数据发送示意图。
具体实施方式
[0014]现将详细地参考本公开的示范性实施例，示范性实施例的实例说明于附图中。只要有可能，相同组件符号在附图和描述中就可以用来表示相同或相似部分。下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
[0015]如图1所示，本专利技术的一种基于FPGA的图像处理系统，本系统由信号为xc7z020clg400的FPGA芯片、COMS OV5640图像传感器、显示器构成的采集显示系统。其中前段有输出图像分辨率为1280
×
720(720p)的模拟感光矩阵，经过A/D处理和A/D转换(ADC)后，模拟信号转换为数字信号。后端经过数字处理后输出符合AXI4协议标准的图像数据，本专利技术是RGB565转换成RGB888。在FPGA内部，采集到的图像数据先通过一个FIFO，将原本与25MHz时钟同步的数据流转换成与FPGA内部100MHz同步。接着将这个数据再送入写DDR3缓存的异步FIFO中，数据一旦达到一定数量，就会通过DDR3控制器IP，将数据写入DDR3内存中。与此同时，使用异步的AXI_RD_FIFO缓存DDR3中读出图像数据；HDMI驱动模块不断地发出读图像数据的请求给到这个FIFO，从中读取图像数据并处理送给显示器显示。
[0016]如图2所示，系统的数字图像处理流程，COMS传感器阵列采集的图像是由一行RGRG...和一行BGBG
…
交错排列而成的Bayer图像排列，根据计算所需，建立两个深度为2048
×
8bit的FIFO用于建立3
×
3矩阵，对数据进行双FIFO流水线操作，根据奇偶排列实现RGB各个分量的差值运算。运算公式如下：
[0017][0018]其中R
11
中的数字代表1行1列以此类推，相关RGB数据按照位置计算其对应的值。编写Verilog文件后添加到硬件设计中进行数据的运算，得到完整的RGB数据后，为了让人眼看到的图片信息更加符合人类的视觉习惯，所得到的数据再经过伽马(Gamma)矫正处理，本专利技术中Gamma值选取为2.2所以计算公式如下：
[0019][0020]其中V
in
是原始像素值，V
out
是映射后的像素值。在Matlab中编辑完成公式后生成脚本文件gamma.m用于生成Gamma矫正数据，这256个点的数据以Vivado中可用的ROM初始化文件形式保存下来。上一个模块产生的RGB数据被Gamma模块读取再产生新的图像数据。为了图像数据显示出来有更精准的白色，插入白平衡处理模块去本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于FPGA的数字图像采集方法和装置，其特征在于，所述的采集方法和装置包括：图像采集装置，用以对图像的采集和信号的产生，将采集到的模拟信号转换成数字图像数据传送至FPGA内尽心运算处理；图像运算方法，对所述数字图像数据经运算产生新的数据传送至存储芯片以便数据读取显示；图像输出装置，对所述经运算产生的新图像数据进行串转并操作令数据转换成可输出的模式。2.根据权利要求1所述的FPGA的数字图像采集方法和装置，其特征在于，所述图像采集装置包括：CMOS OV5640图像传感器，采用通信总线IIC，具有SCCB接口的相机模组，将...

【专利技术属性】
技术研发人员：孙宏宇，范星格，雷天阳，
申请(专利权)人：成都理工大学，
类型：发明
国别省市：