System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于ZYNQ的多通道图像采集和处理系统技术方案_技高网

一种基于ZYNQ的多通道图像采集和处理系统技术方案

技术编号:41297318 阅读:3 留言:0更新日期:2024-05-13 14:46
本发明专利技术公开了一种基于ZYNQ的多通道图像采集和处理系统。该系统采用集成了FPGA与ARM的ZYNQ‑7000系列Soc作为主控芯片,采集通道由以太网口和光纤通信口组成,不同通道采集到的视频图像数据存储于DDR3中的不同区域,利用测试上位机发出命令决定读出哪一路视频,读出的视频图像数据经缩放算法处理后通过PCIe通信传输至测试上位机;其中设计了数据写入模块、数据读取模块、图像缩放模块,数据写入模块和数据读取模块用于利用自设计的AXI_DMA核写入和读取视频数据,图像缩放模块用于利用改进的双线性插值算法实现图像缩放。本发明专利技术所设计的系统资源占用小,使用更简单灵活,既能实现对PS端DDR3的读写,又能防止视频传输过程撕裂和视频读写冲突。

【技术实现步骤摘要】

本专利技术涉及图像采集和处理,具体涉及一种基于zynq的多通道图像采集和处理系统。


技术介绍

1、图像采集是图像处理的第一步,图像采集是将模拟图像采集完成后通过设备转换为数字图像的过程,通过计算机对数字图像处理的过程就叫图像处理。在遥感测绘、安防监控、工业仪表、航空航天、医疗影像、机器视觉等领域,图像采集和图像处理有着广泛的应用。比如遥感测绘中对物体的连续定位和测量、安防监控中对违章行为的抓拍和标记、医疗中内窥镜对肿瘤处的实时拍摄等。随着图像信息朝着高帧率、高像素的方向发展,连续高帧率、高像素的图像采集会形成视频流,视频流中所包含的数据量大,所携带的信息带宽高,这就对视频数据的采集、存储和处理的设备带宽有了更高的要求,因此如何实现实时、高速、稳定的传输视频图像数据,并且对采集到的视频图像数据进行实时处理已经成为目前人们越来越关注的课题。同时视频采集的通道数也是一个重点研究对象,比如在视频监控领域,如果监控一路视频,就使用一块采集卡,那么这会带来巨大的成本支出。如果在一块采集卡上实现多路视频的实时采集传输,这会极大的提高视频监控系统的利用效率。

2、传统的传输技术,比如串口、rs485、百兆网等,只能传输数据量少、对传输带宽要求低的数据。对于高帧率、高像素的视频图像传输,需要借助高速接口技术,高速接口技术有pcie总线、光纤、千兆以太网、usb3.0等。千兆以太网通信传输速度快,传输图像数据能实现同步体验不卡顿,具有高带宽、低延迟、稳定性高的优点。光纤通信具有带宽宽、传输容量大、损耗小、抗电磁干扰性能好等优点,能够满足高速数据传输的要求。为了接收光纤通道和千兆以太网通道上的高速图像数据,必须选用高速的数据总线与计算机通信。pcie全称是pci express,它是一种全新的总线接口,相比isa和pci总线,pcie总线速度提升了很多,pcie2.0单通道速率为500mb/s。通过利用千兆以太网通信、光纤通信和pcie总线的优势,来实现多通道高速图像数据采集和传输,具有很大的应用价值。

3、图像处理包括图像增强、压缩、恢复、识别、编码、分割和描述等方面,图像缩放属于图像压缩技术,图像缩放就是改变图像的分辨率,通过缩小图像,可以把高分辨率的图像转换为低分辨率的图像。通过放大图像,就是把低分辨率的图像转换为高分辨率的图像。在实际应用中,图像缩放发挥着不可替代的作用。比如在医疗领域,通过放大拍摄的图像,可以观察到图像的细节部分。在媒体转播领域,通过对图像缩放,可以使图像在不同的分辨率的屏上显示。随着图像朝着高像素的方向发展,人们对图像缩放处理的速度和实时性要求越来越高,如何实现图像缩放处理的实时性,成了一个必须研究的问题。

4、对于图像处理的实现,主要分为软件实现和硬件实现两种方法。通过软件实现图像处理,处理过程需要一定的时间,无法达到实时性要求。通过硬件实现图像处理,主流方案是采用专门的图像处理芯片,但是对于图像的缩放处理,使用图像处理芯片的性价比不高,容易造成资源的浪费。由于可编程逻辑器件的迅速发展,fpga已成为数字逻辑设计的主要实现平台。fpga内部由逻辑门、触发器等组成,因为fpga的逻辑门是以并行的方式工作,所以fpga的运行速度快,可以在较短的时间内完成逻辑运算,相比于cpu串行的方式,fpga具有更快的计算速度,可以优化计算强度较高的应用。因此选择基于fpga实现缩放算法可以满足图像处理的实时性要求。


技术实现思路

1、为此,本专利技术提出一种基于zynq的多通道图像采集和处理系统,该系统包括:

2、数据采集通道,用于通过光纤通信口和以太网口进行视频数据采集;

3、数据写入模块,用于利用axi_dma核将通过光纤通信口采集的视频数据、经图像缩放模块缩放处理后的视频数据写入数据存储模块中;

4、数据读取模块,用于利用axi_dma核读取数据存储模块中存储的未经过缩放处理的视频数据,并将其输出至图像缩放模块;

5、数据存储模块,用于存储经数据写入模块写入的视频数据;

6、图像缩放模块,用于利用改进的双线性插值算法实现图像缩放;

7、通信模块,用于在接收到上位机指令后,将图像缩放模块缩放处理后的视频数据传输到上位机。

8、进一步地,所述系统还包括gtp核通信模块、数据对齐模块、视频数据解析模块,其分别用于从光纤通信口通过gtp核接收和发送视频数据、对接收的视频数据进行数据对齐、把视频数据进行解析并存入fifo中同时恢复视频图像的帧同步信号。

9、进一步地,所述系统还包括视频流形成模块和视频图像数据组包模块,其分别用于测试时将从数据读取模块输出的信号转化为视频流形式输出、将视频流组包发送至gtp核通信模块。

10、进一步地,所述数据写入模块中axi_dma核的写入过程包括:通过数据拼接子模块将视频数据存储于axi写fifo中,当axi写fifo中的数据量大于原始图像一行数据的数据量时,启动axi突发写的进程,当写数据通道形成握手机制时,从axi写fifo中读取数据进行写入;其中,axi写fifo中写数据宽度为64bit,读数据宽度为64bit,数据拼接子模块用于将16bit数据宽度输入转化为64bit输出。

11、进一步地,所述数据写入模块中axi_dma核的写入过程还包括:设计一个帧计数器以对写入的图像帧数做记录,当时钟上升沿检测到帧同步信号所对应的下降沿边缘检测信号为高时,帧计数器加1,加到帧计数器最大值时清零重新开始计数;设计一个写帧偏移地址,当帧同步信号所对应的下降沿边缘检测信号为高时,写帧偏移地址加上一帧原始图像的总字节数,当帧计数器计数到最大值时,写帧偏移地址清零重新开始计数;设计一个单bit跨时域控制子模块,其中调用一个异步fifo端口来实现帧同步信号与axi协议中时钟信号的同步。

12、进一步地,所述数据读取模块中axi_dma核的读取过程包括:当初始化成功信号和读通道使能信号都拉高时,启动axi突发读,同时通过多帧缓存框架对图像数据进行帧缓存;axi突发读过程中读出的数据写入axi读fifo中,当axi读fifo中缓存的数据达到一定量时,拉高通知下一级逻辑模块启动读的信号,以通知外部从axi读fifo读出图像数据;所述多帧缓存框架用于在读取时只读取正在开始写的那帧图像的前一帧图像,所述多帧缓存框架包括:设计一个帧缓存最大值,当帧计数器计数到帧缓存最大值时,帧计数器清零重新开始计数;设计一个读帧偏移地址,其等于当前帧读取图像减去1后再乘以一帧原始图像的总字节数。

13、进一步地,所述图像缩放模块包括图像数据缓冲控制子模块、坐标系数生成子模块、插值计算子模块、fifo控制子模块;其中,所述图像数据缓冲控制子模块设计为:调用4个双端口ram,用于缓存计算目标图像点纵坐标分别为y和y+1两点像素时需要的四行图像数据;每个双端口ram有一个写数据端口,一个读数据端口,从这两个数据端口同时读出相邻两个地址数据。

14、进一步本文档来自技高网...

【技术保护点】

1.一种基于ZYNQ的多通道图像采集和处理系统,其特征在于,包括:

2.根据权利要求1所述的一种基于ZYNQ的多通道图像采集和处理系统,其特征在于,所述系统还包括GTP核通信模块、数据对齐模块、视频数据解析模块,其分别用于从光纤通信口通过GTP核接收和发送视频数据、对接收的视频数据进行数据对齐、把视频数据进行解析并存入FIFO中同时恢复视频图像的帧同步信号。

3.根据权利要求2所述的一种基于ZYNQ的多通道图像采集和处理系统,其特征在于,所述系统还包括视频流形成模块和视频图像数据组包模块,其分别用于测试时将从数据读取模块输出的信号转化为视频流形式输出、将视频流组包发送至GTP核通信模块。

4.根据权利要求1或2所述的一种基于ZYNQ的多通道图像采集和处理系统,其特征在于,所述数据写入模块中利用AXI_DMA核进行写入的过程包括:通过数据拼接子模块将视频数据存储于AXI写FIFO中,当AXI写FIFO中的数据量大于原始图像一行数据的数据量时,启动AXI突发写的进程,当写数据通道形成握手机制时,从AXI写FIFO中读取数据进行写入;其中,AXI写FIFO中写数据宽度为64bit,读数据宽度为64bit,数据拼接子模块用于将16bit数据宽度输入转化为64bit输出。

5.根据权利要求4所述的一种基于ZYNQ的多通道图像采集和处理系统,其特征在于,所述数据写入模块中利用AXI_DMA核进行写入的过程还包括:设计一个帧计数器以对写入的图像帧数做记录,当时钟上升沿检测到帧同步信号所对应的下降沿边缘检测信号为高时,帧计数器加1,加到帧计数器最大值时清零重新开始计数;设计一个写帧偏移地址,当帧同步信号所对应的下降沿边缘检测信号为高时,写帧偏移地址加上一帧原始图像的总字节数,当帧计数器计数到最大值时,写帧偏移地址清零重新开始计数;设计一个单bit跨时域控制子模块,其中调用一个异步FIFO端口来实现帧同步信号与AXI协议中时钟信号的同步。

6.根据权利要求1或2所述的一种基于ZYNQ的多通道图像采集和处理系统,其特征在于,所述数据读取模块中利用AXI_DMA核进行读取的过程包括:当初始化成功信号和读通道使能信号都拉高时,启动AXI突发读,同时通过多帧缓存框架对图像数据进行帧缓存;AXI突发读过程中读出的数据写入AXI读FIFO中,当AXI读FIFO中缓存的数据达到一定量时,拉高通知下一级逻辑模块启动读的信号,以通知外部从AXI读FIFO读出图像数据;所述多帧缓存框架用于在读取时只读取正在开始写的那帧图像的前一帧图像,所述多帧缓存框架包括:设计一个帧缓存最大值,当帧计数器计数到帧缓存最大值时,帧计数器清零重新开始计数;设计一个读帧偏移地址,其等于当前帧读取图像减去1后再乘以一帧原始图像的总字节数。

7.根据权利要求1或2所述的一种基于ZYNQ的多通道图像采集和处理系统,其特征在于,所述图像缩放模块包括图像数据缓冲控制子模块、坐标系数生成子模块、插值计算子模块、FIFO控制子模块;其中,所述图像数据缓冲控制子模块设计为:调用4个双端口ram,用于缓存计算目标图像点纵坐标分别为Y和Y+1两点像素时需要的四行图像数据;每个双端口ram有一个写数据端口,一个读数据端口,从这两个数据端口同时读出相邻两个地址数据。

8.根据权利要求7所述的一种基于ZYNQ的多通道图像采集和处理系统,其特征在于,所述图像数据缓冲控制子模块的工作流程包括:读取视频数据时,首先进入初始状态0,在初始状态0中判断存放目标图像数据FIFO中可读数据个数是否小于目标图像一行数据总个数减10,如果大于等于则保持初始状态0,如果小于则进入状态2;进入状态2时,会产生一个计算目标图像映射到原始图像纵坐标使能信号,即判断已从数据存储模块中读出图像数据的行数是否小于需要从数据存储模块中读出图像数据的行数,如果小于则进入状态1,如果大于等于则进入状态3;处于状态1时,从数据存储模块中读出数据,并进入状态2;处于状态3时,对目标图像进行缩放计算,同时对目标图像的下一映射到原始图像的纵坐标src_y进行计算;所述对目标图像的下一映射到原始图像的纵坐标src_y进行计算的求解公式为:

9.根据权利要求7所述的一种基于ZYNQ的多通道图像采集和处理系统,其特征在于,所述坐标系数生成子模块用于求取目标图像某点映射到原始图像的坐标,映射公式如下:

10.根据权利要求9所述的一种基于ZYNQ的多通道图像采集和处理系统,其特征在于,所述插值计算子模块用于当得到映射点相邻四个点的坐标值后计算获得目标图像某点的像素值;所述FIFO控制子模块用于缓存目标图像的像素值。

...

【技术特征摘要】

1.一种基于zynq的多通道图像采集和处理系统,其特征在于,包括:

2.根据权利要求1所述的一种基于zynq的多通道图像采集和处理系统,其特征在于,所述系统还包括gtp核通信模块、数据对齐模块、视频数据解析模块,其分别用于从光纤通信口通过gtp核接收和发送视频数据、对接收的视频数据进行数据对齐、把视频数据进行解析并存入fifo中同时恢复视频图像的帧同步信号。

3.根据权利要求2所述的一种基于zynq的多通道图像采集和处理系统,其特征在于,所述系统还包括视频流形成模块和视频图像数据组包模块,其分别用于测试时将从数据读取模块输出的信号转化为视频流形式输出、将视频流组包发送至gtp核通信模块。

4.根据权利要求1或2所述的一种基于zynq的多通道图像采集和处理系统,其特征在于,所述数据写入模块中利用axi_dma核进行写入的过程包括:通过数据拼接子模块将视频数据存储于axi写fifo中,当axi写fifo中的数据量大于原始图像一行数据的数据量时,启动axi突发写的进程,当写数据通道形成握手机制时,从axi写fifo中读取数据进行写入;其中,axi写fifo中写数据宽度为64bit,读数据宽度为64bit,数据拼接子模块用于将16bit数据宽度输入转化为64bit输出。

5.根据权利要求4所述的一种基于zynq的多通道图像采集和处理系统,其特征在于,所述数据写入模块中利用axi_dma核进行写入的过程还包括:设计一个帧计数器以对写入的图像帧数做记录,当时钟上升沿检测到帧同步信号所对应的下降沿边缘检测信号为高时,帧计数器加1,加到帧计数器最大值时清零重新开始计数;设计一个写帧偏移地址,当帧同步信号所对应的下降沿边缘检测信号为高时,写帧偏移地址加上一帧原始图像的总字节数,当帧计数器计数到最大值时,写帧偏移地址清零重新开始计数;设计一个单bit跨时域控制子模块,其中调用一个异步fifo端口来实现帧同步信号与axi协议中时钟信号的同步。

6.根据权利要求1或2所述的一种基于zynq的多通道图像采集和处理系统,其特征在于,所述数据读取模块中利用axi_dma核进行读取的过程包括:当初始化成功信号和读通道使能信号都拉高时,启动axi突发读,同时通过多帧缓存框架对图像数据进行帧缓存;axi突发读过程中读出的...

【专利技术属性】
技术研发人员:张经纬王建民
申请(专利权)人:哈尔滨理工大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1