基于FPGA的交通标志视频图像的采集系统及方法技术方案

本发明专利技术公开了一种基于FPGA的交通标志视频图像的采集系统及方法，采集系统包括相机控制模块、Bayer图像处理模块、图像滤波模块、图像边缘检测模块、图像存储模块、以太网通信模块和NIOS II处理器，采用FPGA实现以上模块，遵循Avalon Memory‑Mapped接口规范及Avalon Streaming接口规范。本发明专利技术是一种根据交通标志颜色的特征以及交通标志识别方法的特点设计的视频图像采集方法，利用FPGA的并行性特点，采用流水线的方式，在图片采集的同时，对图片进行预处理，大大提高了图片处理的实时性，同时减小了对图片存储容量的要求。

【技术实现步骤摘要】
基于FPGA的交通标志视频图像的采集系统及方法
本专利技术涉及图像采集技术，特别是一种基于FPGA的交通标志视频图像的采集系统及方法。
技术介绍
随着经济的不断发展，汽车工业的不断发展，人民的生活水平不断提高，中国已经跨入汽车社会。由此也带来了一系列的问题，如交通堵塞，交通噪声，交通事故等。为了解决交通问题，智能交通系统应运而生。无人驾驶，智能汽车，汽车驾驶辅助系统等不断发展。交通标志的识别作为智能汽车的重要组成部分，可以将交通标志信息反馈给驾驶员，可以使驾驶员了解具体的路况以及需要注意的情况，从而减少交通事故的发生。交通标志主要有指示、警告，以及禁止类等。每一类交通标志都由特定的颜色和形状的图案和文字组成，常见的颜色有红、黄、蓝等，常见的形状有圆形、三角形、矩形等。目前的交通标志视频图像采集系统，一般采用相机采集完图像后，缓存在存储芯片中，将原始图像直接发送给上位机，由上位机完成交通标志的检测与识别的方法。软件系统一般采用串行处理方式，导致图像处理的速度较慢，实时性能较差，很难应用到实际的系统中去。
技术实现思路
本专利技术的目的在于提供一种基于FPGA的交通标志视频图像的采集系统及方法。实现本专利技术目的的技术方案为：一种基于FPGA的交通标志视频图像的采集系统，由相机控制模块、Bayer图像处理模块、图像滤波模块、图像边缘检测模块、图像存储模块、以太网通信模块和NIOSII处理器组成；使用FPGA硬件逻辑实现以上模块，遵循AvalonMemory-Mapped接口规范、AvalonStreaming接口规范以及SCCB相机控制总线规范；相机控制模块用于对相机参数进行设置；Bayer图像处理模块用于对Bayer图像进行处理，将图像转换成符合要求的图像；图像滤波模块用于对经过Bayer图像处理模块处理后的图像进行噪声滤除；图像边缘检测模块用于检测图像滤波模块处理后图像的边缘，并将处理后的图像数据转换成符合AvalonStreaming接口规范的数据；图像存储模块用于对边缘检测后的图像进行存储；以太网通信模块用于读取图像存储模块存储的图像数据，并将图像数据通过以太网发送给上位机；NIOSII处理器用于整个系统的协同控制。一种基于FPGA的交通标志视频图像的采集方法，包括以下步骤：步骤1，将相机参数信息发送给相机，对相机进行配置；步骤2，相机数据通过Bayer图像处理模块对图像进行处理；步骤3，将Bayer图像处理模块处理过的图像经过图像滤波模块，进行滤波处理；步骤4，边缘检测模块对滤波后的图像进行边缘检测，同时通过将数据流转化成符合AvalonStreaming的数据流；步骤5，数据存储模块将接收到的数据存储在DDR3中，等待以太网通信模块读取数据。步骤6，将存储在DDR3中的数据通过以太网控制器发送给上位机。与现有技术相比，本专利技术的显著优点为：本专利技术设计的交通标志采集系统是根据交通标志以及交通标志识别方法的特点设计的专门用于交通标志视频图像的采集方法，充分利用FPGA的并行性的特点，采用流水性线的处理方式，在图片采集的过程中对图片进行处理，将算法简单、数据量大的前期工作利用FPGA来实现，减小了图片识别系统的前期处理时间，增强了交通标志识别系统的实时性。附图说明图1为本专利技术基于FPGA的交通标志视频图像的采集系统的硬件框图。图2为本专利技术基于FPGA的交通标志视频图像的采集系统的原理框图。图3为本专利技术的采集方法流程图。图4为本专利技术实施例中采集方法流程图。具体实施方式结合图1、图2，一种基于FPGA的交通标志视频图像的采集系统，由相机控制模块、Bayer图像处理模块、图像滤波模块、图像边缘检测模块、图像存储模块、以太网通信模块和NIOSII处理器组成；使用FPGA硬件逻辑实现以上模块，遵循AvalonMemory-Mapped接口规范、AvalonStreaming接口规范以及SCCB相机控制总线规范；相机控制模块用于对相机参数进行设置；Bayer图像处理模块用于对Bayer图像进行处理，将图像转换成符合要求的图像；图像滤波模块用于对经过Bayer图像处理模块处理后的图像进行噪声滤除；图像边缘检测模块用于检测图像滤波模块处理后图像的边缘，并将处理后的图像数据转换成符合AvalonStreaming接口规范的数据；图像存储模块用于对边缘检测后的图像进行存储；以太网通信模块用于读取图像存储模块存储的图像数据，并将图像数据通过以太网发送给上位机；NIOSII处理器用于整个系统的协同控制。进一步的，相机控制模块包括SCCB总线控制单元和相机参数寄存器单元，相机参数寄存器单元用于存储设置相机寄存器时用到的参数；SCCB总线控制单元用于与相机通信，将相机参数寄存器单元中相关参数发送给相机，对相机内部寄存器进行设置。进一步的，Bayer图像处理模块包括行列计数单元、移位寄存器单元、像素插值单元和颜色比较单元；行列计数单元接收相机发送过来的图像数据，为图像的每一个像素加上行列计数信号；移位寄存器单元将图像数据依次通过3个长度为图像宽度的移位寄存器，用于下一步插值处理；像素插值单元，对图像数据进行插值处理，将数据位宽为10位Bayer图像变成数据位宽为24位的RGB图像，其中RGB图像每一个像素的高8位保存红色分量，中间8位保存绿色分量，低8位保存蓝色分量；颜色比较单元将RGB图像的每一个像素与预设的红、黄、蓝三种颜色的阈值进行比较，判断出每个像素点的颜色，将红色像素点的RGB值转换成数据位宽为8位的灰度值保存在24位数据的高8位，将黄色像素点的RGB值转换成数据位宽为8位的灰度值保存在24位数据的中间8位，将蓝色像素点的RGB值转换成数据位宽为8位的灰度值保存在低8位。进一步的，图像滤波模块包括中值滤波单元和高斯滤波单元；将Bayer图像模块处理过的图像的每个像素点的24位数据分成高、中间、低三个八位数据的分别通过中值滤波单元和高斯滤波单元，滤除图像中的噪声。进一步的，图像边缘检测模块包括Sobel边缘检测单元、图像缓存单元和AvalonStreaming总线封装单元；将经过图像滤波模块处理过的图像的每个像素点的24位数据的高、中、低三个八位分别通过Sobel边缘检测单元，检测出对应的边缘；图像缓存单元，用于边缘检测后图像数据的缓存；AvalonStreaming总线封装单元用于将缓存的图像数据，封装成符合AvalonStreaming总线接口规范的数据。进一步的，图像存储模块包括写FIFO单元、DDR3读写读控制单元、读FIFO单元；写FIFO单元将经过边缘检测模块处理后的图像数据缓存在FIFO中，同时实现数据位宽的转换，将4个24位图像数据组合成一个96位数据；DDR3读写控制单元在检测到写FIFO单元中有数据时，读取写FIFO单元中的数据，向DDR3存储器中写入数据，DDR3读写控制单元收到读FIFO单元需要读取数据信号时，读取DDR3存储器中的数据，DDR3读写控制单元同时实现图像数据的检查，检测到一帧图像有数据丢失时，则将该帧图像丢弃；读FIFO单元用于缓存从DDR3存储器中读取的数据，同时实现数据位宽的转换，将96位数据拆成4个24位数据。进一步的，以太网通信模块由QuartusII提供的Triple-Spe本文档来自技高网...

【技术保护点】
1.一种基于FPGA的交通标志视频图像的采集系统，其特征在于，由相机控制模块、Bayer图像处理模块、图像滤波模块、图像边缘检测模块、图像存储模块、以太网通信模块和NIOS II处理器组成；使用FPGA硬件逻辑实现以上模块，遵循Avalon Memory‑Mapped接口规范、Avalon Streaming接口规范以及SCCB相机控制总线规范；相机控制模块用于对相机参数进行设置；Bayer图像处理模块用于对Bayer图像进行处理，将图像转换成符合要求的图像；图像滤波模块用于对经过Bayer图像处理模块处理后的图像进行噪声滤除；图像边缘检测模块用于检测图像滤波模块处理后图像的边缘，并将处理后的图像数据转换成符合Avalon Streaming接口规范的数据；图像存储模块用于对边缘检测后的图像进行存储；以太网通信模块用于读取图像存储模块存储的图像数据，并将图像数据通过以太网发送给上位机；NIOS II处理器用于整个系统的协同控制。

【技术特征摘要】
1.一种基于FPGA的交通标志视频图像的采集系统，其特征在于，由相机控制模块、Bayer图像处理模块、图像滤波模块、图像边缘检测模块、图像存储模块、以太网通信模块和NIOSII处理器组成；使用FPGA硬件逻辑实现以上模块，遵循AvalonMemory-Mapped接口规范、AvalonStreaming接口规范以及SCCB相机控制总线规范；相机控制模块用于对相机参数进行设置；Bayer图像处理模块用于对Bayer图像进行处理，将图像转换成符合要求的图像；图像滤波模块用于对经过Bayer图像处理模块处理后的图像进行噪声滤除；图像边缘检测模块用于检测图像滤波模块处理后图像的边缘，并将处理后的图像数据转换成符合AvalonStreaming接口规范的数据；图像存储模块用于对边缘检测后的图像进行存储；以太网通信模块用于读取图像存储模块存储的图像数据，并将图像数据通过以太网发送给上位机；NIOSII处理器用于整个系统的协同控制。2.根据权利要求1所述的基于FPGA的交通标志视频图像的采集系统，其特征在于，相机控制模块包括SCCB总线控制单元和相机参数寄存器单元，相机参数寄存器单元用于存储设置相机寄存器时用到的参数；SCCB总线控制单元用于与相机通信，将相机参数寄存器单元中相关参数发送给相机，对相机内部寄存器进行设置。3.根据权利要求1所述的基于FPGA的交通标志视频图像的采集系统，其特征在于，Bayer图像处理模块包括行列计数单元、移位寄存器单元、像素插值单元和颜色比较单元；行列计数单元接收相机发送过来的图像数据，为图像的每一个像素加上行列计数信号；移位寄存器单元将图像数据依次通过3个长度为图像宽度的移位寄存器，用于下一步插值处理；像素插值单元，对图像数据进行插值处理，将数据位宽为10位Bayer图像变成数据位宽为24位的RGB图像，其中RGB图像每一个像素的高8位保存红色分量，中间8位保存绿色分量，低8位保存蓝色分量；颜色比较单元将RGB图像的每一个像素与预设的红、黄、蓝三种颜色的阈值进行比较，判断出每个像素点的颜色，将红色像素点的RGB值转换成数据位宽为8位的灰度值保存在24位数据的高8位，将黄色像素点的RGB值转换成数据位宽为8位的灰度值保存在24位数据的中间8位，将蓝色像素点的RGB值转换成数据位宽为8位的灰度值保存在低8位。4.根据权利要求1所述的基于FPGA的交通标志视频图像的采集系统，其特征在于，图像滤波模块包括中值滤波单元和高斯滤波单元；将Bayer图像模块处理过的图像的每个像素点的24位数据分成高、中间、低三个八位数据的分别通过中值滤波单元和高斯滤波单元，滤除图像中的噪声。5.根据权利要求1所述的基于FPGA的交通标志视频图像的采集系统，其特征在于，图像边缘检测模块包括Sobel边缘检测单元、图像缓存单元和AvalonStreaming总线封装单元；将经过图像滤波模块处理过的图像的每个...

【专利技术属性】
技术研发人员：刘胜阳，沙涛，韦杰，吴亚成，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：江苏,32