一种嵌入式高速多通道图像采集与存储系统技术方案

本发明专利技术涉及一种嵌入式高速多通道图像采集与存储系统，特别涉及一种用于高速摄像机或摄像机阵列的多通道图像数据流实时采集与存储系统，属于数字图像处理领域。系统由背板、主控制板、一台或者一台以上的摄像机和一个或者一个以上的子板组成，其中每台摄像机通过数据线连接到一个子板上，主控制板和子板均插在背板的不同插槽中，通过背板总线实现相互间的通信。本发明专利技术实现了系统中所有摄像机之间的帧同步，对高速的图像数据实时采集，同时可以对图像数据实现无损的高速存储。

【技术实现步骤摘要】

本专利技术涉及一种嵌入式高速多通道图像采集与存储系统，特别涉及一种用于高速摄像机或摄像机阵列的多通道图像数据流实时采集与存储系统，属于数字图像处理领域。
技术介绍
基于视觉感知的摄像机作为一种普遍的外界场景信息获取手段，已经在许多领域的很多方面得到了非常广泛的应用。图像采集设备作为图像处理系统必备的一个组成部分，其获取的图像质量状况直接决定了后续过程的处理难度和算法过程设计。在如虹膜识别、姿态识别和目标跟踪等图像处理中，对采集图像进行实时处理的同时，需要对图像进行实时存储，以进行离线分析和算法研究。近年来，随着半导体工艺的不断提高，图像传感器在分辨率和响应灵敏度上都获得了极大的性能提升，图像传感器的行方向上和列方向上的像元数目各提高一倍，随之而来的数据量就提高了四倍。如何实现高速实时无损图像数据采集和存储成为了当前实际应用和研究领域迫切需要解决的难题。现有的图像采集存储系统为保证系统传输的实时性，往往通过限制传输码率的有损压缩方法，达到对图像数据的实时存储。在很多对原始图像数据要求无损采集和存储的场合，当前的大部分系统无法满足需要。此外随着图像传感器分辨率的提高，对系统的数据传输带宽也提出了更高的要求。基于摄像机阵列的结构设计方法有着大视场高分辨率的优点，在虚拟现实、机器视觉、场景拼接等场合得到广泛研究和应用，这也增加了对图像采集和存储系统的性能要求。
技术实现思路
本专利技术的目的是为了满足超高速摄像机和摄像机阵列对数据采集存储设备的性能要求，以实现以超高速带宽对多通道图像数据流进行实时的无损图像数据采集和存储操作，提出一种嵌入式高速多通道图像采集与存储系统。本专利技术是通过以下技术方案实现的。本专利技术的一种嵌入式高速多通道图像采集与存储系统，由背板、主控制板、一台或者一台以上的摄像机和一个或者一个以上的子板组成，其中每台摄像机通过数据线连接到一个子板上，摄像机或者子板的最大数量均为10个，主控制板和子板均插在背板的不同插槽中，通过背板总线实现相互间的通信；摄像机将图像数据以LVDS差分串行信号的方式通过数据线传输到其对应的子板，采用串行数据的方式可以提高图像数据流在传输过程中抗干扰能力，同时也提高了传输距离；每个子板由子板控制器、串转并电路、LVDS驱动电路、SDRAM、VGA驱动电路、背板总线控制电路和8个SD卡座构成；其中子板控制器由FPGA实现，FPGA采用模块设计的方法，其程序由Verilog HDL语言进行开发，其硬件逻辑模块包括系统控制模块、系统仲裁模块、图像数据预处理模块、控制命令发送模块、SDRAM控制模块、VGA控制模块、10个PIPO控制模块和8个SD卡控制模块；FPGA中的SDRAM控制模块通过FPGA接口与SDRAM相连接，对 SDRAM实现配置、读数据和写数据，SDRAM为子板的帧图像缓存；VGA控制模块通过FPGA接口与VGA驱动电路连接，为VGA驱动电路提供数据和同步配置；串转并电路负责接收摄像机通过数据线传输来的串行信号并将其转换为并行信号送入FPGA的图像数据预处理模块； 系统控制模块通过控制命令发送模块为FPGA外部LVDS驱动电路提供控制命令，LVDS驱动电路将控制命令送至摄像机的控制接口，系统控制模块与背板总线控制电路相连；FPGA中图像预处理模块、VGA控制模块和8个SD卡控制模块分别通过一个PIPO控制模块与系统仲裁模块相连，此外SDRAM控制模块和系统控制模块也与系统仲裁模块相连，系统仲裁模块负责协调各个模块对SDRAM中帧数据的操作；FPGA中每个SD控制模块通过SD总线方式分别与一个SD卡座对应相连，实现SD卡座中SD卡的读写和配置操作；主控制板由主板控制器、SDRAM、VGA驱动电路、红外控制电路、背板总线控制电路和USB总线控制电路构成；其中主板控制器由FPGA实现，FPGA采用模块设计的方法，其程序由Verilog HDL语言进行开发，其硬件逻辑模块包括系统控制模块、系统仲裁模块、SDRAM 控制模块、VGA控制模块、红外控制模块和PIPO控制模块；FPGA中的SDRAM控制模块通过 FPGA接口与SDRAM相连接，对SDRAM实现配置、读数据和写数据，SDRAM为主控制板的帧图像缓存；VGA控制模块通过FPGA接口与VGA驱动电路连接，为VGA驱动电路提供数据和同步配置；红外控制模块与红外控制电路相连，实现系统控制命令的人机接口 ；系统控制模块与背板总线控制电路相连；SDRAM控制模块和系统控制模块均与系统仲裁模块相连，此外VGA控制模块也通过PIPO控制模块与系统仲裁模块相连；USB控制模块与USB总线控制电路相连，实现与上位机之间的数据通讯；背板包括12个插槽，其中1个用于插接主控制板，10个用于插接子板，另外1个为扩展板插槽，用于对其他应用实现外围扩展；同时背板上带有同步时钟发生电路，采用4 个CY2309时钟发生器生成12个严格同步的时钟信号，作为背板总线通讯的时钟分别传输给主控制板、扩展板和子板，主控制板、扩展板和子板以该始终信号作为总线控制模块的时钟驱动源来进行工作；上述子板中FPGA的系统控制模块的功能为负责子板所有功能模块之间的状态协调，验证各模块的工作状态和运行情况，同时其内部总线控制状态机保持与主控制板进行通讯，接受主控制板发来的系统同步采集命令，转发对应摄像机中的FPGA控制单元，以实现对图像传感器进行配置，启动数据采集操作；上述子板中的SDRAM作为系统图像数据流的缓冲中心，其存储空间分成三个缓冲区，每个缓冲区保存着一整帧图像数据，其中每两个缓冲区组成一个PIPO缓冲区，由FPGA 的系统仲裁模块采用乒乓控制方法进行切换，实现了系统的数据协调；上述子板中FPGA的系统仲裁器模块负责对SDRAM中的数据进行管理，具体过程为首先将从摄像机传输过来的图像数据写入到SDRAM的一个缓冲区中，当写满一帧后， 切换到一个新的缓冲区，而此时将开始将已经写满的一帧图像存储到SD卡中，如此往复循环；SD卡的写入速度大于摄像机数据的传输速度；上述主控制板按照背板总线的通信协议，以数据轮询的方式对系统中所有的子板进行访问控制；本专利技术的一种嵌入式高速多通道图像采集与存储系统，其工作过程为1)系统上电后，主控制板与所有子板均进行系统初始化，由主控制板确认系统当前状态，而摄像机配置图像传感器后进入暂停重启状态，此时无图像数据输出；2)主控制板通过红外控制模块接收到启动摄像机运行的命令；3)主控制板向所有子板发送摄像机重启命令，子板则通过LVDS驱动模块启动摄像机，这样所有摄像机同时开始工作，保证了每帧图像的时间同步；4)摄像机通过数据线将图像数据传给子板，每块子板分别对当前帧数据进行缓存；摄像机每当传控制输完一帧图像数据后，即进入暂停重启状态；5)主板设置当前子板为第一块子板；6)主控制板向当前子板发送数据请求命令，该子板接收到后发送当前帧数据给主板；7)当前子板接受并处理完毕一帧图像数据后，发送传输结束的状态给主控制板， 主控制板查询到当前子板传输结束的状态后，设置下一块子板为当前子板，进行步骤4)； 当主控制板查询到最后一块子板的传输结束状态后，进入步骤8)；8)重复步骤幻至步骤7)，实现摄像机的连续采集和存储操作。有益效果本专利技术实现了系统中本文档来自技高网...

【技术保护点】
１．一种嵌入式高速多通道图像采集与存储系统，其特征在于：由背板、主控制板、一台或者一台以上的摄像机和一个或者一个以上的子板组成，其中每台摄像机通过数据线连接到一个子板上，摄像机或者子板的最大数量均为１０个，主控制板和子板均插在背板的不同插槽中，通过背板总线实现相互间的通信；摄像机将图像数据以ＬＶＤＳ差分串行信号的方式通过数据线传输到其对应的子板；每个子板由子板控制器、串转并电路、ＬＶＤＳ驱动电路、ＳＤＲＡＭ、ＶＧＡ驱动电路、背板总线控制电路和８个ＳＤ卡座构成；其中子板控制器由ＦＰＧＡ实现，ＦＰＧＡ采用模块设计的方法，其程序由Ｖｅｒｉｌｏｇ　ＨＤＬ语言进行开发，其硬件逻辑模块包括系统控制模块、系统仲裁模块、图像数据预处理模块、控制命令发送模块、ＳＤＲＡＭ控制模块、ＶＧＡ控制模块、１０个ＰＩＰＯ控制模块和８个ＳＤ卡控制模块；ＦＰＧＡ中的ＳＤＲＡＭ控制模块通过ＦＰＧＡ接口与ＳＤＲＡＭ相连接，对ＳＤＲＡＭ实现配置、读数据和写数据，ＳＤＲＡＭ为子板的帧图像缓存；ＶＧＡ控制模块通过ＦＰＧＡ接口与ＶＧＡ驱动电路连接，为ＶＧＡ驱动电路提供数据和同步配置；串转并电路负责接收摄像机通过数据线传输来的串行信号并将其转换为并行信号送入ＦＰＧＡ的图像数据预处理模块；系统控制模块通过控制命令发送模块为ＦＰＧＡ外部ＬＶＤＳ驱动电路提供控制命令，ＬＶＤＳ驱动电路将控制命令送至摄像机的控制接口，系统控制模块与背板总线控制电路相连；ＦＰＧＡ中图像预处理模块、ＶＧＡ控制模块和８个ＳＤ卡控制模块分别通过一个ＰＩＰＯ控制模块与系统仲裁模块相连，此外ＳＤＲＡＭ控制模块和系统控制模块也与系统仲裁模块相连，系统仲裁模块负责协调各个模块对ＳＤＲＡＭ中帧数据的操作；ＦＰＧＡ中每个ＳＤ控制模块通过ＳＤ总线方式分别与一个ＳＤ卡座对应相连，实现ＳＤ卡座中ＳＤ卡的读写和配置操作；主控制板由主板控制器、ＳＤＲＡＭ、ＶＧＡ驱动电路、红外控制电路、背板总线控制电路和ＵＳＢ总线控制电路构成；其中主板控制器由ＦＰＧＡ实现，ＦＰＧＡ采用模块设计的方法，其程序由Ｖｅｒｉｌｏｇ　ＨＤＬ语言进行开发，其硬件逻辑模块包括系统控制模块、系统仲裁模块、ＳＤＲＡＭ控制模块、ＶＧＡ控制模块、红外控制模块和ＰＩＰＯ控制模块；ＦＰＧＡ中的ＳＤＲＡＭ控制模块通过ＦＰＧＡ接口与ＳＤＲＡＭ相连接，对ＳＤＲＡＭ实现配置、读数据和写数据，ＳＤＲＡＭ为主控制板的帧图像缓存；ＶＧＡ控制模块通过ＦＰＧＡ接口与ＶＧＡ驱动电路连接，为ＶＧＡ驱动电路提供数据和同步配置；红外控制模块与红外控制电路相连，实现系统控制命令的人机接口；系统控制模块与背板总线控制电路相连；ＳＤＲＡＭ控制模块和系统控制模块均与系统仲裁模块相连，此外ＶＧＡ控制模块也通过ＰＩＰＯ控制模块与系统仲裁模块相连；ＵＳＢ控制模块与ＵＳＢ总线控制电路相连，实现与上位机之间的数据通讯；背板包括１２个插槽，其中１个用于插接主控制板，１０个用于插接子板，另外１个为扩展板插槽，用于对其他应用实现外围扩展；同时背板上带有同步时钟发生电路，采用４个ＣＹ２３０９时钟发生器生成１２个严格同步的时钟信号，作为背板总线通讯的时钟分别传输给主控制板、扩展板和子板，主控制板、扩展板和子板以该始终信号作为总线控制模块的时钟驱动源来进行工作；上述子板中ＦＰＧＡ的系统控制模块负责子板所有功能模块之间的状态协调，验证各模块的工作状态和运行情况，同时其内部总线控制状态机保持与主控制板进行通讯，接受主控制板发来的系统同步采集命令，转发对应摄像机中的ＦＰＧＡ控制单元，以实现对图像传感器进行配置，启动数据采集操作；上述子板中的ＳＤＲＡＭ作为系统图像数据流的缓冲中心，其存储空间分成三个缓冲区，每个缓冲区保存着一整帧图像数据，其中每两个缓冲区组成一个ＰＩＰＯ缓冲区，由ＦＰＧＡ的系统仲裁模块采用乒乓控制方法进行切换，实现了系统的数据协调；上述子板中ＦＰＧＡ的系统仲裁器模块负责对ＳＤＲＡＭ中的数据进行管理，具体过程为：首先将从摄像机传输过来的图像数据写入到ＳＤＲＡＭ的一个缓冲区中，当写满一帧后，切换到一个新的缓冲区，而此时将开始将已经写满的一帧图像存储到ＳＤ卡中，如此往复循环；ＳＤ卡的写入速度大于摄像机数据的传输速度；上述主控制板按照背板总线的通信协议，以数据轮询的方式对系统中所有的子板进行访问控制。...

【技术特征摘要】
1. 一种嵌入式高速多通道图像采集与存储系统，其特征在于 由背板、主控制板、一台或者一台以上的摄像机和一个或者一个以上的子板组成，其中每台摄像机通过数据线连接到一个子板上，摄像机或者子板的最大数量均为10个，主控制板和子板均插在背板的不同插槽中，通过背板总线实现相互间的通信；摄像机将图像数据以LVDS差分串行信号的方式通过数据线传输到其对应的子板； 每个子板由子板控制器、串转并电路、LVDS驱动电路、SDRAM、VGA驱动电路、背板总线控制电路和8个SD卡座构成；其中子板控制器由FPGA实现，FPGA采用模块设计的方法， 其程序由Verilog HDL语言进行开发，其硬件逻辑模块包括系统控制模块、系统仲裁模块、 图像数据预处理模块、控制命令发送模块、SDRAM控制模块、VGA控制模块、10个PIPO控制模块和8个SD卡控制模块；FPGA中的SDRAM控制模块通过FPGA接口与SDRAM相连接，对 SDRAM实现配置、读数据和写数据，SDRAM为子板的帧图像缓存；VGA控制模块通过FPGA接口与VGA驱动电路连接，为VGA驱动电路提供数据和同步配置；串转并电路负责接收摄像机通过数据线传输来的串行信号并将其转换为并行信号送入FPGA的图像数据预处理模块； 系统控制模块通过控制命令发送模块为FPGA外部LVDS驱动电路提供控制命令，LVDS驱动电路将控制命令送至摄像机的控制接口，系统控制模块与背板总线控制电路相连；FPGA中图像预处理模块、VGA控制模块和8个SD卡控制模块分别通过一个PIPO控制模块与系统仲裁模块相连，此外SDRAM控制模块和系统控制模块也与系统仲裁模块相连，系统仲裁模块负责协调各个模块对SDRAM中帧数据的操作；FPGA中每个SD控制模块通过SD总线方式分别与一个SD卡座对应相连，实现SD卡座中SD卡的读写和配置操作；主控制板由主板控制器、SDRAM、VGA驱动电路、红外控制电路、背板总线控制电路和 USB总线控制电路构成；其中主板控制器由FPGA实现，FPGA采用模块设计的方法，其程序由 Verilog HDL语言进行开发，其硬件逻辑模块包括系统控制模块、系统仲裁模块、SDRAM控制模块、VGA控制模块、红外控制模块和PIPO控制模块；FPGA中的SDRAM控制模块通过FPGA 接口与SDRAM相连接，对SDRAM实现配置、读数据和写数据，SDRAM为主控制板的帧图像缓存；VGA控制模块通过FPGA接口与VGA驱动电路连接，为VGA驱动电路提供数据和同步配置；红外控制模块与红外控制电路相连，实现系统控制命令的人机接口 ；系统控制模块与背板总线控制电路相连；SDRAM控制模块和系统控制模块均与系统仲裁模块相连，此外VGA 控制模块也通过PIPO控制模块与系统仲裁模块相连；USB控制模块与USB总线控制电路相连，实现与上位机之间的数据通讯；背板包括12个插槽，其中1个用于插接主控制板，10个用于插接子板，另外1个为扩展板插槽，用于对其他应用实现外围扩展；同时背板上带有同步时钟发生电路，采用4个 CY2309时钟发生器生成12个严格同步的时钟信号，作为背板总线通讯的时钟分别传输给主控制板、扩展板和子板，主控制板、扩展板和子板以该始终信号作为总线控制模块的时钟驱动源来进行工作；上述子板...

【专利技术属性】
技术研发人员：魏平，侯广琦，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：11