一种基于FPGA的CMOS图像传感器数据采集装置及方法制造方法及图纸

本发明专利技术提供了一种基于FPGA的CMOS图像传感器数据采集装置及方法，属于CMOS图像传感器图像采集技术领域。该装置包括FPGA芯片、CMOS图像传感器，其中，通过FPGA对CMOS图像传感器进行寄存器配置，并在CMOS图像传感器的时钟下接收图像数据，调整图像数据的相位，实现位对齐。相位调整后的数据通过iserdese2模块，实现字节对齐。通过寻找4路图像数据的同步码，实现4路图像数据通道的对齐。根据Streaming模式的状态机解析图像数据、帧和行信息。将解析出的有效图像数据和图像基本参数利用FPGA的GTP收发器通过光纤传输至上位机，上位机进行显示或存储。

【技术实现步骤摘要】
一种基于FPGA的CMOS图像传感器数据采集装置及方法
本专利技术涉及CMOS图像传感器图像采集
，特别涉及一种基于FPGA的CMOS图像传感器数据采集装置及方法。
技术介绍
近年来，随着城市现代化的不断发展，对超大视场范围、超高清实时监控提出了更高的要求，基于传统的通用型相机难以满足对监控覆盖面积、图像清晰程度和图像传输低延时的性能指标。而大视场阵列相机通过多镜头多焦段实现了大面积区域的有效覆盖，并将多个相机采集的图像进行多焦段融合拼接实现高分辨率图像的输出显示。由于现有的阵列相机图像传感器封装尺寸相较于成像区域尺寸较大，图像传感器拼接成像系统复杂、一致性差，导致焦面拼接难度大，图像质量不稳定等问题。因此对于阵列相机中的单个相机需体积小、功耗低和数据传输实时性高，以保证阵列相机的系统集成度和性能要求。随着集成电路设计技术和工艺水平的长足发展，CMOS图像传感器的一些性能指标已经接近甚至超过CCD图像传感器，而在集成度、工艺复杂度、功耗、成本和开发周期等方面，CMOS图像传感器具有明显优势。CMOS图像传感器可实现高分辨率图像数据输出，且CMOS图像传感器具有多路高速图像数据同时输出的特性，能有效提高传输速率。FPGA具有较强的灵活性可根据外设接口需求进行灵活配置，其系统的并行运行特性可满足数据高速、高带宽实时处理的要求，因此基于FPGA的CMOS图像传感器数据采集及传输，可有效提高图像数据采集系统的集成度和数据传输实时性。阵列相机由多个图像传感器数据采集装置组成，因此体积小、功耗低和实时传输的CMOS图像传感器系统对于阵列相机系统性能的提升起到决定性作用。
技术实现思路
本专利技术的目的是提供一种基于FPGA的CMOS图像传感器数据采集装置及方法，它能以低功耗、小体积实现CMOS图像传感器图像数据的实时传输。本专利技术目的是通过以下技术方案来实现：本专利技术提供了一种基于FPGA的CMOS图像传感器数据采集装置。该装置包括FPGA芯片、CMOS图像传感器、用于CMOS图像传感器的晶振、CMOS工作时序电路、用于FPGA的晶振、FPGA工作时序电路、电源管理电路与光纤传输模块，其中，CMOS图像传感器、用于CMOS图像传感器的晶振和CMOS工作时序电路布置在第一PCB上，FPGA、用于FPGA的晶振、FPGA工作时序电路、电源管理电路与光纤传输模块布置在第二PCB上，第一PCB与第二PCB之间通过柔性PCB结构进行连接，FPGA在CMOS图像传感器的时钟下同时对来自CMOS图像传感器的图像数据进行多路串行接收，且该光纤传输模块被配置为通过光纤对所述图像数据进行传输，在发送每帧图像数据前发送对应于该帧图像数据的基本参数信息，每帧图像数据包含帧头、帧尾，每帧图像数据传输以包为基本传输单元，每一包数据包含包头、包尾和有效数据信息。其中，FPGA在CMOS图像传感器的时钟下同时对来自CMOS图像传感器的图像数据进行4路串行接收。其中，所述基本参数信息包括传输图像的分辨率、帧率、图像数据格式和图像像素位宽。其中，当有图像数据进行传输时，包头、包尾、帧头和帧尾信息中包含时钟矫正序列和K字符；当无图像数据进行传输时，每间隔固定时间发送时钟矫正序列和K字符。本专利技术还提供了一种基于FPGA的CMOS图像传感器数据采集方法。所述方法包括：步骤一：在FPGA的系统时钟下，利用IIC协议对CMOS图像传感器的寄存器进行配置，其中FPGA作为主机，CMOS图像传感器作为从机，首先对CMOS图像传感器写寄存器地址，然后对所写的寄存器地址写入寄存器值，再针对所写的寄存器地址读取寄存器值；将针对寄存器地址写入的寄存器值与针对该寄存器地址读取的寄存器值进行比较，若写入和读取的寄存器值相同，则表明该寄存器地址配置操作正确，然后对下一个寄存器地址进行相同配置流程的配置，以此类推，直到所有寄存器地址都配置完成，此时输出配置完成标志信号。步骤二：FPGA在CMOS图像传感器的时钟下同时对图像数据进行多路串行接收，将接收到的串行数据通过idelaye2模块，通过动态调整tap值，调整各路串行数据的相位，实现位对齐；将相位调整后的数据再通过iserdese2模块，启用bitslip功能对数据进行解串，实现字节对齐；通过寻找多路串行数据的同步码，实现多路串行数据通道的对齐；步骤三：将接收到的有效图像数据通过光纤传输至上位机显示或存储，其中，利用FPGA的GTP收发器通过光纤对图像数据进行传输，在发送每帧图像数据前发送对应于该帧图像数据的基本参数信息，每帧图像数据包含帧头、帧尾，采用自定义光纤协议，每帧图像数据传输以包为基本传输单元，每一包数据包含包头、包尾和有效数据信息。其中，在步骤二中，FPGA在CMOS图像传感器的时钟下同时对图像数据进行4路串行接收，通过寻找4路串行数据的同步码，实现4路串行数据通道的对齐，其中，当CMOS图像传感器寄存器配置使得CMOS图像传感器工作在HiSPi协议的Streaming模式时，根据Streaming模式的状态机进行图像数据流解析接收，图像数据流中只存在行有效数据同步码和行无效数据同步码，而无行结束同步码和帧结束同步码，因此在接收图像数据时需对每行所接收到的像素个数进行计数，当计数值达到CMOS图像传感器寄存器配置分辨率值时，结束一行图像数据的接收。其中所述基本参数信息包括传输图像的分辨率、帧率、图像数据格式和图像像素位宽。其中，当有图像数据进行传输时，包头、包尾、帧头和帧尾信息中包含时钟矫正序列和K字符；当无图像数据进行传输时，每间隔固定时间发送时钟矫正序列和K字符，确保光纤链路稳定。与现有技术相比，本专利技术的显著增益效果是：1、CMOS图像传感器的PCB与FPGA的PCB之间通过柔性PCB结构进行连接，系统柔韧性强；FPGA与CMOS图像传感器之间可折叠、体积小，系统集成度高，功耗较低，系统整体功耗约为2.5W；2、通过CMOS与FPGA之间的多通道并行数据传输和FPGA与上位机之间的光纤传输，能够实现图像数据实时传输显示，图像传输速率快，成像分辨率高，控制灵活；3、采用自定义光纤协议，协议相关数据占图像数据比例小，图像数据传输效率高。附图说明图1是本专利技术实施例提供的一种基于FPGA的CMOS图像传感器数据采集装置的数据采集架构图。图2是本专利技术实施例提供的基于FPGA的CMOS图像传感器数据采集方法流程图。图3是本专利技术实施例提供的HiSPi协议Streaming模式的图像数据解析状态机。具体实施方式下面将参照附图来描述本专利技术的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本专利技术的范围。本专利技术提供了一种基于FPGA的CMOS图像传感器数据采集装置，该装置包括FPGA芯片、CMOS图像传感器、光电转换模块、用于CMOS图像传感器的晶振、CMOS工作时序电路、用于FPGA的晶振、FPGA工作时序电路、电源管理电路与光纤传输本文档来自技高网...

【技术保护点】
1.一种基于FPGA的CMOS图像传感器数据采集装置，该装置包括FPGA芯片、CMOS图像传感器、用于CMOS图像传感器的晶振、CMOS工作时序电路、用于FPGA的晶振、FPGA工作时序电路、电源管理电路与光纤传输模块，其特征在于：/nCMOS图像传感器、用于CMOS图像传感器的晶振和CMOS工作时序电路布置在第一PCB上，FPGA、用于FPGA的晶振、FPGA工作时序电路、电源管理电路与光纤传输模块布置在第二PCB上，第一PCB与第二PCB之间通过柔性PCB结构进行连接，FPGA在CMOS图像传感器的时钟下同时对来自CMOS图像传感器的图像数据进行多路串行接收，且该光纤传输模块被配置为通过光纤对所述图像数据进行传输，并且在发送每帧图像数据前发送对应于该帧图像数据的基本参数信息，每帧图像数据包含帧头、帧尾，每帧图像数据传输以包为基本传输单元，每一包数据包含包头、包尾和有效数据信息。/n

【技术特征摘要】
1.一种基于FPGA的CMOS图像传感器数据采集装置，该装置包括FPGA芯片、CMOS图像传感器、用于CMOS图像传感器的晶振、CMOS工作时序电路、用于FPGA的晶振、FPGA工作时序电路、电源管理电路与光纤传输模块，其特征在于：
CMOS图像传感器、用于CMOS图像传感器的晶振和CMOS工作时序电路布置在第一PCB上，FPGA、用于FPGA的晶振、FPGA工作时序电路、电源管理电路与光纤传输模块布置在第二PCB上，第一PCB与第二PCB之间通过柔性PCB结构进行连接，FPGA在CMOS图像传感器的时钟下同时对来自CMOS图像传感器的图像数据进行多路串行接收，且该光纤传输模块被配置为通过光纤对所述图像数据进行传输，并且在发送每帧图像数据前发送对应于该帧图像数据的基本参数信息，每帧图像数据包含帧头、帧尾，每帧图像数据传输以包为基本传输单元，每一包数据包含包头、包尾和有效数据信息。


2.根据权利要求1所述的一种基于FPGA的CMOS图像传感器数据采集装置，其特征在于：
FPGA在CMOS图像传感器的时钟下同时对来自CMOS图像传感器的图像数据进行4路串行接收。


3.根据权利要求1所述的一种基于FPGA的CMOS图像传感器数据采集装置，其特征在于：
所述基本参数信息包括传输图像的分辨率、帧率、图像数据格式和图像像素位宽。


4.根据权利要求1所述的一种基于FPGA的CMOS图像传感器数据采集装置，其特征在于：
当有图像数据进行传输时，包头、包尾、帧头和帧尾信息中包含时钟矫正序列和K字符；当无图像数据进行传输时，每间隔固定时间发送时钟矫正序列和K字符。


5.一种基于FPGA的CMOS图像传感器数据采集方法，其特征在于，所述方法包括：
步骤一：在FPGA的系统时钟下，利用IIC协议对CMOS图像传感器的寄存器进行配置，其中FPGA作为主机，CMOS图像传感器作为从机，首先对CMOS图像传感器写寄存器地址，然后对所写的寄存器地址写入寄存器值，再针对所写的寄存器地址读取寄存器值；将针对寄存器地址写入的寄存器值与针对该寄存器地址读取的寄存器值进行比较，若写入和读...

【专利技术属性】
技术研发人员：姚俊，舒怀亮，任海军，蔺亚鹏，
申请(专利权)人：中国科学院光电技术研究所，
类型：发明
国别省市：四川;51