一种全硬件高速智能相机的实现方法技术

本发明专利技术提供了一种全硬件高速智能相机的实现方法，包括视频编码和视频流上传，所述视频编码为在FPGA内部实现的视频全I帧编码，其过程为将采集到的图像数据依次经过DCT运算、量化运算和熵编码运算，最后输出编码后的图像数据；所述视频流上传为嵌入FPGA内部的只保留CLOSED、SYN‑RCVD、SYN‑SEND、LISTEN、ESTABLISHED5种状态的简化千兆网TCP/IP协议栈。本发明专利技术将前端传感器驱动、图像获取、视频流编码、千兆网TCP/IP传输完全封装在硬件系统中实现的方法，由于基于全硬件的架构，实时性强，可靠性高，简化了设计难度，降低了设计成本与故障率。

【技术实现步骤摘要】

本专利技术涉及高速成像领域，具体为一种全硬件高速智能相机的实现方法。
技术介绍
高速智能相机系统可广泛应用于研究、监控、公共安全等领域。完整的智能相机网络，需要具备高速图像获取、图像编解码、高速网络传输等相关技术。目前较通用的实现方法，是利用FPGA实现前端图像的获取，然后用高性能DSP实现图像的编解码以及高速网络传输。这种实现方式结构复杂，核心处理芯片较多；现有的图像处理DSP芯片其集成功能较多，但高速智能相机往往只需要用到其中的部分编码功能，使其功能过剩；DSP系统需要大量的片外内存支持其系统软件的运行，成本不低，硬件设计难度大；且软件系统运行实时性不够，其延迟与前端高速图像的获取不匹配。
技术实现思路
为了解决上述问题，本专利技术提供了一种全硬件高速智能相机的实现方法，包括视频编码和视频流上传，所述视频编码为在FPGA内部实现的视频全I帧编码，其过程为将采集到的图像数据依次经过DCT运算、量化运算和熵编码运算，最后输出编码后的图像数据；所述视频流上传为嵌入FPGA内部的只保留CLOSED、SYN-RCVD、SYN-SEND、LISTEN、ESTABLISHED5种状态的简化千兆网TCP/IP协议栈，简化了FPGA内实现难度。优选地，所述视频编码的DCT运算采用了行列分离的快速算法，公式为：DCT运算为离散余弦变换(DiscreteCosineTransform)，常规的二维DCT变换公式为：（k＝0,1…7；l＝0,1…7）；其中：x(m,n)为二维DC。该公式需要消耗大量的乘法资源，且运算时间较长，无法满足高速智能相机的实时性要求，因此根据FPGA内可高速并行运算的特征，对其进行一维变换，最终得到上述的一维表达式，这种一维的运算结构和典型的傅里叶变换非常接近，完全可以利用傅里叶变换中的快速蝶形运算实现。优选地，所述视频编码的DCT运算通过利用傅里叶变换中的快速蝶形运算实现。优选地，所述视频编码的DCT运算模块使用有限状态机，先将输入图像数据存储到输入数据寄存器，接着依次将图像数据经过蝶形运算单元1、一维DCT和蝶形运算单元2计算处理，并将计算结果存储在32个计算结果寄存器，最后将32个计算结果寄存器的图像数据按从上到下的顺序输出到数据寄存器进行输出。优选地，所述视频编码的DCT运算模块将数据从输入数据寄存器到32个计算结果寄存器的计算过程进行四分项计时。相机的网络传输以单向上传为主，视频流速度快、密集，反之接收网络命令的要求并不高。因此可以将原有繁杂的TCP/IP协议栈有针对性的简化，只实现相机作为客户端需要的功能，取消FIN-WAIT-1、FIN-WAIT-2、CLOSING、TIME-WAIT、CLOSE-WAIT、LAST-ACK状态，以减少网络等待、中断开销，简化FPGA实现程序，但又不影响正常TCP/IP传输流程。优选地，所述视频流上传通过千兆网TCP/IP协议栈的具体流程为：a.建立连接时，客户端发送SYN包到服务器，并进入SYN-SEND状态，等待服务器确认；b.服务器收到SYN包，必须确认客户的SYN，同时自己也发送一个SYN包，即SYN+ACK包，此时服务器进入SYN-RCVD状态；c.若SYN-SEND状态没有得到确认则返回CLOSED状态；若SYN-RCVD状态在发送超时，则会返回到CLOSED状态；d.客户端收到服务器的SYN+ACK包，向服务器发送确认包ACK，此包发送完毕，客户端和服务器进入ESTABLISHED状态；e.ESTABLISHED状态时，客户端与服务器开始传送数据；f.客户端与服务器传送数据结束后，客户端发送FIN或RST包，服务器发送RST包，同时关闭连接，返回CLOSED状态。优选地，全硬件高速智能相机的实现方法的整体实现过程为：1).图像采集：全硬件高速智能相机的前端传感器在前端传感器驱动模块的驱动下进行图像采集，本专利技术选用的传感器分辨率为3360×2496，16路LVDS输出，设计实现了最大分辨率下帧率达到104帧，每路LVDS输出线速度达到600Mbps；2).图像获取：对采集到的图像在图像获取模块中进行串并转换，从中提取出完整的一帧图像数据，并添加上帧同步和行同步信号；3).视频编码：对转换后的图像数据视频全I帧编码，实现了不丢帧的H264编码，且压缩率可实时调整；4).图像缓存：将视频编码结束的图像数据高速缓存在DDR3中，5).视频流上传：最终通过简化的千兆网TCP/IP协议栈将视频流上传到终端。优选地，所述前端传感器驱动模块、图像获取模块、视频编码和千兆网TCP/IP协议栈均被封装在全硬件高速智能相机的硬件系统中。本专利技术中所有算法均在FPGA中实现，因此FPGA选用时，必须要有足够的逻辑资源，且差分IO要能支持600Mbps的线速度，最终选取的是Altera公司Cyclone4系列的EP4CE115F23I7芯片。本专利技术针对图像视频流的传输特征，利用FPGA芯片的高度集成、高速并行运算的特点，根据高速智能相机的功能需求，在FPGA内部实现视频全I帧编码，简化原有繁琐的千兆网TCP/IP协议，从而裁剪掉现有技术的高速智能相机中进行图像处理DSP芯片，删去了繁杂的DSP相关电路。在FPGA内部实现的视频全I帧编码，对现有技术的二维DCT变换进行了一维变换处理，得到和典型的傅里叶变换非常接近的运算结构，可以利用傅里叶变换中的快速蝶形运算实现，实现了不丢帧的H264编码，且压缩率可实时调整。简化的千兆网TCP/IP协议栈是根据高速智能相机的网络传输要求，一般上传视频流数据量大而连续，下发命令通道数据量少的特点，设计简化的千兆网TCP/IP协议栈，只保留，使其具有高速封包、传送的功能，无需软件系统的支持，可以完全嵌入FPGA程序中独立运行。本专利技术将前端传感器驱动、图像获取、视频流编码、千兆网TCP/IP传输完全封装在硬件系统中实现的方法，由于基于全硬件的架构，实时性强，可靠性高，简化了设计难度，降低了设计成本与故障率。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1是本专利技术的视频编码结构框图。图2是本专利技术的DCT运算模块。图3是本专利技术的TCP/IP状态的简化前后对比图。图4是本专利技术简化的TCP/IP的有限状态机示意图。图5是本专利技术的整体架构示意图。图6是本专利技术的整个相机程序在FPGA中占用的资源示意图。具体实施方式下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。根据本专利技术的实施方式，本专利技术提供的一种全硬件高速智能相机的实现方法，包括视频编码和视频流上传，如图1所示，所述视频编码为在FPGA内部实现的视频全I帧编码，其过程为将采集到的图像数据依次经过DCT运算、量化运算和熵编码运算，最后输出编码后的图像数据；如图3所示，所述视频本文档来自技高网...

【技术保护点】
一种全硬件高速智能相机的实现方法，包括视频编码和视频流上传，其特征在于：所述视频编码为在FPGA内部实现的视频全I帧编码，其过程为将采集到的图像数据依次经过DCT运算、量化运算和熵编码运算，最后输出编码后的图像数据；所述视频流上传为嵌入FPGA内部的只保留CLOSED、SYN‑RCVD、SYN‑SEND、LISTEN、ESTABLISHED5种状态的简化千兆网TCP/IP协议栈。

【技术特征摘要】
1.一种全硬件高速智能相机的实现方法，包括视频编码和视频流上传，其特征在于：所述视频编码为在FPGA内部实现的视频全I帧编码，其过程为将采集到的图像数据依次经过DCT运算、量化运算和熵编码运算，最后输出编码后的图像数据；所述视频流上传为嵌入FPGA内部的只保留CLOSED、SYN-RCVD...

【专利技术属性】
技术研发人员：唐世悦，董宁，曹桂平，吴畅，叶加圣，
申请(专利权)人：合肥埃科光电科技有限公司，
类型：发明
国别省市：安徽;34