一种基于FPGA的立体图像视频实时融合方法及系统技术方案

一种基于FPGA的立体图像视频实时融合方法，包括视频图像信号获取、视频图像信号缓存和读取、视频图像信号实时处理和视频图像信号发送；所述视频图像信号获取用于完成图像信号接入和采集；所述视频图像信号缓存和读取采用FPGA内部多块RAM乒乓操作进行数据和时序缓存和读取；所述视频图像信号实时处理是根据立体融合模式配置需求进行实时调整立体融合格式；所述视频图像信号发送是将处理过的视频图像信号进行编码并输出；所述视频图像信号获取包括视频图像信号输入和视频图像信号解码；所述视频图像信号输入用于连接外部信号源；视频图像信号源包括HDMI信号、VGA信号、DVI信号、LVDS信号、EDP信号、DP信号和MIPI信号等；所述视频图像信号解码采用FPGA的内部逻辑实现。

【技术实现步骤摘要】
一种基于FPGA的立体图像视频实时融合方法及系统技术邻域本专利技术涉及显示
，尤其涉及一种基于FPGA的立体图像视频实时融合方法及系统
技术介绍
随着移动互联网的发展，便携式设备应用越来越广泛，而集裸眼3D技术和移动互联网技术于一体的便携式裸眼3D设备，具有广阔的市场前景和重要的经济价值。便携式设备搭载嵌入式系统拥有强大的数据处理能力移动互联网功能，与裸眼3D技术相结合提供全新的视觉体验。便携式裸眼3D设备是裸眼3D技术的重要应用，研究与便携式裸眼3D设备相符合的硬件电路结构和视频信号转换的逻辑具有重大意义。FPGA(FieldProgrammableGateArray)是一类高集成度的可编程逻辑器件，起源于美国的XILINX公司，该公司于1985年推出了世界上第一块FPGA芯片。FPGA技术结合了微电子技术、电路技术、EDA技术，使设计者可以集中精力进行所需逻辑功能的设计。与专用集成电路ASCI(ApplicationSpecificIntegratedCircuit)相比，FPGA具有灵活性高、设计周期短、成本低、风险小等优势，因而得到了广泛应用。随着工艺的发展和市场需求的扩大，超大规模、高速、低功耗的新型FPGA不断推陈出新。新一代的FPGA甚至集成了中央处理器(CPU)或数字处理器(DSP)内核，在一片FPGA开发板上进行软硬件协同设计，为实现片上可编程系统提供了强大的硬件支持。随着数字多媒体技术的不断发展,数字图像处理技术被广泛应用于航空航天、通信、医学及工业生产等领域中，新开发的产品在图像存储容量、图像质量、图像处理速度等方面有了新的要求。数字图像处理，一般是通过对像素的一些运算提高图像质量,在图像处理过程中,虽然处理算法简单,但参与运算的数据量大,数据需多次重复使用,因此,图像处理往往是图像处理系统中最为耗时的环节,对整个系统速度影响较大。在当前图像处理算法研究已经很成熟的背景下，提高图像处理的时效性有很大的应用前景。随着微电子技术的高速发展,FPGA为数字图像信号处理在算法、系统结构上带来了新的方法和思路。由于图像中的所有元素均可施以同样的操作,存在固有的并行性,非常适合于映射到FPGA架构中由硬件算法实现,使得图像的处理速度大大加快。对于数字图像处理，底层图像处理的数据量很大,要求处理速度快,但运算结果相对比较简单,以FPGA作为主要处理芯片的图像处理系统非常适合于对图像进行处理。本申请人和专利技术人的CN201510439414提出一种基于FPGA的实时立体视频融合转换算法，基于串口通讯模块，FPGA主板的平台作为转换算法的基础；FPGA主板包括串口通讯模块，HDMI输入寄存器配置模块，HDMI输出寄存器配置模块，IIC接口控制模块，HDMI输入子卡即HDMI输入控制模块，HDMI输出控制模块即输出子卡，DDR3内存控制模块，时钟生成模块，HDMI1080P@60Hz时序生成模块；由PC(1)输出未经融合的左右格式的视频源，左右格式分辨率为1920*1080,通过HDMI接口输入左右格式图像、HDMI接口输出立体视频，视频源通过HDMI1.4接口输入到FPGA,利用FPGA的并行高速融合算法实现左右格式到立体格式视频的转换；最后通过HDMI1.4的输出接口接到显示屏上显示立体视频，完成高清立体视频的转换与显示，同时通过串口通讯模块可以控制左右格式的融合顺序；串口通讯模块采用UART协议，接受PC发出的指令来调整左右格式图像的融合顺序；具体包括以下步骤：首先由PC(1)输出左右格式的视频源，左右格式的视频源由分辨率为960*1080的单视图从左到右依次排列组成，分辨率为1920*1080；PC(1)输出的全视图格式的视频源流向HDMI输入控制模块的HDMI1.4输入子卡(2)，HDMI1.4输入子卡(2)的视频处理能力为1080P@60Hz；经过HDMI1.4输入子卡(2)的视频源进入FPGA主板(3)，在FPGA主板(3)内完成左右视图格式到立体格式视频的转换算法；转换后的立体格式的视频源进入HDMI1.4输出子卡(4)，最后通过HDMI1.4输出子卡(4)的立体格式视频源在3DLCD(5)上显示，得到分辨率为1080P的立体图像；HDMI输入寄存器配置模块的作用是配置HDMI视频解码芯片，采用IIC协议来配置；HDMI输出寄存器配置模块的作用是配置HDMI视频编码芯片，采用IIC协议来配置；IIC接口控制模块用来产生符合IIC协议的时序；FPGA主板内部HDMI输入控制模块完成3项功能：1)采取乒乓切换的算法读取输入视频流从而提高了视频流吞吐量，避免了读写冲突；2)将左右格式图像的对应像素点融合成立体格式的像素点；3)生成符合AXI4总线的时序把有效像素写入DDR3_SDRAM；FPGA主板内部HDMI输出控制模块DDR3_2_HDMI主要完成3项功能1)以1080P@60Hz时序输出像素到HDMI输出接口；2)生成符合AXI4总线的时序从DDR3_SDRAM读出融合后的有效像素；3)基于乒乓切换的算法从DDR3中读取视频流，从而避免了读写冲突；FPGA主板内部DDR3内存控制模块MIG主要完成输入视频流向DDRS_SDRAM的写入控制，DDR3_SDARAM向输出视频流的输出控制；FPGA主板负责完成左右格式图像到立体格式图像的转换算法，其中时钟生成模块CLK_GEN产生FPGA内部的时钟信号以及复位信号；FPGA主板内部HDMI1080P@60Hz时序生成模块主要完成HDMI输出接口的时序。视频编解码芯片是需要使用的，因HDMI输出寄存器配置模块的作用是配置HDMI视频编码芯片，采用IIC协议来配置；IIC接口控制模块用来产生符合IIC协议的时序。
技术实现思路
本专利技术的主要目的是，提供了一种具备图像视频实时处理、集成度高的基于FPGA的立体图像视频实时融合方法及系统，该立体图像视频实时融合方法及系统克服了传统的立体图像视频处理硬件架构规模大、集成度低的问题，实现了不采用视频编解码芯片和SDRAM的情况下基于FPGA的图像视频信号解码、立体图像视频实时处理和图像视频信号编码。为了实现上述目的，本专利技术提供的技术方案是，一种基于FPGA的立体图像视频实时融合方法，该方法包括视频图像信号获取、视频图像信号缓存和读取、视频图像信号实时处理和视频图像信号发送；所述视频图像信号获取用于完成图像信号接入和采集；所述视频图像信号缓存和读取采用FPGA内部多块RAM乒乓操作进行数据和时序缓存和读取；所述视频图像信号实时处理是根据立体融合模式配置需求进行实时调整立体融合格式；所述视频图像信号发送是将处理过的视频图像信号进行编码并输出；所述视频图像信号获取包括视频图像信号输入和视频图像信号解码；所述视频图像信号输入用于连接外部信号源；视频图像信号源包括HDMI信号、VGA信号、DVI信号、LVDS信号、EDP信号、DP信号和MIPI信号等；所述视频图像信号解码采用FPGA的内部逻辑实现。所述视频图像信号缓存和读取包括视频图像数据和时序信号缓存、FPGA内部RAM乒乓操作、视频图像数据寻址读取和视频图像时序顺序读取；所述视频图像数据和时序信号缓存是由FPGA内部多块RAM进行数据和时序缓存；所述视本文档来自技高网...

【技术保护点】
一种基于FPGA的立体图像视频实时融合方法，其特征是步骤如下：包括视频图像信号获取、视频图像信号缓存和读取、视频图像信号实时处理和视频图像信号发送；所述视频图像信号获取用于完成图像信号接入和采集；所述视频图像信号缓存和读取采用FPGA内部多块RAM乒乓操作进行数据和时序缓存和读取；所述视频图像信号实时处理是根据立体融合模式配置需求进行实时调整立体融合格式；所述视频图像信号发送是将处理过的视频图像信号进行编码并输出；所述视频图像信号获取包括视频图像信号输入和视频图像信号解码；所述视频图像信号输入用于连接外部信号源；视频图像信号源包括HDMI信号、VGA信号、DVI信号、LVDS信号、EDP信号、DP信号和MIPI信号等；所述视频图像信号解码采用FPGA的内部逻辑实现；所述视频图像信号缓存和读取包括视频图像数据和时序信号缓存、FPGA内部RAM乒乓操作、视频图像数据寻址读取和视频图像时序顺序读取；所述视频图像数据和时序信号缓存是由FPGA内部多块RAM进行数据和时序缓存；所述视频图像数据和时序信号缓存采用FPGA内部两组RAM对视频图像数据和视频图像时序分离存储，同时FPGA内部每组RAM包含多块RAM来实现乒乓操作进行逐行存储；其中视频图像数据即为视频图像的RGB灰度值，视频图像时序包括视频图像的场同步信号、行同步信号和数据有效信号；所述逐行存储是为了方便后续视频图像数据逐行寻址读取和处理；所述FPGA内部RAM乒乓操作是通过输入数据选择单元和输出数据选择单元按节拍、相互配合的切换，将经过缓冲的数据流没有停顿地送到数据流运算处理模块进行运算与处理；所述视频图像数据寻址读取是针对不同立体格式图像视频要求选择不同像素地址进行读取；所述视频图像时序顺序读取是为了保证数据流输入和输出的动态平衡和时序的同步；所述视频图像时序顺序读取是利用输入视频图像信号的场同步信号上升沿锁定信号和行同步上升沿信号来触发顺序读取起始地址，从而实现视频图像时序逐行同步顺序读取；所述视频图像信号实时处理包括立体融合模式配置和实时立体格式融合；所述立体融合模式配置是通过FPGA外设接口输入控制信号实现不同立体融合模式实时变换；所述实时立体格式融合是将视频图像信号进行实时寻址读取后再按照需要的格式排列融合。所述视频图像信号发送包括视频图像信号编码和视频图像信号输出；所述视频图像信号编码采用FPGA内部逻辑实现不同格式视频图像信号的编码；所述视频图像信号输出采用不同格式的视频图像信号输出接口。所述视频图像信号输入包括HDMI信号、VGA信号、DVI信号、LVDS信号、EDP信号、DP信号和MIPI信号。...

【技术特征摘要】
1.一种基于FPGA的立体图像视频实时融合方法，其特征是步骤如下：包括视频图像信号获取、视频图像信号缓存和读取、视频图像信号实时处理和视频图像信号发送；所述视频图像信号获取用于完成图像信号接入和采集；所述视频图像信号缓存和读取采用FPGA内部多块RAM乒乓操作进行数据和时序缓存和读取；所述视频图像信号实时处理是根据立体融合模式配置需求进行实时调整立体融合格式；所述视频图像信号发送是将处理过的视频图像信号进行编码并输出；所述视频图像信号获取包括视频图像信号输入和视频图像信号解码；所述视频图像信号输入用于连接外部信号源；视频图像信号源包括HDMI信号、VGA信号、DVI信号、LVDS信号、EDP信号、DP信号和MIPI信号等；所述视频图像信号解码采用FPGA的内部逻辑实现；所述视频图像信号缓存和读取包括视频图像数据和时序信号缓存、FPGA内部RAM乒乓操作、视频图像数据寻址读取和视频图像时序顺序读取；所述视频图像数据和时序信号缓存是由FPGA内部多块RAM进行数据和时序缓存；所述视频图像数据和时序信号缓存采用FPGA内部两组RAM对视频图像数据和视频图像时序分离存储，同时FPGA内部每组RAM包含多块RAM来实现乒乓操作进行逐行存储；其中视频图像数据即为视频图像的RGB灰度值，视频图像时序包括视频图像的场同步信号、行同步信号和数据有效信号；所述逐行存储是为了方便后续视频图像数据逐行寻址读取和处理；所述FPGA内部RAM乒乓操作是通过输入数据选择单元和输出数据选择单元按节拍、相互配合的切换，将经过缓冲的数据流没有停顿地送到数据流运算处理模块进行运算与处理；所述视频图像数据寻址读取是针对不同立体格式图像视频要求选择不同像素地址进行读取；所述视频图像时序顺序读取是为了保证数据流输入和输出的动态平衡和时序的同步；所述视频图像时序顺序读取是利用输入视频...

【专利技术属性】
技术研发人员：王元庆，钱林杰，葛雷雨，徐斌，黄挺，
申请(专利权)人：南京大学，
类型：发明
国别省市：江苏,32