一种基于FPGA的实时视频叠加处理系统技术方案

本发明专利技术提出的一种基于FPGA的实时视频叠加处理系统，包括帧缓存模块、读写控制器模块和叠加计算模块。帧缓存模块对输入的外背景视频信号进行缓存处理，叠加计算模块在读写控制器模块控制下，从帧缓存模块中读取外背景视频数据，还接收外部GPU芯片提供的字符视频信号，对两路不同视频的同一坐标像素进行叠加计算；读写控制器模块根据外背景视频信号以及字符视频信号中的的时序信号产生写入像素坐标和读取像素坐标。本发明专利技术所需硬件资源利用FPGA的内部资源即可满足要求，减小了硬件BOM种类和开销；利用FPGA的并行性和配置灵活性，自行设计了视频同步模块和叠加计算模块，利用很小的缓存即可实现视频叠加功能，大大减小了视频处理延时，提高了实时性。

A Real-time Video Overlay Processing System Based on FPGA

【技术实现步骤摘要】
一种基于FPGA的实时视频叠加处理系统
本专利技术涉及现代电子
，具体涉及一种基于FPGA的实时视频叠加处理系统。
技术介绍
随着车载、机载HUD技术以及VR/AR技术的发展，数字视频的实时显示需求也在不断提高，但是目前在很多的应用场合，都仍存在视频处理延时大带来的一系列问题。例如飞机利用HUD辅助夜航，通过HUD观察外视景，如果延时过大，造成飞行员不能及时响应外部环境变化，会增大安全风险；又如汽车HUD辅助驾驶或倒车影像应用，若视频处理延时过大，会对驾驶员的判断造成影响，使驾驶员无法即使响应外部的最新路况，严重的甚至会造成交通事故；还如VR游戏，若视频处理延时过大，会造成游戏体验差，眩晕等现象。传统的视频叠加处理采用CPU或GPU等通用处理器实现，存在以下问题：1)视频信号采集采用多帧缓存，带来2到3帧的采集延时；2)视频输出采用双缓存，带来1帧的输出延时；3)视频叠加处理是以整帧为单位进行计算，整帧计算完成后才输出，带来1帧的处理延时。因此，传统的处理方法需要约4到5帧的延时才能完成整个视频叠加处理过程。此外，通用处理器进行视频处理往往还需要增加专用SDRAM、Flash等器件，硬件开销较大。FPGA是一种可以进行编程控制的异构处理器芯片，通过不同的编码能够实现不同的电路，能够根据实际需求对电路进行优化，具有较高的并行性和实时性。通过FPGA对视频进行处理，是近些年来视频处理的一个热门方向。其主要特点有：1)并行性强，可以实现视频采集、视频叠加的流水线处理；2)实时性强，通过专门设计的帧缓存，将异步视频进行同步化；3)配置灵活，内部资源丰富，无须在外部增加过多电路，缩减成本。用FPGA来进行视频叠加处理，能够减小视频叠加延时，满足不同领域的视频处理实时性需求。
技术实现思路
为解决现有的视频处理方法延时过大、硬件开销大的问题，本专利技术提出一种基于FPGA的实时视频叠加处理系统。本专利技术的技术方案为：所述一种基于FPGA的实时视频叠加处理系统，其特征在于：包括帧缓存模块、读写控制器模块和叠加计算模块；外背景视频信号输入帧缓存模块，帧缓存模块对输入的外背景视频信号进行缓存处理，并在读写控制器模块控制下，将缓存的视频数据输出给叠加计算模块，实现不同源输入的异步视频同步化，为后续叠加计算进行预处理；所述叠加计算模块在在读写控制器模块控制下，从帧缓存模块中读取外背景视频数据，且叠加计算模块还接收外部GPU芯片提供的字符视频信号，叠加计算模块根据以下公式对两路不同视频的同一坐标像素进行叠加计算：P＝(X+Y)-X*Y/255，其中X为字符视频像素点灰度值，Y为外背景视频像素点灰度值，P为叠加后画面像素点灰度值；所述读写控制器模块接收外背景视频信号以及字符视频信号中的时钟信号、视频有效信号，行同步信号和场同步信号；根据外背景视频信号中的时序信号产生写入像素坐标，并将写入像素坐标输出给帧缓存模块；根据字符视频信号中的时序信号产生读取像素坐标，并将读取像素坐标输出给叠加计算模块；所述时序信号指时钟信号，视频有效信号，行同步信号和场同步信号。有益效果本专利技术提出的一种基于FPGA的实时视频叠加处理系统，由于只采用了FPGA作为视频同步、视频叠加的主要处理平台，所需硬件资源利用FPGA的内部资源即可满足要求，减小了硬件BOM种类和开销；利用FPGA的并行性和配置灵活性，自行设计了视频同步模块和叠加计算模块，利用很小的缓存即可实现视频叠加功能，大大减小了视频处理延时，提高了实时性。本专利技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：图1为本专利技术的信号处理流程示意图；图2为本专利技术的帧缓存模块组成图；图3为本专利技术的读写控制器模块组成图；图4为本专利技术的叠加计算模块组成图。具体实施方式下面详细描述本专利技术的实施例，所述实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。本实施例中的一种基于FPGA的实时视频叠加处理系统如图1所示，包括帧缓存模块、读写控制器模块和叠加计算模块。所述帧缓存模块的主要作用是对外背景视频(该背景视频通常为摄像机或红外设备拍摄的视频)输入进行缓存处理。外背景视频信号输入帧缓存模块，帧缓存模块对输入的外背景视频信号进行缓存处理，并在读写控制器模块控制下，将缓存的视频数据输出给叠加计算模块，实现不同源输入的异步视频同步化，为后续叠加计算进行预处理。所述叠加计算模块的主要作用是对两路不同视频的同一坐标像素按照算法进行叠加处理。叠加处理使用FPGA内部的DSP资源例化得到的乘加器，不增加外部开销。即所述叠加计算模块在在读写控制器模块控制下，从帧缓存模块中读取外背景视频数据，且叠加计算模块还接收外部GPU芯片提供的字符视频信号，叠加计算模块根据以下公式对两路不同视频的同一坐标像素进行叠加计算：P＝(X+Y)-X*Y/255，其中X为字符视频像素点灰度值，Y为外背景视频像素点灰度值，P为叠加后画面像素点灰度值。所述读写控制器主要分为写入控制逻辑和读取控制逻辑，其中写入控制逻辑的主要作用是根据外视频输入的时序信号产生写入像素坐标，按照外视频的像素时钟将逐个像素数据写入到帧缓存中；读取控制逻辑的主要作用是根据字符视频输入的时序信号产生读取像素坐标，按照字符视频的像素时钟将帧缓存中已存储的外视频像素数据逐个读取到叠加模块中，进行叠加处理。所述读写控制器模块接收外背景视频信号以及字符视频信号中的时钟信号、视频有效信号，行同步信号和场同步信号；根据外背景视频信号中的时序信号产生写入像素坐标，并将写入像素坐标输出给帧缓存模块；根据字符视频信号中的时序信号产生读取像素坐标，并将读取像素坐标输出给叠加计算模块；所述时序信号指时钟信号，视频有效信号，行同步信号和场同步信号。外背景视频和字符视频的时序信号进入读写控制器中，根据两个视频流各自的时序分别产生写入和读取的行列坐标，其中外背景视频数据以外背景视频的像素时钟作为写入时钟，按照写入坐标逐点写入到帧缓存中存储；字符视频数据以自身的像素时钟作为读取时钟，按照读取坐标从帧缓存的相应地址取出外视频数据，然后将同一坐标的外视频和字符视频数据按照字符视频像素时钟的节拍，逐像素送入叠加计算模块中进行算法处理，最后按照字符视频的像素时钟和时序输出叠加后的视频。具体的帧缓存模块示意图如图2所示。由于外背景视频和字符视频为不同源的异步视频，其叠加处理必须要经过同步化处理，帧缓存的主要作用就是将外背景视频暂存，然后字符视频可以以自身的时序读取到对应坐标像素的外背景视频数据，以供后级处理。帧缓存的主体是利用FPGA内部的BRAM资源例化成的双端口SRAM，在双口SRAM的写入端，按照写入控制逻辑计算出的外背景视频像素行列地址，以外背景视频像素时钟作为参考，逐像素把像素数据写入到双口RAM的对应地址中；在读取端，按照读取控制逻辑计算出的字符视频像素行列地址，以字符视频像素时钟作为参考，逐像素地从双口RAM的对应地址中读出外背景视频数据，也即字符视频每个时钟周期都能从帧缓存中取到相同坐标的外背景视频像素数据，之后送叠加计算模块进行叠加处理。而本文档来自技高网...

【技术保护点】
1.一种基于FPGA的实时视频叠加处理系统，其特征在于：包括帧缓存模块、读写控制器模块和叠加计算模块；外背景视频信号输入帧缓存模块，帧缓存模块对输入的外背景视频信号进行缓存处理，并在读写控制器模块控制下，将缓存的视频数据输出给叠加计算模块，实现不同源输入的异步视频同步化，为后续叠加计算进行预处理；所述叠加计算模块在在读写控制器模块控制下，从帧缓存模块中读取外背景视频数据，且叠加计算模块还接收外部GPU芯片提供的字符视频信号，叠加计算模块根据以下公式对两路不同视频的同一坐标像素进行叠加计算：P＝(X+Y)‑X*Y/255，其中X为字符视频像素点灰度值，Y为外背景视频像素点灰度值，P为叠加后画面像素点灰度值；所述读写控制器模块接收外背景视频信号以及字符视频信号中的时钟信号、视频有效信号，行同步信号和场同步信号；根据外背景视频信号中的时序信号产生写入像素坐标，并将写入像素坐标输出给帧缓存模块；根据字符视频信号中的时序信号产生读取像素坐标，并将读取像素坐标输出给叠加计算模块；所述时序信号指时钟信号，视频有效信号，行同步信号和场同步信号。

【技术特征摘要】
1.一种基于FPGA的实时视频叠加处理系统，其特征在于：包括帧缓存模块、读写控制器模块和叠加计算模块；外背景视频信号输入帧缓存模块，帧缓存模块对输入的外背景视频信号进行缓存处理，并在读写控制器模块控制下，将缓存的视频数据输出给叠加计算模块，实现不同源输入的异步视频同步化，为后续叠加计算进行预处理；所述叠加计算模块在在读写控制器模块控制下，从帧缓存模块中读取外背景视频数据，且叠加计算模块还接收外部GPU芯片提供的字符视频信号，叠加计算模块根据以下公式对两路不同视频的同...

【专利技术属性】
技术研发人员：王聪，牛盼情，王浩然，王振伟，郭晓光，
申请(专利权)人：中国航空工业集团公司洛阳电光设备研究所，
类型：发明
国别省市：河南,41