一种低延迟视频混合装置制造方法及图纸

本发明专利技术公开了一种低延迟视频混合装置，包含视频输入接口、若干个低延迟视频处理同步单元、视频缓存模块和视频混合处理单元，视频输入接口选择一路输入视频作为主视频，其它视频作为从视频，将接收到的主视频的同步时序信号分别输入各个低延迟视频处理同步单元；各个低延迟视频处理同步单元根据同步时序信号将从视频通过在视频缓存模块的读写实现从视频与主视频的同步；视频混合处理单元将主视频和同步后的从视频进行融合输出；所述视频缓存模块为每个低延迟视频处理同步单元分配不超过2个帧存。本发明专利技术通过对视频进行2帧缓存和视频速率预测的视频混合方案，可以使视频延时最少降低至传统方法的二分之一。

【技术实现步骤摘要】
一种低延迟视频混合装置
本专利技术涉及视频处理和微电子领域的处理电路，涉及一种将多种视频混合处理的装置。
技术介绍
在视频处理中，经常会涉及到多路视频进行混合处理，如将操作界面与摄像头视频混合呈现给使用者，便于操作和观察。在使用可编程器件进行多路视频混合处理时，传统方法是将输入视频采集成图像数据使用三帧缓存方法缓存及缩放、混合处理后输出。该方法禁止对三帧缓存中的任何一帧进行同时存入和读出操作，能有效保证视频的完整性，很好的适应不同步的多路输入视频的混合，但该方法的缺点也很明显，视频混合的延迟较大，消耗的存储资源多。本专利技术提供了一种延时更低、消耗存储资源更少的视频处理方法，尤其适合多路视频无法保证同步，且对延时较为敏感的应用场合。
技术实现思路
本专利技术目的在于提供一种低延迟视频混合装置，通过对视频进行2帧缓存和视频速率预测的视频混合方案，可以使视频延时最少降低至传统方法的二分之一。本专利技术的专利技术目的通过以下技术方案实现：一种低延迟视频混合装置，包含视频输入接口、若干个低延迟视频处理同步单元、视频缓存模块和视频混合处理单元；视频输入接口选择一路输入视频作为主视频，其它视频作为从视频，将接收到的主视频的同步时序信号分别输入各个低延迟视频处理同步单元；各个低延迟视频处理同步单元根据同步时序信号将从视频通过在视频缓存模块的读写实现从视频与主视频的同步；视频混合处理单元将主视频和同步后的从视频进行融合输出；视频缓存模块为每个低延迟视频处理同步单元分配不超过2个帧存。优选地，低延迟视频处理同步单元包含视频相位跟踪预测模块、访问冲突预测及缓存选择模块、视频采集模块、视频数据预处理模块、帧存访问控制器模块、视频数据处理模块和视频同步输出模块；视频相位跟踪预测模块用于检测从视频和同步时序信号的速率差和相位差；访问冲突预测及缓存选择模块用于在从视频和同步时序信号的速率一致时，控制帧存访问控制器的读指针和写指针在同一帧存上移动；当从视频的速率比同步时序信号的速率快时，控制帧存访问控制器的写读针和读指针在二个帧存上交替移动，当写指针与读指针在同一帧存上时，判别写指针是否会出现访问冲突，如果会出现访问冲突，则写指针不移动；当从视频的速率比同步时序信号的速率慢时，控制帧存访问控制器的写读针和读指针在二个帧存上交替移动，当写指针与读指针在同一帧存上时，判别读指针是否会出现访问，如果会出现访问冲突，则读指针不移动；视频采集模块根据帧存控制器上写指针的位置将视频写入帧存；视频同步输出模块以相位差作为延时从帧存控制器上读指针的位置将视频从帧存读出。附图说明图1为低延迟视频混合装置的结构示意图；图2为低延迟视频处理同步单元的结构示意图；图3为视频传输速率及输入视频与主同步视频间的相位差示意图；图4为访问冲突预测及缓存选择模块的处理流程示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细。本实施例以由FPGA芯片和存储器组成的低延迟视频混合装置为例进行说明。在FPGA芯片中设置视频输入接口、若干个低延迟视频处理同步单元和视频混合处理单元，将存储器作为视频缓存模块。视频输入接口从输入的多路视频中选定一路延时要求最严苛的视频作为主视频，其余几路视频作为从视频。视频输入接口将主视频的速率作为同步时序信号送往低延迟视频处理同步单元，低延迟视频处理同步单元根据同步时序信号将从视频通过在视频缓存模块的读写实现从视频与主视频的同步后在视频混合处理单元完成所有视频的混合后输出。低延迟视频处理同步单元针对视频缓存处理时数据写入和读取都是顺序进行的特点，该单元通过视频相位跟踪预测进行缓冲区管理控制，当预测到同一帧缓存写入和读出数据不会发生冲突时，就控制直接从正在写入的帧缓存读出进行处理，该方法对比传统三帧缓存方法，视频处理和时序同步的延迟低约一个场周期，最大总延能降低到传统三帧缓存方法的约二分之一。如图2所示，低延迟视频处理同步单元具有视频相位跟踪预测模块、访问冲突预测及缓存选择模块、视频采集模块、视频数据预处理模块、帧存访问控制器、视频数据处理模块、视频同步输出模块等部分组成。视频相位跟踪预测模块用于持续检测从视频信号和同步视频信号的速率差和相位差。视频相位跟踪预测模块的输入信号有从视频信号(din[23:0]、hs_in、vs_in、pclk_in、de_in)、同步时序信号(sync_hs、sync_vs、sync_de、sync_pclk)、视频相位预测跟踪部件时钟(mclk)。视频传输速率及输入视频与主同步视频间的相位差如图3所示。其中Vnum_i是vs_in的周期，Vnum_sync是sync_vs的周期，单位是视频相位预测跟踪部件时钟(mclk)，Vnum_i和Vnum_o值越大则速率越慢，值越小则速率越快。D_io_num是视频间场周期的时间差，D_io_num为正表示主视频快，从视频慢；D_io_num为负表示主视频慢，从视频快。D_io_num绝对值越大表明从视频和主视频的速率差越大。Dnum则表示输入视频和主同步视频之间的相位差，Dnum为正表示输入视频相位落后于主同步视频，Dnum为负表示输入视频相位领先于主同步视频，绝对值越大，相位差越大。访问冲突预测及缓存选择模块持续预测在同一帧缓冲区上进行采集视频写入操作与输出视频读取操作会否冲突，当完成一帧采集或者一帧输出时根据预测结果选择能把总延时控制到最小且不会产生冲突的帧缓冲区进行操作。访问冲突根据视频信号速率、相位、处理延迟进行综合判断。访问冲突预测及缓存选择处理流程如图4所示：当从视频与主视频传输速率相同，此时从视频与输出视频间的相位差是固定值，帧存控制器只使用一个帧缓存即可，实现输出视频对输入视频进行延时输出，延迟时间为从视频与主视频间的相位差。当从视频传输速率较快，帧存访问控制器使用双帧缓存，分别采用交替访问帧缓存的方式写入从视频数据，读取输出视频数据。其中读取输出视频数据采用固定的乒乓操作交替读取两个帧缓存。在输入视频帧起始处，判断即将乒乓操作使用的帧缓存是否为输出视频当前使用的帧缓存，根据从视频与主视频的速率、相位差、当前处理延迟，计算完成当前帧写入的时钟周期数C_in和完成当前帧输出的时钟周期数C_out间的相位差，当C_in小于C_out时，表示预测结果为会出现访问冲突，不作切换，直接选择上一个场周期使用的写入帧缓冲，此时正在输入的视频内容的总延迟达到最大，约为一帧视频传输时间，从下一帧开始，延迟将调整到最低延迟状态。当主视频传输速率较快，帧存访问控制器使用双帧缓存，分别采用交替访问帧缓存的方式写入输入视频数据，读取输出视频数据。其中写入输入视频数据采用固定的乒乓操作交替读取两个帧缓存。读取输出视频数据时，在输出视频帧起始处，判断即将乒乓操作使用的帧缓存是否为视频输入当前使用的帧缓存，如果是输入视频当前使用的帧缓存，根据输入视频与同步视频的速率、相位差、当前处理延迟，计算完成当前帧写入的时钟周期数C_in和完成当前帧输出的时钟周期数C_out间的相位差，当C_in大于C_out时，表示预测结果为会出现访问冲突，则输出视频对原帧缓存进行重复读取，保证输出的视频数据为同一帧视频数据。此时输出视频与输入视频最大延时约为一帧视频传输时间，从下一帧开始，延迟将调整到最低延本文档来自技高网...

【技术保护点】
一种低延迟视频混合装置，包含视频输入接口、若干个低延迟视频处理同步单元、视频缓存模块和视频混合处理单元，其特征在于：所述视频输入接口选择一路输入视频作为主视频，其它视频作为从视频，将接收到的主视频的同步时序信号分别输入各个低延迟视频处理同步单元；各个低延迟视频处理同步单元根据同步时序信号将从视频通过在视频缓存模块的读写实现从视频与主视频的同步；所述视频混合处理单元将主视频和同步后的从视频进行融合输出；所述视频缓存模块为每个低延迟视频处理同步单元分配不超过2个帧存。

【技术特征摘要】
1.一种低延迟视频混合装置，包含视频输入接口、若干个低延迟视频处理同步单元、视频缓存模块和视频混合处理单元，其特征在于：所述视频输入接口选择一路输入视频作为主视频，其它视频作为从视频，将接收到的主视频的同步时序信号分别输入各个低延迟视频处理同步单元；各个低延迟视频处理同步单元根据同步时序信号将从视频通过在视频缓存模块的读写实现从视频与主视频的同步；所述视频混合处理单元将主视频和同步后的从视频进行融合输出；所述视频缓存模块为每个低延迟视频处理同步单元分配不超过2个帧存。2.根据权利要求1所述一种低延迟视频混合装置，其特征在于所述低延迟视频处理同步单元包含视频相位跟踪预测模块、访问冲突预测及缓存选择模块、视频采集模块、视频数据预处理模块、帧存访问控制器模块、视频数据处理模块和视频同步输出模块；视频相...

【专利技术属性】
技术研发人员：郭凡，李少光，康健斌，廖科，周坚锋，
申请(专利权)人：中国航空无线电电子研究所，
类型：发明
国别省市：上海,31