【技术实现步骤摘要】
本专利技术涉及视频图像处理，更具体地说，它涉及基于fpga和dsp的视频图像处理延迟动态调节系统。
技术介绍
1、视频图像处理一般包括字符叠加处理和目标追踪分析。视频图像字符叠加是在视频图像中加入字符或时间信号，并在屏幕的特定位置上与视频图像同时进行显示的技术。而需要叠加的字符信息一般通过目标追踪算法对原始视频数据进行分析，得到相应的字符叠加控制命令，再通过字符叠加器实现图像上的字符叠加处理。
2、由于帧图像的字符叠加处理需要依赖目标追踪分析的结果，所以每一帧图像的字符叠加处理和目标追踪分析之间存在至少一帧图像的延迟。而每一帧图像的延迟是由将图像输入至目标追踪分析模块的传输通道的固有属性决定的，例如传输通道传输一帧图像所需的时间为20ms，在上一帧图像开始进行目标追踪分析时，下一帧图像开始传输，待下一帧图像传输完成后，需保证上一帧图像已完成算法处理，方便下一帧图像进行目标追踪分析，所以一帧的延迟即为20ms。
3、然而，由于每一帧图像进行目标追踪分析时所需的时间均不相同，而单一传输通道在一旦确定后将难以更改，所以为了保障各个帧图像顺利完成目标追踪分析，所选取的传输通道的帧图像延迟往往会比大部分帧图像进行目标追踪分析所需的时间大，这就导致视频图像处理所需时间长，存在工作效率较低的问题。因此，如何研究设计一种能够克服上述缺陷的基于fpga和dsp的视频图像处理延迟动态调节系统是我们目前急需解决的问题。
技术实现思路
1、为解决现有技术中的不足，本专利技术的目的是
2、本专利技术的上述技术目的是通过以下技术方案得以实现的：
3、第一方面，提供了基于fpga和dsp的视频图像处理延迟动态调节系统，包括第一dsp模块、第二dsp模块和fpga，所述fpga包括cml接收模块、osd模块、pal输出模块、图像预处理模块和延迟调节模块；
4、所述第一dsp模块包括跟踪分析单元和通道调节单元；
5、所述cml接收模块，用于对接收到的cml图像数据进行解码，得到由一路8bit图像和一路14bit图像组成的数字图像；
6、所述图像预处理模块，用于对14bit图像进行中值滤波、边缘锐化和/或时序调整处理，得到预处理图像；
7、所述跟踪分析单元，用于对通道调节单元中的传输通道所传输的预处理图像进行目标跟踪分析，得到目标分析结果；
8、所述第二dsp模块，用于根据目标分析结果生成字符叠加命令；
9、所述osd模块，用于根据字符叠加命令对8bit图像进行字符叠加处理，得到字符叠加图像；
10、所述pal输出模块，用于将8bit的字符叠加图像以pal制式时序输出；
11、所述延迟调节模块，用于采集osd模块中每帧图像进行字符叠加处理时的第一处理时间以及跟踪分析单元中每帧图像进行目标跟踪分析时的第二处理时间，并依据第一处理时间和第二处理时间生成通道调节命令；
12、所述通道调节单元，配置有多个并行且传输延迟不同的传输通道，用于依据通道调节命令选取适应的一个传输通道将一帧图像或多帧连续图像传输至跟踪分析单元。
13、进一步的，所述通道调节命令的生成具体为：
14、采集第i帧图像进行字符叠加处理时的第一处理时间t1，以及采集第i+n帧图像进行目标跟踪分析时的第二处理时间t2，n为字符叠加处理与目标跟踪分析之间的帧延迟；
15、根据第一处理时间t1和第二处理时间t2生成第i+n+2帧图像传输至跟踪分析单元的通道调节命令。
16、进一步的，所述依据通道调节命令选取适应的一个传输通道的过程具体为：
17、筛选出传输延迟不小于第一处理时间t1和第二处理时间t2的传输通道；
18、确定第一处理时间t1和第二处理时间t2之间的最大值；
19、从筛选出的传输通道中选取与最大值之间时间偏差最小的通道作为通道调节命令所对应选取的传输通道。
20、进一步的，所述cml图像数据包括a、b两路cml数字图像；
21、其中，a路cml数字图像采用14bit/8bit混合传输模式，b路cml数字图像采用8bit传输模式。
22、进一步的，所述a路cml数字图像的分辨率为384×288，b路cml数字图像的分辨率为720×576。
23、进一步的，所述14bit/8bit混合传输模式具体为：在每一行的576个16bit有效图像数据中，前面192个数据由相邻两个像素的8bit数据拼接而成，后面的384个数据为各个像素对应的14位数据，高2位填0；
24、所述8bit传输模式具体为：每一行的360个16bit有效图像数据，由相邻两个像素的8bit数据拼接而成。
25、进一步的，所述osd模块对接收到的8bit图像进行图像拼接处理，具体为：
26、若接收到的8bit图像为a路所对应的a通道传输的，则对a通道中间360×288区域按照邻元代替的方法扩展为720×576的图像，并在图像左下端四分之一区域显示b通道中心区域180×144的8位图像；
27、若接收到的8bit图像为b路所对应的b通道传输的，则在图像左下端四分之一区域2倍放大显示a通道中心区域90×72的8位图像。
28、进一步的，若选择b通道传输b路cml数字图像时，则将8bit图像输出到osd模块进行数字叠加，以及将8bit图像转化为14bit图像输出到图像预处理模块。
29、进一步的，所述8bit图像转化为14bit图像的表达式具体为：
30、data_14b(data_8bimg_average)×2+5120
31、其中，data_14b表示经过计算得到的14bit数据；data_8b表示原始的8bit数据；img_average表示上一帧的8bit图像均值。
32、进一步的，所述fpga中还包括双口ram模块；
33、所述第一dsp模块和第二dsp模块均与双口ram模块连接；
34、所述第一dsp模块与第二dsp模块通过访问双口ram模块中的存储地址来实现信息传输。
35、与现有技术相比，本专利技术具有以下有益效果：
36、1、本专利技术提供的基于fpga和dsp的视频图像处理延迟动态调节系统，考虑到邻近的帧图像之间差异较小，所以两个邻近的帧图像之间在字符叠加处理所需的时间差异较小，以及两个邻近的帧图像之间在目标追踪分析所需的时间差异也较小；本专利技术依据排序前列的帧图像在进行字符叠加处理和目标跟踪分析的具体情况来动态调整后续帧图像的传输通道，从而实现帧图像延迟的灵活调整，有效提高了视频图本文档来自技高网...
【技术保护点】
1.基于FPGA和DSP的视频图像处理延迟动态调节系统，包括第一DSP模块、第二DSP模块和FPGA，其特征是，所述FPGA包括CML接收模块、OSD模块、PAL输出模块、图像预处理模块和延迟调节模块；
2.根据权利要求1所述的基于FPGA和DSP的视频图像处理延迟动态调节系统，其特征是，所述通道调节命令的生成具体为：
3.根据权利要求2所述的基于FPGA和DSP的视频图像处理延迟动态调节系统，其特征是，所述依据通道调节命令选取适应的一个传输通道的过程具体为：
4.根据权利要求1所述的基于FPGA和DSP的视频图像处理延迟动态调节系统，其特征是，所述CML图像数据包括A、B两路CML数字图像；
5.根据权利要求4所述的基于FPGA和DSP的视频图像处理延迟动态调节系统，其特征是，所述A路CML数字图像的分辨率为384×288，B路CML数字图像的分辨率为720×576。
6.根据权利要求4所述的基于FPGA和DSP的视频图像处理延迟动态调节系统，其特征是，所述14bit/8bit混合传输模式具体为：在每一行的576个16
7.根据权利要求4所述的基于FPGA和DSP的视频图像处理延迟动态调节系统，其特征是，所述OSD模块对接收到的8bit图像进行图像拼接处理，具体为：
8.根据权利要求7所述的基于FPGA和DSP的视频图像处理延迟动态调节系统，其特征是，若选择B通道传输B路CML数字图像时，则将8bit图像输出到OSD模块进行数字叠加，以及将8bit图像转化为14bit图像输出到图像预处理模块。
9.根据权利要求8所述的基于FPGA和DSP的视频图像处理延迟动态调节系统，其特征是，所述8bit图像转化为14bit图像的表达式具体为：
10.根据权利要求1所述的基于FPGA和DSP的视频图像处理延迟动态调节系统，其特征是，所述FPGA中还包括双口RAM模块；
...【技术特征摘要】
1.基于fpga和dsp的视频图像处理延迟动态调节系统，包括第一dsp模块、第二dsp模块和fpga，其特征是，所述fpga包括cml接收模块、osd模块、pal输出模块、图像预处理模块和延迟调节模块；
2.根据权利要求1所述的基于fpga和dsp的视频图像处理延迟动态调节系统，其特征是，所述通道调节命令的生成具体为：
3.根据权利要求2所述的基于fpga和dsp的视频图像处理延迟动态调节系统，其特征是，所述依据通道调节命令选取适应的一个传输通道的过程具体为：
4.根据权利要求1所述的基于fpga和dsp的视频图像处理延迟动态调节系统，其特征是，所述cml图像数据包括a、b两路cml数字图像；
5.根据权利要求4所述的基于fpga和dsp的视频图像处理延迟动态调节系统，其特征是，所述a路cml数字图像的分辨率为384×288，b路cml数字图像的分辨率为720×576。
6.根据权利要求4所述的基于fpga和dsp的视频图像处理延迟动态调节...
【专利技术属性】
技术研发人员：李非桃，石子明，童宇航，盛博文，吴禹志，王彬，李宝龙，朱国斌，
申请(专利权)人：四川赛狄信息技术股份公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。