一种基于Zynq异构平台的超低延时视频传输方法及其装置制造方法及图纸

本发明专利技术涉及一种基于Zynq异构平台的超低延时视频传输装置，包括实现采集编码的发送端设备以及实现解码显示的接收端设备；应用Zynq软硬件皆可编程的特性实现视频从采集、编码、传输、解码与显示整个处理流水线中都按2

【技术实现步骤摘要】
一种基于Zynq异构平台的超低延时视频传输方法及其装置
本专利技术涉及视频传输
，尤其涉及一种基于Zynq异构平台的超低延时视频传输方法及其装置。
技术介绍
视频编解码系统在视频监控，分布式显示控制，无人机图传等视频传输领域有着广泛的需求，传统的视频编解码SOC芯片构成的解决方案在编解码视频的整个流程中，因为处理器流水线式的处理数据，按视频帧级别的处理流程，在流水线的每个环节都有可能引进视频帧的帧间隔级别延时，因此传统的视频编解码系统的端到端传输时延普通较高。
技术实现思路
针对现有技术的不足，本专利技术提供了一种基于Zynq异构平台的超低延时视频传输方法及其装置，解决了传统SOC视频编解码芯片解决方案中传输延时缺点的问题，实现了一套低延时的端到端视频传输系统装置，相比传统的音视频传输系统延时显著降低，实现除去网络传输延时以外的整体延时到达2个帧间隔时间以内。为解决上述技术问题，本专利技术提供了如下技术方案：一种基于Zynq异构平台的超低延时视频传输装置，包括实现采集编码的发送端设备以及实现解码显示的接收端设备，通过应用Zynq芯片的片内的高速总线，充分发挥了Zynq软硬件皆可编程的优势，在视频数据开始从视频接口输入采集时，就开始把一帧视频数据划分成2N(N>＝1)个子帧，利用ZynqPL逻辑单元设计了一个协同视频子帧数据采集与视频子帧编码的子帧同步DMA模块，以及协同视频子帧数据解码与视频数据显示的显示同步DMA模块，实现视频从采集、编码、传输、解码与显示的处理流水线都达到按预定划分的子帧级别，极大降低视频端到端传输的延时。进一步地，所述发送端设备由第一ZynqPL模块、第一DDR模块和第一ZynqPS等模块。进一步地，所述第一ZynqPL模块包含视频编码模块、视频预处理模块和子帧同步DMA模块。进一步地，所述第一ZynqPL模块中的子帧同步DMA模块把经过预处理的HDMI、SDI或MIPI等类型接口输入的视频数据按配置划分的视频子帧的方式分批写入第一DDR模块内存。进一步地，所述视频编码模块通过子帧同步DMA模块读取已存入第一DDR模块内存的视频子帧数据，视频编码模块把编码完成后的视频码流通过Zynq芯片的片内高速总线写入到第一DDR模块内存。进一步地，所述第一ZynqPS模块中的ARM处理器通过软件实现对写入到DDR内存的视频码流数据打包发送。进一步地，所述接收端设备包含第二ZynqPS模块、第二DDR模块和第二ZynqPL模块构成。进一步地，所述第二ZynqPL模块包含视频解码模块、显示同步DMA和显示模块。进一步地，所述第二ZynqPS模块侧的ARM处理器对RTP视频码流数据包解封装后，把解封装后的视频码流数据写入第二DDR模块。进一步地，所述视频解码模块读取第二DDR模块内存中的视频码流数据，通过视频解码模块解码后的视频子帧数据通过显示同步DMA写入DDR内存中。进一步地，所述显示同步DMA模块通过上一帧视频数据的场消隐时间戳预估当前帧视频数据的解码完成时间，如果根据预测等待当前帧场消隐到达的时间超过一半帧间间隔时间，则显示同步DMA模块读取内存中已经完成解码的当前视频数据通过显示模块开始启动当前帧显示，通过第二ZynqPL模块侧的HDMI、SDI或MIPI等视频接口显示输出；如果根据预测等待当前帧场消隐到达的时间小于一半帧间间隔时间，则显示同步DMA模块等待直到满足一半帧间间隔时间后开始读取内存中的当前帧视频数据，这个半帧的帧间隔时间为解码模块提供足够的时间来完成整个视频帧的解码与写入到第二DDR模块内存的操作，从而在当前视频帧显示之前总能提前半帧帧间隔时间来显示当前视频帧。一种基于Zynq异构平台的超低延时视频传输方法，包括发送端设备的视频数据采集编码发送流程以及接收端设备的视频数据接收解码显示流程；一、发送端设备的视频数据采集编码发送流程S1、采集端把通过ZynqPL侧的输入的HDMI，SDI，MIPI等类型视频接口的视频数据，经过视频预处理后，输送到ZynqPL中实现的子帧同步DMA模块；S2、子帧同步DMA模块把输入的视频数据帧按配置划分成2N(N>＝1)个子帧，当子帧同步DMA完成一个视频子帧数据写入到内存DDR时，产生一个子帧完成中断，通知ARM处理器目前已经完成一个子帧数据的写入；S3、当下一个子帧再次完成写入DDR内存时，再次产生一个子帧数据写入完成中断，直到一帧数据完成，产生一个帧写入完成中断，如此一帧帧视频数据循环；S4、当ZynqPS侧的ARM处理器收到一个子帧数据已经完整的写入到DDR内存的中断时，根据设定的条件启动的视频编码模块开始通过子帧同步DMA读取内存中的子帧数据，并开始启动视频编码操作；S5、当一个视频子帧编码完成时，把完成编码的子帧的数据存入内存，并产生相应中断通知ARM处理器进行下一步操作，同时编码模块通过子帧同步DMA发起下一个子帧的数据读取操作；假如下一个子帧已经完成写入到内存，则视频编码模块马上通过子帧同步DMA读取下一个子帧数据，如果下一个子帧还没完成写入到内存，则子帧同步DMA阻塞编码模块的下一个子帧数据的读取操作，直到子帧同步DMA通知下一个子帧数据已经完成写入到内存；如此循环；S6、ARM处理器启动软件实现的视频码流数据网络打包发送模块，把打包后在RTP视频码流数据包通过网络发送给实现解码显示功能的接收端设备；二、接收端设备的视频数据接收解码显示流程S1、网络端口接收来自发送端设备发送过来的RTP视频码流数据包；S2、ZynqPS侧在ARM处理器中对RTP视频数据包解封装后，把解封装后的视频码流数据存入DDR；S3、启动PL侧的视频解码模块从内存读取视频码流数据进行视频解码操作；S4、视频解码模块通过显示同步DMA模块把解码后在视频数据写入DDR内存；S5、显示同步DMA模块通过上一帧视频数据的场消隐时间戳预估当前帧视频数据的解码完成时间；S6、如果根据预测等待当前帧场消隐到达的时间超过一半帧间间隔时间，则显示同步DMA模块读取内存中已经完成解码的当前视频数据通过显示模块开始启动当前帧显示；S7、如果根据预测等待当前帧场消隐到达的时间小于一半帧间间隔时间，则显示同步DMA模块等待直到满足一半帧间间隔时间后开始读取内存中的当前帧视频数据；S8、等待的半个帧间隔时间为解码模块提供足够的时间来完成整个视频帧的解码与写入到DDR内存的操作，从而能提前半个帧间隔时间来显示当前视频帧。本专利技术提供了一种基于Zynq异构平台的超低延时视频传输方法及其装置，具备以下有益效果：1、本专利技术基于异构计算平台Zynq，利用PS与PL之间的高速总线，FPGA灵活可定制的并行计算与ARM处理器运行Linux操作系统的优势，实现了一套低延时的端到端视频传输系统装置，相比传统的编解码SOC芯片加LINUX操作系统的音视频传输系统，延时显著降低，实现除去网络本文档来自技高网...

【技术保护点】
1.一种基于Zynq异构平台的超低延时视频传输装置，包括实现采集编码的发送端设备（1）以及实现解码显示的接收端设备（2），其特征在于：通过Zynq 芯片中PS与PL片内的高速总线，充分发挥了Zynq软硬件皆可编程的优势，在视频数据开始从第一Zynq PL模块（11）侧的HDMI、SDI或MIPI等类型的视频接口输入采集时，就开始把一帧视频数据划分成2

【技术特征摘要】
1.一种基于Zynq异构平台的超低延时视频传输装置，包括实现采集编码的发送端设备（1）以及实现解码显示的接收端设备（2），其特征在于：通过Zynq芯片中PS与PL片内的高速总线，充分发挥了Zynq软硬件皆可编程的优势，在视频数据开始从第一ZynqPL模块（11）侧的HDMI、SDI或MIPI等类型的视频接口输入采集时，就开始把一帧视频数据划分成2N(N>=1)个子帧，利用第一ZynqPL模块（11）中的可编程逻辑单元在发送端设备设计一个协同视频子帧采集与视频子帧编码的子帧同步DMA模块（113），从而使整个端到端传输过程中的采集、编码、传输、解码的处理流水线都是按发送端实际子帧同步DMA模块（113）中配置划分的视频子帧级别来处理视频数据；在接收端设备设计协同视频子帧解码与视频数据显示的显示同步DMA（231），所述显示同步DMA（231）把当前解码视频帧通过视频解码模块（232）解码后的数据写入第二DDR模块（22），当显示同步DMA（231）检查到上一帧视频已经显示完成过去一半帧间隔时间时，显示同步DMA（231）开始从第二DDR模块（22）读取已解码的当前视频帧数据到显示模块（233），显示模块（233）通过第二ZynqPL模块（23）侧的HDMI、SDI或MIPI等视频接口显示输出，显示部分减少半个帧间隔延时；整个视频帧数据在采集、编码、传输、解码的处理流水线中都是按子帧同步DMA模块（113）中配置设定的视频子帧级别。


2.根据权利要求1所述的一种基于Zynq异构平台的超低延时视频传输装置，其特征在于：所述发送端设备（1）包含属于Zynq芯片的第一ZynqPS模块（13）、属于Zynq芯片的第一ZynqPL模块（11）和外部存储器件第一DDR模块（12）；所述第一ZynqPL模块（11）包含有视频编码模块（111）、视频预处理模块（112）和子帧同步DMA模块（113）;第一ZynqPS模块（13）与第一ZynqPL模块（11）通过Zynq片内高速总线连接，第一DDR模块（12）通过高速DDR总线与第一ZynqPS模块（13）连接，第一ZynqPL模块（11）通过Zynq芯片的片内高速总线与第一DDR模块（12）连接。


3.根据权利要求2所述的一种基于Zynq异构平台的超低延时视频传输装置，其特征在于：所述第一ZynqPL模块（11）中把输入的HDMI、SDI或MIPI等类型视频接口的视频数据划分成2N(N>=1)个子帧，通过子帧同步DMA模块（113）写入第一DDR模块（12）内存。


4.根据权利要求3所述的一种基于Zynq异构平台的超低延时视频传输装置，其特征在于：所述视频编码模块（111）通过子帧同步DMA模块（113）读取已经完成写入到第一DDR模块（12）内存的视频子帧数据，读取到的视频子帧数据经过视频编码模块（111）编码后再写入第一DDR模块（12）内存中，所述ZynqPS模块（13）中ARM处理器软件实现已经完成写入第一DDR模块（12）内存中的子帧视频编码后码流数据的打包发送操作。


5.根据权利要求1所述的一种基于Zynq异构平台的超低延时视频传输装置，其特征在于：所述接收端设备（2）包含属于Zynq芯片的第二ZynqPS模块（21）、属于Zynq芯片的第二ZynqPL模块（23）和外部存储器件第二DDR模块（22）；所述第二ZynqPL模块（23）包含显示同步DMA（231）视频解码模块（232）和显示模块（233）;第二ZynqPS模块（21）与第二ZynqPL模块（23）通过Zynq片内高速总线连接，第二DDR模块（22）通过高速DDR总线与第二ZynqPS模块（21）连接，第二ZynqPL模块（23）通过Zynq芯片的片内高速总线与第二DDR模块（22）连接。


6.根据权利要求5所述的一种基于Zynq异构平台的超低延时视频传输装置，其特征...

【专利技术属性】
技术研发人员：尹晓旭，
申请(专利权)人：深圳市君创视讯科技有限公司，
类型：发明
国别省市：广东;44