一种分布式的超高清视频同步处理方法技术

本发明专利技术公开了一种分布式的超高清视频同步处理方法，包括步骤1、摄像机实时采集视频数据，并将采集时间转换为统一时间戳，向客户端推送视频流；步骤2、客户端读取并解析每一路摄像机的视频流，获得视频帧数据；步骤3、使用GPU对视频帧数据进行解码，存入解码缓存队列；步骤4、每一个线程从其对应的解码缓存队列中读取图像并处理，存入对应渲染缓存队列；步骤5、从各个渲染缓存队列中读取图像数据，通过统一时间戳比较对多路图像数据进行同步，将同步后的图像序列合并在同一画布上渲染显示。本方法使用GPU并行计算框架进行视频解码和处理，降低了视频处理的时间延迟和抖动，综合时间戳同步，实现了分布式多路超高清视频同步、实时和流畅的处理。流畅的处理。流畅的处理。

【技术实现步骤摘要】
一种分布式的超高清视频同步处理方法


[0001]本专利技术属于视频图像处理领域，尤其涉及一种基于时间戳同步的分布式超高清视频同步处理方法。

技术介绍

[0002]当前视频网络传输采用的一种主流协议为RTSP(Real Time Streaming Protocol)实时流传输协议，该协议是TCP/IP(Transmission Control Protocol/Internet Protocol，传输控制协议/网际互连协议)协议体系中的一个应用层协议，其定义了一对多应用程序如何有效地通过IP网络传送多媒体数据。RTSP在体系架构上位于RTP(Real
‑
time Transport Protocol，实时传输协议)和RTCP(Real
‑
time Transport Control Protocol，实时传输控制协议)之上，RTP/RTCP是实际的数据传输协议，它使用TCP或UDP(User Datagram Protocol，用户数据报协议)完成数据传输。其中RTCP是控制协议，用于视频流的发送接收控制；R本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式的超高清视频同步处理方法，其特征在于，包括如下步骤：步骤1、启动多路网络超高清4K摄像机，对摄像机的系统时间进行实时校准；摄像机实时采集视频数据，并将采集时间转换为统一的时间戳，向视频处理显示客户端推送视频流；步骤2、启动视频处理显示客户端，客户端读取并解析每一路摄像机的视频流，获得每一路摄像机的视频帧数据和对应的时间戳；步骤3、使用GPU对每一路摄像机的视频帧数据进行解码，将解码后的视频图像数据直接存放于显存之中，将视频图像数据的显存地址和对应的时间戳分别存入独立的解码缓存队列之中；步骤4、采用多线程方式进行图像处理，每一个线程从其对应的解码缓存队列中读取图像并进行处理，图像处理使用GPU并行计算进行加速，处理完成的新图像依然存放于显存之中，将其显存地址和时间戳存入对应的渲染缓存队列之中；步骤5、从各个渲染缓存队列中读取图像数据，通过时间戳比较对多路图像数据进行同步，获得同步后的图像序列；将同步后的图像序列合并在同一画布上渲染显示。2.根据权利要求1所述的一种分布式的超高清视频同步处理方法，其特征在于，步骤1中所述将采集时间转换为统一的时间戳包括：将系统时间转换为一个整形数，以该整形数为基准数，计算每一帧画面的时间戳数值；时间戳的单位采用采样频率的倒数，若视频采样频率为f，则时间戳单位为1/f，即1秒钟被划分为f个时间块，若每秒发送N
f
帧，则每一帧占用的时间块为f/N
f
，时间戳的增量即为f/N
f
；在所述基准数之上增加时间戳的增量，生成当前画面的统一的时间戳，即每发送一帧画面，其时间戳增加f/N
f
。3.根据权利要求2所述的一种分布式的超高清视频同步处理方法，其特征在于，步骤1中所述向视频处理显示客户端推送视频流包括：采用H.264格式对实时采集的视频数据进行压缩编码，将统一的时间戳封装在补充增强信息SEI中，每一帧画面数据中拥有唯一的时间戳，获得H.264视频数据；以RTP协议对H.264视频数据进行打包，根据每一帧视频数据的大小，对NAL网络数据单元进行拆分或组合；当要传输的数据超过最大传输单元MTU时，对数据进行拆分封装；小于MTU时，在一个RTP包中只封装一个NAL网络数据单元；以RTSP协议向视频处理显示客户端提供实时RTP视频流数据。4.根据权利要求3所述的一种分布式的超高清视频同步处理方法，其特征在于，步骤2包括如下步骤：步骤2
‑
1，客户端分别向每个摄像机发送视频请求，与每一个摄像机建立独立的RTSP会话，获取实时RTP视频流数据，采用多线程模式处理每一路RTP视频流数据；步骤2
‑
2，读取RTP视频流数据包中的补充增强信息SEI并解析，获取封装在SEI数据中的时间戳；步骤2
‑
3，读取RTP视频流数据包并进行缓存，提取RTP视频流数据包中的H.264网络数据单元并进行组装，形成一帧完整的H.264视频数据，即图像帧数据；关联图像帧数据和对应的时间戳。5.根据权利要求4所述的一种分布式的超高清视频同步处理方法，其特征在于，步骤2
‑
3包括如下步骤：步骤2
‑3‑
1，创建两个数据缓存队列：(1)数据包缓存队列PacketBuffer，用于存储读取到的RTP视频数据包；(2)H.264视频帧数据缓存队列FrameBuffer，用于存储组装完成的完整视频帧数据；步骤2
‑3‑
2，读取RTP视频流数据包，将数据解析为RTP包头和RTP有效负载两部分；步骤2
‑3‑
3：判断RTP包头中的数据类型，若类型为视频流，则将RTP有效负载数据存入数据包缓存队列PacketBuffer进行处理；步骤2
‑3‑
4：从数据包缓存队列PacketBuffer中取出一个Payload数据包，判断其数据单元模式：若为单一单元模式，则从中提取一个NAL单元；若为组合封包模式，则该P...

【专利技术属性】
技术研发人员：叶玲，陈志新，张政伟，王芳，朱伟，徐小峰，陆凌云，高鑫，苗锋，
申请(专利权)人：中国电子科技集团公司第二十八研究所，
类型：发明
国别省市：