一种视频处理方法及装置制造方法及图纸

本发明专利技术公开了一种视频处理方法及装置，能够在编码器接收到第一视频帧图像时记录第一时间；在输出编码后的第一视频帧图像时记录第二时间；将第一时间和第二时间嵌入编码后的第一视频帧图像，然后对其进行RTP分包，在首个RTP包头嵌入对应当前系统时间的第三时间并发往视频接收侧，以使视频接收侧能够根据接收编码后的第一视频帧图像的RTP分包的情况，结合前述嵌入第一视频帧图像的时间信息确定第一视频帧图像的链路传输时间。该视频处理方法及装置能够在视频数据传输过程中记录并传送各个处理节点的时戳信息，实现对视频传输各个环节延时的测试，能够在视频数据发生阻塞时方便的定位链路问题，便于后续控制决策的确定。满足实际应用需要。足实际应用需要。足实际应用需要。

【技术实现步骤摘要】
一种视频处理方法及装置


[0001]本专利技术涉及通信
，更具体的说，是涉及一种视频处理方法及装置。

技术介绍

[0002]随着智能和远程驾驶技术的迅速发展，车载嵌入式系统功能愈发丰富，支持摄像头等设备实时对汽车周围环境进行感知；同时，5G等网络技术的发展，也为视频实时传输和远程驾驶提供了支持。在此背景下，如何提供稳定、低延时视频流的传输和闭环控制来保证车辆的远程驾驶的安全性，成为领域内技术人员研究的热点。
[0003]目前普遍采用的视频传输步骤主要有摄像头采集、视频压缩、网络传输、视频解码和播放显示等步骤。从摄像头采集的视频RAW图像较大，一般需要使用压缩算法来减小视频文件大小，以满足网络实时传输的需求，常用的视频压缩算法主要为H264压缩算法。视频压缩后的H264码流经过RTP(Real
‑
time Transport Protocol，实时传输协议)打包，进一步通过UDP(User Datagram Protocol，用户数据报协议)方式进行网络传输。在接收侧，视频播放设备首先解析UDP和RTP头，获得H264码流，为了降低延迟，对H264码流使用硬件解码得到视频RAW图像并进行实时显示。
[0004]实际情况中，视频流在传输过程中可能会发生阻塞，然而上述基于H264码流传输视频数据的实现，并不能够在链路阻塞时定位链路问题，从而无法满足实际应用需要。

技术实现思路

[0005]有鉴于此，本专利技术提供如下技术方案：
[0006]一种视频处理方法，应用于视频发送侧，包括：
[0007]在编码器接收到图像采集设备采集的第一视频帧图像时记录系统时间为第一时间，所述第一视频帧图像是所述图像采集设备采集的任一视频帧图像；
[0008]在所述编码器完成对所述第一视频帧图像的编码并输出编码后的第一视频帧图像时，记录系统时间为第二时间；
[0009]将所述第一时间和所述第二时间嵌入所述编码后的第一视频帧图像；
[0010]在对所述编码后的第一视频帧图像进行RTP分包后，在首个RTP包头部嵌入对应当前系统时间的第三时间并发往视频接收侧，以使得视频接收侧能够根据接收所述编码后的第一视频帧图像的RTP分包的情况，结合所述第一时间、所述第二时间和/或所述第三时间确定所述第一视频帧图像的链路传输时间。
[0011]可选的，所述编码后的第一视频帧图像为H264码流，所述将所述第一时间和所述第二时间嵌入所述编码后的第一视频帧图像，包括：
[0012]将所述第一时间和所述第二时间嵌入所述H264码流中的补充增强信息帧。
[0013]可选的，所述将所述第一时间和所述第二时间嵌入所述H264码流中的补充增强信息帧，包括：
[0014]对所述H264码流中的补充增强信息帧中0x05类型的报文进行改造，将所述第一时
间和所述第二时间嵌入所述0x05类型的报文中的uuid部分。
[0015]可选的，所述第一时间和所述第二时间分别包括第一部分和第二部分，所述第一部分包含时间的秒信息，占四个字节，所述第二部分包含时间的微秒信息，占四个字节，则所述将所述第一时间和所述第二时间嵌入所述0x05类型的报文中的uuid部分，包括：
[0016]分别提取所述第一时间和所述第二时间的所述第一部分和所述第二部分的低位3个字节，并将提取的12个字节嵌入所述0x05类型的报文中的uuid部分。
[0017]可选的，所述第三时间包括第一部分和第二部分，所述第一部分包含时间的秒信息，占四个字节，所述第二部分包含时间的微秒信息，占四个字节，则所述在首个RTP包头部嵌入对应当前系统时间的第三时间并发往视频接收侧，包括：
[0018]提取所述第一部分的最低位一个字节和所述第二部分的低位3个字节，并将提取的4个字节嵌入首个RTP包头部的第4
‑
7个字节；
[0019]将嵌入所述第三时间的首个RTP包发往视频接收侧。
[0020]一种视频处理方法，应用于视频接收侧，包括：
[0021]接收视频发送侧发送的第二视频帧图像的多个RTP包，所述第二视频帧图像为所述视频发送侧发送的任一视频帧图像；
[0022]对所述第二视频帧图像进行RTP解析，得到所述第二视频帧图像的首个RTP包中嵌入的第三时间，所述第三时间为所述视频发送侧发送所述第二视频帧图像的首个RTP包时对应的系统时间；
[0023]记录所述第二视频帧图像的最后一个RTP包接收完成时的系统时间为第四时间；
[0024]将经过所述RTP解析后的第二视频帧图像进行视频解码，得到嵌入在所述第二视频帧图像中的第一时间和第二时间，所述第一时间为所述视频发送侧的编码器在获取所述第二视频帧图像的原始数据时的系统时间，所述第二时间为所述编码器对所述原始数据编码后输出所述第二视频帧图像时的系统时间；
[0025]记录所述第二视频帧图像视频解码完成时的系统时间为第五时间；
[0026]基于所述第一时间、所述第二时间、所述第三时间、所述第四时间和所述第五时间确定所述第二视频帧图像对应的所述原始数据的链路传输时间。
[0027]可选的，所述第二视频帧图像为H264码流，所述第一时间和所述第二时间位于所述H264码流的补充增强信息帧中的0x05类型的报文中。
[0028]可选的，还包括：
[0029]预先将所述视频接收侧的处理系统与所述视频发送侧的处理系统做时间同步处理。
[0030]一种视频处理装置，应用于视频发送侧，包括：
[0031]第一时间记录模块，用于在编码器接收到图像采集设备采集的第一视频帧图像时记录系统时间为第一时间，所述第一视频帧图像是所述图像采集设备采集的任一视频帧图像；
[0032]第二时间记录模块，用于在所述编码器完成对所述第一视频帧图像的编码并输出编码后的第一视频帧图像时，记录系统时间为第二时间；
[0033]第一嵌入模块，用于将所述第一时间和所述第二时间嵌入所述编码后的第一视频帧图像；
[0034]第二嵌入模块，用于在对所述编码后的第一视频帧图像进行RTP分包后，在首个RTP包头部嵌入对应当前系统时间的第三时间并发往视频接收侧，以使得视频接收侧能够根据接收所述编码后的第一视频帧图像的RTP分包的情况，结合所述第一时间、所述第二时间和/或所述第三时间确定所述第一视频帧图像的链路传输时间。
[0035]一种视频处理装置，应用于视频接收侧，包括：
[0036]数据接收模块，用于接收视频发送侧发送的第二视频帧图像的多个RTP包，所述第二视频帧图像为所述视频发送侧发送的任一视频帧图像；
[0037]RTP解析模块，用于对所述第二视频帧图像进行RTP解析，得到所述第二视频帧图像的首个RTP包中包含的第三时间，所述第三时间为所述视频发送侧发送所述第二视频帧图像的首个RTP包时对应的系统时间；
[0038]第四时间记录模块，用于记录所述第二视频帧图像的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频处理方法，应用于视频发送侧，其特征在于，包括：在编码器接收到图像采集设备采集的第一视频帧图像时记录系统时间为第一时间，所述第一视频帧图像是所述图像采集设备采集的任一视频帧图像；在所述编码器完成对所述第一视频帧图像的编码并输出编码后的第一视频帧图像时，记录系统时间为第二时间；将所述第一时间和所述第二时间嵌入所述编码后的第一视频帧图像；在对所述编码后的第一视频帧图像进行RTP分包后，在首个RTP包头部嵌入对应当前系统时间的第三时间并发往视频接收侧，以使得视频接收侧能够根据接收所述编码后的第一视频帧图像的RTP分包的情况，结合所述第一时间、所述第二时间和/或所述第三时间确定所述第一视频帧图像的链路传输时间。2.根据权利要求1所述的视频处理方法，其特征在于，所述编码后的第一视频帧图像为H264码流，所述将所述第一时间和所述第二时间嵌入所述编码后的第一视频帧图像，包括：将所述第一时间和所述第二时间嵌入所述H264码流中的补充增强信息帧。3.根据权利要求2所述的视频处理方法，其特征在于，所述将所述第一时间和所述第二时间嵌入所述H264码流中的补充增强信息帧，包括：对所述H264码流中的补充增强信息帧中0x05类型的报文进行改造，将所述第一时间和所述第二时间嵌入所述0x05类型的报文中的uuid部分。4.根据权利要求3所述的视频处理方法，其特征在于，所述第一时间和所述第二时间分别包括第一部分和第二部分，所述第一部分包含时间的秒信息，占四个字节，所述第二部分包含时间的微秒信息，占四个字节，则所述将所述第一时间和所述第二时间嵌入所述0x05类型的报文中的uuid部分，包括：分别提取所述第一时间和所述第二时间的所述第一部分和所述第二部分的低位3个字节，并将提取的12个字节嵌入所述0x05类型的报文中的uuid部分。5.根据权利要求1所述的视频处理方法，其特征在于，所述第三时间包括第一部分和第二部分，所述第一部分包含时间的秒信息，占四个字节，所述第二部分包含时间的微秒信息，占四个字节，则所述在首个RTP包头部嵌入对应当前系统时间的第三时间并发往视频接收侧，包括：提取所述第一部分的最低位一个字节和所述第二部分的低位3个字节，并将提取的4个字节嵌入首个RTP包头部的第4
‑
7个字节；将嵌入所述第三时间的首个RTP包发往视频接收侧。6.一种视频处理方法，应用于视频接收侧，其特征在于，包括：接收视频发送侧发送的第二视频帧图像的多个RTP包，所述第二视频帧图像为所述视频发送侧发送的任一视频帧图像；对所述第二视频帧图像进行RTP解析，得到所述第二视频帧图像的首个RTP包中嵌入的第三时间，所述第三时间为所述视频发送侧发送所述第二视频帧图像的首个RTP包时对应的系统时间；记录所述第二视频帧图像的最后一个RTP包接收完成时的系统时间为第四时间；将经过所述RTP解析后的第...

【专利技术属性】
技术研发人员：刘旭，赵双朋，
申请(专利权)人：北京经纬恒润科技股份有限公司，
类型：发明
国别省市：