数据处理方法及装置制造方法及图纸

本公开提供了一种数据处理方法及装置，所述方法包括：响应于采集到第一视频帧，确认第一视频帧对应的第一音频帧；在所述第一视频帧中添加所述第一音频帧对应的第一实时传输协议包，生成第二视频帧；发送包括第二视频帧的视频流，以及包括所述第一音频帧对应的音频流；其中，所述第一实时传输协议包用于调整所述视频流和所述音频流的播放对应关系。述视频流和所述音频流的播放对应关系。述视频流和所述音频流的播放对应关系。

【技术实现步骤摘要】
数据处理方法及装置


[0001]本公开涉及实时通信
，尤其涉及一种数据处理方法及装置。

技术介绍

[0002]在实时音视频通信场景中，接收端收到的音频信号和视频信号经常出现不同步的问题，主要表现为视频画面与音频不对应，影响用户体验。

技术实现思路

[0003]本公开提供了一种数据处理方法及装置，以至少解决现有技术中存在的以上技术问题。
[0004]根据本公开的第一方面，提供一种数据处理方法，应用于发送端，包括：
[0005]响应于采集到第一视频帧，确认第一视频帧对应的第一音频帧；
[0006]在所述第一视频帧中添加所述第一音频帧对应的第一实时传输协议包，生成第二视频帧；
[0007]发送包括第二视频帧的视频流，以及包括所述第一音频帧对应的音频流；
[0008]其中，所述第一实时传输协议包用于调整所述视频流和所述音频流的播放对应关系。
[0009]根据本公开的第二方面，提供一种数据处理方法，应用于接收端，包括：
[0010]基于接收的第二视频帧包括的第一实时传输协议包，确认所述第二视频帧中包括的第一视频帧与所述第一视频帧对应的第一音频帧之间的对应关系；
[0011]基于所述第一视频帧和所述第一音频帧之间的对应关系，调整包括所述第一视频帧的视频流和包括所述第一音频帧的音频流的播放对应关系。
[0012]根据本公开的第三方面，
[0013]音频确认单元，用于响应于采集到所述第一视频帧，确认第一视频帧对应的第一音频帧；/>[0014]视频帧生成单元，用于在所述第一视频帧中添加所述第一音频帧对应的第一实时传输协议包，生成第二视频帧；
[0015]发送单元，用于发送包括第二视频帧的视频流，以及包括所述第一音频帧对应的音频流；
[0016]其中，所述第一实时传输协议包用于调整所述视频流和所述音频流的播放对应关系。
[0017]根据本公开的第四方面，提供了一种数据处理装置，应用于接收端，包括：
[0018]确认单元，用于基于接收的第二视频帧包括的第一实时传输协议包，确认所述第二视频帧中包括的第一视频帧与所述第一视频帧对应的第一音频帧之间的对应关系；
[0019]调整单元，用于基于所述第一视频帧和所述第一音频帧之间的对应关系，调整包括所述第一视频帧的视频流和包括所述第一音频帧的音频流的播放对应关系。
[0020]本公开的数据处理方法，响应于采集到所述第一视频帧，确认第一视频帧对应的第一音频帧；在所述第一视频帧中添加所述第一音频帧对应的第一实时传输协议包，生成第二视频帧；发送包括第二视频帧的视频流，以及包括所述第一音频帧对应的音频流；其中，所述第一实时传输协议包用于调整所述视频流和所述音频流的播放对应关系；如此可以基于第一实时传输协议包确认第一视频帧和第一音频帧之间的延时调整系数，进而基于延时调整系数调整所述视频流和所述音频流的播放对应关系，实现视频画面与音频播放相对应，提升用户体验。
[0021]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0022]通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，其中：
[0023]在附图中，相同或对应的标号表示相同或对应的部分。
[0024]图1示出了本公开实施例提供的数据处理方法的一种可选流程示意图；
[0025]图2示出了本公开实施例提供的数据处理方法的另一种可选流程示意图；
[0026]图3示出了本公开实施例提供的数据处理方法的再一种可选流程示意图；
[0027]图4示出了本公开实施例提供的在视频帧中添加RTP包的示意图；
[0028]图5示出了本公开实施例提供的数据处理方法的还一种可选流程示意图；
[0029]图6示出了本公开实施例提供的数据处理装置的一种可选结构示意图；
[0030]图7示出了本公开实施例提供的数据处理装置的另一种可选结构示意图；
[0031]图8示出了本公开实施例一种电子设备的组成结构示意图。
具体实施方式
[0032]为使本公开的目的、特征、优点能够更加的明显和易懂，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而非全部实施例。基于本公开中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
[0033]相关技术中，主流的音视频同步方案，是基于网页实时通信(Web Real
‑
Time Communications，WebRTC)的音视频同步算法：接收端根据发送者报告报文(Sender Report，SR)(一种RTCP报文)中包含的实时传输协议(Real
‑
time Transport Protocol，RTP)时间戳和对应的NTP时间戳，推算出收到的某个码流的RTP时间戳和网络时间协议(Network Time Protocol，NTP)时间戳的对应关系，进而将音频流和视频流的时间戳统一到同一个时间基准下；计算当前时刻音视频流的相对延迟，在一定幅度范围内调整音视频的目标延迟；周期性更新上述流程，逐步得到最优目标延迟，并施加到对应的音视频播放和渲染时间上，达到既流畅又同步的目的。
[0034]但是，上述方案依赖于音视频接收端周期性收到的SR包，并进行RTP时间戳和NTP时间戳对应关系的估算。SR的发送周期一般较长，为5到10秒，且音频和视频的SR发送周期
通常不同，这就在一定程度上降低了估算的准确性。RTP控制协议(RTCP)的发送一般无重传机制，这就导致SR丢包时，同步算法的数据更新也受到影响，拉低了同步的速度和准确度。对目标延迟的调整基于音视频相对延迟差值的平均值的平滑过滤，这在同步问题较严重时存在同步慢的问题，无法在可接受的调整幅度范围内尽快达到最优。
[0035]基于相关技术中存在的缺陷，本公开提供一种数据传输方法，在发送视频帧的过程中，周期性地添加同一采集时刻(或其他需要同步的时刻)的音频帧至视频流的RTP扩展头中；接收端解析出视频RTP扩展头中的音频包(RTP包)，以这个RTP包所在的视频帧和解析出的音频帧为同步基准，周期性调整音视频流的目标延迟，逐步达到接收端播放音视频的时刻和这两条码流在发送端的同步时刻尽可能接近，即实现流畅且同步。
[0036]图1示出了本公开实施例提供的数据处理方法的一种可选流程示意图，将根据各个步骤进行说明。
[0037]步骤S101，响应于采集到第一视频帧，确认第一视频帧对应的第一音频帧。
[0038]在一些实施例中，发送端和接收端在握手阶段确认在视频帧中传本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，应用于发送端，所述方法包括：响应于采集到第一视频帧，确认第一视频帧对应的第一音频帧；在所述第一视频帧中添加所述第一音频帧对应的第一实时传输协议包，生成第二视频帧；发送包括第二视频帧的视频流，以及包括所述第一音频帧对应的音频流；其中，所述第一实时传输协议包用于调整所述视频流和所述音频流的播放对应关系。2.根据权利要求1所述的方法，所述确认第一视频帧对应的第一音频帧，包括以下至少之一：确认采样时间戳与所述第一视频帧的采样时间戳之间的间隔小于第一阈值的音频帧，为所述第一视频帧对应的音频帧。3.根据权利要求2所述的方法，所述方法还包括：若不存在采样时间戳与所述第一视频帧的采样时间戳之间的间隔小于第一阈值的音频帧，则间隔第一周期确认第三视频帧对应的第三音频帧；其中，所述第一视频帧与所述第三视频帧属于同一个视频流。4.根据权利要求1所述的方法，所述在所述第一视频帧中添加所述第一音频帧对应的第一实时传输协议包，生成第二视频帧，包括：在所述第一视频帧对应的第一实时传输协议扩展头中添加所述第一音频帧中与所述第一实时传输协议扩展头对应的第一实时传输协议包，生成第二视频帧；其中，所述第一视频帧与所述第一音频帧的采样时间戳之间的间隔小于第二阈值，所述第一实时传输协议包和所述第一视频帧对应的第二实时传输协议包用于调整所述第一视频帧和所述第一音频帧的播放对应关系。5.一种数据处理方法，应用于接收端，所述方法包括：基于接收的第二视频帧包括的第一实时传输协议包，确认所述第二视频帧中包括的第一视频帧与所述第一视频帧对应的第一音频帧之间的对应关系；基于所述第一视频帧和所述第一音频帧之间的对应关系，调整包括所述第一视频帧的视频流和包括所述第一音频帧的音频流的播放对应关系。6.根据权利要求5所述的方法，所述...

【专利技术属性】
技术研发人员：李盼盼，徐浩煜，曹凯，
申请(专利权)人：联想北京有限公司，
类型：发明
国别省市：