多媒体数据处理方法、电子设备及存储介质技术

本申请公开了一种多媒体数据处理方法，应用于采集端，包括：根据待处理的多媒体数据，生成目标音频帧和目标视频帧；确定目标音频帧的第一时间戳及目标视频帧的第二时间戳；将第一时间戳、第二时间戳与目标音频帧、目标视频帧共同传输至客户端；第一时间戳与第二时间戳，用于供客户端确定是否出现预定异常，其中，预定异常包括以下至少之一：目标音频帧和目标视频帧之间的传输失步、目标音频帧和目标视频帧的至少其中之一的传输异常、多媒体数据的播放出现卡顿。如此，在应用多媒体数据实时传输的互联网技术领域，将目标音频帧与目标视频帧与对应的时间戳共同传输至客户端，客户端可根据时间戳指示的时刻准确评估多媒体数据传输及播放质量。播放质量。播放质量。

【技术实现步骤摘要】
多媒体数据处理方法、电子设备及存储介质


[0001]本专利技术涉及互联网
，尤其涉及一种多媒体数据处理方法、电子设备及存储介质。

技术介绍

[0002]目前涉及视频实时传输的场景下，例如直播等，需要采集端采集直播数据，对数据进行编码和封装，再经过网络传输，最终到用户端使用播放器对数据进行解码播放。
[0003]直播的视频质量受到时延、卡顿和音视频不同步等多方面的影响。现有技术中，对延时、卡顿和音视频不同步的测试往往需要借助特定的测试设备对音视频数据进行测试，或者借助人的主观判别和人为操作。例如，测试直播延时需要在采集端和播放终端同时开启一个计时器，并通过屏幕截屏或者手机拍照等方式，将源视频和播放视频都包括在一张照片内，最后进行时间差值的计算。测试直播卡顿需要人工值守，主观地判断单位时间内卡顿次数，以此来计算卡顿率；测试音视频同步需要分解视频和音频码流，检查图像和音频开始出现的时间差值去进行评估。
[0004]但是这种方式受限于人力，外界干扰因素多，容易导致计算不准确，对音视频数据的质量评估误差较大。r/>
技术实现思路
<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多媒体数据处理方法，其特征在于，应用于采集端，所述方法包括：根据待处理的多媒体数据，生成目标音频帧和目标视频帧；确定所述目标音频帧的第一时间戳及所述目标视频帧的第二时间戳；将所述第一时间戳、所述第二时间戳与所述目标音频帧、所述目标视频帧共同传输至客户端；所述第一时间戳与所述第二时间戳，用于供所述客户端确定是否出现预定异常，其中，所述预定异常包括以下至少之一：所述目标音频帧和所述目标视频帧之间的传输失步、所述目标音频帧和所述目标视频帧的至少其中之一的传输异常、所述多媒体数据的播放出现卡顿。2.根据权利要求1所述的方法，其特征在于，所述第一时间戳和所述第二时间戳携带在信息帧传输至客户端。3.根据权利要求2所述的方法，其特征在于，所述信息帧包括：补充增强信息SEI帧；每一所述目标视频帧所在的画面组GOP中包含一个所述SEI帧。4.根据权利要求2所述的方法，其特征在于，所述方法还包括：确定所述多媒体数据的数据类型；若所述数据类型为音频数据，则确定获取到所述音频数据的时刻为所述第一时间戳指示的第一时刻，并将所述第一时刻的信息写入第一寄存器；写入所述第一寄存器的第一时刻的信息，用于所述第一时间戳的生成；若所述数据类型为视频数据，则确定获取到所述视频数据的时刻为所述第二时间戳指示的第二时刻，并将所述第二时刻的信息写入第二寄存器；写入所述第二寄存器的第一时刻的信息，用于所述第二时间戳的生成。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：在确定所述第一时间戳时，从所述第一寄存器读取所述第一时刻的信息，并复位所述第一寄存器的标志位，其中，所述第一寄存器的标志位，指示将所述第一寄存器置为预设值；在确定所述第二时间戳时，从所述第二寄存器读取所述第二时刻信息。6.一种多媒体数据处理方法，其特征在于，应用于客户端，所述方法包括：获取目标音频帧、目标视频帧以及第一时间戳与第二时间戳；根据所述第一时间戳和所述第二时间戳，确定是否出现预定异常；所述预定异常包括以下至少之一：所述目标...

【专利技术属性】
技术研发人员：向威威，李小芳，梁乃文，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：