音视频同步方法、装置、设备及存储介质制造方法及图纸

本申请实施例提供了音视频同步方法、装置、设备及存储介质，应用于客户端，所述客户端与云端进行通信连接，所述方法包括：客户端接收云端发送的音视频数据包的音视频信息以及音视频同步信息，根据音视频同步信息触发同步逻辑；根据触发后的同步逻辑获取音视频渲染延迟信息，并根据音视频渲染延迟信息和音视频信息得到音视频数据包的相对延迟信息；根据音视频数据包的相对延迟信息得到音频目标延迟信息和视频目标延迟信息，以便客户端基于音频目标延迟信息和视频目标延迟信息调整缓存大小进行音视频同步。通过将所接收的信息作为输入计算得到音视频同步所需的相对延迟信息，不需要依赖NTP/RTP时间校准，以及可对于不同的办公场景动态进行开启关闭。公场景动态进行开启关闭。公场景动态进行开启关闭。

【技术实现步骤摘要】
音视频同步方法、装置、设备及存储介质


[0001]本申请涉及多媒体
，特别是涉及一种音视频同步方法、一种音视频同步装置、相应的一种电子设备以及相应的一种计算机存储介质。

技术介绍

[0002]近年来，办公、教育、娱乐的模式逐渐偏向于线上化，对于高质量的音视频通话、视频会议、直播以及视频播放需求越来越广泛。作为桌面/应用的重要应用场景，音视频通话、直播和视频播放的用户体验问题为在云桌面/云应用使用的桌面传输协议所要克服的重点。
[0003]其中，音视频同步能够影响到多媒体产品的直观用户体验，是音视频媒体数据传输和渲染播放的最基本质量保障。在音视频同步以往的相关方案中，主要是基于时间差进行周期性的音视频同步校准，将客户端侧的时间与服务端的时间进行对齐，然而这种方式主要是依赖RTP(Real
‑
time Transport Control Protocol，实时传输协议)/NTP(Network Time Protocol，网络时间协议)时间教准过程实现，此同步机制无法适用于云桌面的TCP(Transmission C本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种音视频同步方法，其特征在于，应用于客户端，所述客户端与云端进行通信连接，所述方法包括：所述客户端接收所述云端发送的音视频数据包的音视频信息以及音视频同步信息，根据所述音视频同步信息触发同步逻辑；其中，所述音视频同步信息用于表示当前场景符合预设音视频同步开启条件；根据触发后的同步逻辑获取音视频渲染延迟信息，并根据所述音视频渲染延迟信息和所述音视频信息得到音视频数据包的相对延迟信息；根据所述音视频数据包的相对延迟信息得到音频目标延迟信息和视频目标延迟信息，以便客户端基于所述音频目标延迟信息和所述视频目标延迟信息调整缓存大小进行音视频同步。2.根据权利要求1所述的方法，其特征在于，所述客户端包括端口模块，所述云端包括云桌面/云应用操作系统与云桌面/云应用服务端；所述客户端接收所述云端发送的音视频信息，包括：通过所述端口模块接收所述云桌面/云应用服务端发送的音视频信息；所述音视频信息为所述云桌面/云应用操作系统响应用户操作产生的媒体数据。3.根据权利要求1所述的方法，其特征在于，所述客户端接收所述云端发送的音视频同步信息，包括：所述客户端接收由所述云端在判定当前场景符合预设音视频开启条件后所发送的音视频同步信息；所述预设音视频同步开启条件包括在音视频播放和/或语音通话场景下存在传输的视频流且用户输入操作的次数在预设时间段内小于预设阈值。4.根据权利要求3所述的方法，其特征在于，所述客户端包括端口模块，所述云端包括云桌面/云应用服务端；所述客户端接收由所述云端在判定当前场景符合预设音视频开启条件后所发送的音视频同步信息，包括：通过所述端口模块接收所述云桌面/云应用服务端发送的音视频同步信息；所述音视频同步信息为所述云桌面/云应用服务端内的场景检测模块在判定当前场景符合预设音视频开启条件后生成。5.根据权利要求1所述的方法，其特征在于，所述客户端包括端口模块和媒体兼容模块；所述根据触发后的同步逻辑获取音视频渲染延迟信息，并根据所述音视频渲染延迟信息和所述音视频信息得到音视频数据包的相对延迟信息，包括：在触发后的同步逻辑中，通过所述端口模块从所述媒体兼容模块实时获取音视频渲染延迟信息，并通过所述端口模块根据所实时读取的音视频渲染延迟信息和所接收的音视频信息得到音视频数据包的相对延迟信息。6.根据权利要求1或5所述的方法，其特征在于，所述音视频数据包的相对延迟信息包括当前时刻的音视频相对延迟信息；所述根据所述音视频渲染延迟信息和所述音视频信息得到音视频数据包的相对延迟信息，包括：根据所述音视频信息计算得到当前所接收的音频数据包的当前音视频相对延迟信息；根据所述音视频渲染延迟信息计算得到音视频的目标延迟信息；采用所述当前音视频的目标延迟信息之差，与所述当前所接收的音频数据包的音视频相对延迟信息的和，得到当前时刻的音视频相对延迟信息。
7.根据权利要求6所述的方法，其特征在于，所述音视频信息包括针对当前所接收的音视频数据包的视频到达时间、音频到达时间、视频采集时间以及音频采集时间；所述根据所述音视频信息计算得到当前所接收的音频数据包的当前音视频相对延迟信息，包括：采用针对当前所接收的音视频数据包的视频到达时间与音频到达时间之差，与视频采集时间与音频采集时间之差的差值，计算得到当前所接收的音频数据包的当前音视频相对延迟信息。8.根据权利要求6所述的方法，其特征在于，所述根据所述音视频渲染延迟信息计算得到音视频的目标延迟信息，包括：获取上一次同步生效后的视频总延迟信息和音频总延迟信息，以及采用所述音视频...

【专利技术属性】
技术研发人员：孟令超，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：