一种在不同设备上分别播放音频与视频的唇音同步方法技术

本发明专利技术公开了一种在不同设备上分别播放音频与视频的唇音同步方法，所述不同设备包括音频播放设备和视频播放设备，包括使用发送端发送音视频码至所述音频播放设备和视频播放设备，所述发送端对其发送的数据包增加时间戳信息，所述音频播放设备和视频播放设备分别使用同步机制以同步播放具备相同时间戳的音频和视频信息。本发明专利技术设计的唇音同步播放机制，可以应对99％的网络抖动情况，保证在网络质量不稳定时，在不同设备上的音视频仍然可以同步播放。

【技术实现步骤摘要】
一种在不同设备上分别播放音频与视频的唇音同步方法
本专利技术涉及多媒体
，具体而言，涉及一种在不同设备上分别播放音频与视频的唇音同步方法。
技术介绍
在视频会议场景中，每个参会的终端都接收来自于其他参会者的视频和音频码流，并通过本地的图像显示设备(比如显示屏)和声音播放设备(比如扬声器)把接收到的视频和音频进行显示和播放。由于音视频码流是由同一设备接收并且播放的，所以相应的音频和视频图像在播放时是唇音同步的，即视频图像中参会者说话时的口型与对应的声音是一致的。但在没有人为干预的情况下，声音和视频的播放时间由于IP网络的不稳定性，有可能是不一致的。导致用户感受到的声音和视频不同步，即唇音不同步。例如在一些特定场景下(如图1-2)，对音视和视频的接收和播放有时需要在不同的设备上进行，比如视频图像的接收是由会议室中的视频终端完成的，而音频的接收，则是由与该终端通过某种方式配对连接的无线麦克风+音箱完成的；或者如智能终端一体机NE60是一款适合桌面或者小型会议室使用的音视频通讯设备，触屏操控，方便易用，它可以同ME终端配对，实现利用桌面上的NE60上的音频设备来播放声音，而通过与ME终端相连接的电视屏幕输出视频图像。在这些场景下，声音和视频就会从不同的设备上接收并进行播放和显示。由于两个独立的设备通过IP网络接收音视频数据码流，而IP网络的不稳定性，声音和视频到达不同设备的时间可能是不同的，如果每个设备直接播放所接收到的音视频码流，就会存在音视频不同步的问题，即所显示的参会者说话时的口型与所对应的声音是不一致的。本专利技术解决的就是在使用IP网络条件下分别传输声音和视频数据到不同设备时，进行音视频同步播放的问题。
技术实现思路
本专利技术提出了一种在不同设备上分别播放音频与视频的唇音同步方法，所述不同设备包括音频播放设备和视频播放设备，其特征在于，所述方法包括，使用发送端发送音视频码至所述音频播放设备和视频播放设备，所述发送端对其发送的数据包增加时间戳信息，所述音频播放设备和视频播放设备分别使用同步机制以同步播放具备相同时间戳的音频和视频信息。进一步的，音频播放设备和视频播放设备为声音和视频各自维护了一个缓冲队列，待缓冲一定数量的数据包之后，再通过所述同步机制进行播放。进一步的，其还包括将所述声音播放设备在同步机制中设为主动方，其从本地的缓冲队列中均匀地播放声音数据，同时按一时间周期定期地向视频显示设备发送同步消息，把当前正在播放的声音数据的采集时间戳同步给视频显示设备，视频显示设备根据所收到的时间戳来控制视频数据的缓冲队列长度，进行适度播放，从而保证声音和视频的同步进一步的，所述声音播放设备每播放一所述时间周期的数据，就向视频播放设备发送一个同步消息，所述视频播放设备收到同步消息后，返回一个确认消息至所述发送端，所述确认消息中包括接收到的来自于音频播放设备的当前发送时间戳；当确认消息被发送端接收到时，发送端用当前接收的系统时间减去发送时的系统时间以确认在当前网络下的往返延时值Δ；所述发送端每隔一加权周期对所述往返延时值Δ进行加权处理后发送至所述声音播放设备，所述声音播放设备将采集时间戳加上当前的加权处理后的往返延时值Δ后发送至所述视频播放设备，所述视频播放设备按照该时间戳进行视频的同步播放。进一步的，所述对所述往返延时值Δ进行加权处理包括，将往返延时值Δ除以2得到单向延时值并对所述单向延时值采用滤波算法处理。进一步的，所述滤波算法包括，将一段时间内的单向延时值进行加权平均以得到滤波处理后的单向延时值。优选或可选的，其还包括将所述视频播放设备在同步机制中设为主动方，并通过视频播放设备收集音视频不同步的差值，并对其进行滤波后将所述差值与一预设阈值进行比较，当所述差值大于所述预设阈值时将此偏差值发送给声音播放设备并根据该偏差值会将声音播放设备的缓冲队列增加相应的长度。在没有人为干预的情况下，声音和视频的播放时间由于IP网络的不稳定性，有可能是不一致的。导致用户感受到的声音和视频不同步，即唇音不同步。而基于以上方法设计的唇音同步播放机制，可以应对99％的网络抖动情况，保证在网络质量不稳定时，在不同设备上的音视频仍然可以同步播放。附图说明从以下结合附图的描述可以进一步理解本专利技术。图中的部件不一定按比例绘制，而是将重点放在示出实施例的原理上。在图中，在不同的视图中，相同的附图标记指定对应的部分。图1是本专利技术的应用场景一示意图；图2是本专利技术的应用场景二示意图；图3是本专利技术的同步机制—音频播放设备向视频播放设备发送同步消息示意图；图4是本专利技术的同步机制—视频播放设备向音频播放设备发送同步消息示意图。具体实施方式为了使得本专利技术的目的、技术方案及优点更加清楚明白，以下结合其实施例，对本专利技术进行进一步详细说明；应当理解，此处所描述的具体实施例仅用于解释本专利技术，并不用于限定本专利技术。对于本领域技术人员而言，在查阅以下详细描述之后，本实施例的其它系统、方法和/或特征将变得显而易见。旨在所有此类附加的系统、方法、特征和优点都包括在本说明书内、包括在本专利技术的范围内，并且受所附权利要求书的保护。在以下详细描述描述了所公开的实施例的另外的特征，并且这些特征根据以下将详细描述将是显而易见的。实施例一：本专利技术提出了一种在不同设备上分别播放音频与视频的唇音同步方法，所述不同设备包括音频播放设备和视频播放设备，其特征在于，所述方法包括，使用发送端发送音视频码至所述音频播放设备和视频播放设备，所述发送端对其发送的数据包增加时间戳信息，所述音频播放设备和视频播放设备分别使用同步机制以同步播放具备相同时间戳的音频和视频信息。进一步的，音频播放设备和视频播放设备为声音和视频各自维护了一个缓冲队列，待缓冲一定数量的数据包之后，再通过所述同步机制进行播放。进一步的，其还包括将所述声音播放设备在同步机制中设为主动方，其从本地的缓冲队列中均匀地播放声音数据，同时按一时间周期定期地向视频显示设备发送同步消息，把当前正在播放的声音数据的采集时间戳同步给视频显示设备，视频显示设备根据所收到的时间戳来控制视频数据的缓冲队列长度，进行适度播放，从而保证声音和视频的同步进一步的，所述声音播放设备每播放一所述时间周期的数据，就向视频播放设备发送一个同步消息，所述视频播放设备收到同步消息后，返回一个确认消息至所述发送端，所述确认消息中包括接收到的来自于音频播放设备的当前发送时间戳；当确认消息被发送端接收到时，发送端用当前接收的系统时间减去发送时的系统时间以确认在当前网络下的往返延时值Δ；所述发送端每隔一加权周期对所述往返延时值Δ进行加权处理后发送至所述声音播放设备，所述声音播放设备将采集时间戳加上当前的加权处理后的往返延时值Δ后发送至所述视频播放设备，所述视频播放设备按照该时间戳进行视频的同步播放。进一步的，所述对所述往返延时值Δ进行加权处理包括，将往返延时值Δ除以2得到单向延时值并对所述单向延时值采用滤波算法处理。所述滤波算法包括，将一段时间内的单向延时值进行加权平均以得到滤波处理后的单向延时值。当然，所述滤波方法只是一种示例，其他可选用的滤波方法也可以作为替换，但本方法经实验在本实施例中效果较佳或者最佳而作为推荐。实施例二：本专利技术提出了一种在不同设备上分别播放音频与视频的唇本文档来自技高网...

【技术保护点】
1.在不同设备上分别播放音频与视频的唇音同步方法，所述不同设备包括音频播放设备和视频播放设备，其特征在于，所述方法包括，使用发送端发送音视频码至所述音频播放设备和视频播放设备，所述发送端对其发送的数据包增加时间戳信息，所述音频播放设备和视频播放设备分别使用同步机制以同步播放具备相同时间戳的音频和视频信息。

【技术特征摘要】
1.在不同设备上分别播放音频与视频的唇音同步方法，所述不同设备包括音频播放设备和视频播放设备，其特征在于，所述方法包括，使用发送端发送音视频码至所述音频播放设备和视频播放设备，所述发送端对其发送的数据包增加时间戳信息，所述音频播放设备和视频播放设备分别使用同步机制以同步播放具备相同时间戳的音频和视频信息。2.如权利要求1所述的方法，其特征在于，音频播放设备和视频播放设备为声音和视频各自维护了一个缓冲队列，待缓冲一定数量的数据包之后，再通过所述同步机制进行播放。3.如权利要求2所述的方法，其特征在于，其还包括将所述声音播放设备在同步机制中设为主动方，其从本地的缓冲队列中均匀地播放声音数据，同时按一时间周期定期地向视频显示设备发送同步消息，把当前正在播放的声音数据的采集时间戳同步给视频显示设备，视频显示设备根据所收到的时间戳来控制视频数据的缓冲队列长度，进行适度播放，从而保证声音和视频的同步。4.如权利要求3所述的方法，其特征在于，所述声音播放设备每播放一所述时间周期的数据，就向视频播放设备发送一个同步消息，所述视频播放设备收到同步消息后，返回一个确认消息...

【专利技术属性】
技术研发人员：范圣冲，高新媛，白刚，
申请(专利权)人：上海赛连信息科技有限公司，
类型：发明
国别省市：上海,31