【技术实现步骤摘要】
一种音视频同步方法和装置
本申请涉及通信
，特别涉及一种音视频同步方法和装置。
技术介绍
目前实时视频业务播放一般都会进行音视频同步，以保证观看者的业务感知。专利技术人在实现本专利技术的过程中发现：现有的实时视频业务实现方案存在：服务器端生成的相应录像文件在播放时音视频不同步的问题。通过研究分析发现该问题的原因如下：现有的实时视频业务实现方案中，录制文件时通常只在发送端使用音视频同步处理机制，当音视频数据传输到服务器端进行文件录制时，基本没有音视频同步保证机制。这样，现有的视频业务依赖于发送端的音频设备和视频设备的同步处理或者依赖于传输管道来保证音视频流的同步。而在实时视频通话过程中，发送端音频和视频采用不同的设备进行录制，比如音频采用外置MIC，视频采用外置摄像头，两个不同的设备产生的数据流无法严格保证音视频数据同步。也就是说，发送端无法确保：发送音视频数据时音视频流的完全同步。并且，传输管道的复杂性也容易导致音频或视频数据包丢失。而在服务器端进行相应文件录制时(比如采用MP4方式)，不管数据...
【技术保护点】
1.一种音视频同步方法，其特征在于，包括：/n在进行实时视频业务时，服务器根据接收到的数据帧的类型，确定是否需要进行音视频同步处理；/n当需要进行音视频同步处理时，所述服务器采用预设的同步原则，对接收到的音频数据帧和视频数据帧进行同步处理，将同步处理后的视频数据帧以及对应的音频数据帧，保存至相应的文件中；其中，所述同步原则为当音频数据帧丢失时，相应地补偿语音静默帧，当视频数据帧丢失时，丢弃相应的音频数据帧；/n当不需要进行音视频同步处理时，所述服务器将接收到的所有数据帧，直接保存至相应的文件中。/n
【技术特征摘要】
1.一种音视频同步方法，其特征在于，包括：
在进行实时视频业务时，服务器根据接收到的数据帧的类型，确定是否需要进行音视频同步处理；
当需要进行音视频同步处理时，所述服务器采用预设的同步原则，对接收到的音频数据帧和视频数据帧进行同步处理，将同步处理后的视频数据帧以及对应的音频数据帧，保存至相应的文件中；其中，所述同步原则为当音频数据帧丢失时，相应地补偿语音静默帧，当视频数据帧丢失时，丢弃相应的音频数据帧；
当不需要进行音视频同步处理时，所述服务器将接收到的所有数据帧，直接保存至相应的文件中。
2.如权利要求1所述的方法，其特征在于：所述确定是否需要进行音视频同步处理包括：
在接收到所述实时视频业务的首个数据帧之后，当该首个数据帧的缓存时长未达到预设的最大缓存时长时，如果所述服务器接收到与所述首个数据帧不同类型的数据帧，则确定需要进行音视频同步处理；当该首个数据帧的缓存时长达到所述最大缓存时间时，如果所述服务器未曾接收到与该首个数据帧不同类型的数据帧，则确定不需要进行音视频同步处理。
3.如权利要求1所述的方法，其特征在于：所述服务器采用预设的同步原则，对所接收到的音频数据帧和视频数据帧进行同步处理包括：
所述服务器按照网络时间协议NTP时间的升序，对已接收到的视频数据帧和音频数据帧分别进行排序，得到视频数据帧缓存队列和音频数据帧缓存队列；
当接收到新的数据帧时，按照数据帧的NTP时间和数据帧类型，将该新的数据帧，增加到相应类型的所述视频数据帧缓存队列或所述音频数据帧缓存队列中；
依次对于所述视频数据帧缓存队列中的每个视频数据帧Si，按照所述同步原则，利用当前所述音频数据帧缓存队列，为该视频数据帧Si确定对应的音频数据帧；其中，为该视频数据帧Si确定对应的音频数据帧包括：
x1、将所述音频数据帧缓存队列中未匹配到视频数据帧的首个音频数据帧作为当前的候选音频数据帧；
x2、如果当前的候选音频数据帧的NTP时间ta小于所述视频数据帧Si的NTP时间t0，则将所述候选音频数据帧从所述音频数据帧缓存队列中删除，返回步骤x1；
x3、如果所述ta等于所述t0，则将所述处于队首的音频数据帧确定为与所述视频数据帧Si对应的音频数据帧；
x4、如果所述ta大于所述t0，则在所述音频数据帧缓存队列中所述候选音频数据帧之前增加一个语音静默帧，作为与所述视频数据帧Si对应的音频数据帧。
4.如权利要求1所述的方法，其特征在于：所述方法进一步包括：
所述服务器在接收到所述数据帧时，根据所述数据帧对应的发送报告，计算所述数据帧的NTP时间。
5.一种音视频同步装置，其特征在于，设置于服务器中，包括：处理器，所述处理器用于：
在进行实时视频业务时，根据接收到的数据帧的类型，确定是否需要进行音视频同步处理；
当需要进行音视...
【专利技术属性】
技术研发人员：方伟，陈国斌，丁长文，李敬来，
申请(专利权)人：成都鼎桥通信技术有限公司，
类型：发明
国别省市：四川;51
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。