用于对音视频流进行同步校准的方法及其相关产品技术

本发明专利技术提供一种用于对音视频流进行同步校准的方法、设备和计算机程序产品，其中该方法包括：获取所述音视频流中的音频时间戳和视频时间戳；确定所述音频时间戳和所述视频时间戳二者之间的时间戳差值；根据所述时间戳差值对所述音频时间戳进行校准处理，以获得音频更新时间戳；以及缓存具有所述音频更新时间戳的音频流直至接收到具有与所述音频更新时间戳相同时间戳的视频流，以便实现校准后的所述音频流和所述视频流的同步播放。通过本发明专利技术的方案，可以使得不同步的音频和视频进行自动校准，克服了人工调整过程中存在的效率低下和准确性低的问题。确性低的问题。确性低的问题。

【技术实现步骤摘要】
用于对音视频流进行同步校准的方法及其相关产品


[0001]本专利技术一般地涉及通信
更具体地，本专利技术涉及一种用于对音视频流进行同步校准的方法、设备和计算机可读程序产品。

技术介绍

[0002]随着科技的不断发展，现需要科研人员加快对国产化自研技术的发展， 以便可以提升在国产化方面的研究进程。例如，作为外接设备的摄像头与电脑连接时会进行不同程度的采集结果，进而造成画面和声音不同程 度不统一的问题，显然给使用者带来不好的体验感。然而，造成画面和声 音不同程度不统一的关键在于终端设备采集参数时存在偏差和传输至远 端会出现延时。
[0003]在现有技术中，针对由上述两个关键点而导致画面和声音不同程度不统一的情况，大部分厂商都是通过对自己的设备进行测试试验，通过人为地来调整数据参数，以达到音视频统一的效果。然而，通过上述方法，不仅耗时耗力且无法保证所调整的能够是音视频同步的数据参数的准确性和时效性。鉴于此，需要一种能够解决音视频不同步现象的技术方案。

技术实现思路

[0004]至少为了解决上文所提到的技术问题，本专利技术提出一种用于对音视频流进行同步校准的方法、设备和计算机可读程序产品。特别地，本专利技术通过利用时间戳差值对音频时间戳进行自动数据校准，解决了本地设备采集音视频后进行远端传输音视频所存在的音视频不同步问题，实现音视频同步的统一性。为此，本专利技术在如下的多个方面提供解决方案。
[0005]在第一方面中，本专利技术提供了一种用于对音视频流进行同步校准的方法，所述方法包括：获取所述音视频流中的音频时间戳和视频时间戳；确定所述音频时间戳和所述视频时间戳二者之间的时间戳差值；根据所述时间戳差值对所述音频时间戳进行校准处理，以获得音频更新时间戳；以及缓存具有所述音频更新时间戳的音频流直至接收到具有与所述音频更新时间戳相同时间戳的视频流，以便实现校准后的所述音频流和所述视频流的同步播放。
[0006]在一个实施例中，获取所述音视频流中的音频时间戳和视频时间戳包括：利用选流规则对所述音视频流进行选流操作，以便保证所述音视频流满足装置的性能。
[0007]在另一个实施例中，所述音频时间戳包括有效波动时间戳并且所述视频时间戳包括嘴型触发时间戳，其中确定所述音频时间戳和所述视频时间戳二者之间的时间戳差值包括：对所述音视频流中的音频流进行语音识别操作，以确定所述音频流的所述有效波动时间戳；对所述音视频流中的视频流进行图像识别操作，以确定所述视频流的所述嘴型触发时间戳；以及根据所述有效波动时间戳和所述嘴型触发时间戳确定所述时间戳差值，以便利用所述时间戳差值对所述音频时间戳进行校准处理。
[0008]在又一个实施例中，对所述音视频流中的音频流进行语音识别操作，以确定所述
音频流的有效波动时间戳包括：对所述音频流进行麦克风音量检测，以获得麦克风波动信号；响应于所述麦克风波动信号大于第一预设值，则将所述音频流当前的时间戳记录为波动时间戳，并启动语音识别操作对所述音频流进行语音识别；以及响应于所述语音识别操作识别出人声，则将所述波动时间戳标记并保存为所述音频流的有效波动时间戳。
[0009]在一个实施例中，对所述音视频流中的视频流进行图像识别操作，以确定所述视频流的嘴型触发时间戳包括：利用所述图像识别操作检测所述视频流中发言人嘴部动作变化幅度；响应于所述嘴部动作变化幅度大于第二预设值，则将所视频流当前的时间戳记录为嘴型触发时间戳。
[0010]在另一个实施例中，对所述音视频流中的视频流进行图像识别操作，以确定所述视频流的嘴型触发时间戳还包括：检测所述嘴型触发时间戳前预设时间内是否存在有效波动时间戳，响应于所述有效波动时间戳存在，则获取与所述嘴型触发时间戳最接近的有效波动时间戳，以用于确定所述时间戳差值；响应于所述有效波动时间戳不存在，则丢弃所述嘴型触发时间戳。
[0011]在又一个实施例中，根据所述有效波动时间戳和所述嘴型触发时间戳确定所述时间戳差值包括：对所述音频流进行预设值次数的语音识别操作，以确定所述音频流的多个有效波动时间戳；对所述视频流进行预设值次数的图像识别操作，以确定所述视频流的多个嘴型触发时间戳；利用所述多个有效波动时间戳和对应的所述多个嘴型触发时间戳确定多个时间戳差值；以及根据所述多个时间戳差值的平均值，确定所述时间戳差值。
[0012]在一个实施例中，所述时间戳差值根据所述音视频流的初始状态时间戳进行确定。
[0013]在第二方面中，本专利技术提供了一种用于对音视频进行同步校准的设备，包括：处理器；存储器，其存储有用于对音视频进行同步校准的程序指令，当所述程序指令由所述处理器执行时，实现上述的方法步骤。
[0014]在第三方面中，本专利技术提供了一种计算机可读存储介质，其存储有用于对音视频进行同步校准的程序指令，当所述程序指令由处理器执行时，实现上述任意一项所述的方法步骤。
[0015]通过利用本专利技术如上提供并且如下将具体描述的用于对音视频流进行同步校准的方法设备和计算机可读程序产品，可以实现对不同步的音视频进行同步校准。具体地，通过利用本专利技术的音频时间戳和视频时间戳二者之间的时间戳差值可以对音频时间戳进行校准处理，由此可以克服通过人工单独对音频或视频进行参数调整过程中出现的效率低下和准确性不高的问题。在一些实施例中，可以利用语音识别操作确定音频流的有效波动时间戳和利用图像识别操作确定视频流的嘴型触发时间戳，进而可以通过语音与嘴型的变化确认音频时间戳和视频时间戳二者之间的时间戳差值，以便可以利用时间戳差值解决音视频不同步现象。
附图说明
[0016]通过参考附图阅读下文的详细描述，本专利技术示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本专利技术的若干实施方式，并且相同或对应的标号表示相同或对应的部分其中：
[0017]图1是示出根据本专利技术实施例的音视频流传递系统的示意图；
[0018]图2是示出根据本专利技术实施例的用于对音视频流进行同步校准的方法流程图；
[0019]图3是示出根据本专利技术实施例的确定时间戳差值的方法流程图；
[0020]图4是示出根据本专利技术实施例的用于对音视频流进行同步校准的设备的示意框图。
具体实施方式
[0021]现在将参考附图描述实施例。应当理解，为了说明的简单和清楚，在认为合适的情况下，可以在附图中重复附图标记以指示对应或类似的元件。进一步，本申请阐述了许多具体细节以便提供对本文所述实施例的透彻理解。然而，基于本申请的公开和教导，本领域普通技术人员将理解，可以在没有这些具体细节的情况下实践本文描述的实施例。在其他情况下，公知的方法、过程和组件将不再做详细的描述，以避免模糊本文描述的实施例。另外，该描述不应被视为限制本文描述的实施例的范围。
[0022]下面将结合附图对本专利技术的用于对音视频流进行同步校准进行详细的描述。
[0023]图1是示出根据本专利技术实施例的音视频流传递系统的示意图。
[0024]如图1本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于对音视频流进行同步校准的方法，其特征在于，包括：获取所述音视频流中的音频时间戳和视频时间戳；确定所述音频时间戳和所述视频时间戳二者之间的时间戳差值；根据所述时间戳差值对所述音频时间戳进行校准处理，以获得音频更新时间戳；以及缓存具有所述音频更新时间戳的音频流直至接收到具有与所述音频更新时间戳相同时间戳的视频流，以便实现校准后的所述音频流和所述视频流的同步播放。2.根据权利要求1所述的方法，其特征在于，获取所述音视频流中的音频时间戳和视频时间戳包括利用选流规则对所述音视频流进行选流操作，以便保证所述音视频流满足装置的性能。3.根据权利要求1所述的方法，其特征在于，所述音频时间戳包括有效波动时间戳并且所述视频时间戳包括嘴型触发时间戳，其中确定所述音频时间戳和所述视频时间戳二者之间的时间戳差值包括：对所述音视频流中的音频流进行语音识别操作，以确定所述音频流的所述有效波动时间戳；对所述音视频流中的视频流进行图像识别操作，以确定所述视频流的所述嘴型触发时间戳；以及根据所述有效波动时间戳和所述嘴型触发时间戳确定所述时间戳差值，以便利用所述时间戳差值对所述音频时间戳进行校准处理。4.根据权利要求3所述的方法，其特征在于，对所述音视频流中的音频流进行语音识别操作，以确定所述音频流的有效波动时间戳包括：对所述音频流进行麦克风音量检测，以获得麦克风波动信号；响应于所述麦克风波动信号大于第一预设值，则将所述音频流当前的时间戳记录为波动时间戳，并启动语音识别操作对所述音频流进行语音识别；以及响应于所述语音识别操作识别出人声，则将所述波动时间戳标记并保存为所述音频流的有效波动时间戳。5.根据权利要求3所述的方法，其特征在于，对所述音视频流中的视频流进行图像识别操作，...

【专利技术属性】
技术研发人员：陈洪浩，冯文澜，
申请(专利权)人：随锐科技集团股份有限公司，
类型：发明
国别省市：