影音串流的音频同步方法技术

一种影音串流的音频同步方法，适于从第一装置获取影音串流以播放于第二装置，所述方法包括：撷取影音串流中次一笔音频数据，音频数据具有第一采样率；撷取音频数据的显示时间戳；撷取第二装置的节目参考时钟标签；依据显示时间戳与节目参考时钟标签，判断是否需要对音频数据进行重采样；不需要对音频数据进行重采样时，以第一采样率播放音频数据；需要对音频数据进行重采样时，依据第一采样率、显示时间戳与节目参考时钟标签决定重采样率；以重采样率对音频数据进行重采样以产生一笔重采样音频数据；以及以第一采样率播放重采样音频数据。本发明专利技术能够缩小音频数据与节目播放的时间差。

【技术实现步骤摘要】
影音串流的音频同步方法
本专利技术关于一种影音串流(audio-videostream)的音频同步方法，特别是一种应用重采样技术的影音串流的音频同步方法。
技术介绍
影音串流被应用在网络直播、线上影音，因此在现今的网络服务中是一个重要的分支。在影音串流的播放中，有时候会发生音频与影像不一致的现象，影响了影音串流订阅者的感受。
技术实现思路
本专利技术在于提供一种影音串流的音频同步方法。依据本专利技术一实施例的影音串流的音频同步方法，适于从第一装置获取影音串流以播放于第二装置，所述方法包括下列步骤：撷取影音串流中次一笔音频数据，音频数据具有第一采样率；撷取音频数据的显示时间戳(presentationtimestamp,PTS)；撷取第二装置的节目参考时钟标签(programclockreference,PCR)；依据显示时间戳与节目参考时钟标签，判断是否需要对音频数据进行重采样；当判断不需要对音频数据进行重采样时，以第一采样率播放音频数据；当判断需要对音频数据进行重采样时，依据第一采样率、显示时间戳与节目参考时钟标签决定重采样率；以重采样率对音频数据进行重采样以产生一笔重采样音频数据；以及以第一采样率播放重采样音频数据。综上所述，本专利技术一实施例中所揭示的影音串流的音频同步方法通过比较节目参考时钟标签与显示时间戳，来选择性地对音频数据进行重采样，并以预设的采样率来播放处理后的音频数据，借以使音频数据与节目播放的时间差缩小至不为人耳所感知。以上是关于本揭露内容是说明及以下是实施方式是说明用以示范与解释本专利技术的精神与原理，并且提供本专利技术的权利要求书更进一步的解释。附图说明图1是用以说明适于实施本专利技术的一系统架构示意图。图2是依据本专利技术一实施例的影音串流音频同步方法流程图。图3是依据本专利技术一实施例的步骤S240的流程图。图4是依据本专利技术一实施例的步骤S260的流程图。图5是依据本专利技术一实施例的影音播放时序图。图6是依据本专利技术再一实施例的影音播放时序图。图7是依据本专利技术一实施例的线性插值法重采样示意图。其中，附图中符号的简单说明如下：1000：第一装置；2000：第二装置；AVS：影音串流；T1、T1’、T2、T2’、T3、T3’、T4、T4’：时间点；t1、t2、t3：时间点；A1、A2、A3：采样值；PCR：节目参考时钟标签；PTS：显示时间戳。具体实施方式以下在实施方式中详细叙述本专利技术的详细特征以及优点，其内容足以使任何熟悉相关技术的人员了解本专利技术的
技术实现思路
并据以实施，且根据本说明书所揭露的内容、权利要求书及附图，任何熟悉相关技术的人员可轻易地理解本专利技术相关的目的及优点。以下的实施例进一步详细说明本专利技术的观点，但非以任何观点限制本专利技术的范畴。请参照图1与图2，其中图1用以说明适于实施本专利技术的一系统架构示意图，图2是依据本专利技术一实施例的影音串流音频同步方法流程图。如图1所示，影音串流AVS储存于第一装置1000，并且第一装置1000以恒定传输速率向第二装置2000发送影音串流AVS以便于在第二装置2000上播放影音串流AVS。本专利技术的方法可以用硬件电路或是执行于计算机上的软件来实现。如图2所示，依据本专利技术一实施例的影音串流音频同步方法包含下列步骤。如步骤S210所示，第二装置2000上的影音播放单元从影音串流AVS中撷取次一笔音频数据AD，此笔音频数据具有第一采样率。举例来说，次一帧画面(frame)的数据与其音频数据通常会同时或先后地被从第一装置1000传送至第二装置2000。其中音频数据具有第一采样率例如为44.1千赫兹、48千赫兹、37.8千赫兹或是16千赫兹。就熟知技术而言，音频数据在第一装置1000上被以第一采样率采样就会在第二装置2000上被以第一采样率播放。如步骤S220所示，第二装置2000从收到的音频数据中，撷取此笔音频数据的显示时间戳(presentationtimestamp,PTS)。举例来说，显示时间戳关于此笔音频数据应该在一个影音串流中的第几分几秒开始被播放。再如步骤S230所示，第二装置2000中用来播放影音串流的影音播放单元会撷取第二装置的节目参考时钟标签(programclockreference,PCR)。举例来说，节目参考时钟标签定义当前节目的时间，也就是说节目已经被播放了几分几秒了。当收集完上述的信息后，如步骤S240所示，影音播放单元依据显示时间戳与节目参考时钟标签，判断是否需要对音频数据进行重采样。当判断不需要对音频数据进行重采样时，如步骤S250所示，以第一采样率播放音频数据。反之，当需要对音频数据进行重采样时，如步骤S260所示，依据第一采样率、显示时间戳与节目参考时钟标签决定重采样率。并如步骤S270所示，以重采样率对音频数据进行重采样。之后进行到步骤S250，以第一采样率播放被重采样的音频数据。其中于步骤S240中，所谓依据显示时间戳与节目参考时钟标签，判断是否需要对音频数据进行重采样。请参照图3，其是依据本专利技术一实施例的步骤S240的流程图。如图3所示，在决定的流程中，首先如步骤S241所示，影音播放单元会判断显示时间戳与节目参考时钟标签的时钟差是否大于阈值。此处的时钟差显示时间戳所定义的时间与节目参考时钟标签当前定义的时间两者的差异。于一实施例中，显示时间戳所定义的时间就是音频数据要被在节目中播放的时间点。而节目参考时钟标签当前定义的时间就是第二装置2000所定义的当前节目已经/将要播放完前一笔音频数据的时间点，也就是接下来应该播放次一笔音频数据的时间点。此处的阈值的定义是人类感官上会察觉视频与音频有不一致的最小时间，于一实施例中，此一阈值小于等于90毫秒，较佳的需小于等于45毫秒。如果当时钟差大于阈值时，影音播放单元判断需要对音频数据进行重采样，因此进行到步骤S260。反之如果当时钟差不大于阈值时，影音播放单元判断不需要对音频数据进行重采样。因此进行到步骤S250。换句话说，如果人类感官上不会察觉视频与音频不一致时，不需要对于音频数据进行重采样，而是直接播放。也就是当收到的音频数据的采样率是44.1千赫兹时，就是以44.1千赫兹的频率来播放音频数据。如果判断需要对音频数据重采样时，请参照图4，其是依据本专利技术一实施例的步骤S260的流程图。如图4所示，首先如步骤S261所示，影音播放单元会判断节目参考时钟标签是否领先显示时间戳。当节目参考时钟标签领先显示时间戳时，如步骤S263所示，以第二采样率作为重采样率，其中第二采样率低于第一采样率。举例来说，如果第一采样率为44.1千赫兹，则第二采样率例如为40千赫兹。反之当节目参考时钟标签落后显示时间戳时，如步骤S265所示，以第三采样率作为重采样率，其中第三采样率高于第一采样率。举例来说，如果第一采样率为44.1千赫兹，则第三采样率例如为48千赫兹。于一实施例中，第二采样率与第一采样率的比值大于等于0.9且小于1。较佳地，第二采样率与第一采样率的比值大于等于0.97且小于1。于一实施例中，第三采样率与第一采样率的比值小于等于1.1且大于1。较佳地，第三采样率与第一采样率的比值小于等于1.03且大于1。具体来说，请参照图5，其是依据本专利技术一实施例的影音播放时序图。首先于时间点T1，影音播放单元收到的第一笔音频数据本文档来自技高网...

【技术保护点】
一种影音串流的音频同步方法，其特征在于，适于从第一装置获取影音串流以播放于第二装置，包括：撷取该影音串流中次一笔音频数据，该笔音频数据具有第一采样率；撷取该笔音频数据的显示时间戳；撷取该第二装置的节目参考时钟标签；依据该显示时间戳与该节目参考时钟标签，判断是否需要对该笔音频数据进行重采样；当判断不需要对该笔音频数据进行重采样时，以该第一采样率播放该音频数据；当判断需要对该笔音频数据进行重采样时，依据该第一采样率、该显示时间戳与该节目参考时钟标签决定重采样率；以该重采样率对该笔音频数据进行重采样，以得到一笔重采样音频数据；以及以该第一采样率播放该笔重采样音频数据。

【技术特征摘要】
1.一种影音串流的音频同步方法，其特征在于，适于从第一装置获取影音串流以播放于第二装置，包括：撷取该影音串流中次一笔音频数据，该笔音频数据具有第一采样率；撷取该笔音频数据的显示时间戳；撷取该第二装置的节目参考时钟标签；依据该显示时间戳与该节目参考时钟标签，判断是否需要对该笔音频数据进行重采样；当判断不需要对该笔音频数据进行重采样时，以该第一采样率播放该音频数据；当判断需要对该笔音频数据进行重采样时，依据该第一采样率、该显示时间戳与该节目参考时钟标签决定重采样率；以该重采样率对该笔音频数据进行重采样，以得到一笔重采样音频数据；以及以该第一采样率播放该笔重采样音频数据。2.根据权利要求1所述的影音串流的音频同步方法，其特征在于，于依据该显示时间戳与该节目参考时钟标签判断是否需要对该笔音频数据进行重采样的步骤中，包括：判断该显示时间戳与该节目参考时钟标签的时钟差是否大于阈值；当该时钟差大于该阈值时，判断需要对该笔音频数据进行重采样；以及当该时钟差不大于该阈值时，判断不需要对该笔音频数据进行重采样。3.根据权利要求2所...

【专利技术属性】
技术研发人员：沈钢，谢嵘，
申请(专利权)人：上海兆芯集成电路有限公司，
类型：发明
国别省市：上海,31