一种音频流切换方法及装置制造方法及图纸

本申请公开了一种音频流切换方法及装置，用以解决现有技术中存在效率低、复杂度高的问题。切换设备在接收切换指令后，切换设备确定切入流和切出流的同步关系，根据同步关系和切入流中报文的时间戳确定切入流的切换点参数值，以及根据同步关系和切出流中报文的时间戳确定切出流的切换点时间戳(或者切换点的序列号)；进而，切换设备将切出流中参数值大于切出流的切换点参数值的报文切换为切入流中参数值大于切入流的切换点参数值的报文，不需要解析出切入流和切出流中的数据，并将解析出的切入流的数据和解析出的切出流的数据均转换为适用于音频切换矩阵的格式再执行切换，在一定程度上可以提高切换效率，降低系统复杂度。

An audio stream switching method and device

【技术实现步骤摘要】
一种音频流切换方法及装置
本申请涉及多媒体通信
，尤其涉及一种音频流切换方法及装置。
技术介绍
在多媒体通信
，如电视(television，TV)制播领域，存在对不同音频设备发送的音频流进行切换的场景。目前音频流的切换方案中，比如，从一个切出流切换到一个切入流，需要从切入流的数据包和切出流的数据包均解析出数据后，将解析出的切入流的数据和解析出的切出流的数据均转换为适用于音频切换矩阵的格式，然后输入音频切换矩阵进行切换，导致切换效率较低，系统复杂度较高。
技术实现思路
本申请实施例提供一种音频流切换方法及装置，用以解决现有技术中存在效率低、复杂度高的问题。第一方面，本申请实施例提供一种音频流切换方法，包括：切换设备接收切换指令，所述切换指令指示从传输的第一音频流切换到第二音频流；所述切换设备根据第一音频流的第一报文的时间戳和第二音频流的第二报文的时间戳确定所述第一音频流和所述第二音频流的同步关系；其中，第一报文的接收时间与第二报文的接收时间相同；所述切换设备根据所述同步关系和所述第一报文的时间戳确定所述第一音频流的切换点参数值，以及根据所述同步关系以及所述第二报文的时间戳确定所述第二音频流的切换点参数值，所述切换点参数值为切换点的时间戳或者切换点的序列号；所述切换设备将第一音频流中参数值大于所述第一音频流的切换点参数值的报文切换为所述第二音频流中参数值大于所述第二音频流的切换点参数值的报文。例如，音频流中包括的报文可以是实时传输协议(real-timetransportprotocol，RTP)报文。上述方案中，从一个切出流切换到一个切入流，根据切出流和切入流中报文的时间戳来判断同步关系，基于同步关系来确定切换点执行切换，不需要从切入流和切出流中解析出数据，然后将解析出的切入流的数据和解析出的切出流的数据均转换为适用于音频切换矩阵的格式后，再执行切换，在一定程度上可以提高切换效率，降低系统复杂度。在一种可能的设计中，所述切换设备根据第一音频流的第一报文的时间戳和第二音频流的第二报文的时间戳确定所述第一音频流和所述第二音频流的同步关系，包括：当所述第一音频流的采样率以及所述第二音频流的采样率不相同时，所述切换设备以基准采样率为基准，根据所述第一音频流的采样率以及所述第二音频流的采样率对所述第一报文的时间戳和所述第二报文的时间戳进行统一；所述切换设备根据统一后的第一报文的时间戳和统一后的第二报文的时间戳确定所述第一音频流和所述第二音频流的同步关系；其中，所述第一音频流的采样率基于接收到的所述第一音频流中的N个报文的时间戳确定，所述第二音频流的采样率基于接收到的所述第二音频流中的M个报文的时间戳确定，M和N均为正整数；所述基准采样率为第一音频流的采样率，或者第二音频流的采样率，或者预设采样率。上述设计中，在切入流和切出流采样率不同的情况下，通过一个基准采样率来将切入流和切出流中报文的时间戳进行统一后再判断两个音频流的同步关系，在一定程序上可以提高确定同步关系的准确度。在一种可能的设计中，所述第一音频流和第二音频流的采样率通过如下方式确定：所述切换设备获取第一音频流的第一时间戳增量组以及第二音频流的第二时间戳增量组；其中，所述第一时间戳增量组包括基于所述N个报文的时间戳确定的N-1个第一时间戳增量，所述第二时间戳增量组包括基于所述M个报文的时间戳确定的M-1个第二时间戳增量；所述第一时间戳增量为连续接收的所述第一音频流中的两个报文的时间戳的差，所述第二时间戳增量为连续接收的所述第二音频流中的两个报文的时间戳的差；或者所述第一时间戳增量为接收到的所述第一音频流中的相邻报文时间戳的差，所述第二时间戳增量为接收的所述第二音频流中的相邻报文时间戳的差；所述切换设备根据所述第一时间戳增量组确定所述第一音频流的采样率，以及根据第二时间戳增量组确定所述第二音频流的采样率。上述设计中，通过报文的时间戳增量来确定采样率，简单易行，复杂度低。在一种可能的设计中，所述N个报文为在接收到所述切换指令后接收的第一音频流中的前N个报文，所述M个报文为在接收到所述切换指令后接收的第二音频流中的前M个报文，所述N等于M。上述设计中，在接收到切换指令后再确定采样率，从而能够有针对性的确定哪几个音频流的采样率，在一定程度上可以提高资源利用率。在一种可能的设计中，所述第一报文为第一音频流中完成确定所述第一音频流的采样率时所接收的报文，所述第二报文为第二音频流中完成确定所述第二音频流的音频信息时所接收的报文。通过上述设计，选择完成确定采样率所接收的报文用来确定切换点，在一定程度上可以降低切换时延。在一种可能的设计中，所述切换设备根据所述同步关系和所述第一报文的时间戳确定第一音频流的切换点参数值，以及根据所述同步关系和所述第二报文的时间戳确定第二音频流的切换点参数值，包括：所述切换设备根据所述同步关系、所述第一报文的时间戳和所述第一音频流的报文时长确定所述第一音频流的切换点参数值，根据所述同步关系、所述第二报文的时间戳和所述第二音频流的报文时长确定所述第二音频流的切换点参数值；其中，所述第一音频流的报文时长基于所述N个报文的时间戳确定，所述第二音频流的报文时长基于所述M个报文的时间戳确定。上述设计，提供另一种简单易行的用来确定切换点的方式。在一种可能的设计中，所述第一音频流和第二音频流的切换点的报文时间戳满足如下条件：若根据统一后的所述第一报文的时间戳与统一后的所述第二报文的时间戳确定所述第一音频流与所述第二音频流同步，则TSi_SW＝TSi+K1/ti_pkt*dtsi；TSo_SW＝TSo+K1/to_pkt*dtso；或者，若统一后的所述第一报文的时间戳晚于统一后的所述第二报文的时间戳，则TSi_SW＝TSi+K1/ti_pkt*dtsi；TSo_SW＝TSo+(tnsync+K1)/to_pkt*dtso；或者，若统一后的所述第一报文的时间戳早于统一后的所述第二报文的时间戳，TSi_SW＝TSi+(tnsync+K2)/ti_pkt*dtsi；TSo_SW＝TSo+K2/to_pkt*dtso；其中，tnsync＝|TSo0-TSi0|/fio，TSo0表示统一后所述第一报文的时间戳，TSi0表示所述统一后所述第二报文的时间戳，fio表示所述基准采样率，TSi_SW表示所述第二音频流的切换点的时间戳，TSi表示统一前所述第二报文的时间戳，ti_pkt表示所述第二音频流的报文时长，dtsi表示第二音频流的采样率对应的相邻报文时间戳差的理论值，TSo_SW表示所述第一音频流的切换点的时间戳，TSo表示统一前所述第一音频流的时间戳，to_pkt表示所述第一音频流的报文时长，dtso表示第一音频流的采样率对应的相邻报文时间戳差的理论值，K1表示第一预设时长，K2表示第二预设时长。上述设计中，确定切换点时，增加一定的时长作为切换点的时间戳，可以避免乱序，较现有采用本文档来自技高网...

【技术保护点】
1.一种音频流切换方法，其特征在于，包括：/n切换设备接收切换指令，所述切换指令指示从传输的第一音频流切换到第二音频流；/n所述切换设备根据第一音频流的第一报文的时间戳和第二音频流的第二报文的时间戳确定所述第一音频流和所述第二音频流的同步关系；其中，第一报文的接收时间与第二报文的接收时间相同；/n所述切换设备根据所述同步关系和所述第一报文的时间戳确定所述第一音频流的切换点参数值，以及根据所述同步关系以及所述第二报文的时间戳确定所述第二音频流的切换点参数值，所述切换点参数值为切换点的时间戳或者切换点的序列号；/n所述切换设备将第一音频流中参数值大于所述第一音频流的切换点参数值的报文切换为所述第二音频流中参数值大于所述第二音频流的切换点参数值的报文。/n

【技术特征摘要】
1.一种音频流切换方法，其特征在于，包括：
切换设备接收切换指令，所述切换指令指示从传输的第一音频流切换到第二音频流；
所述切换设备根据第一音频流的第一报文的时间戳和第二音频流的第二报文的时间戳确定所述第一音频流和所述第二音频流的同步关系；其中，第一报文的接收时间与第二报文的接收时间相同；
所述切换设备根据所述同步关系和所述第一报文的时间戳确定所述第一音频流的切换点参数值，以及根据所述同步关系以及所述第二报文的时间戳确定所述第二音频流的切换点参数值，所述切换点参数值为切换点的时间戳或者切换点的序列号；
所述切换设备将第一音频流中参数值大于所述第一音频流的切换点参数值的报文切换为所述第二音频流中参数值大于所述第二音频流的切换点参数值的报文。


2.如权利要求1所述的方法，其特征在于，所述切换设备根据第一音频流的第一报文的时间戳和第二音频流的第二报文的时间戳确定所述第一音频流和所述第二音频流的同步关系，包括：
当所述第一音频流的采样率以及所述第二音频流的采样率不相同时，所述切换设备以基准采样率为基准，根据所述第一音频流的采样率以及所述第二音频流的采样率对所述第一报文的时间戳和所述第二报文的时间戳进行统一；所述切换设备根据统一后的第一报文的时间戳和统一后的第二报文的时间戳确定所述第一音频流和所述第二音频流的同步关系；
其中，所述第一音频流的采样率基于接收到的所述第一音频流中的N个报文的时间戳确定，所述第二音频流的采样率基于接收到的所述第二音频流中的M个报文的时间戳确定，M和N均为正整数；所述基准采样率为第一音频流的采样率，或者第二音频流的采样率，或者预设采样率。


3.如权利要求2所述的方法，其特征在于，所述第一音频流和第二音频流的采样率通过如下方式确定：
所述切换设备获取第一音频流的第一时间戳增量组以及第二音频流的第二时间戳增量组；
其中，所述第一时间戳增量组包括基于所述N个报文的时间戳确定的N-1个第一时间戳增量，所述第二时间戳增量组包括基于所述M个报文的时间戳确定的M-1个第二时间戳增量；
所述第一时间戳增量为连续接收的所述第一音频流中的两个报文的时间戳的差，所述第二时间戳增量为连续接收的所述第二音频流中的两个报文的时间戳的差；或者所述第一时间戳增量为接收到的所述第一音频流中的相邻报文时间戳的差，所述第二时间戳增量为接收的所述第二音频流中的相邻报文时间戳的差；
所述切换设备根据所述第一时间戳增量组确定所述第一音频流的采样率，以及根据第二时间戳增量组确定所述第二音频流的采样率。


4.如权利要求3所述的方法，其特征在于，所述N个报文为在接收到所述切换指令后接收的第一音频流中的前N个报文，所述M个报文为在接收到所述切换指令后接收的第二音频流中的前M个报文，所述N等于M。


5.如权利要求4所述的方法，其特征在于，所述第一报文为第一音频流中完成确定所述第一音频流的采样率时所接收的报文，所述第二报文为第二音频流中完成确定所述第二音频流的音频信息时所接收的报文。


6.如权利要求2-5任一所述的方法，其特征在于，所述切换设备根据所述同步关系和所述第一报文的时间戳确定第一音频流的切换点参数值，以及根据所述同步关系和所述第二报文的时间戳确定第二音频流的切换点参数值，包括：
所述切换设备根据所述同步关系、所述第一报文的时间戳和所述第一音频流的报文时长确定所述第一音频流的切换点参数值，根据所述同步关系、所述第二报文的时间戳和所述第二音频流的报文时长确定所述第二音频流的切换点参数值；
其中，所述第一音频流的报文时长基于所述N个报文的时间戳确定，所述第二音频流的报文时长基于所述M个报文的时间戳确定。


7.如权利要求6所述的方法，其特征在于，所述第一音频流和第二音频流的切换点的报文时间戳满足如下条件：
若根据统一后的所述第一报文的时间戳与统一后的所述第二报文的时间戳确定所述第一音频流与所述第二音频流同步，则TSi_SW＝TSi+K1/ti_pkt*dtsi；TSo_SW＝TSo+K1/to_pkt*dtso；
或者，
若统一后的所述第一报文的时间戳晚于统一后的所述第二报文的时间戳，则TSi_SW＝TSi+K1/ti_pkt*dtsi；TSo_SW＝TSo+(tnsync+K1)/to_pkt*dtso；
或者，
若统一后的所述第一报文的时间戳早于统一后的所述第二报文的时间戳，TSi_SW＝TSi+(tnsync+K2)/ti_pkt*dtsi；TSo_SW＝TSo+K2/to_pkt*dtso；
其中，tnsync＝|TSo0-TSi0|/fio，TSo0表示统一后所述第一报文的时间戳，TSi0表示所述统一后所述第二报文的时间戳，fio表示所述基准采样率，TSi_SW表示所述第二音频流的切换点的时间戳，TSi表示统一前所述第二报文的时间戳，ti_pkt表示所述第二音频流的报文时长，dtsi表示第二音频流的采样率对应的相邻报文时间戳差的理论值，TSo_SW表示所述第一音频流的切换点的时间戳，TSo表示统一前所述第一音频流的时间戳，to_pkt表示所述第一音频流的报文时长，dtso表示第一音频流的采样率对应的相邻报文时间戳差的理论值，K1表示第一预设时长，K2表示第二预设时长。


8.如权利要求6或7所述的方法，其特征在于，待确定音频流的报文时长满足如下条件，所述待确定音频流为第一音频流或者第二音频流：
若待确定音频流的报文时长为第一数值；
若待确定音频流的报文时长为第二数值；
其中，表示基于待确定音频流的时间戳增量组确定的时间戳增量平均值，dTSthres与不同报文时长对应的相邻报文时间戳差的理论值有关，dTSi表示待确定音频流的时间戳增量组中第i个时间戳增量，dSEQi表示第i个时间戳增量对应的两个报文的序列号差值，w表示所述待确定音频流的时间戳增量组中时间戳增量的数量。


9.如权利要求3-8任一所述的方法，其特征在于，所述切换设备根据所述第一时间戳增量组确定所述第一音频流的采样率，包括：
根据N-1个第一时间戳增量、每个第一时间戳增量对应的两个报文的序列号差，以及所述切换设备所支持的多个理论采样率分别对应的相邻报文时间戳差的理论值，进行线性拟合，得到多个第一拟合误差；
确定多个第一拟合误差中最小第一拟合误差对应的相邻报文时间戳差的理论值；
将最小第一拟合误差对应的相邻报文时间戳差的理论值所对应的理论采样率作为所述第一音频流的采样率；
或者，
所述切换设备根据所述第二时间戳增量组确定所述第二音频流的采样率，包括：
根据M-1个第二时间戳增量、每个第二戳增量对应的两个报文的时间戳差，以及所述切换设备所支持的多个理论采样率分别对应的相邻报文时间戳差的理论值，进行线性拟合，得到多个第二拟合误差；
确定多个第二拟合误差中最小第二拟合误差对应的相邻报文时间戳差的理论值；
将最小第二拟合误差对应的相邻报文时间戳差的理论值所对应的理论采样率作为所述第二音频流的采样率。


...

【专利技术属性】
技术研发人员：刘超，熊婕，张锦辉，冯立宏，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44